SWE-Pruner Pro：编码 LLM 自身已知道要剪枝什么

SWE-Pruner Pro 是一种新的上下文剪枝方法，利用编码 LLM（如 SWE-Pruner）自身内部表示来直接剪枝工具输出，无需单独的分类器。通过在模型内部添加一个小头部，将内部表示转换为每行的保留/剪枝标签，并结合长度感知嵌入。在两个开放权重骨干和四个多轮基准测试中，它节省了最多 39% 的提示和完成 token，同时保持任务质量。在 MiMo-V2-Flash 上，还将 SWE-Bench Verified 解决率提升 3.8%，Oolong 长上下文准确率提升 2.2 个百分点。推理开销有限。

此前长上下文剪枝依赖外部分类器（如 SWE-Pruner），而 SWE-Pruner Pro 直接利用 LLM 自身内部表征进行剪枝，免去额外模型开销，同时节省 token 并提升任务性能，为长上下文编码智能体提供更高效且更准确的内存管理方案。

编码 LLM 在读取工具输出时，其内部隐藏状态已编码了代码上下文的相关性信息。SWE-Pruner Pro 在模型内部附加一个小型头部，将每一层的内部表示映射为保留或剪枝的二值标签，并引入长度感知嵌入来对齐不同工具输出的行数。训练时通过监督信号让头部学会识别不相关行，从而实现无需外部分类的内联剪枝。

直接降低长上下文编码任务的 token 消耗（最多 39%），从而减少推理成本与延迟；同时提升解决率（+3.8%）和准确率（+2.2%），可改善基于 LLM 的代码修复、代码审查等产品的用户体验和资源效率。

• 在代码助手产品（如 GitHub Copilot 类似工具）中集成 SWE-Pruner Pro 的内联剪枝机制，降低每次查询的 token 成本。
• 针对长上下文编码任务（如多轮对话、大规模仓库级别问题），推出基于该方法的专用优化模块，提升性能并降低延迟。
• 将剪枝头设计为可插拔层，允许不同 LLM 骨干（如 Llama、Qwen）快速适配，形成标准化剪枝工具包。

• 该方法在其他未测试的 LLM 骨干上（如 GPT-4、Claude）是否同样有效？
• 剪枝头引入的推理开销的具体数值是多少？是否显著影响端到端延迟？
• 在非编码领域的长上下文任务（如法律文档、医疗病历）中能否推广？
• 长度感知嵌入的通用性如何？对不同输出格式（如表格、日志）是否鲁棒？