按需注意力：语言模型知道何时该回忆

一篇 arXiv 论文提出 On-Demand Attention（ODA）：作者发现预训练模型的解码状态在全局读取之前，已包含可预测该读取收益的信息；据此设计轻量 recall head，在生成过程中按预测收益选择性触发全局注意力。该方法只训练 recall head，不改动预训练权重，并在 vLLM 中实现 GPU 端条件执行，从而把减少的全局读取转化为长上下文下的解码加速。

此前长上下文解码通常每一步都读取不断增长的历史，局部注意力虽省算力但会损失性能。该工作把“是否读取全局历史”交给模型自身状态判断，在不改预训练权重的前提下尝试同时保留性能并降低全局读取，为长上下文推理提供了一种新的取舍方式。

机制核心是假设解码状态中已隐含“下一步是否需要全局信息”的信号，因此可用一个轻量 recall head 在每步预测读取收益，高收益时才执行全局注意力。由于完整历史 KV cache 保留，模型仍可在需要时回忆；条件执行落在 vLLM 的 GPU 侧，使稀疏的全局读取直接反映为解码速度提升。

对做长上下文推理的产品与研发团队，该方法指向一条低成本路径：无需重训主干模型，只加一个可训练模块并改推理调度，就可能降低长上下文服务的显存带宽与延迟压力。对已用 vLLM 的团队，条件执行意味着改动集中在推理层而非模型层，便于按上下文长度做成本与体验的权衡。

• 在现有 vLLM 推理服务中评估接入条件执行与 recall head 的改造成本
• 针对长文档问答、代码库检索等长上下文场景做局部注意力与 ODA 的延迟和效果对照测试
• 把“是否触发全局读取”的预测信号做成可观测指标，用于容量规划与成本监控
• 在混合注意力骨干模型上验证该方法的迁移性，判断是否可统一接入

• ODA 在不同模型规模与上下文长度下的加速比和性能损失具体是多少
• recall head 需要多少训练数据与算力，是否依赖特定任务分布
• 该方法对检索增强、多轮对话等真实负载的稳定性尚未在证据中说明
• vLLM 的实现是否已开源、可否直接用于生产环境