MemDuet：面向长上下文推理的双过程记忆学习框架

arXiv 论文提出 MemDuet，一个受 Kahneman 快慢思考启发的双过程记忆框架：用小型语言模型并行从原始文档块中快速挑选证据，用大型语言模型按文档顺序验证记忆更新并重写记忆。训练分三阶段：先监督微调 System 1，再用 GRPO 优化 System 2，最后联合优化两者。在 RULER-HQA、LongBench v2 和 2WikiMultiHopQA 上，相对 RL-MemAgent 平均端到端推理加速 9.74 倍，输出 token 减少 73.91%。

此前长上下文推理中，文本越长，推理性能与推理效率之间的取舍越尖锐。MemDuet 将证据选择与记忆更新拆成两种不同规模模型的分工，并给出可量化的加速与 token 压缩结果，说明长文档推理的精度—效率边界可能被重新划定，而非只能靠扩大上下文窗口硬扛。

机制是把“找证据”和“维护记忆”解耦：小模型并行扫描原始块做粗筛，成本低、吞吐高；大模型只在按文档顺序做验证和重写时介入，承担需要判断力的部分。三阶段训练先用监督数据固定选择行为，再用 GRPO 让验证与重写对齐结果，最后联合优化，使筛选与更新互相配合，避免小模型漏掉关键证据或大模型处理过多噪声。

对研发而言，可把长文档问答、多跳检索和 agent 记忆模块拆成“小模型筛选 + 大模型校验”的两级流水线，降低单次推理的算力与输出成本。73.91% 的输出 token 压缩对按 token 计费的产品直接关系毛利；9.74 倍加速则影响长文档场景的响应延迟和并发承载能力。产品侧可据此重设上下文长度、召回量和定价档位。

• 在现有长文档问答或知识库产品中，接入“小模型并行选证据 + 大模型顺序更新记忆”的两级结构，对比当前单模型长上下文的延迟与成本。
• 面向按 token 计费的 API 或 SaaS，探索把输出 token 下降作为定价与套餐设计的依据，验证单位请求毛利变化。
• 在多跳检索 agent 中，把记忆更新环节单独交由可验证的大模型步骤，测试是否减少错误累积导致的重复检索。
• 针对 RULER-HQA、LongBench v2、2WikiMultiHopQA 三类基准，建立内部复现评测，确认加速与压缩在自有数据上的可迁移性。

• 论文给出的 9.74 倍加速与 73.91% token 下降均相对 RL-MemAgent，缺少与其他长上下文方案（如直接长窗口模型、常规 RAG）的横向对比数据。
• System 1 小模型与 System 2 大模型的具体参数规模、硬件配置和训练成本未在证据中说明，难以评估落地门槛。
• 三阶段训练是否依赖特定数据分布，迁移到中文或垂直领域文档时的效果尚未验证。
• 记忆更新按文档顺序进行，在流式或频繁更新场景下的延迟表现与一致性缺少证据。