PM-Bench：评估LLM代理的前瞻记忆能力

论文团队发布PM-Bench，一个基于文本的基准测试，用于评估LLM代理的前瞻记忆能力。该基准测试模拟为期七天的虚拟周，要求代理在持续活动的同时执行延迟任务。测试了8个最先进LLM在8种配置下的表现，最佳方法（GPT-5.4代理）仅达到65.1% F1分数。结果说明前瞻记忆是当前AI代理的重大挑战，且没有单一策略占主导。

此前缺乏专门评估LLM代理前瞻记忆的系统基准。PM-Bench首次从认知科学引入虚拟周范式，量化了代理在持续活动中执行延迟意图的能力，结果发现所有模型均表现不佳，表明这一能力是关键瓶颈，需要针对性改进。

前瞻记忆依赖于代理同时维持主要任务和潜在记忆任务，通过时间或事件触发意图检索。PM-Bench模拟多天场景，测试代理感知环境变化、中断当前活动并在正确时机执行预定任务，从而暴露其在记忆触发和任务切换上的不足。

前瞻记忆不足会导致AI代理遗漏关键任务（如定时提醒、订单处理），降低自动化的可靠性和用户信任。开发者需要额外设计记忆管理机制，增加研发复杂度和推理成本；现有模型在基准上的低分直接提示产品需加入外部记忆调度或注意力机制。

• 开发外部记忆调度系统，辅助代理跟踪待办事项并在触发时唤醒。
• 设计基于触发器（时间或事件）的意图唤醒模块，集成到现有代理框架。
• 利用PM-Bench测试并优化代理的前瞻记忆策略，提升任务完成率。
• 为代理增加显式的计划-执行-监控循环，强化延迟意图管理能力。

• PM-Bench是否覆盖了真实世界前瞻记忆的所有关键维度（如多任务干扰程度）？
• 提高前瞻记忆的最佳策略是训练方法、提示工程还是外部工具辅助？
• GPT-5.4之外其他模型在特定配置下是否可能超过65.1% F1？
• 是否存在跨模型一致有效的记忆策略组合？