FM-Bench：面向竞争代理的长期管理基准测试

FM-Bench 是一个新的基准测试，用于评估 LLM 代理在长周期管理任务中的表现。它让代理模拟管理一家足球队 20 年，面临 26 个工具和约 340-400 次决策。测试结果显示，所有 15 个模型都能完成整个周期，而脚本基线大多失败。模型间的差异主要是管理行为而非计算能力。

此前 LLM 代理的评估多集中在单步或短周期任务，缺乏对长期决策和累积后果的测量。FM-Bench 首次在20年时间跨度下，以确定性引擎无评审打分的方式，衡量代理的持续决策能力，揭示了模型性能与规模、价格、供应商无关，而是取决于管理行为，这对代理的长期可靠性提出了新的评估维度。

FM-Bench 通过模拟足球俱乐部管理，要求代理在长期内做出一系列相互关联的决策，这些决策会产生累积效应。环境是确定性的，最终得分由引擎自动计算，避免了 LLM 评审的主观性。测试区分了 solo 和 Arena 两种模式，并测量了六种行为能力。高分模型表现出更好的资源分配策略，如减少低收益投资、保持资金流动，表明长期规划能力是关键。

对于依赖 LLM 代理进行长期任务的产品（如自动化运营、投资组合管理），FM-Bench 提示需要关注代理的长期决策行为，而非仅短期效果。产品设计上可能需要引入长期目标对齐、资源管理优化等机制，并考虑如何评估和提升代理的长期稳健性，避免采用规模大的模型但长期表现不佳。

• 开发长期任务的代理评估工具，参考 FM-Bench 设计多周期模拟环境，用于产品上线前测试。
• 针对长周期决策场景（如库存管理、预算规划）优化代理的策略，参照高分模型的行为特征。
• 在代理训练中加入长期收益意识，如减少后期低回报项目投入，保持资源流动性。
• 基于 FM-Bench 的 Arena 模式，设计多代理竞争场景的评测服务，帮助客户选择合适模型。

• FM-Bench 是否适用于其他行业领域的长周期管理任务，其通用性如何？
• 那些在基准中表现较低的模型，其失败原因是否与特定工具使用或决策频率有关？
• 确定性引擎的模拟环境与现实世界有多大的保真度？
• 长期决策能力的提升是否可以通过调整提示词或微调来实现，还是需要新的训练范式？