AdvPlan-Bench：结构化计划生成智能体的对抗性评估基准

arXiv 发布论文 AdvPlan-Bench，介绍用于对抗性评估结构化计划生成智能体的离线基准。它引入类型化计划、对抗响应集、选择器诊断等评估对象。在150个合成场景中，最佳响应策略将 BLUE 优势从0.518降至0.486，胜率从0.900降至0.820；三评委一致性达0.978。

此前评估假设计划孤立存在，未考虑对手智能体可搜索响应。AdvPlan-Bench 引入对抗性评估视角，提供可复现基准，使计划生成评估更贴近动态真实场景，可能影响智能体评估标准与方法。

该基准将计划表示为带分支的类型化动作链，赋予合成质量分数，通过 BLUE-vs-RED 优势、纳什差距等诊断比较对抗计划，并用启发式规则评估定性约束一致性。对抗性响应集模拟对手搜索，促使评估关注计划在对抗下的鲁棒性。

对研发计划类智能体的团队，该基准可作为评估工具，帮助识别计划在对抗环境下的薄弱环节，指导改进生成策略。但需注意其合成场景与评估对象，实际应用效果尚需验证。

• 将 AdvPlan-Bench 集成到智能体开发测试流程，作为对抗性回归测试工具。
• 基于其响应预算敏感性分析，优化计划生成时的候选响应数量策略。

• 该基准的合成场景能多大程度迁移到真实业务场景？
• 对抗性评估结果与真实决策质量的相关性如何？
• 是否存在其他评估指标未覆盖的重要维度？
• 其评估框架是否适用于其他类型智能体？