DUMA-Bench：评估 LLM Agent 安全性的双控多智能体基准

研究者提出 DUMA-Bench，一个用于评估 LLM Agent 安全性的基准与评测协议。它在 τ²-bench 基础上扩展出对抗环境，覆盖 RAG 投毒、跨 Agent 操纵和不安全输出处理等八类漏洞，并测试来自 OpenAI、Anthropic、DeepSeek、Qwen、Z.ai 五个模型家族共 14 个模型、八个领域和多种用户行为模式。结果显示，引入双控交互后攻击成功率从 26.9% 升至 41.1%。

以往多数 Agent 安全评测默认用户被动、环境静态，忽略了真实部署中用户与 Agent 会共同改变环境状态这一动态。该工作把双控交互纳入评测，并给出跨模型家族的横向数据，说明安全表现不能只看模型本身，还取决于用户与环境交互方式。

双控交互指的是 Agent 和用户都能影响共享环境状态，因此攻击面不再局限于单轮输入，而会随交互过程演化。DUMA-Bench 通过扩展 τ²-bench 构造对抗环境，并覆盖八类漏洞，使评测能测量模型、用户和环境三者交互中涌现出的安全风险，而不仅是静态模型属性。

对开发 Agent 产品的团队而言，这意味着仅做模型层安全对齐不够，还需要在用户交互路径、工具调用、RAG 检索链路和跨 Agent 通信上做防御。评测结果提示同一模型在不同用户行为模式下风险差异明显，产品上线前应把交互式对抗测试纳入流程。

• 将 DUMA-Bench 或类似双控评测协议接入 Agent 产品的上线前安全测试清单，覆盖 RAG 投毒和跨 Agent 操纵场景。
• 针对用户与 Agent 共同修改环境状态的场景，设计交互式权限和状态变更审计功能。
• 面向企业客户提供 Agent 安全评测报告服务，横向对比不同模型在多用户行为模式下的攻击成功率。

• DUMA-Bench 是否已公开数据集、评测代码和完整实验配置？
• 41.1% 的攻击成功率在不同模型家族和八个领域之间的具体分布如何？
• 双控交互中攻击成功率上升的机制，是来自用户行为本身还是环境状态变化？
• 该基准与真实生产环境中 Agent 部署的安全风险之间是否经过外部验证？