多智能体评估对角色扮演语言智能体的对抗压力测试

arXiv 发布论文，提出多智能体对抗评估平台，用于压力测试角色扮演语言智能体（RPLAs）。系统含审讯代理、目标代理和评判代理，通过六种渐进对抗策略进行多轮对话测试。实验覆盖三种角色和三家前沿LLM，发现多策略对抗评估能揭示单策略遗漏的失败模式，平均降低鲁棒性评分0.17-0.20，并验证了跨模型一致性退化。

现有评估多依赖静态基准或单轮问题，难以捕捉长对话中的累积行为失败。本研究提出多智能体、多策略对抗框架，能暴露更隐蔽的失败模式，且自动评判与人类评分高度相关，为高安全要求场景下的RPLA提供系统化评估新工具。

该系统通过战略驱动的审讯代理施加六种递进式对抗策略，针对目标代理进行结构化多轮对话，由评判代理在角色保真度、漂移、道德偏差和一致性四个维度打分。实验表明多策略联合压力显著放大缺陷，尤其权威挑战和情感操纵策略最有效，且模型规模不影响失败模式。

对依赖角色扮演能力的AI产品（如客服、教育、医疗助手），该评估平台可发现其长对话安全漏洞，帮助开发者在发布前识别问题。开源发布降低基准测试成本，但自动评判需要配置与集成，可能影响研发流程和测试成本。

• 将平台整合进AI客服、教育助手的开发流程，作为上线前安全评估工具。
• 基于失败模式构建对抗训练数据集，增强模型鲁棒性。
• 提供自动化评估SaaS服务，辅助合规与风险控制。
• 针对医疗等高风险场景定制评估模板，输出多维度合规报告。

• 实验仅覆盖三类角色和三种LLM，平台对其他场景的泛化性未知。
• 自动评判与人类对齐系数具体计算方法未披露。
• 平台宣称开源，但代码可用性与文档完整度待确认。
• 未提供跨语言、跨文化背景下的效果验证。