使用大语言模型智能体对概念擦除进行压力测试

arXiv论文提出STACE框架，利用多个大语言模型智能体自动生成和验证压力测试假设，对已进行概念擦除的生成模型进行系统评估。实验表明，在四个概念类别上，STACE优于五项基于LLM的评估基线，且在不同文生图模型、六种擦除方法和多种擦除强度下表现鲁棒。该框架还可扩展至大模型越狱等任务。

此前概念擦除评估采用静态预定义方法，难以覆盖多样自然语言探测和挑战条件下的漏洞。STACE通过自适应假设搜索，由智能体迭代生成并验证测试，系统性扩展了失败模式覆盖，为可信AI部署提供了更有效的验证手段。

STACE将概念擦除评估形式化为自适应假设搜索过程，由多个LLM智能体协作，基于外部知识迭代地提出、批判和验证压力测试假设，从而动态生成更多样化的测试用例，并自动覆盖率指标，比人工设计更高效且不易有偏见。

该框架可直接用于AI产品安全评估流程，特别是涉及敏感概念过滤或内容安全的模型，提供自动化压力测试能力，降低人工测试成本，但需消耗额外的LLM推理资源。若集成到模型发布流水线，可提升对擦除不彻底的检测可靠性。

• 开发基于STACE的自动化安全测试服务，面向使用概念擦除技术的生成式AI平台。
• 将STACE作为插件集成到模型训练后评估环节，自动检测擦除失败案例。
• 利用STACE方法构建大语言模型越狱漏洞的主动探测工具，提升模型安全性。

• STACE在不同规模模型上的计算开销和所需智能体数量如何影响实用性？
• STACE产生的测试假设是否存在假阳性或对特定擦除方法的偏向？
• 该框架是否需要人工定义外部知识源，以及知识源质量如何影响效果？
• STACE能否有效检测对抗性设计的概念擦除绕过策略？