自动困难样本合成与多级智能体数据筛选

该研究提出一个自动化、智能体驱动的红队框架，用于为多模态大语言模型（MLLMs）合成困难样本。框架由高推理Architect智能体、图像生成器及多级LLM验证委员会组成，通过迭代提出假设和变异策略，无需人工干预即可发现政策边界违规。在图像安全基准测试中，将假阴性率（FNR）从41.2%降至24.5%。

传统主动学习和人工标注在面对复杂新型多模态威胁时难以规模化，该框架完全自动化地合成边界样本，无需人类参与即可显著提升模型鲁棒性，代表内容安全防护从人工审查向自主红队测试的转变。

框架采用多智能体架构：Architect智能体产生高推理难例假设并继承历史突变；图像生成器将假设可视化为样本；多级LLM验证委员会（评分器）评估样本有效性，通过测试时检索集成到目标模型，形成闭环迭代优化。

可直接降低内容审核系统中人工标注和红队测试的成本，加速模型对模糊边界案例的学习，提升多模态安全产品的召回率（FNR从41.2%→24.5%），但对图像生成器和推理智能体的计算消耗需评估。

• 集成该框架作为内容审核产品的自动红队测试模块，替代周期性人工渗透。
• 基于其迭代策略开发API，为其他MLLM提供定制化困难样本生成服务。
• 将多级验证委员会机制封装为SDK，嵌入模型训练流水线以持续提升抗攻击能力。

• 该框架在不同领域（如医疗、金融）的多模态安全任务上泛化效果如何？
• 多智能体系统的推理延迟和计算成本在商业化部署中是否可接受？
• 验证委员会的LLM评分器是否存在自身偏见或被对抗样本欺骗的风险？
• 框架在非图像模态（如视频、音频）上是否可直接迁移？