Multi2AV-Safety：多模态到音频-视频生成的安全基准测试

音频-视频生成正从提示驱动转向多模态条件生成，文本、图像、音频和视频可共同塑造输出。这改变了安全评估的性质，有害意图可能不再存在于单一输入，而是源于良性或有弱危害条件在多模态和时间上的交互。现有安全基准多聚焦于提示或固定条件接口，难以系统研究此类组合风险。为此，研究者推出Multi2AV-Safety，首个覆盖音频-视频生成中所有11种非单一T/I/A/V条件配置的安全基准，包含11024个攻击实例。评估显示代表性多模态安全防护在攻击机制和危害证据结构上存在系统性弱点，识别出组合风险感知这一关键能力缺口，数据集将于2026年10月公开。

此前安全基准多聚焦于单一提示或固定输入接口，难以覆盖多模态条件组合带来的新风险。Multi2AV-Safety首次系统覆盖全部11种非单一条件配置，并揭示安全防护在组合风险感知上的能力缺口，为多模态生成安全评估提供了标准化工具。

多模态条件生成中，有害语义可从多个良性输入的组合中涌现，而显式有害线索混入良性多模态上下文时反而更难检测。这要求安全防护能跨模态和时间整合安全证据，但现有方法在此能力上存在系统性不足。

对正在开发多模态音频-视频生成产品的团队，安全评估需从单提示检测转向组合风险感知。现有安全防护可能在高危场景下失效，需投入研发新的跨模态安全检测机制，或集成此类基准进行测试，以降低合规和伦理风险。

• 开发跨模态安全检测API，基于Multi2AV-Safety基准训练模型，识别由多输入组合产生的潜在危害。
• 将Multi2AV-Safety数据集集成到安全测试流水线，用于产品发布前的自动化安全评估。
• 为多模态生成平台提供安全审计服务，输出组合风险报告，帮助企业满足监管要求。

• Multi2AV-Safety数据集的具体评测指标和基线模型性能尚未在摘要中披露。
• 数据集公开的具体许可协议和访问方式未说明。
• 组合安全风险在真实产品中的出现频率和严重程度缺乏实证数据。