无辜画面，仇恨故事：多轮视觉故事生成中仇恨意图的评估与检测

一项新研究引入 HatefulStoryPrompts 数据集，包含 55 个仇恨故事、330 个多轮配置，覆盖两种语言和三种视觉风格。研究评估五个前沿文本到图像模型，发现它们完成超过 80% 的故事，最强模型达到 99.0%。人类标注数据集 HatefulVisualStory 中，现有审核系统对群体级仇恨含义的召回率最高仅 34.9%，强视觉语言模型为 67.5%。研究提出交互感知监控器和生成后防御方法。

此前研究只关注单张图像的仇恨内容，忽略多张图像组合产生的群体级仇恨含义。前沿 T2I 系统支持跨轮一致的角色和场景，使得大规模制作仇恨视觉故事变得廉价，而现有审核工具对此类内容几乎失效，凸显新的安全漏洞。

多轮视觉故事通过有序图像组传递仇恨叙事，单张图像可能看似无害，但整体含义可被识别。前沿 T2I 模型利用对话生成一致性内容，降低了制作门槛。现有审核系统基于单图像或文本，无法捕捉跨图像的群体级语义，导致召回率低。

对 T2I 产品及其安全团队有直接影响：需增强对多轮生成内容的审核机制，特别是跨图像语义分析。现有安全模型在群体级仇恨检测上表现不佳，可能面临合规风险。产品需开发多模态、交互感知的内容监控方案，并考虑用户提供首图时的检测策略。

• 开发多轮视觉故事的安全监控功能，在生成过程中实时分析图像序列的群体级语义，检测仇恨意图。
• 提供面向企业与内容平台的群体级内容审核 API，支持多图像组合的仇恨叙事识别，弥补现有单图审核的不足。
• 在 T2I 产品中内置生成前提示风险检查，对可能构成仇恨故事的多轮提示进行拦截或警告。
• 建立仇恨视觉故事反事实数据集，用于训练和评估下一代安全模型，提升群体级语义理解能力。

• 该研究检测的仇恨故事是否包含特定类型的仇恨主题，是否涵盖种族、宗教、性别等多个维度？
• 交互感知监控器在真实多轮对话中的延迟和用户体验影响如何？
• 现有审核系统对生成后故事的反事实集是否有效，具体误报率是多少？
• HatefulStoryPrompts 数据集是否公开可用？