音频大语言模型中基于韵律的越狱攻击：一项受控研究与机制分析

研究提出PJ-Break协议和AdvAudio-Prosody基准，在固定文本下改变六种韵律预设（恐慌、愤怒、快速等），测试Qwen2-Audio和GPT-4o音频模型。结果显示，恐慌（38/95）、愤怒（35/95）、快速（32/95）预设的越狱成功率远超中性（4/95），且情感语音（44/95）比情感文本（11/95）更有效。结论是语音传递方式应视为音频LLM安全评估的一阶因素。

此前认为越狱主要依赖文本改写或风格转移，该研究首次证明仅改变语音的韵律特征（相同文本）即可显著提升攻击成功率，提示现有的文本安全策略在音频模型中存在系统性漏洞。

音频LLM在端到端语音交互中，韵律特征（如语速、情绪基调）可能绕过文本级别的安全对齐机制，直接触发模型生成不安全内容。情感语音的呈现方式相比情感文本更能引发模型输出违规响应。

当前基于文本内容过滤的安全方案无法防御韵律驱动的攻击，产品团队需在语音输入管道中增加韵律特征检测层，否则用户可通过自然说话节奏（如恐慌语速）绕过安全护栏，导致违规内容生成。

• 在语音预处理模块中集成韵律异常检测模型，实时识别高攻击倾向的语速、语调模式
• 构建包含多种韵律变体的对抗性测试集，用于定期评估音频模型的安全防线韧性
• 调整模型训练数据，加入与中性文本匹配的高风险韵律样本以增强鲁棒性

• 该攻击是否适用于更大规模或不同架构的音频模型（如SALMONN、AnyGPT）？
• 防御机制（如输入湮灭、韵律正则化）在真实部署环境中对用户体验的副作用如何？
• 攻击者能否通过少样本学习自动生成有效韵律，而不依赖手动预设？