缺席之声：音频语言嵌入模型难以处理否定

音频语言嵌入模型（如CLAP）在标准评估中仅测试匹配存在声音，忽略了否定理解。研究发现这些模型无法区分肯定与否定描述，将两者映射到几乎相同的表示。引入NegEval-Audio框架后，在AudioCaps和Clotho数据集上，否定检索与多选否定任务性能急剧下降，MCQ准确率甚至低于随机水平，即使多模态大模型嵌入也失败。无训练的操控方法仅对MCQ有边际改善，表明肯定偏差是表示几何学的根本缺陷。

此前音频嵌入模型评估仅关注肯定匹配，掩盖了否定理解的盲区。该研究首次系统暴露了这一根本缺陷，意味着依赖这些模型的应用（如音频检索、多模态理解）在用户输入否定表述时会给出错误结果，影响可靠性。

模型将肯定和否定描述编码为非常相似的向量，因为训练数据缺少否定样本，导致表示几何学中缺乏区分否定词的方向。MCQ-Neg任务中模型准确率低于随机，表明其并非随机猜测而是系统地倾向于错误匹配。

使用CLAP等音频嵌入模型的产品在处理否定查询（如“没有雨声”）时会产生错误匹配，影响搜索准确率和用户体验。修复需要重新设计训练目标或引入否定感知数据，增加研发成本。

• 开发开源的否定感知训练数据集，作为现有音频描述数据集的扩展。
• 设计否定检测预处理模块，对用户输入中否定词进行标记并调整嵌入。
• 提供“否定感知”作为音频嵌入模型的差异化卖点，应用于语言交互式音频搜索。

• 训练集加入否定描述后能否彻底消除肯定偏差？
• 该缺陷是否在除CLAP以外的其他音频-语言模型中同样存在？
• 否定感知训练是否会损害肯定场景下的检索精度？
• 当前方法能否泛化到自然语言中更复杂的否定结构？