选择性倾听：机制引导控制大型音频语言模型中的音频影响

研究者提出 ICAP-Gate，对大型音频语言模型施加机制引导的任务条件化控制，作用于对干预敏感的后期音频通路。在四个模型、两个推理基准、环境声与自然语音干扰的 16 组全量评测中，ICAP-Gate 的影响率与答案翻转率点估计均低于无门控推理，并在四个模型中保持与无门控相当的 ASR 表现。

此前多模态推理中，与任务无关的音频会改变文本推理决策，而聚合准确率会因音频引发的修复与损害相互抵消而掩盖这一漂移。该工作用配对漂移分析把这类隐性影响显性化，并给出可作用于具体模型通路的控制手段，而非仅靠提示或固定抑制。

证据显示，不同架构存在特定的后期音频通路，这些通路对干预敏感，是可操作的控制点。ICAP-Gate 依据任务条件判断是否需要音频，仅在无关时施加机制引导控制；固定抑制会破坏显式需要音频的任务（如 ASR），而任务条件化控制可保留该通路。

对语音助手、多模态客服、音频问答等产品，这意味着可以在不需要音频时降低音频对文本推理的干扰，同时不牺牲 ASR 等显式音频任务。评测上需引入配对漂移指标，避免聚合准确率掩盖单侧损害；控制策略应针对具体模型架构的通路而非统一抑制。

• 在多模态推理服务中加入任务条件化的音频门控，仅在指令明确要求音频时放行音频通路。
• 将影响率与答案翻转率纳入上线前评测，替代单一聚合准确率作为稳定性指标。
• 针对自研 LALM 定位后期音频通路，构建按架构定制的可干预控制点清单。
• 用单次生成的门控方案替代多采样 Self-Consistency，以降低推理延迟与成本。

• ICAP-Gate 在未纳入评测的其他 LALM 架构上是否同样有效。
• 配对漂移点估计的置信区间与统计显著性尚未给出。
• 门控机制在真实生产流量与长对话场景下的稳定性未知。
• 对显式音频需求指令的判定错误会带来何种失败模式尚不明确。