基础模型能否识别声音来源？音频语言模型与传统分类器的分层基准

一项基准研究评估了11种音频分类方法，包括4个Gemini模型、Kimi-Audio等，在包含2242个音频片段、23个细粒度类别的封闭集声音源识别任务上的表现。最佳模型Gemini-3.1-Pro-Preview达到85.6%的类别级F1和56.7%的细粒度F1；Kimi-Audio为67.5%和32.9%，且有1.6%样本未能回答。SSLAM和CLAP在类别级上匹敌或超越最佳封闭集模型，但细粒度表现落后。分析显示，回答错误时模型以92%至100%的信心陈述。

该研究首次对多种音频语言模型与传统分类器进行统一基准比较，揭示了不同方法在任务理解上的本质差异。结果显示，零样本模型在类别级可以达到甚至超过封闭集模型，但细粒度识别仍有显著差距，这为音频AI产品的模型选型提供了实证依据，并指出模型过度自信的问题值得关注。

研究采用分层评估框架，根据任务接收方式和输出评分方式将方法分为四层，避免直接比较的不公平。通过分析Gemini模型的思维链，发现响应长度与准确性无关，且“整体判断优于详细分析”的表象实为难度混淆。错误回答常伴随高置信度，说明模型存在校准问题，这与模型架构、训练目标和推理机制相关。

对音频产品团队，此基准可指导选择适合具体场景的模型：若需类别级识别，零样本模型（如CLAP）可低成本替代封闭集模型；若需细粒度识别，需依赖封闭集模型，但需注意其置信度不可靠。产品需设计人机协同或降级策略，以应对模型答错时的高置信度误导。

• 在音频分类产品中，结合零样本模型进行快速类别筛选，再将高置信度但细粒度不确定的样本转人工或更精确模型处理。
• 构建置信度校准功能，对模型输出进行不确定性评估，避免用户被高置信度错误误导。
• 针对细粒度识别短板，收集更具区分性的音频特征或引入边缘案例训练数据，优化模型在该层级的性能。
• 基于该基准建立自动化评测流水线，持续跟踪模型更新在类别级和细粒度上的表现。

• Gemini-3.1-Pro-Preview模型的具体参数和训练数据未公开，其表现的可复现性有待验证。
• Kimi-Audio未能回答1.6%样本的具体原因（如输入限制或生成错误）尚不明确，影响其可靠性评估。
• SSLAM和CLAP在细粒度表现落后的具体机制未在摘要中详细说明，可能需要参考全文。
• 该基准对真实场景中开放集或噪声环境下的泛化性能未提供证据。