面向多语言 LLM 语音识别的语言专属多教师同策略蒸馏方法

arXiv 论文提出 Language-Specialized Multi-Teacher On-Policy Distillation (LS-MOPD) 方法，用于多语言 LLM 语音识别。该方法先用强化学习独立优化语言专属教师模型，再通过语言路由和 token 级多教师蒸馏，将知识整合到通用多语言学生模型中，以减少跨语言优化冲突。在普通话、粤语、英语等基准上，LS-MOPD 显著优于 RL 基线，并超过最佳 RL 教师的性能上限。

此前多语言 ASR 联合建模存在语言间优化冲突，难以实现语言专属优化。LS-MOPD 通过解耦语言专属学习和多语言整合，首次在多语言 ASR 中超越所有教师模型的性能包络，为多语言语音产品提供了新路径。

语言专属教师先独立通过强化学习优化，再由通用学生通过语言路由和 token 级多教师蒸馏吸收知识，避免直接跨语言优化冲突。静态和动态两种声学前缀配置用于探索师生前缀一致性对蒸馏效果的影响，从而提升多语言泛化能力。

对多语言语音产品，该技术可提升各语言识别准确率，减少语种间干扰，尤其对资源较少的方言和粤语可能受益。但需新增多教师训练流程，增加研发成本，蒸馏和路由机制可能增加推理复杂度。

• 将 LS-MOPD 嵌入多语言 ASR 服务，提升各语种识别准确率。
• 针对小语种或方言场景，训练专属教师模型后蒸馏到通用模型，避免重复训练。
• 研发面向低资源语言的定制 ASR 解决方案，利用多教师知识整合降低标注需求。

• 论文是否包含真实语音测试或用户场景评估？
• 静态与动态前缀配置在哪些条件下表现更优？
• 与现有蒸馏方法相比，训练时间增加多少？
• 该方法对多语言增量学习是否有效？