当教师误导：感知虚假信号的策略内蒸馏

arXiv 发布论文《When Teachers Mislead: Spurious-Signal-Aware On-Policy Distillation》，提出 SA-OPD 框架，用于识别并过滤蒸馏过程中低输入依赖、高优化分歧的虚假信号。实验显示，在 LLM 和 VLM 设置下，SA-OPD 优于 Vanilla OPD 等选择性方法，并确立输入依赖作为 OPD 监督选择的关键维度。

此前选择性 OPD 方法仅依据置信度、信息量或可学习性筛选信号，忽视了模型基于语言先验或格式模板产生的虚假监督。SA-OPD 首次引入输入依赖性作为筛选维度，能过滤此类误导信号，提升蒸馏效率与模型性能，为 LLM 蒸馏提供了新思路。

语言模型在生成 token 时，其判断可能受与输入无关的语言先验、格式惯例或刻板推理模板驱动，而非任务相关证据。SA-OPD 通过轻量代理估计 token 级监督是否真正依赖输入，并结合蒸馏分歧程度，仅过滤同时满足低输入依赖和高分歧的 token，从而去除高影响虚假更新，实现细粒度优化。

对依赖模型蒸馏来压缩或迁移能力的团队，SA-OPD 可直接提升蒸馏后模型质量，降低推理成本。在 LLM 或 VLM 产品中，应用该方法可能减少因教师模型误导导致的错误，提升用户对话或视觉理解体验，但具体量化影响需实验验证。

• 在模型压缩流程中集成 SA-OPD 框架，评估其对蒸馏后模型准确率的提升幅度。
• 将 SA-OPD 用于多模态模型蒸馏，观察视觉语言任务上的效果，探索产品适用场景。
• 开发基于输入依赖性的监控工具，帮助调试蒸馏过程中教师信号的可靠性。

• SA-OPD 在不同规模模型和不同任务上的泛化表现如何？
• 输入依赖性代理的计算开销是否会影响实时蒸馏流程？
• 方法对极端分布偏移或对抗性输入是否鲁棒？
• 是否已与特定商业蒸馏工具或框架集成，可供实际使用？