针对LLM后训练的蒸馏强化学习

该论文提出蒸馏强化学习（Distilled RL）方法，在LLM后训练中将教师监督融入强化学习目标，实现细粒度引导和选择性知识迁移。通过反向重要性采样带裁剪、负样本重置和序列级几何归一化三个组件，在同族和跨族蒸馏实验中pass@1和pass@k均显著优于标准强化学习和同策略蒸馏。

现有强化学习依赖粗粒度结果监督，难以分配信用和获取新知识；同策略蒸馏受教师相似性困境限制。Distilled RL通过整合教师监督提供细粒度引导，克服无条件模仿问题，首次实现跨族蒸馏的显著性能提升。

Distilled RL在强化学习目标中引入教师监督，通过反向重要性采样带裁剪防止极端更新，负样本重置机制丢弃低质量样本，序列级几何归一化均衡不同序列的梯度贡献，从而选择性传递教师知识而非无条件模仿。

该方法可直接用于LLM后训练流程，尤其适合跨模型家族的知识迁移，可能降低训练所需数据和计算量，提升推理能力及对齐效果，减少对昂贵人工反馈的依赖。

• 在现有LLM微调管道中集成Distilled RL作为后训练模块，替换标准RL或OPD
• 基于负样本重置开发自动筛选低质量训练数据的功能
• 探索将Distilled RL用于不同架构模型间的知识蒸馏产品化服务

• Distilled RL在真实商业场景（如对话系统、代码生成）中的计算开销和稳定性能否复现论文结果？
• 该方法与监督微调（SFT）等其他后训练技术的组合效果如何？
• 教师模型的选择策略对跨族蒸馏效果的具体影响？
• 是否有开源工具或API支持直接调用Distilled RL？