Omni-Diffusion-Distill：统一多模态扩散大语言模型的少步蒸馏

一项名为 Omni-Diffusion-Distill 的两阶段蒸馏框架被提出，用于统一多模态扩散大语言模型。该方法在离散 token 空间对齐图像与文本的生成和理解蒸馏，第一阶段通过回放缓存的教师轨迹让学生模型跳过解码步，第二阶段在学生自身 rollout 的中间状态上精调。图像生成解码步数从 128 降至 8，多模态理解从 512 降至 64，报告了 18.2 倍和 21.2 倍的加速。

此前少步蒸馏多只针对图像生成或文本生成单一方向，统一多模态扩散大语言模型同时承担生成与理解时缺乏压缩方案。该工作首次在离散 token 空间同时对齐两类任务的蒸馏，使单一学生模型能保留两种能力并大幅降低解码步数。

扩散大语言模型依赖数十到数百次前向迭代解码，推理成本高。该框架先用缓存的教师轨迹训练学生跳过中间解码步，再让学生在自己的生成路径上对中间状态做精修，缩小训练与推理分布差距。针对并行文本解码的重复问题加入成对碰撞惩罚，针对图像生成的熵塌缩加入熵匹配引导。

图像生成解码步数降至 8、理解降至 64，意味着统一多模态模型的推理延迟和算力成本可能显著下降，对需要在同一模型中同时提供生图与理解能力的应用，部署门槛和单位请求成本有望降低，端侧或实时场景的可行性提升。

• 在已有统一多模态扩散模型上复现该两阶段蒸馏流程，评估自身业务场景中的加速与质量损失比。
• 将少步蒸馏后的学生模型用于对延迟敏感的实时图像生成或图文理解产品原型。
• 针对并行文本解码的重复问题，测试成对碰撞惩罚在自有文本生成任务中的效果。
• 评估熵匹配引导能否缓解生图蒸馏中的模式塌缩，作为质量保障组件引入。

• 摘要未给出 18.2 倍和 21.2 倍加速对应的具体基线、硬件与质量指标。
• 两阶段蒸馏是否适用于非扩散架构或非离散 token 空间的多模态模型尚不明确。
• 蒸馏后学生模型在生成与理解之间是否存在能力权衡，证据未说明。
• 该框架的完整论文与开源实现是否可用、能否复现，暂未确认。