Uni-LaDiR：用潜在扩散统一多模态推理

Uni-LaDiR 提出一种统一潜在扩散推理框架，把来自不同模态的教师推理步骤映射为共享空间中的 thought tokens，再用扩散模型按上下文预测下一组 thought tokens。编码器与扩散推理器以共享权重联合训练。在 11 个 VLM 基准和 2 个 VLA 套件上，其相对最强基线在视觉推理任务上提升 7.3%，在机器人操作任务上提升 6.1%。

此前的多模态推理多把各模态的 thought tokens 直接拼接在同一序列中，模型需自行弥合表示差异。该工作改为在共享潜在空间中生成推理块，为多模态推理和机器人操作提供了一种统一表示与生成路径，并报告了跨 11 个 VLM 基准与 2 个 VLA 套件的相对提升。

统一编码器把不同模态的教师推理步骤编码为共享 thought tokens，训练目标是保留后续推理步骤与最终答案或动作所需信息。由于同一上下文可对应多个有效下一步，作者用扩散模型预测下一块 thought tokens，而非单一确定性输出。编码器与扩散推理器共享权重联合训练，使 tokens 既对任务有用又可从上下文预测；推理时不再依赖教师观测。

对研发而言，该思路意味着多模态 agent 的中间推理可放在共享潜在空间中生成，而不必按模态拼接文本式思维链，可能简化跨模态对齐流程。若该增益可复现，机器人与视觉推理产品可复用同一推理框架，减少为不同模态单独设计推理模块的成本，但需验证实际延迟与部署代价。

• 在视觉问答或多模态客服场景中，评估用共享潜在 thought tokens 替代文本式思维链的可行性与响应延迟。
• 面向机器人操作，测试扩散式 thought token 预测在动作序列生成中的稳定性与安全边界。
• 复现该论文在公开 VLM 基准上的 7.3% 相对增益，确认结论是否依赖特定教师模型。
• 探索将该框架接入现有 agent 管线，作为跨模态推理层而不改动底层感知模块。

• 共享潜在空间中 thought tokens 的可解释性如何，是否可被人工检查或干预？
• 7.3% 和 6.1% 的相对增益具体对应哪些基线与数据集划分？
• 扩散式推理相比自回归思维链在推理延迟和算力开销上是增加还是减少？
• 推理时不再使用教师观测后，在分布外任务上的泛化表现是否稳定？