Intern Lumina U2：面向全视觉理解与图像生成的多码本扩散大语言模型

该论文提出 Intern Lumina U2，称其为首个在完全离散空间内表示多码本视觉 token 的扩散语言模型。每个视觉位置由来自互补码本的一组码表示，输入端在各位置拼接嵌入，输出端由轻量多码本自回归头依次预测码，扩散主干并行处理所有位置。模型基于 AToken 的统一 4D 表示，在单一主干内支持图像、视频和 3D 输入。

此前离散方案多用单码本视觉分词器，与文本建模对齐但表示能力有限；连续与混合方案视觉表示更丰富，却在异构空间用不同目标训练，可能造成模态间优化冲突。该工作尝试在共享优化空间内兼顾高容量视觉表示与文本兼容性，并统一图像、视频与 3D 输入。

机制上，多码本把每个视觉位置拆成互补码本的多个码，以提升表示容量，同时保持全离散、与文本 token 一致的形式；输出端由轻量自回归头在位置内顺序预测各码，扩散主干负责跨位置并行去噪。这样文本与视觉共享同一离散建模框架，避免异构表示空间带来的目标不一致。

若结论成立，单一主干即可覆盖图像、视频、3D 的理解与生成，可能减少多模态产品中分别维护编码器与生成模型的复杂度。多码本自回归头与扩散主干的分工，也为推理侧并行化提供空间，但证据未给出实际延迟、成本或评测数字。

• 评估将图像编辑与视频理解合并到同一模型链路，替代当前多个专用模型拼接的方案。
• 在自有数据上复现多码本离散表示，对比单码本方案在细粒度视觉任务上的容量上限。
• 关注 Ascend 与 NVIDIA 双栈训练推理系统的公开细节，评估其对国产算力部署的适用性。
• 基于 AToken 的 4D 表示，探索 3D 内容生成与编辑的产品化场景。

• 论文所称在统一模型中领先的视觉理解、图像生成与图像编辑性能，具体评测基准与数值是多少？
• 多码本自回归头顺序预测是否会显著增加推理延迟，与单码本方案的实测差距如何？
• 摘要中 Ascend 与 NVIDIA 上的全栈系统细节被截断，其训练规模与推理成本未披露。
• AToken 的 4D 统一表示具体定义及其对 3D 输入质量的影响尚不明确。