WOVEN：将视觉世界建模编织进多模态大模型

研究者提出 WOVEN，一个面向视觉状态转移推理的训练数据源与基准，按场景、动作和推理类型组织监督信号，数据来自视频预训练生成模型的真实 rollout，共 36,076 条样本，覆盖 20 种场景、5 种动作和 8 种推理类型。团队先评测 38 个前沿 MLLM，发现即使最强模型也远低于人类水平，且缺陷跨模型家族并随规模延续；随后用 WOVEN 训练多个规模的 MLLM。

此前基准只分别记录空间、具身、物理与时间推理的缺陷，缺少跨场景、动作和推理操作的可控比较，也未验证这些缺陷是否共享同一训练原语。WOVEN 把这四类失败统一归因到视觉状态转移推理，并给出可复用的训练数据与系统性方法，使缺陷诊断和干预首次落在同一坐标上。

假设是空间、具身、物理和时间推理的失败源于共同的视觉状态转移推理能力不足。WOVEN 按场景、动作、推理类型组织转移监督，用视频预训练生成模型产生多样化 rollout，从而让不同模型从不同监督来源学习同一可迁移能力，并在多个下游任务上复用。

若结论成立，团队可在自有数据之外引入 WOVEN 类转移监督，用约 2,000 条子集即提升 22 个外部基准中的多数，并用其替换任务自有训练数据的 30%–50% 而保持精度，从而降低数据采集与标注成本，加快多模态推理能力的迭代。

• 在小规模内部评测中复现 WOVEN 的 2,000 条子集训练方案，验证自有模型是否出现同等迁移提升。
• 针对机器人、自动驾驶等强空间时序场景，按场景与动作类型筛选 WOVEN 数据，构建领域特化训练子集。
• 评估用 WOVEN 数据替换现有任务 30%–50% 自有训练数据的可行性，测算标注成本下降幅度。
• 将视觉状态转移推理设为模型上线前的常规评测维度，跟踪跨模型家族和规模的缺陷变化。

• WOVEN 的具体训练配方在证据中被截断，完整方法尚未确认。
• 提升是否在真实业务数据上同样成立，还是主要来自基准分布匹配，尚未验证。
• 生成模型产生的 rollout 是否存在物理或因果偏差，对训练结果的污染程度不明。
• 替换 30%–50% 自有数据后，在安全敏感或长尾任务上的鲁棒性是否保持，缺少证据。