RxBrain：具备联合语言-视觉推理与想象力的具身认知基础模型

arXiv论文提出RxBrain（Hy-Embodied-RxBrain），一种具身认知基础模型，联合语言-视觉推理与想象力。与仅强调场景理解或未来状态预测的模型不同，RxBrain将具身规划表示为单一序列，语言提供任务分解、约束等抽象结构，视觉想象力通过世界状态预测和子目标规划将结构落地。模型采用统一的多模态Mixture-of-Transformers架构，同时支持语言、图像、视频的理解与生成。研究者构建自动管道将具身视频转为文本-视觉规划监督，并推出RxBrain-Bench评估规划表示能力。实验表明该模型能生成耦合文本推理与世界状态预测的计划。

此前具身认知模型多分离语言理解与视觉预测，RxBrain在单一规划序列中融合两者，语言提供抽象规划逻辑，视觉想象力落地物理状态，使模型能同时进行任务分解和状态预测，更贴近具身智能体的真实需求。

语言负责计划的高层结构（任务分解、约束、时序、决策逻辑），视觉想象力通过世界状态预测和联合子目标规划将抽象结构映射到物理状态，每个规划步对应中间/最终状态。统一的多模态MoE架构在一个模型内完成理解和生成，避免多模型拼接带来的信息损失。

若验证有效，可简化机器人、虚拟助手等具身产品的规划系统：单个模型替代传统“感知-规划-执行”流水线中的多个模块，降低集成复杂度。但目前仅论文阶段，距产品化尚远。

• 基于RxBrain的自动标注管道，将现有机器人操作视频转化为文本-视觉规划训练数据，降低数据获取成本
• 利用RxBrain-Bench评估企业内部具身规划模型的语言与视觉耦合能力，发现改进方向
• 探索将RxBrain架构用于具身对话系统，使代理在执行自然语言指令时同步生成物理状态预期

• RxBrain的训练数据规模和计算资源需求未披露，小团队复现难度未知
• 实际机器人部署中，模型规划到执行的成功率、实时性是否优于现有方法？
• RxBrain是否开源？社区能否直接使用或微调其权重？