掩码扩散语言模型作为强且可控的文本世界模型用于代理强化学习

研究者提出掩码扩散语言模型（MDLM）作为基于文本的世界模型用于强化学习代理。MDLM通过双向锚感知去噪生成状态-动作轨迹，在连贯性、基础性和多样性上优于参数大4倍的自回归模型，推理延迟相当。在三种未见环境中，基于GRPO的零样本迁移训练获得最高47%的绝对收益。

自回归世界模型因从左到右的偏差无法对全局状态锚点（如工具模式、先前回合）进行条件控制。MDLM通过双向去噪克服这一限制，以更小的参数量实现更强的可控性和多样性，可动态生成训练场景，而不依赖固定手工环境。

MDLM使用掩码扩散过程，在去噪时双向关注初始状态、任务上下文、工具模式等“锚点”，从而生成全局一致的轨迹。该机制避免了自回归模型的单向路径依赖，并支持细粒度的导向（steering），提升样本多样性和基础性。

RL开发中手工环境随模型性能提升而失效，MDLM世界模型能自动产出多样、可控的训练数据，减少环境创建成本。其零样本迁移能力可加速代理在不同任务间的泛化，降低对特定环境调优的依赖。

• 开发基于MDLM的自动训练场景生成器，为RL代理提供无限多样化的任务和工具配置。
• 将MDLM作为插件世界模型集成到现有RL框架（如OpenAI Gym、Ray RLlib）中，提升代理迁移性能。
• 利用MDLM的导向机制构建可控评估套件，按需生成特定难度或工具组合的测试轨迹。

• MDLM在更复杂、高维度的现实环境（如机器人操作）中的世界模型质量如何？
• GRPO训练框架的确定性状态检查是否引入额外计算开销？在更大规模部署时是否可扩展？
• 与同等参数量自回归模型相比，MDLM的训练和推理总成本是否有优势？
• MDLM的导向（steering）机制在代理策略学习中的实际增益是否稳定？