iARCS：面向可控 3D 场景生成的迭代智能体强化学习

arXiv AI 发布论文，提出 iARCS，一种迭代智能体强化学习框架，用于可控 3D 场景生成。该框架通过两阶段策略（通用奖励预训练与任务特定微调）适配预训练场景生成器，满足自然语言任务要求。实验表明在可步行性、可达性、间隙等约束任务上提升了约束保真度，同时保持场景多样性，且生成的数据能改进基础生成器。

既有 3D 生成器常优化感知真实感，却难以保证任务关键的功能约束（如可访问性、可穿越性），限制了合成数据在下游训练中的价值。iARCS 直接针对此类约束进行优化，且生成数据可反哺基础生成器，提升了合成数据作为训练资源的实用性。

iARCS 采用两阶段方法：先通用奖励预训练增强物理合理性和布局质量，再根据训练反馈，用大语言模型生成奖励程序进行任务特定微调，通过迭代优化实现对自然语言约束的满足。该机制将强化学习与语言模型结合，使生成过程朝向任务相关约束自适应调整。

对依赖合成 3D 数据的计算机视觉与具身 AI 产品，iARCS 能提供更符合任务约束的训练数据，减少因功能约束不满足导致的数据清洗或二次处理成本，可能提升下游模型在真实场景中的表现，其数据反馈机制也支持生成器的持续改进。

• 将 iARCS 集成到合成数据生成管线，为具身 AI 训练提供可穿越、可访问的 3D 场景，提升仿真到真实的迁移效果。
• 基于 iARCS 的可控约束优化能力，面向特定行业（如室内设计、游戏）提供自定义约束的场景生成工具。
• 利用 iARCS 生成数据反馈机制，持续迭代现有场景生成器，形成数据质量提升的飞轮。

• iARCS 在复杂多约束场景下的生成速度与资源消耗尚未披露。
• 论文实验规模有限，未说明在不同类型场景（如户外、动态场景）中的泛化表现。
• 生成数据改进基础生成器的具体机制和幅度未量化。