重建、练习、落地真实：面向具身智能体的引导式自我改进

一篇 arXiv 论文提出 RPG 框架，在不更新模型权重的前提下让机器人执行系统自主改进：先从离线数据集中识别操作能力，在仿真中构造练习任务，再借助执行反馈、模拟器特权状态和数据集视频诊断失败，生成或修正可复用的符号技能并改写系统提示。跨任务评估用于筛选候选改动。在 22 项操作任务的留出初始化上，成功率从首轮练习后的 28.6% 升至 15 轮后的 95.0%，高于 ASPIRE 的 75.5% 和 CaP-Agent0（GPT-6 Astra Pro）的 60.0%；经统一标定与硬件适配后，冻结系统在 3 项任务各 10 次共 30 次物理试验中全部成功。

此前提升机器人能力通常依赖人工设计技能、奖励与感知控制集成，或通过更新模型权重再训练。该工作报告了不改权重、以仿真练习加执行反馈迭代技能库与提示词的路径，并在留出任务初始化和真机试验上给出数值结果，同时将 ASPIRE、CaP-Agent0 作为对照基线。

机制是把离线数据中的能力转成仿真练习任务，用仿真特权状态与视频定位失败原因；诊断结果被写成可复用的符号技能，并用于修正系统提示。候选改动先经跨任务评估再合并保留，形成闭环迭代；测试时由多模态 LLM 依据提示词和技能库调用感知与机器人控制，从而绕开参数更新。

对机器人产品团队而言，能力迭代可能从重训练转向维护数据、仿真练习环境与技能库，降低对权重更新的依赖；工程重心会转向失败诊断、跨任务回归评估和硬件标定流程。多模态 LLM 作为协调层也意味着提示词与技能库成为需要版本管理的产品资产。

• 搭建面向机器人技能库的版本管理与跨任务回归评估工具，记录每轮候选改动的保留与回退依据。
• 开发从离线操作数据集自动构造仿真练习任务的流水线，降低人工设计练习场景的成本。
• 提供统一的标定与硬件适配流程，使冻结系统在不同机器上复用同一技能库和提示词。
• 将失败诊断结果结构化，输出可复用的符号技能模板，供多模态 LLM 调用与人工审阅。

• RPG 在 22 项任务之外的新任务、新物体和新环境中的成功率是否同样保持？
• 15 轮练习的具体耗时、算力与仿真资源成本未被披露。
• 30 次真机试验只覆盖 3 项任务，长期运行中的稳定性和安全性表现未知。
• 技能库与提示词的规模增长是否会带来冲突、退化或维护负担，证据未说明。