- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年9月30日 12:20
- 状态
- 单一信源
发生了什么
arXiv 论文提出 GroundingPI,一个 4B 的 grounding 基础模型,以量化坐标形式在共享词表中生成点和框。训练结合多模态与空间预训练、监督微调及 GRPO 强化学习,使用公开数据集和专用数据引擎。在 34 项 grounding 基准、44 个基线上平均 73.68%,高于更大的 GPT-6 Astra 的 71.54%,并作为视觉骨干提升机器人操作与自动驾驶任务表现。
为什么重要
此前 VLA 与世界动作模型多直接复用通用视觉语言或视频生成骨干,在杂乱场景和微小目标的精确定位上受限。GroundingPI 用更小参数在多项定位基准上超过更大模型,并作为视觉骨干在机器人操作和自动驾驶上带来可测提升,说明专一定位骨干可能替代通用骨干。
底层逻辑
该模型把点和框编码为共享词表中的量化坐标,使定位与语言生成统一在一个自回归框架内。训练分三阶段:多模态与空间预训练、监督微调、GRPO 强化学习,配合公开数据集和专用数据引擎提供监督。论文还报告随预训练规模与数据配比扩大,下游操作与驾驶任务持续改善,暗示定位能力可迁移到具身与驾驶场景。
产品与商业机会
对机器人研发和自动驾驶团队,可将视觉感知骨干替换为定位更强的 4B 模型,在不扩大参数量的前提下提升杂乱场景和小目标识别。RoboCasa-GR1 上仅用 50% 演示数据即超过基线用 75% 的效果,意味着可降低数据采集与标注成本。nuScenes 开环 L2 误差 0.296 米可作为感知骨干选型的参考指标。
- 在机器人操作流水线中,把现有通用 VLM 骨干替换为 GroundingPI,验证抓取与杂乱场景定位成功率。
- 利用其数据效率,缩减演示数据采集预算,优先覆盖长尾小目标与遮挡场景。
- 将点与框的量化坐标输出接入闭环控制模块,测试实时性与控制频率是否满足要求。
- 在自动驾驶感知栈中以 GroundingPI 作为视觉骨干,复现 0.296 米开环 L2 误差并对比现有方案。
仍待确认
- GroundingPI 的推理延迟与吞吐是否满足闭环控制的实时要求,证据未给出具体数值。
- 与 GPT-6 Astra 等基线的对比是否在完全相同的评测条件下完成,证据未说明细节。
- 作为视觉骨干时,与现有 VLA 或 WAM 结合的具体接口与微调成本尚未说明。
- 专用数据引擎的构建方式与可复现性未在证据中披露。