GroundingPI

论文基本信息

• 题目：GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives
• 作者：Qize Yu、Lianrui Fan、Boyu Chen、Jiaqi Liang、Xini Ding、Yue Chen 等 26 位作者
• 机构：小鹏汽车、北京大学、香港大学、加州大学伯克利分校、普林斯顿大学、新加坡国立大学、清华大学、香港科技大学（广州）
• arXiv：2609.39601v1，2026 年 9 月 30 日提交；类别 cs.CV、cs.AI、cs.LG、cs.RO
• Daily Papers：Hugging Face 页面 2026 年 10 月 13 日榜首
• 模型规模：论文简称“4B”，包含视觉编码器和两套未绑定词表矩阵后的精确总量约为 4.844B 参数
• 链接：Hugging Face 详情页；arXiv 摘要页；arXiv HTML 全文；arXiv PDF 全文；项目主页；代码仓库；模型权重

一句话结论

GroundingPI 的关键判断是：具身系统不能指望稀缺的动作示范同时补齐“看见目标”和“学会控制”两件事，应先把语言所指对象、细小部件、密集实例、文字和可交互位置变成基础模型的原生能力。论文用统一坐标 token、数据引擎、空间 SFT 与 GRPO 构建这一感知底座，并在固定动作头和训练预算的比较中观察到机器人泛化与动作数据效率提升；但驾驶实验仍是开放环，机器人结果只覆盖两个模拟基准，OCR 的催化机制和“System 1 感知底座 + System 2 推理模型”的分工仍属于待验证假设。

背景与动机

从“知道是什么”到“知道在哪里”

通用视觉语言模型擅长图像问答、描述和语义推理，却未必能稳定回答物理交互最需要的问题：指令中的对象究竟是哪一个，它在像素空间哪里，抓取应落在什么部位。桌面杂乱、目标很小、同类对象密集或发生遮挡时，语义正确但位置偏差几厘米，就可能让机器人抓空；道路场景中漏掉远处小目标，也可能让后续轨迹学习承担不必要的感知负担。

当前 Vision-Language-Action（VLA）与 World-Action Model（WAM）通常从通用 VLM 或视频生成模型继承视觉骨干。它们带来语义或动态先验，但预训练目标并不直接要求高精度、语言条件化的空间定位。已有方法会在动作训练阶段增加框预测、affordance、区域重建或空间辅助损失，但这把感知作为特定策略的附属任务，难以覆盖机器人、驾驶、GUI、OCR 和文档等多种定位需求。

GroundingPI 因而提出“perception before action”：先用大规模、多任务的精确定位训练出可复用感知基础，再让下游动作数据主要学习控制。论文想回答三个问题：统一的视觉 primitive 能否覆盖广泛定位任务；定位能力是否会迁移到驾驶和操作；哪些预训练数据真正帮助动作学习。

为什么选择点、框与坐标 token

点和边界框不等于完整的三维世界理解，却有三个工程优势：标注和自动构造相对成熟；可以统一目标检测、指代表达、GUI 点击、OCR 与轨迹；还能直接进入自回归语言模型词表。相比为每个任务增加独立检测头，统一协议让不同监督共享模型容量，也让视觉 primitive 可以和自然语言一起充当“物理提示”。

这个选择同样带来边界：二维点框不能直接表达深度、姿态、接触状态或可达性，自回归坐标还存在生成延迟。因此论文证明的是“精确二维 grounding 是有价值的感知底座”，而不是“二维 grounding 足以解决物理智能”。

核心贡献

1. 提出 GroundingPI：以 MoonViT-V2 视觉编码器和 Qwen3-4B 解码器组成约 4.844B 参数的自回归 grounding 基础模型，把类别、文本、协议符号和 1,000 个量化坐标 token 放进同一词表。
2. 建立覆盖检测、指代、pointing、OCR、GUI、文档布局和视觉示例提示的数据与训练体系；数据引擎以多教师字段融合、任务依赖验证和专家迭代扩大监督。
3. 采用“通用 VLM 预训练—空间 SFT—GRPO”路线。GRPO 奖励不仅看 IoU，还约束目标集合完整性、格式、数量、顺序、重复框和过大框；OCR 奖励联合文字相似度与几何匹配。
4. 在 11 类感知能力、34 个 benchmark、44 个 baseline 上报告 73.68% 平均分，并通过统一动作头的比较检验定位预训练向 nuScenes、RoboTwin 2.0 和 RoboCasa-GR1 的迁移。
5. 通过规模曲线和 leave-one-out 数据消融指出：密集 grounding 是跨驾驶与操作迁移的空间核心；OCR 与定位混合时可能强化局部精度，但其因果机制尚未被匹配实验确认。

方法：用一个生成协议统一多种精确感知

1. 架构与视觉输入

视觉侧采用 27 层 MoonViT-V2，语言侧采用 36 层全注意力 Qwen3-4B。相邻 2×2 个视觉特征先聚合，再经过两层 MLP 投影到 2,560 维语言空间。动态视觉预算最多接收 4,096 个 patch，经聚合后最多形成 1,024 个视觉 token。

模型总参数约 4.844B，其中视觉编码器约 401M、投影器约 27M、解码器主体约 3.634B，输入 embedding 与输出 head 各约 391M。二者不共享权重，所以“4B”是骨干家族的简写，并非完整多模态模型的精确参数量。

2. 坐标即词表

GroundingPI 在原词表中加入 <0> 到 <999> 共 1,000 个原子坐标 token，并加入类别分隔符。框用四个 token 表示归一化的 (x1, y1, x2, y2)，点用两个 token 表示 (x, y)；明确查询但不存在的类别输出 None。标签、OCR 转写和几何 payload 都由结构标记包裹，例如：

<|object_ref_start|>cup<|object_ref_end|>
<|box_start|><10><20><30><40><|box_end|><|im_end|>

同一协议可以承载八组任务：普通/密集检测、指代表达定位、object pointing、指代 pointing、GUI 点击、OCR、文档布局和 visual prompting。轨迹也沿用坐标词表，但使用米制范围映射和有时间顺序的点序列。

这种设计把定位转成标准 next-token prediction，不需要额外 IoU 回归头。代价是密集对象越多，响应越长，延迟仍随实例数上升。论文报告 GroundingPI 在 COCO 与 Dense200 上平均每框分别使用 7.6 与 5.1 个 token，远少于 SEED1.5-VL 的 148.8 与 74.5；但这是序列化效率比较，不是同硬件、同实现的端到端延迟比较。

3. 数据引擎：按字段验证，而不是盲信教师

训练数据结合公开数据集和专用数据引擎产生的标注。引擎汇集目标定位、分割、文字识别、GUI 元素和文档区域等多个教师，分别融合“语义是什么”和“几何在哪里”两个字段。冲突不会直接投票，而会触发裁剪观察或额外教师；对象—部件、单词—文本行等层级关系也不会被误当成重复实例。

每个字段被标记为接受、拒绝或未决。一个训练样本只有在其任务所需字段全部通过几何、语法、语义与覆盖检查后才会进入监督；“没有目标”也必须被验证，空预测本身不能证明目标不存在。已接受数据训练统一 grounding expert，expert 的新预测再进入同一验证循环，局部观察既可补标，也可推翻旧标签。

同一条已验证实例记录可以派生不同任务：类别与框生成检测，属性/关系生成 referring，实例区域生成 pointing，示例对应关系生成 visual prompting，文字与区域生成 OCR。这样复用视觉证据，但保留各任务自己的必需字段和覆盖条件。

4. 四阶段监督训练

监督训练累计暴露约 500.41B + 221.17B = 721.58B token，使用 128 张 GPU、BF16、AdamW 与打包序列：

Stage 4 对语义标签、点框坐标和协议标记统一使用交叉熵，没有额外 IoU regression loss。论文主文称 SFT 后期会冻结视觉侧做语言侧细化，附录给出的四个监督阶段配置则把 Stage 4 概括为全模块更新；阅读时应把前者理解为阶段内部调度，不能据简表误判整个 Stage 4 都冻结视觉模块。

5. GRPO：奖励完整、精确且可解析的输出

强化后训练每个图像—查询采样 8 个回答，只更新语言参数，视觉编码器与 projector 保持冻结。Grounding 的组内优势由两部分组成：

Advantage = 0.7 × Z(set completeness) + 0.3 × Z(strict localization)

set completeness 为每个参考目标寻找最大 IoU 预测，并验证类别，用软 precision/recall 衡量是否找全；strict localization 综合多阈值检测 F1、匹配框 IoU、输出格式、实例数量与顺序，并处罚重复框和过大框。OCR 则用 Hungarian 一对一匹配，把文字编辑相似度、区域 IoU、严格匹配和数量一致性合成奖励，同时兼容 word 与 line 两种粒度。

训练使用冻结 SFT checkpoint 作为参考策略，clip 系数 0.2、KL 权重 0.02、学习率 5×10^-7，在 256 张 GPU 上以 BF16 和 ZeRO-2 运行。相比只奖一个最终 IoU，这套设计明确告诉模型：找准一个目标但漏掉其余实例、输出无法解析或用巨框投机，都不是好回答。

从定位模型到物理智能

自动驾驶：把未来轨迹也写成坐标序列

在 nuScenes 上，模型读取当前前视图像和历史自车状态，预测未来 3 秒内每 0.5 秒一个、共 6 个 waypoint。米制坐标先映射到同一 <0>–<999> 词表，语言 head 自回归输出有序轨迹，再解码回车辆坐标系。

这种接口验证了统一坐标词表能从图像定位迁移到轨迹生成，但评估仅计算开放环 L2：预测轨迹不会真正驱动车辆并产生下一帧。因此它无法证明闭环稳定性、反应延迟或安全性。

机器人操作：固定动作专家，只替换感知底座

机器人侧采用 π-style flow matching。基础模型对图像和语言指令做一次前向，其多层中间特征经投影、重采样后注入 Action DiT 的对应 cross-attention 层；Action DiT 再结合机器人状态，把噪声 action chunk 去噪成连续控制。

比较覆盖四类基础模型：通用 VLM、视频生成骨干、grounding 模型和 embodied foundation model。在每个 benchmark 内，作者固定 Action DiT、动作表示、机器人数据、优化预算和推理过程，只替换预训练 foundation。这个控制比直接比较各家完整 VLA 更能定位“感知骨干带来了什么”，但不同骨干的参数量、架构和原始监督仍不完全匹配。

实验设计

感知评估

论文在 34 个 benchmark 上覆盖 11 类能力，指标按任务采用 F1mIoU、F1@Point 或准确率。GroundingPI 自身结果以 5 个随机种子、每个种子 2 次运行的 10 次均值报告；高成本本地 baseline 通常以 3 个种子各 1 次运行。数据集包括：

• 检测：COCO、LVIS、Dense200、VisDrone；
• 指代与 pointing：RefCOCO 系列、HumanRef、RoboSpatial、RefSpatial；
• GUI：ScreenSpot-V2、ScreenSpot-Pro、OSWorld-G；
• OCR 与布局：HierText、ICDAR2015、TotalText、SROIE、DocLayNet、M6Doc；
• 视觉示例提示：FSC147 及多个检测集。

各 baseline 的接口支持并不相同。论文把不支持、未报告和解析/提示不兼容分开标记，也提醒这些缺失项不能解释成模型没有内在能力。73.68% 的总体平均分适合衡量广度，却仍会受任务选择、归一方式和缺失项处理影响。

物理智能评估

• 驾驶：nuScenes 前视相机开放环轨迹，报告 1、2、3 秒及平均 L2 误差。
• RoboTwin 2.0：50 项双臂桌面操作；Full 测 ID，Clean2Random 从干净示范训练、在随机纹理、灯光、桌面高度、杂乱与语言下测场景鲁棒性。
• RoboCasa-GR1：无腕部相机的灵巧手操作；除 Full/ID 外，测试未见外观、未见对象类型和未见对象—容器组合三种 OOD。
• 数据效率：仅在 RoboCasa-GR1 ID 上使用 25%、50%、75%、100% 动作示范，其他条件保持不变。

主要实验结果

1. 感知广度强，但不是所有任务都领先

GroundingPI 在 object pointing 的 7 列中领先 6 列，但 VisDrone 小目标、TotalText、FSC147 visual prompting、高 IoU 边界和前沿 GUI 都仍有缺口。这说明统一协议确实产生了广度，却没有消除任务专用模型或超大模型的局部优势。

2. 驾驶提升存在，但幅度小且只在开放环成立

GroundingPI 在 nuScenes 的平均开放环 L2 为 0.296 米，优于 Qwen3-VL-4B 的 0.301 米和 RynnBrain 的 0.308 米。结果在各报告 horizon 上一致，但绝对差异有限。它支持“精确感知有助于轨迹回归”，不能推出真实道路闭环收益；论文也没有单独测路牌 OCR、端到端时延或异常场景安全性。

3. 机器人操作的 OOD 泛化更有说服力

在固定下游架构与训练协议下，GroundingPI 在 6 个机器人设置中有 5 个第一，包括全部 4 个 OOD 设置：

• RoboTwin 2.0 Full 成功率 66.20%；Clean2Random 为 17.60%，第二名 Rex-Omni 为 14.10%，相对提高约 24.8%。
• RoboCasa-GR1 Full 为 37.75%，略低于 RynnBrain 的 39.00%；但 GroundingPI 在未见外观、类型和容器组合三个 OOD split 都排名第一。

两类 OOD 的性质不同：RoboTwin 主要考查环境外观与场景变化，RoboCasa 更强调对象身份和组合泛化。GroundingPI 同时领先，说明细粒度空间监督可能比只在 ID 成功率上领先更有迁移价值。不过这些仍是模拟 benchmark，论文没有真实机器人部署结果。

4. 感知预训练减少了对动作示范的需求

在 RoboCasa-GR1 ID 中，GroundingPI 使用 50% 示范达到 28.75% 成功率，超过所有 baseline 使用 75% 示范的结果，其中后者最高为 RynnBrain 的 27.75%。它在 25%、50%、75% 三个减量设置均领先。

这是论文“先学感知、再学动作”最直接的证据：若 foundation 已能分辨目标、部件和关系，动作数据不必再从少量轨迹中重建基础视觉概念。但实验只覆盖一个操作基准，尚不能把这个比例推广到真实机器人、其他相机配置或新动作空间。

5. 规模与数据成分都影响迁移

当 grounding 预训练从 88.4B 增至 221B token，感知平均分与 RoboCasa ID/OOD 成功率同步上升，OOD 曲线和定位质量的关联尤其明显。相关变化提供了规模迁移证据，但同一训练轨迹上的共变不等于已隔离的因果关系。

数据组 leave-one-out 进一步显示：去掉 dense grounding，对驾驶和操作的伤害大于去掉 referring 或 robot pointing；去掉包含 OCR 的组，在机器人 ID/OOD 上分别下降 5.33 和 3.63 个百分点，是最大损失，但 OCR 单独训练又迁移较差。作者据此提出 OCR 像“感知催化剂”：字符锐利边界训练局部精度，转写把局部区域绑定到语义。不过这一解释仍是假说，因为 OCR 组还包含混合计划与其他互补信号，论文没有做严格等量、等算力干预。

如何理解这篇论文

它优化的是动作前的感知接口，而不是直接发明新控制器

GroundingPI 最重要的贡献不在 Action DiT 或轨迹头，而在把多类空间监督压到一个可复用 backbone 中。机器人比较刻意固定动作专家，正是为了说明同一个控制学习器在更好的感知表征上更容易训练。把结果解读为“GroundingPI 本身就是通用 VLA”会混淆 foundation 与 action policy 的边界。

统一 token 协议是模型接口，也是数据工程接口

点、框、文字和轨迹共享词表后，模型端可以继续沿用 next-token prediction，数据端也可从一条验证记录派生多个任务。真正的规模化难点因此从“为每项任务设计 head”转移到“验证语义、几何、覆盖和层级关系”。论文的数据引擎与 reward 设计，和模型架构同样关键。

结果支持专门化感知底座，但尚未证明双系统架构

作者将 GroundingPI 定位为低延迟、精确的 System 1 执行基础，并设想由前沿模型承担 System 2 规划。这是合理的系统分工：规划模型决定做什么，grounding 模型稳定回答对哪里做。但论文没有实现实时双系统 controller，也没有固定执行层去系统改变 planner 能力，因此只能说实验“启发”了该设计，不能说已经验证。

局限与审慎解读

• 并非均匀领先。 小框、高 IoU 边界、VisDrone、TotalText、FSC147 和前沿 GUI grounding 仍有清晰差距；总体平均分会掩盖任务短板。
• baseline 接口不完全兼容。 部分模型无法按所需格式输出，prompt/parser 也会影响分数。N/A 不能当作能力为零，跨模型平均比较应谨慎。
• 骨干比较仍有混杂。 机器人侧固定了 action recipe，但预训练骨干在规模、注意力结构、视觉注入方式和监督数据上不同，不能把全部差异只归因于 grounding 数据。
• 驾驶仅为开放环。 0.296 米并不代表闭环控制、安全性或部署延迟；预测错误不会在当前评估中反馈到后续观测。
• 数据效率只在一个模拟操作基准验证。 50% 对 75% 的优势尚未覆盖真实机器人、跨 embodiment 或更长任务。
• OCR 机制仍是假说。 现有消融显示互补收益，但没有在相同数据量和训练计算下隔离“字符边界”“文字语义”与其他混合因素。
• 二维 primitive 有表达上限。 点和轴对齐框不编码深度、姿态、遮挡拓扑、接触或可达性；物理智能仍需要三维/时序状态与动作反馈。
• 自回归仍有延迟。 每框 token 数显著减少，但实例数量越大输出越长；论文没有给出与并行 box decoder 的同硬件延迟和闭环吞吐对照。
• 规模与复现成本高。 监督训练用 128 张 GPU，GRPO 用 256 张 GPU，累计监督暴露约 721.58B token。即使代码与权重开放，完整训练并不容易独立复现。
• 更宏大的系统主张尚未建立。 物理提示、实时双系统执行以及与前沿规划器互补，目前是由接口和迁移结果推导出的方向，而非已完成实验。

应用影响

机器人操作与数据标注

在进入控制器之前，GroundingPI 可把“盘子旁的杯子”“抽屉把手”或特定零件映射成点框，作为抓取候选、关注区域或动作模型条件。相同能力也可用于第一视角视频和机器人数据预标注，减少人工逐帧画框。不过部署前必须补充三维定位、可达性与闭环误差监测。

自动驾驶感知与长尾检索

语言条件化定位可用于检索临时路牌、施工设备、异形障碍或罕见道路对象，OCR 则能保留文字与区域对应。更现实的近期用途是数据挖掘与标注，而不是直接控制车辆；论文的开放环轨迹实验不足以支持安全关键部署。

工业检测与柔性制造

自然语言或视觉示例可以描述新缺陷、零件变体和包装文字，不必每次建立固定类别 head。点框结果可交给尺寸测量、装配检查或机械臂规划。其优势是查询可随产品变化而修改，风险则是小缺陷、高 IoU 边界恰好仍是模型已知短板。

密集计数、OCR 与文档理解

航拍、零售和农业图像中，可通过类别、相对位置或视觉示例定位船只、商品和果实；在票据、包装和设备铭牌中，可同时保留文字内容与空间位置；布局任务还能区分标题、表格和图。统一接口便于将“找对象”“读文字”“找版面”放进同一检索或审核流水线。

GUI 智能体

模型已能把操作指令映射到点击点，并在 ScreenSpot-V2 上取得较高结果。但 ScreenSpot-Pro 和 OSWorld-G 与前沿模型仍有明显差距，说明它适合作为紧凑的候选定位器或级联系统组件，暂不宜被视为无需验证的桌面操作执行器。

相关工作

第一条路线是 开放词表检测与生成式 grounding。Grounding DINO 等模型把文本条件接入检测器；Pix2Seq、Kosmos-2、Qwen-VL、SEED1.5-VL 和 Rex-Omni 等把标签与量化坐标写成 token；LocateAnything 则用并行 box decoding 追求定位质量与速度。GroundingPI 延续生成式统一接口，但把任务范围扩展到点、OCR、GUI、布局与视觉提示，并重点研究向动作学习的迁移。

第二条路线是 具身基础模型。π0、π0.5、OpenVLA、GR00T、RynnBrain 与 StarVLA 等从 VLM、视频或具身数据获得语义、动态和控制先验。π0.5 已把框预测纳入 broader knowledge-insulation recipe，其他工作也使用 affordance、区域重建和空间辅助目标。GroundingPI 的差异是把精确感知放在动作适配之前，作为独立可评估的 foundation，而非策略训练中的附属 proxy。

第三条路线是 感知到动作的中间表示。RoboPoint、RoboRefer、AffordanceVLA、ReconVLA 与 SG-VLA 分别研究 spatial affordance、机器人指代、可供性理解、重建式感知和空间 grounding。GroundingPI 不否定这些更贴近动作的表示，而是测试一个更通用的问题：大规模二维语言定位能否成为多种动作系统共享的前置能力。

第四条路线是 多任务后训练与可验证奖励。GroundingPI 的 GRPO 把集合覆盖、多阈值定位、格式与 OCR 文本—几何一致性做成可计算奖励，与仅依赖 token likelihood 的 SFT 互补。它也暴露了此类方法的关键难点：reward 可以优化可测格式与 IoU，却无法自动保证三维物理正确性或真实闭环安全。

总结

GroundingPI 把一个常被动作模型隐式承担的问题单独提了出来：如果模型连指令所指对象、细小部件和密集实例都定位不准，更多动作示范首先会被消耗在重新学习感知，而不是学习控制。论文以统一坐标词表、字段级验证数据引擎、721.58B token 的多阶段监督和 GRPO 构建约 4.844B 参数的专门化底座，在广泛 grounding benchmark 上取得 73.68% 平均分，并在固定 action expert 的机器人比较中显示全部四个 OOD 设置领先。

最值得关注的结果不是单一榜单第一，而是三个相互呼应的信号：grounding 规模增加时操作能力同步改善；密集定位是驾驶与操作共享的重要数据成分；50% 操作示范的 GroundingPI 超过 baseline 使用 75% 示范。它们共同支持“把精确感知前置”这条工程路线。

不过，论文也清楚留下了下一阶段问题：二维点框如何扩展到三维、接触和时序状态；OCR 是否真的具有独立催化作用；开放环轨迹收益能否在闭环成立；专门化感知模型与大推理模型的双系统组合是否兼顾准确率与延迟。在这些问题得到真实机器人和安全关键环境验证前，GroundingPI 更适合被看作一个强大的感知基础与研究平台，而不是已经完成的通用物理智能系统。

参考资料

1. Hugging Face Daily Papers：GroundingPI
2. arXiv：GroundingPI
3. arXiv HTML 全文
4. arXiv PDF 全文
5. GroundingPI 项目主页
6. GroundingPI 官方代码仓库
7. GroundingPI 模型权重
8. Grounding DINO
9. π0.5：Knowledge Insulating Vision-Language-Action Models
10. RoboPoint