HexaShell

论文基本信息

• 题目：HexaShell: A Thin Harness for Exploring the Limits of VLM Agents as Robot Coding Agents
• 作者：Hongcheng Gao、Alex Zhou、Jay Zhu、Zelin Zheng、Shijia Ge、Xiping Li、Di Wu、Yazhe Wang、Jianshu Zeng、Xuan Shangguan、Yongli Wang、Yexing Wan、Lingyu He、Zhiqi Jia、Sihang Wu、Xiao He
• arXiv：2610.23479v1，2026 年 10 月 16 日提交；类别 cs.RO
• Daily Papers：Hugging Face 页面 2026 年 10 月 19 日榜首，标记为 #1 Paper of the day
• 研究对象：Isaac Sim 5.1 中的双臂 ARX X5，以及覆盖 42 项操作任务的 RoboDojo 基准
• 核心模型：未修改的 Codex 命令行智能体，底层模型为 GPT-6-Astra、medium reasoning effort；执行智能体与优化智能体使用同一模型
• 链接：Hugging Face 详情页；arXiv 摘要页；arXiv HTML 全文；arXiv PDF 全文；项目主页；代码与工具仓库

一句话结论

HexaShell 证明了一个重要但有限的结论：只给通用编码智能体一条机器人命令行、三路已标定 RGB 图像和很薄的运动转换层，它就能把失败诊断为代码修改并积累可复用工具，在 RoboDojo 上取得 39.7% 成功率；但这种“感知—编码—开环执行”范式擅长可由几何测量解决的任务，一旦成功依赖毫米级接触、持续力反馈或在线闭环修正，性能便迅速跌落。

背景与动机

机器人策略通常把知识藏在权重里

主流 Vision-Language-Action（VLA）或 World-Action 模型从大量示范中学习动作策略，直接输出机器人动作。它们可以把复杂操作压进模型权重，却带来三个工程问题：新增技能往往需要数据和训练；某次失败为什么发生不容易追踪；修复成果也难以变成可检查、可单测、可复用的程序。

编码智能体在软件仓库中的工作方式不同。它读取代码和日志，运行程序，定位错误，修改实现，再用测试确认修复；知识以代码形式保留下来。HexaShell 的核心问题正是：如果把“软件仓库”换成“机器人及其观测”，通用编码智能体能走多远？

从像素到米制坐标是关键断点

在代码环境中，智能体读取的是精确文本；在机器人环境中，它看到的是像素，却必须给出世界坐标中的抓取点、朝向和路径。一次可靠抓取通常需要厘米级精度，紧配合插入甚至需要毫米级精度。

RoboDojo 的标准观测没有深度。论文发现，即便用桌面平面校准尺度，Depth Anything V2 在 300 帧、8 个任务的物体像素上仍有 41 mm 的头部相机中位误差，腕部相机误差约 100 mm。这个量级足以让抓取和放置失效。作者因此没有把单目深度网络当作默认答案，而是回到标定相机的多视几何。

论文真正想测的是能力边界

HexaShell 不只追求总分。它还试图回答三个更有诊断意义的问题：

1. 失败能否通过读日志、改工具和写单元测试，在数分钟内被修复？
2. 主动移动相机获取第二视角，带来的测量收益是否值得消耗动作预算？
3. 当系统失败时，瓶颈来自看不清、想不明白，还是知道失败却无法完成接触动作？

核心贡献

1. 提出薄型机器人 harness：它只负责把命令转换为运动，不替智能体选择目标、规划任务策略或注入物体真值。
2. 将机器人经验持久化为小型 Python 工具。执行智能体尝试任务，优化智能体读取失败轨迹并修改工具，下一次尝试直接复用修复结果。
3. 用标定 RGB 相机的平面约束、双目三角测量和主动第二视角代替单目深度，在相同模型、harness 与布局上显著改善三维定位。
4. 在 RoboDojo 全部 42 项任务上绘制能力图谱，指出成功率主要随物理接触类型变化，而不是随符号理解或记忆负担变化。
5. 通过七个逐轮案例展示修复过程，涵盖测量、定时、路径、抓取点和停止条件，而不仅报告最终榜单数字。

方法：把机器人失败变成可测试代码

1. 薄型 harness 只翻译，不决策

执行智能体运行在隔离容器中，没有模拟器、评分代码、主机目录或直接网络访问。它只得到：

• 一个名为 robo 的命令行程序；
• 三张 640×480 RGB 图像，分别来自头部相机和两只腕部相机；
• 每台相机的内参、世界坐标外参；
• 两个工具中心点（TCP）的姿态、关节角和夹爪状态；
• 约 60 行的接口手册，以及当前任务已启用工具的简短接口说明。

基础命令包括 move、rotate、point、gripper、home、wait、obs、status 和 done。服务端把笛卡尔直线路径按 2 cm 间隔插值，用 cuRobo 逐点求逆运动学，再按梯形速度曲线生成 25 Hz 动作。它没有环境物体碰撞模型，除机器人本体和桌面外不会替智能体规划避障。

这一设计刻意把系统能力归因到“模型 + 观测 + 自写工具”，而不是一个暗中替模型完成关键决策的厚重机器人框架。

2. 三种几何约束把像素变成三维点

已知相机中心、内参和姿态后，一个像素只能确定世界坐标中的一条射线：

ray(λ) = camera_center + λ × world_direction(pixel)

射线本身不能确定深度。HexaShell 使用三类额外约束：

共享的 table_plane 工具每个 episode 首次调用时测一次桌高，不消耗动作步。三对相机得到的高度在实验中位于 0.7646–0.7656 m，彼此相差不超过 1 mm。

如果头部视角太远、角度太差或目标被遮挡，机器人会移动腕部相机再观察。这是主动感知，但不是免费的：推理和测量不计入 RoboDojo 的 step budget，真实机械运动会计入。

3. 工具是能力的持久化载体

每个工具目录包含 tool.py 与 interface.md。前者通过受限 EpisodeAPI 读取最新 RGB 图像、标定、关节角和 TCP 姿态，并可调用与基础命令相同的运动原语；后者只描述命令接口，不能出现任务名或物体名。

工具必须遵守一条关键隔离规则：任何物体尺寸、位置和高度都必须在当前 episode 中测量，不能读取模拟器资产、布局、配置或评分日志。开发结束后，仓库中的 163 个启用工具提供了 327 条命令，其中 169 条只测量、158 条会运动；连同依赖模块约有 78,434 行 Python。

4. 双智能体演化循环

每个任务的开发过程使用 seed 0 的前 10 个布局：

1. 执行智能体用当前工具尝试一个布局。
2. 成功后，优化智能体只在 playbook.md 中记录有效经验。
3. 失败后，优化智能体读取命令日志、每一步相机帧、执行轨迹和当前工具代码。
4. 它把诊断写入 skill.md，修改或新增一个工具，并编写单元测试。
5. 交付检查验证文件完整、工具可加载、接口未泄露任务或物体名称；失败则回滚修改。
6. 模拟器重启，在同一布局上重试；每个布局最多允许五次编辑。
7. 完成 10 个开发布局后，冻结工具，在开发布局和 10 个未见布局上重新评测，不再允许优化。

因此，HexaShell 的学习对象不是模型参数，而是一组可读、可测试、可冻结的程序。它更接近“测试驱动的机器人技能工程”，而不是传统在线强化学习。

实验设计

RoboDojo 任务与计分

RoboDojo 包含 42 个双臂机器人任务，分为 Generalization、Memory、Long-Horizon、Precision 和 Open 五类。Generalization 的 12 个任务各有标准与 cluttered 变体，后者额外加入 13–18 个干扰物，因此实际按 54 个任务变体统计。

每项任务有三个 evaluation seed，每个 seed 包含 30–75 个预采样布局。官方 leaderboard 通常在三个 seed 上各评 50 个 episode。HexaShell 的主结果则来自 seed 0 中每项任务 10 个未见布局；Generalization 使用 5 个标准和 5 个 cluttered 布局。总分对五种任务类型等权平均，而非对 54 个变体简单平均。

三种深度来源

论文在相同模型、harness 和开发布局上比较：

• Triangulation：只用 RGB、标定、平面约束和第二视角；
• Depth Anything：每帧运行 Depth Anything V2 Base，并用桌面平面校准尺度；
• Rendered depth：直接使用模拟器渲染深度，仅作为非标准观测的参考上限。

运行配置为每个 run 一张 RTX 4090。一次冻结复测 episode 的中位墙钟时间是 739 秒，而机器人实际运动时间仅 26 秒，绝大多数时间消耗在模型延迟上。

主要实验结果

1. 主结果超过论文采用的 RoboDojo leaderboard 基线

按 54 个变体简单平均，HexaShell 成功率为 35.4%，VPP2 为 30.6%，PhysicalRSI 为 26.1%，同模型无工具为 24.3%。HexaShell 在 Memory 和 Open 上分别达到 65.0% 与 50.0%；VPP2 则在 Precision 和 Long-Horizon 上更强，分别为 35.2% 与 37.0%，高于 HexaShell 的 31.3% 与 23.8%。

这说明总分提升并非对所有任务均匀发生。54 个变体中，HexaShell 有 6 个达到全通过，也有 19 个保持为零。

2. 三角测量优于单目深度网络，但仍落后于渲染深度

三角测量在 leaderboard 成功率上比 Depth Anything 高 8.7 个百分点。按同一布局配对，它把深度网络的 57 次失败变为成功，同时有 23 个布局反向退化；精确 McNemar 检验给出 p < 0.001。

收益最大的任务包括 push T（4/10 提升至 10/10）、imitate sorting sequence（1/10 提升至 8/10）和 play Xylophone（0/10 提升至 6/10）。但渲染深度仍比三角测量高 10.6 点，表明 RGB 几何只是在满足“已知平面”或“双视角对应点”假设时精确，并没有消除所有深度不确定性。

3. 主动第二视角有成本，但总体值得

三角测量版本至少把 3.6% 的已执行步骤用于观察动作，Depth Anything 版本只有 0.7%；420 个 episode 中有 180 个、即 43%，发生过至少一次 viewing move。在这些 episode 中，观察动作占 step limit 的中位比例为 4.9%。

不过同一批 180 个布局上，三角测量成功 39 次，深度网络只成功 22 次；不一致配对为 22 比 5，p = 0.002。这说明主动感知并非单纯浪费预算。代价高度集中：fill egg holder 有 40% 步数用于观察却仍然 0/10，而 play Xylophone 用 17% 步数观察后从 0/10 提升到 6/10。

4. 对 clutter 的稳健性明显高于 learned policy

在开发布局的 Generalization 任务中，HexaShell 标准场景成功率为 35.0%，cluttered 场景为 33.3%，保留了 95% 的成功率。同模型无工具保留 87%；30 个 learned policy 的保留比例中位数只有 18%，VPP2 从 46.4% 降到 12.6%。

作者的解释是，智能体先指出目标像素，工具只测该目标，而不是把整个图像直接映射为动作。这个局部几何接口削弱了背景外观变化的影响。例外是 fold clothes：工具依赖衣物颜色连通性，干扰物接触或靠近衣物时仍会破坏分割。

5. 物理接触类型比认知标签更能预测成败

相较之下，按决策负担分类时，纯几何、符号/语言、记忆任务的 HexaShell 成功率分别为 32.0%、31.1% 和 65.0%。记忆任务反而最好，说明在这个基准与模型组合中，“记住什么”并不是主要瓶颈；“如何在接触过程中精确完成动作”才是。

6. 失败终态可以区分感知与执行问题

420 个开发布局复测中有 268 次失败。去掉 5 次工具错误后：

• 57% 耗尽动作预算：智能体通常看出结果不对，也持续重试，但无法把动作做成；
• 30% 由智能体宣布完成、评分器拒绝：更像精细视觉判断或成功判定错误；
• 13% 在仍有至少四分之一预算时主动放弃：运动目标错过、规划信心不足或任务说明不充分；
• 另有 2 次因违反规则被评分器提前终止。

可变形、关节和刚体任务的失败中，60%–77% 属于预算耗尽；记忆任务一半的失败则是“自认为成功”。因此 failure terminal state 本身就是有价值的诊断信号：声明成功但被拒绝，优先检查感知和成功判定；反复重试至耗尽，优先检查执行与接触控制。

七个修复案例揭示了什么

RGB 工具开发共经历 769 个优化轮次，其中 530 次发生在失败后。失败后的单轮修复中位耗时 6.3 分钟，90% 少于 11 分钟；中位执行 16 条 shell 命令，92% 运行了任务测试。单轮中位新增 118 行、删除 6 行。全部轮次共读取 4.87 亿输入 token，输出 380 万 token。

论文筛出七个“修改后下一次尝试成功”的可核查案例：

这些案例说明优化智能体最有效的工作并不是发明高层策略，而是把日志里的数值异常转化为局部、可测试的程序修复。它可以修正测量、时序、抓点和路径停止条件，却无法仅靠一次代码编辑获得稳定的接触动力学能力。Insert Tubes 的成功仍依赖把管子“放落”进孔，而不是连续闭环插入，正好暴露了边界。

如何理解这篇论文

工具库相当于机器人版本的外部参数

HexaShell 没有更新基础模型权重，但 78,434 行工具代码保存了大量任务经验。与其说系统“无需训练”，不如说它把训练从梯度更新改成程序搜索、日志诊断和测试驱动开发。知识从难解释的参数迁移到可读代码，代价是工具库规模、维护成本和开发 token 消耗迅速增长。

“薄 harness”不等于系统简单

基础 harness 刻意少做决策，这使研究归因更清楚；但完整系统仍包含容器隔离、代理鉴权、标定图像、逆运动学、路径插值、动作计时、工具 API、交付检查和双智能体循环。真正的创新不是省掉所有机器人基础设施，而是把任务特定逻辑从基础设施中拿走，交给智能体生成的工具。

三角测量胜出的是测量契约，而非某种万能视觉模型

论文最扎实的因果证据来自同模型、同 harness、同布局下的三维来源对照。结果支持这样的工程选择：当相机已标定、可以主动改变视角、目标点可跨视角匹配时，显式几何往往比没有任务适配的单目深度网络更可靠。

这个结论有明确前提。目标被遮挡、材质缺乏特征、物体发生形变、相机无法移动或动作预算很紧时，跨视角对应与主动观测都可能失败。渲染深度仍显著领先，也说明几何假设并没有替代高质量深度感知。

最重要的边界是从开环几何到接触闭环

系统大多先测量、再规划、最后执行。它缺少力/触觉反馈，也缺少持物接触时持续更新目标和修正轨迹的高频控制。推压和刚体放置允许厘米级误差，因此表现突出；插钥匙、插管、挂杯等任务要求孔和零件同时达到毫米级一致，且接触会改变状态，正是其弱项。

因此，“limit is contact, not reasoning”更准确的含义是：在这套观测、任务和控制接口下，模型经常能识别自己失败，却缺少把视觉判断转化为接触中闭环修正的执行通道。它不是对所有机器人推理问题的普遍定论。

局限与审慎解读

• 榜单对比并非严格同协议。 RoboDojo leaderboard 条目通常在 3 个 seed 上各跑 50 个 episode；HexaShell 主结果只使用 seed 0 的 10 个未见布局。样本量、seed 覆盖和可能的布局难度不同，39.7% 与 VPP2 的 32.3% 不应当作完全受控的算法胜负。
• 测试布局仍来自同一 seed。 工具在 seed 0 的前 10 个布局开发，又在该 seed 的后 10 个布局测试。虽然具体布局未见过，但分布规则、物体集合和材质范围共享；跨 seed 和跨真实机器人泛化仍未验证。
• 主结果同时改变了提示信息。 未见布局复测的 prompt 包含任务描述、评分表、task recipe、既往工具 notes 和修订后的终止规则；同模型无工具基线并不一定拥有等价信息。工具增益、提示增益和规则理解增益不能从主表完全拆开。
• 工具开发不是完全从零开始。 RGB runs 从更早的渲染深度或 Depth Anything 工具出发；25 个任务已有基于公开任务定义的 checker note，9 个任务还继承了同事与另一编码智能体写的 RGB 工具。论文做了常量审计并重测 7 个存在固定几何的任务，但这仍不同于端到端、统一初始条件的自动生成实验。
• 主要证据来自模拟器。 Isaac Sim 中相机标定、机械臂状态和动作执行比现实稳定。真实环境还有标定漂移、照明变化、同步误差、摩擦不确定性、夹爪顺应性和安全约束，三角测量与开环路径的误差会叠加。
• 没有力觉或触觉闭环。 紧配合插入、关节操作、液体和布料恰好需要接触状态估计；现有失败不能证明 VLM 无法推理这些任务，只能证明当前视觉—工具—运动接口不足。
• 开发成本很高。 每任务一次 RGB 开发 run 的预算最高 12 小时；769 个优化轮次读取 4.87 亿输入 token。一次 episode 的中位墙钟时间接近 12.3 分钟，只有 26 秒是机器人运动。论文证明了可行性，却尚未证明成本可用于规模化部署。
• 公开仓库不包含完整 harness。 项目仓库开放了冻结工具、接口、recipes 和结果，但明确说明 server、executors、agent container 与 evolution loop 未包含在内。外部团队可以审计工具，却难以仅凭当前发布物完整复现实验流水线。
• 部分任务成功数很小。 许多能力分类只有少量变体，19 个变体为零。按物理类别汇总能揭示趋势，但不能替代更多随机种子、置信区间和真实机器人重复实验。
• “新 SOTA”需要限定语境。 该表述成立于论文采用的 2026 年 10 月 14 日 leaderboard 快照及其计分方式；模型、榜单和评测协议更新后，应重新核验。
• 论文仍是 arXiv v1。 尚未经过同行评审，代码发布也只有少量提交；后续版本可能调整实现细节与数字。

应用影响

可审计的机器人技能维护

对仓储、实验室自动化和柔性制造，工具代码比完全隐式的策略权重更容易审查。一次故障可以对应到具体测量函数、路径判断和单元测试，修复后也能冻结版本并回归验证。这适合高频变化、但任务结构相对明确的场景。

主动感知的预算决策

论文把“多看一眼”的机械成本显式计入 step budget，并证明某些任务值得付出。真实系统可以进一步把相机移动时间、能耗、遮挡概率和测量不确定性纳入统一决策：只有当预期信息增益高于动作成本时，才主动换视角。

从失败终态路由不同修复机制

如果机器人声称完成但验收失败，应优先增强细节感知、目标状态估计和成功判定；如果它持续重试直至预算耗尽，应优先引入力/触觉反馈、顺应控制或更好的轨迹执行器；如果它过早放弃，则应检查工具置信度和恢复策略。论文给出的失败分类可以直接转化为系统运维路由。

人机协作式工具演化

完全自主地增长数万行任务代码会带来维护债务。更现实的产品路径可能是：智能体提出局部工具补丁与测试，人类审核高风险动作和接口变更，仿真回归通过后再进入真实机器人灰度运行。HexaShell 展示了这一工作流的原型，而不是已经解决了安全部署。

下一步：把工具扩展到接触闭环

最直接的研究方向是让工具在夹持与接触过程中持续测量，并把视觉、力觉、触觉和关节电流合并到低延迟控制环中。另一方向是自动压缩、检索和验证工具库，避免每个任务持续堆积独立代码，同时保持工具的可解释性。

相关工作

语言模型生成机器人程序

Code as Policies、ProgPrompt、Inner Monologue、VoxPoser、ReKep、MOKA、RoboCodeX 和 RoboScript 都让语言或视觉语言模型生成操作程序、价值图或关键点约束。它们多数按指令即时生成程序，底层感知与控制原语主要由人提供。HexaShell 的区别是让智能体自己写这些任务工具，并跨 episode 持久保存和修复。

机器人编码智能体与工具演化

URAI、CaP-X、RLE-Bench、LIBERO-Agent、MEMENTO，以及让 coding agent 修改机器人 skills、traces 或 memory 的同期工作，都在把软件工程式智能体迁移到物理任务。HexaShell 的独特之处是固定基础 scaffold 与模型，只允许任务工具变化，并在一个完整操作基准上系统分析物理边界。

自生成工具与程序化记忆

Voyager 在 Minecraft 中增长 JavaScript 技能库，Toolformer 学习何时调用工具，LATM 与 CRAFT 生成和检索工具，Reflexion 与 Eureka 根据反馈迭代程序。HexaShell 延续“把经验放在外部可执行结构中”的路线，但用真实的动作预算、相机几何和机器人失败验收约束工具。

多视几何与主动感知

多视三角测量、射线—平面求交与 plane sweep 是经典计算机视觉方法；Depth Anything V2、Depth Pro 和 MoGe 则代表单目深度路线。HexaShell 的贡献不在于发明新的几何算法，而在于把这些确定性测量原语交给编码智能体组合，并量化第二视角在有限动作预算下的收益。

机器人操作基准与 learned policy

LIBERO、RoboCasa、RoboTwin、SIMPLER 和 RoboDojo 用不同场景与协议评估 VLA、world-action model 和其他 learned policy。RoboDojo 提供每任务固定动作预算、多 seed、标准/干扰布局与细粒度 progress score，使论文可以把外观鲁棒性、动作成本和接触类型分开观察。

总结

HexaShell 把编码智能体最擅长的循环——读日志、改代码、跑测试、保留修复——迁移到了机器人操作。薄型 harness 让任务逻辑留在智能体生成的工具中，标定 RGB 相机与主动三角测量又为像素到世界坐标提供了比通用单目深度更可靠的桥梁。冻结工具在 42 个 RoboDojo 任务的未见布局上取得 39.7% 成功率和 48.0 进度分，证明程序化外部记忆可以显著提升通用 VLM 智能体的机器人能力。

论文更重要的贡献是把胜利与失败都说清楚。推压达到 92.5%，记忆任务达到 65.0%，紧配合插入却只有 8.3%；57% 的失败耗尽动作预算，说明智能体往往知道自己没做成，却缺少接触中的闭环执行能力。三角测量、局部工具和测试驱动修复适合“能看准、可计算、容差足”的任务，却不能替代深度感知、触觉、力控和实时反馈。

因此，HexaShell 最适合作为一种机器人软件工程范式来理解：它让技能可读、可测、可冻结，也给出了清晰的故障边界。下一步不是单纯让模型写更多工具，而是让这些工具进入多模态、低延迟、安全约束下的接触闭环，并用跨 seed 与真实机器人实验验证其泛化。

参考资料

1. Hugging Face Papers：HexaShell
2. arXiv 摘要页
3. arXiv HTML 全文
4. arXiv PDF 全文
5. HexaShell 项目主页
6. HexaFuture/HexaShell 代码与工具仓库