2022–2023
LLM 当"大脑"
语言模型分解任务、挑选技能、写代码；底层仍是传统控制或学习得到的技能。
一页看懂
四个阶段，每一阶段都没有取代上一阶段，而是叠加上去：今天的系统通常同时包含"规划器 + VLA + harness + 编码 agent"。
2023–2025
VLA 端到端
把视觉语言模型微调成直接输出动作的策略，靠大规模机器人数据泛化。
2025–2026
Agentic 机器人
把编码 agent 的循环（工具、记忆、监控恢复、技能库、MCP）搬到机器人上，VLA 变成 agent 的一个工具。
2026 下半年
通用模型直接上机器人
GPT-6 Astra、Claude Opus 5.5、Gemini 4 Argon 不经机器人训练就能写代码、出动作；语义强，精细控制与实时性弱。
五个判断
- LLM / agent 留在慢环。规划、编排、写代码、诊断与恢复交给 agent；10 Hz 以上的接触控制交给 VLA 和控制器。
- Harness 决定上限。同一个模型换个接口就能差几十个百分点：Show-Harness 把动作步长减半，零样本成功率 60%→82%；Physical Agency 让冻结的 VLA 在 LIBERO-PRO 上 12.8%→53.3%。
- 编码 agent 开始做机器人研发。ENPIRE 在真机上把灵巧策略自动训练到 99%；ASPIRE、SimEX 自己写技能、修技能。但一项 123 轮的实验表明，改进不会自动累加。
- 工业界是"两层"形态。ER/VLM 编排者 + VLA/WAM 执行者；同时在 API 化（Gemini Robotics-ER、Pi API）和接口标准化（MCP、ROS MCP Server、Anthropic MHS）。
- 安全闸门放在模型之外。越狱、无视约束、越界动作都已被实证；话题白名单、速度与工作空间限幅、时序逻辑检查、人工确认缺一不可。
给机器人研究者的 Agent 入门
如果把 VLA 看作"会看、会动的策略网络"，那 agent 就是任务层的闭环控制器：它的"动作"是函数调用和程序，"传感器"是工具返回值和图像，"控制周期"以秒计。
Agent = 模型 + 循环 + 工具 + 记忆 + Harness
- 模型
- LLM / VLM（GPT、Claude、Gemini、Qwen……），负责推理、规划、写代码。它本身不能动，也不会记住上一次会话。
- 循环
- ReAct 式的"思考 → 调用工具 → 读结果"，直到任务完成或放弃。
- 工具
- 模型可调用的函数：
detect()、move_to()、vla_act()、ROS service、Python 解释器、网页搜索…… - 记忆
- 上下文窗口里的短期记忆，加上外部的场景图、失败记录、技能笔记等长期记忆。
- Harness
- 包在模型外面的全部软件：工具协议、状态汇总、成功判定、重试策略、权限与安全闸门、日志。2026 年的大量实验表明，harness 设计往往比换模型更影响成败。
术语对照：用机器人的语言理解 Agent
LLM / VLM大语言模型 / 视觉语言模型
能读文本（和图像）的通用推理模型。
类比读过所有教科书和说明书、但没有身体的工程师
例GPT-6、Claude Opus 5.5、Gemini 4、Qwen
Agent loop智能体循环
观察 → 推理 → 行动 → 看反馈，直到完成（ReAct）。
类比任务层的 sense-plan-act 闭环
例Claude Code、Codex CLI、OpenClaw
Tool / Function calling工具调用
模型输出结构化调用（函数名 + 参数），由外部程序执行并把结果返回给模型。
类比ROS service / action 调用
例detect("cup") → {xyz, conf}
Context window上下文窗口
模型一次能"看到"的全部输入：指令、历史、图像、工具结果。
类比工作内存，满了就得压缩或检索
例长任务要做历史摘要、只传必要状态
Coding agent编码智能体
能在终端里读写、运行、测试代码并迭代的 agent。
类比自动化的机器人软件工程师 / 研究助理
例Claude Code、Codex
System 2 / 1 / 0慢思考 / 快策略 / 解析控制
不同频率的三层：推理模型、学习的视觉运动策略、解析控制器。
类比任务规划器 / 学习策略 / IK·MPC·WBC
一个具体例子：agent 内部在发生什么
示意，非真实日志；工具名为假设 任务 把抽屉里的蓝色积木放到桌上 ① 观察 camera_rgb() → 抽屉关着；桌上有红杯子 ② 推理 积木可能在抽屉里，先开抽屉 ③ 工具 detect("drawer handle") → xyz=[0.52,-0.10,0.31] conf=0.93 ④ 工具 open_drawer(xyz) → ok，位移 0.18 m ⑤ 观察 wrist_rgb() → 抽屉里有蓝色积木 ⑥ 工具 vla_act("pick up the blue block", budget=150) → 结束；夹爪宽度 0 mm（没抓住） ⑦ 推理 VLA 抓取失败 → 改用解析抓取，重试一次 ⑧ 工具 grasp_pose() → move_to() → gripper("close") → 夹爪宽度 31 mm ✓ ⑨ 工具 place_on("table") → ok ⑩ 验证 check("blue block on table") → true（VLM + 深度复核）
这个例子说明了什么
- 每一步都是一次模型调用，通常要几秒，所以 agent 只能管"做什么、用谁做、做完没有"，不能管每一毫秒的力矩。
- 成功判定靠传感器，不靠模型自述。⑥ 中夹爪宽度为 0 是硬证据。这就是 Thea 所说的"评估即退出码"：软件里 exit code 是免费的，物理世界里要自己造。
- VLA 是工具之一。接触阶段先交给 VLA，失败了换解析抓取；这种"按证据切换执行器"正是 Physical Agency、Harness VLA 的核心。
- 工具、检查、重试规则都属于 harness。把它们设计好，同一个模型的成功率能差几十个百分点。
三类系统怎么选
| 维度 | 端到端 VLA | Agent + 工具/技能（harness） | 编码 agent（代码即策略 / 自动研发） |
|---|---|---|---|
| 输出 | 连续动作块，10–50 Hz（Helix S1 为 200 Hz） | 工具 / 技能调用，秒级 | 程序、训练代码、配置 |
| 能力来源 | 机器人演示 + VLM 预训练 | 前沿模型的常识推理 + 现成技能 | 前沿模型的编程能力 + 执行反馈 |
| 适配新任务 | 采数据、微调 | 改提示、加工具、写技能 | 让 agent 写或改代码，少量试错 |
| 强项 | 接触丰富、灵巧、实时 | 开放语义、长时程、失败恢复、可解释 | 工程自动化，结果可复用、可验证 |
| 弱项 | 长时程、分布外指令、数据昂贵 | 延迟高、精细控制差、依赖接口质量 | 依赖感知与原语质量；评估器可能被"钻空子" |
| 代表 | π0.7Gemini Robotics 2GR00T N1Helix 02 (Figure) | Gemini Robotics 1.5RoboClawTheaETA / OpenETA | CaP-XOpenRUAENPIREASPIRE |
实际系统往往三者兼有：VLA 作为 agent 的工具，程序作为上层，编码 agent 在离线阶段改进前两者。
Agentic 机器人技术栈：慢环与快环
2026 年的主流系统几乎都是分层的：慢的推理模型做决策，harness 负责翻译与把关，快的策略和控制器负责动作。离线时，编码 agent 持续改进技能、数据和策略。
任务输入
自然语言指令 · 示范视频 · 目标图像 · 用户中途插话
System 2 · Agent / 编排者秒级（约 0.05–1 Hz）
LLM / VLM / 具身推理模型：理解任务、规划、选工具、写代码、诊断失败。
↓ 工具调用 / 子任务指令 ↑ 观测 · 进度 · 失败类型
Harness（软件层）决定"模型能看见什么、能做什么"
编排下一步交给谁、参数怎么绑定、何时收回控制权
记忆记什么、何时更新、检索什么
监控与恢复执行前、中、后检查；重试、换执行器、重规划
技能库可复用行为的入库、演化、淘汰
基础设施MCP / ROS 接口、感知与抓取工具链、VLA 推理服务
安全闸门白名单、限幅、时序逻辑检查、人工确认
↓ 有界子任务 / 目标位姿 ↑ 完成信号 · 传感器
System 1 · 学习策略与感知工具10–200 Hz
VLA / WAM 策略，以及分割、检测、位姿、抓取等感知工具（SAM 3、Grounding DINO、FoundationPose、GraspGen）。
System 0 · 解析控制200–1000 Hz
逆运动学 · 运动规划（cuRobo、MoveIt）· MPC · 全身控制（WBC）· Helix 02 的 1 kHz 学习式 S0。
机器人 / 仿真器
真机 · Isaac Sim / Lab · MuJoCo · ManiSkill · LIBERO · RoboCasa · BEHAVIOR
Harness 的六个功能与代表工作
划分采用综述 Towards Agentic Robots（2026-10）的 §7。
| 功能 | 要回答的问题 | 代表工作 |
|---|---|---|
| 编排 | 下一步由谁执行（VLA、解析工具、技能、人、另一台机器人）？参数怎么绑定？何时把控制权交回？ | VoLoEMOSPhysical Agency (Pigey)ROSClawTheaVLAs-as-ToolsHarnessWAM |
| 记忆 | 记录什么（失败、进度、经验）？场景变化后如何更新？下一步决策该检索哪些记录？ | MessyMemHiMeSafeMemNavMCPBATONHoloAgent-0 |
| 监控与恢复 | 执行前、中、后如何判定进度与失败？怎样选择回应（重试、换执行器、重规划、复位）？何时放弃？ | DoReMiREFLECTLIBERO-RECOVERPhyAgentOSCritic in the Loop |
| 技能 | 可复用行为如何入库、演化、退出？修改要过什么门槛才能保留？ | VoyagerDROCUni-SkillASPIRERATs (Playful Agentic Robot Learning)RoboRSIZetta |
| 基础设施 | 能力通过什么接口暴露（MCP、ROS）？感知与抓取工具链、VLA 推理服务的延迟与容量如何？ | ROS MCP ServerRoboNeuronEmbodied Tool ProtocolLeRobotReal-Time Chunking (RTC)VLASHROSA (serving) |
| 分层系统 | 规划器、学习策略、解析控制之间传什么、多久传一次、谁说了算？ | Helix 02 (Figure)GR00T N1Hi RobotGemini Robotics 1.5Harness VLAHi-VLA 设计研究 |
经验法则：LLM 不进快环。一次前沿模型调用要几秒到几十秒（Galbot 测得 30 秒的步态控制需要 250 次调用，平均每次约 40 秒），而 VLA 需要 10–50 Hz，全身控制需要 200–1000 Hz。让 agent 由事件触发（子任务完成、检测到异常、进度停滞）介入，而不是按固定频率介入。
八条技术路线
按"LLM/agent 在系统里扮演什么角色"划分。点开每张卡片的"展开"查看强项、局限，以及对机器人研究者的意义。
01LLM / VLM 作为高层规划器
2022–语言模型把任务拆成步骤，从技能库里挑下一步；技能本身来自传统方法或 RL / 模仿学习。
展开
- 强项
- 常识与长时程分解；能接经典规划器（PDDL、TAMP）。
- 局限
- 受限于技能库；"想得到做不到"的可行性鸿沟；反馈粗糙。
- 意义
- 今天所有"System 2"的源头。你已有的技能库、行为树可以直接包装成 LLM 的工具。
02代码即策略 → 编码智能体
2022–2026动作空间是程序。模型调用感知与控制 API 写策略；2026 年演变为 Claude Code、Codex 这类编码 agent 直接"玩"机器人。
展开
- 强项
- 可解释、可验证、可复用；零样本适应新指令。CaP-X 发现 VLA 换了指令分布就掉分，CaP-Agent0 则不受影响。
- 局限
- 依赖感知与原语质量：同一 agent 在仿真特权状态下 65%，只用 RGB 时 22.5%；多轮生成延迟高。
- 意义
- 把机器人 SDK 文档化、API 化，编码 agent 就能直接用。CaP-X 和 OpenRUA 是现成的平台。
03LLM 生成奖励、仿真与数据
2023–2026让模型写奖励函数、生成场景与任务、编排数据采集，解决机器人学习的数据与工程瓶颈。
展开
- 强项
- 规模化、自动化，与 RL / 模仿学习天然互补。Gemini 4 Argon 生成的仿真数据把真机成功率从 56% 提到 75%。
- 局限
- 生成场景的物理真实性、sim2real 差距；需要可靠的自动评估。
- 意义
- "让 LLM 帮你写奖励和场景"是最容易落地的切入点。
04VLA 与机器人基础模型
2023–2026把 VLM 微调成直接输出动作的策略，靠大规模机器人和人类数据获得泛化；2026 年加入世界-动作模型与 RL 后训练。
展开
- 强项
- 接触丰富、灵巧、实时。
- 局限
- 长时程与分布外指令；数据昂贵；难以解释和验证（LIBERO-PRO 上不少 VLA 接近 0）。
- 意义
- 在 agent 体系里，VLA 是"手"。可操控性（steerability）和可终止性成为新的设计目标，见 π0.7 和 Hi-VLA 设计研究。
05分层编排：System 2 → 1 → 0
2024–2026慢的推理模型发子任务，快的 VLA 执行，解析控制器兜底。既有一体化的双系统模型，也有"把 VLA 当工具"的组装式系统。
Hi RobotHelix 02 (Figure)GR00T N1Gemini Robotics 1.5VLAs-as-ToolsPhysical Agency (Pigey)Harness VLAHi-VLA 设计研究
展开
- 强项
- 兼顾语义与实时；模块可替换、每次调用可检查。Gemini Robotics 1.5 换成具身推理编排者后，总失败率减半。
- 局限
- 交接时状态与意图对不齐；何时把控制权交回很难定。潜变量接口信息多但难监控。
- 意义
- 给你的 VLA 设计一个好"API"：指令格式、执行预算、进度与失败类型的回报。
06Agentic Harness 与机器人 Agent OS
2025–2026把编码 agent 的 harness（工具协议、记忆、监控恢复、技能、子 agent、权限）搬进物理世界，形成"机器人 Agent OS"。
展开
- 强项
- 模型可以替换；同一个模型换个 harness，成功率能差几十个百分点。
- 局限
- 物理世界没有免费的"读状态"和"退出码"；实时性差；接口设计难以标准化。
- 意义
- 在接口与工具设计上投入，常常比换一个更大的模型更划算。
07编码 agent 自动化机器人研发
2026让 agent 自己复位场景、跑实验、看日志、改代码和训练配方，形成无人值守的改进闭环。
展开
- 强项
- ENPIRE 在真机上把灵巧策略训练到 99%；SimEX 每个任务只需约 10 分钟真机时间；Opus 4.7 给机器狗编程比最快人类团队快约 19 倍。
- 局限
- 改进不一定累加；agent 会精确地优化评估器的漏洞；需要能自动复位、自动判定的环境。
- 意义
- 先把你的实验流程脚本化（复位、评测、记录），再引入 agent。
08通用前沿模型直接当策略
2026 下半年GPT-6 Astra、Claude Opus 5.5、Gemini 4 Argon 不经机器人专门训练，靠写代码、调用工具或直接输出数值动作来控制机器人。
Claude plays roboticsGPT-6 Astra as Embodied PoliciesAn Unexpected Robot PolicyRobotWorldFrontier Models on LIBERO-10HomeBodyGemini 4 Argon for Robotics
展开
- 强项
- 语义理解、导航、目标纠错、in-context 学习；不需要任何机器人训练。
- 局限
- 精度、动力学、双臂协调弱；每步秒级延迟、token 成本高；真机安全问题。
- 意义
- 适合作为强基线、数据引擎和编排者；不要让它进快环。
时间线（2022 → 2026-10）
方向：
- 2022
- 规划
LLM 的"有用性"× 价值函数的"可行性"，选择下一步技能
- 规划
把感知反馈当作文本回灌给 LLM，形成闭环
- 代码
LLM 写程序作为策略，"代码即策略"的起点
- VLA
大规模真机数据训练的 Transformer 策略
- 2023
- 代码
Microsoft：API 库 + 提示工程 + 人在环
- 规划
562B 具身多模态语言模型
- Agent
Minecraft 中的终身学习 agent：代码技能库 + 自动课程 + 自我验证
- VLA
动作即 token，提出 VLA 概念
- 代码
- 安全
共形预测：不确定就向人求助
- 生成
LLM 写奖励函数，超过人类专家
- VLA
跨 22 种本体的开放数据集与 RT-X
- 生成
生成式仿真：自动提出任务、场景与监督
- 2024
- Agent
VLM + LLM 编排机器人舰队采数据，带"机器人宪法"
- VLA
7B 开源 VLA
- 代码
VLM 写关键点约束，求解器实时优化
- VLA
VLM + flow matching 动作专家
- 评测·安全
首个越狱 LLM 控制机器人的攻击；LLM 具身决策的细粒度评测
- 2025
- 产业
人形双系统 VLA；此前 Figure 宣布结束与 OpenAI 的合作
- 分层
VLM 每秒生成语言子任务交给 VLA，用户可随时插话纠正
- 评测
MLLM agent：高层任务尚可，低层操作最高只有 28.9%
- 产业
DeepMind 的 VLA + ER；NVIDIA 的开源人形双系统模型
- VLA
开放世界泛化；同一模型内先出子任务再出动作
- VLA
- 产业
实时可交互的世界模型，用于训练具身 agent
- Agent
开源；让任何 MCP 客户端经 rosbridge 操作 ROS 机器人
- 产业
"先思考再行动"的 VLA；ER 编排 VLA 并调用工具
- 评测
LLM 当机器人大脑只有 40%（人类 95%）；扰动后 VLA 暴露记忆化问题
- 前沿模型
有 Claude 辅助的团队给机器狗编程，共同任务用时约减半
- VLA
VLA 从部署经验中做 RL；27 万小时数据与扩展规律
- Agent
Gemini 驱动的 3D 虚拟世界 agent，能在 Genie 3 生成的世界里自我改进
- 2026
- 产业
- VLA
14B 世界-动作模型，零样本策略，泛化比 VLA 高 2 倍以上
- Agent
- 产业
GR00T N1.7 商业早期访问、N2（WAM）预览、Cosmos 3
- VLA
可用多模态上下文"操控"的通用模型，零样本跨本体
- 产业
仪表读数与更强空间推理；所选任务 99%；统一推理与执行
- 产业
Aditya Ramesh 领导；后续确认自研人形
- 前沿模型
Opus 4.7 在 Claude Code 里独立完成，比最快人类团队快约 19 倍
- Agent
- 前沿模型
12 个模型、4 种控制接口的系统评测
- Agent
技能库 + 进化搜索；冻结 VLA 的物理编排器
- 产业
流式编排、进度跟踪、工具调用、多机协作
- Agent
- 前沿模型
经 MCP/CLI/API 控制硬件，安全限位写在参考文件里
- 前沿模型
"LLM 即策略"研究潮：直接输出数值动作、驱动人形整理厨房
- Agent
仿真集成的 autoresearch；自我改进为何不累加
- 评测
84 个任务最强只有 19%；需主动探索的任务最强 23%
- 产业
机器人基础模型 API 化；通用模型生成仿真与控制代码
- Agent
Claude Code 直接上 ROS 2；agentic robots 系统综述；后训练机器人规划器
2026：通用前沿模型直接上机器人
2026 年 9 月 GPT-6 Astra 发布后，社区很快发现它能直接输出数值动作，两个月内出现几十项"LLM 即策略"研究。同期 Anthropic 发布了跨 12 个模型的机器人评测，Google 发布了面向机器人的 Gemini 4 Argon。下面三张图来自不同实验，设置各不相同，不能横向比较。
Anthropic × Claude
- 2025-11Project Fetch：有 Claude 辅助的人类团队完成 7/8 项任务（对照组 6/8），共同任务用时约减半
- 2026-06第二阶段：Opus 4.7 在 Claude Code 里独立完成，比最快人类团队快约 19 倍，仍没能自主"取回"
- 2026-07Claude plays robotics：12 个模型 × 4 种接口；越高层越好用，扭矩直控与 G1 站立仍失败
- 2026-08Model Hardware Standard：经 MCP / CLI / API 控制实验室硬件和机械臂
- 第三方OpenRUA（Opus 5，CaP-Bench 99%）、ASPIRE（Opus 5.5，LIBERO-Pro 99%）、RobotWorld（Opus 5.5，15.5%）
OpenAI × GPT
- 2023-02ChatGPT for Robotics（Microsoft）确立"API 库 + 提示"范式
- 2026-06OpenAI Robotics 成立，10 月确认自研人形，计划 2027 年演示
- 2026-09GPT-6 Astra 发布 → Galbot 系统评测、RoboDojo 第一、SenseNova 报告、NVIDIA Astranomy
- 2026-09真机：AGP（Codex CLI 驱动 YAM 机械臂）、HomeBody（Unitree G1 整理厨房）
- 2026-10Decisions API：有限选项的快速概率决策，可作 harness 中的决策层
Google DeepMind × Gemini
- 2025-03Gemini Robotics + ER，提出 ERQA；同期发布 ASIMOV 安全基准
- 2025-09Gemini Robotics 1.5：ER 1.5 编排 VLA，并调用搜索等工具
- 2026-04ER 1.6：仪表读数（与 Boston Dynamics 合作），"迄今最安全的机器人模型"
- 2026-07Gemini Robotics 2 / ER 2：Live API 流式编排、进度跟踪、多机协作
- 2026-10Gemini 4 Argon for Robotics：ERQA 87%；视频/草图 → MuJoCo 孪生；仿真数据让真机成功率 56%→75%
目前的共识
- 语义强，物理弱。导航、指令理解、目标纠错、in-context 学习表现突出（Galbot 测得 RxR 指令导航 92%）；精确对位、动力学、双臂协调、在手操作明显落后（LIBERO-GeoMotion 只有 11.1%，步态障碍赛 0/5）。
- 接口是最大的变量。Claude plays robotics 中，同一个模型在"写控制器 / 训 RL / 调预训练策略"上远好于扭矩直控；Astranomy 中扩展接口后成功率 80%→86%。
- 和 VLA 组合有时有益，但不总是更好。Galbot 的 Astra + π0.5 混合控制在 RoboDojo 子集达到 48%；而在 Claude plays robotics 中，单独的 MolmoAct 比任何"LLM 监督 MolmoAct"的组合都强，Mythos Preview 还因为过于频繁地推翻 VLA 而退步。
- 代价很高。RoboDojo 上 50 个实例要消耗 6–11 亿 token；30 秒步态需要 250 次调用、每次约 40 秒，仿真只能暂停物理来等模型。
- 安全没解决。RoboDojo 的 Astra 评测因安全原因中止了真机测试；Claude plays robotics 的真机片段里出现了把玻璃反射当成桌子、拖着垃圾桶走了几米等事故。
实验室与公司版图
只列与"agent / 基础模型 × 机器人"直接相关的进展。标"二手"的条目来自第三方报道，未见官方技术细节。
| 机构 | 代表模型 / 系统 | 2025–2026 关键进展 | 与 Agent 的关系 |
|---|---|---|---|
| Google DeepMind | Gemini Robotics 1.5 / 2、ER 1.6 / ER 2、On-Device 2、Gemini 4 Argon、Genie 3、SIMA 2 | ER 编排 VLA 并调用工具；ER 2 支持 Live API 流式编排与多机协作；Argon 生成仿真与控制代码 | 最完整的官方"编排者 + 执行者"栈，ER 通过 Gemini API 开放。Gemini Robotics 2 / ER 2Gemini 4 Argon for Robotics |
| Physical Intelligence | π0 / π0.5 / π*0.6 / π0.7、Hi Robot、MEM、RL Token | π0.7 可操控通用模型（2026-04）；Pi API beta（2026-10-13） | VLA 作为被上层调用的"手"；openpi 远程推理接口被很多 harness 采用。π0.7Pi API beta |
| NVIDIA | GR00T N1 → N1.7、N2 预览、DreamZero、Cosmos 3、Isaac、Alpamayo | GTC 2026：N1.7 商业早期访问，N2（世界-动作模型）预览，Cosmos 3 | GEAR 团队参与 CaP-X、ASPIRE、ENPIRE；SRL 做 Astranomy、VoLo。GR00T N1.7 / N2 预览DreamZero |
| OpenAI | GPT-6 Astra / Luna / Sol、Decisions API、OpenAI Robotics | 2026-06 成立机器人部门；人形计划 2027 年演示（报道） | Astra 是 2026-09 以来"LLM 即策略"研究的主要对象。GPT-6 Astra 发布OpenAI Robotics |
| Anthropic | Claude Opus 4.7 / 5 / 5.5、Mythos Preview、Claude Code、MCP、MHS | Project Fetch 两个阶段；Claude plays robotics；Model Hardware Standard | 从"编码 agent 帮人做机器人"走到"agent 自己做"；把机器人能力纳入前沿风险评估。Claude plays roboticsModel Hardware Standard (MHS) |
| Figure | Helix → Helix 02 | 新增 1 kHz System 0；宣称多台人形全自主跑完 8 小时班次（公司自述） | 自研 S2/S1/S0 三层；2025-02 结束与 OpenAI 的合作。Helix 02 (Figure) |
| Tesla | Optimus V3 + Grok | 报道称 Grok 负责语音与任务分解，VLA 负责执行 二手 | 典型的"LLM + VLA"两层结构 |
| 1X | Redwood AI、1X World Model | 世界模型成为 NEO 的"认知核心"；复杂家务依赖远程专家模式 | 1X World Model |
| Generalist / Skild / Dyna | GEN-0 / GEN-1；Skild Brain、S1；DYNA-2 | 扩展规律；看一段视频学会任务；用人类视频训练的 WAM | 机器人基础模型公司，可作为上层 agent 的执行层。GEN-1Skild S1DYNA-2 |
| Microsoft / Meta | Magma、Rho-alpha；V-JEPA 2 | Rho-alpha：基于 Phi 的"VLA+"（触觉 + 持续学习）；V-JEPA 2-AC 零样本规划 | Magma 同时覆盖 UI agent 与机器人操作。MagmaRho-alpha (ρα)V-JEPA 2 |
| 中国机构 | AgiBot GO-2 / Genie Envisioner、字节 GR-3 / Robix、阿里 Qwen-RobotManip / ABot、腾讯 HY-Embodied、BAAI RoboBrain / RoboOS、Galbot | GO-2（2026-04）、HY-Embodied-0.5（2026-04）、Qwen-RobotManip（2026-06）；Galbot 系统评测 GPT-6 Astra | RoboClaw、HarnessVLN（AgiBot）、ABot-AgentOS、RoboOS 等 agent 框架。AgiBot GO-2Qwen-RobotManipHY-Embodied-0.5ABot-AgentOS |
基准：怎样评价"agent 上机器人"
| 基准 | 评什么 | 关键发现 |
|---|---|---|
| Embodied Agent Interface | LLM 具身决策四模块（NeurIPS'24 D&B） | 细粒度定位规划错误的类型 |
| EmbodiedBench | MLLM agent 的高层 vs 低层任务（ICML'25） | 高层任务 Claude-3.5 约 64–68%；低层操作最好的 GPT-4o 只有 28.9% |
| Butter-Bench | LLM 当机器人"大脑" | 最好 40%，人类 95%；多步空间规划与社交理解最弱 |
| CaP-Bench（CaP-X） | 编码 agent 在不同抽象层级 | 去掉人类提供的抽象就掉分；多轮交互与技能合成可以补回 |
| LIBERO-PRO | 扰动后的操作 | VLA 记忆化；2026 年 agent 方法的主战场（RHO 45%、Pigey 53.3%、OpenRUA 87%、ASPIRE 99%） |
| RoboArena | 分布式真机双盲成对评测 | 2026-04：DreamZero 1750 Elo，π0.5 1622 |
| BEHAVIOR Challenge 2025 | 50 个长时程家务任务 | 冠军 Q-score 0.26（基于 π0.5） |
| RoboDojo | 仿真 + 真机统一基准 | GPT-6 Astra 以 22.48% 排第 1（超过 40 个公开策略） |
| RobotWorld | 5 个领域 84 个任务 | 最强 19%；63 个任务所有模型都没完成 |
| RoboQuest | 需主动搜索、检查、试验来获取信息 | 最好 23%；主要失败原因是太早停止探索 |
| Embodied Playground · LIBERO-Agent · EmbodiedSWE · Video2World | 长时程 agentic、agent 原生操控、编码 agent、世界重建 | 2026-09/10 新出，前沿模型仍有大量任务做不到 |
| ASIMOV · ASIMOV-2.0 · AgentSafe · GuardianBench | 语义与物理安全 | 据 ARC 转述：GPT-5、Gemini-2.5-Pro、Claude Opus 4.1 在 ASIMOV-2.0 的约束任务上违规率都在 30% 以上 |
评测建议（综述 Towards Agentic Robots §8）：任务成功率无法区分 agent 和执行器各自的贡献。应当固定执行器、观测与交互预算，并报告 token、时间与人工协助；还要加入需要处理信息缺失、执行器不合适、动作失败的任务。
安全：把闸门放在模型之外
攻击面
- RoboPAIR：自驾 LLM、GPT 规划的地面车、商用四足全部被越狱
- BadRobot：物理世界中的具身 LLM 越狱
- AgentRob：论坛里的 agent 经 MCP 调度真实 Go2 / G1
- Butter-Bench 红队：电量低时诱导机器人泄露信息来换充电
行为风险
- SafeHarness：编码 agent 多数情况下仍撞上明令禁止触碰的障碍物，推理里提到了障碍却不优先处理
- ROSClaw：不同模型提出越界动作的比率最多相差 4.8 倍
- Claude plays robotics 真机片段：把玻璃里的反射当成桌子冲过去；误判垃圾桶位置并拖行数米
防护
- 规范检查：Safety Chip（LTL）、RoboGuard（越狱成功率 92.3%→2.3%）、SafeGate（ISO 13482）、RoboSafe、CORE（控制屏障函数）
- 接口层闸门：ROSClaw 安全包络、ETA 区分"想做"与"允许做"、MHS 在参考文件里编码限位
- 综述：SoK：FM 机器人的安全与隐私
部署清单
- 先仿真后真机；真机第一次只做小幅动作，急停放在手边。
- 安全检查放在模型之外：话题 / 服务白名单，速度、工作空间、力矩限幅。
- 运动类命令需要人工确认，可以直接利用 Claude Code / Codex 的权限确认机制。
- 完整记录工具调用、传感器数据与视频，便于复盘。
- 评估器与被评估的 agent 隔离，防止 agent "钻评估器的空子"。
上手路线（给机器人研究者）
从"零改动试水"到"自动化研发"，按投入由少到多排列。命令摘自各项目 README（2026-10），以官方文档为准。
零改动试水：让 Claude Code 通过 MCP 读懂你的 ROS 机器人
机器人端只加一个 rosbridge 节点；本地的 MCP 客户端（Claude Code、Codex CLI、Gemini CLI 等）就能发现 topic、service、action。先只读，不发运动指令。
# 机器人端（ROS 2；把 <distro> 换成你的发行版，如 humble / jazzy） sudo apt install ros-<distro>-rosbridge-server ros2 launch rosbridge_server rosbridge_websocket_launch.xml # 本地：把 ROS MCP Server 注册到 Claude Code claude mcp add ros-mcp -- uvx ros-mcp --transport=stdio
建议的第一句提示："只读模式：列出所有 topic / service / action 及其类型，描述机器人当前状态，不要发布任何运动指令。" 项目：robotmcp/ros-mcp-server
让编码 agent 当策略：OpenRUA 或 CaP-X
OpenRUA 只给 Claude Code / Codex 一个 ROS 2 终端，支持仿真与真机；CaP-X 提供 39 个任务的 Gym 环境、分层基准与 RL 后训练。
# OpenRUA（先在设置菜单里选一个仿真机器人和场景） pip install -U openrua mkdir my-robot-project && cd my-robot-project openrua # CaP-X（Robosuite 与 LIBERO 依赖冲突，二选一） git clone --recurse-submodules https://github.com/capgym/cap-x && cd cap-x uv python install 3.10 && uv venv -p 3.10 uv sync uv sync --extra robosuite
把 VLA 包装成 agent 的工具
用 openpi（π0 / π0.5 权重与远程推理）、LeRobot / SmolVLA、GR00T N1.6 或 MolmoAct2 作执行器，由 VLM / ER 模型（如 gemini-robotics-er-2-preview）编排。关键是让工具有界、可中断、回报结构化结果。
# 示意代码：参考 VLAs-as-Tools / Harness VLA 的接口设计思想 def vla_act(instruction: str, max_steps: int = 150) -> dict: """执行一个有界子任务，把结构化结果返回给 agent。""" for step in range(max_steps): obs = robot.get_observation() actions = policy.infer(obs, instruction) # 例如 openpi 远程推理返回的动作块 robot.execute(actions) if success_detector(obs, instruction): # 独立的成功判定，不靠模型自述 return {"status": "success", "steps": step} return {"status": "timeout", "gripper_width_mm": robot.gripper_width(), "hint": "consider analytic grasp or re-staging"}
相关：VLAs-as-Tools · Harness VLA · Physical Agency · Hi-VLA 设计研究
自动化研发闭环
前提是环境能自动复位、自动判定成功、全程可回放。然后才轮到 agent 改代码、调配方、跑回归。可参考 ENPIRE（真机）、SimEX（仿真 + 少量真机）、HARBOR（RL 工作流）、ASPIRE（技能库 + 进化搜索），并读一读 123 轮自改进的教训。
数据与仿真
用 SceneSmith、ARSTAG、Agentic Real2Sim、RoboGen 生成场景与数据；也可以直接让 Gemini 4 Argon、GPT-6 Astra 这类模型写 MuJoCo / Isaac 场景和奖励（Eureka 的思路）。
延迟预算参考
| 层 | 典型频率 / 延迟 | 例子 |
|---|---|---|
| 前沿模型一次调用 | 秒级到数十秒；30 秒步态需 250 次调用、每次约 40 秒 | Galbot 的 GPT-6 Astra 评测 |
| 流式编排 | 低延迟双向流，"边执行边思考" | Gemini Robotics ER 2 + Live API |
| VLA / 学习策略 | 10–50 Hz；GR00T N1 动作块 120 Hz；Helix S1 200 Hz | π0.5、GR00T、Helix |
| 解析 / 全身控制 | 200–1000 Hz；Helix 02 的 S0 为 1 kHz | IK、MPC、WBC |
论文与资源库
共 315 条，可按关键词、类别、年份筛选。★ 为入门推荐。arXiv 条目的标题与日期经官方 API 核验，"一句话"是本页的中文概括。
| 日期 | 工作 | 类别 | 一句话 |
|---|
开放问题
归因与公平评测
成功率里多少来自 agent，多少来自执行器？需要固定执行器、观测和预算的对照评测。
何时调用大模型
事件触发还是固定频率？端侧还是云端？延迟与失败代价怎么折中？（HarnessWAM、VLAs-as-Tools）
物理世界的"退出码"
怎样可靠地判断"做完了""失败了""为什么失败"？（Thea、LIBERO-RECOVER）
自我改进能否累加
评估器漏洞、感知的关系理解、技能链前端偏置让改进"测试通过但任务不成"。
精细接触与动力学
这是前沿模型的系统性短板，需要 VLA / WAM 或触觉补位；触觉作为上下文已显示出收益。
跨本体泛化
agent 要先"读懂"陌生机器人的能力（EMOS 的机器人简历、openrua connect）。
权重还是技能
能力烤进 VLA 权重，还是写成代码技能？可能的终局：VLA 作底层，程序作上层，agent 离线进化二者再蒸馏回权重。
安全、权限与治理
硬件接口标准（MHS）、欧盟自 2027 年起对机械中 AI 安全功能的监管、前沿风险框架如何覆盖物理能力。
推荐阅读路径（新手）
- 经典三篇：SayCan → Code as Policies → VoxPoser
- VLA 主线：RT-2 → OpenVLA → π0.5 → π0.7
- Agentic VLA 栈：Gemini Robotics 1.5 技术报告 + ER 2 博客
- 编码 agent：CaP-X → OpenRUA → ASPIRE / ENPIRE
- 综述：Towards Agentic Robots + Survey on Multimodal Embodied Agents + Weights or Skills?
- 前沿模型即策略：Claude plays robotics → Galbot 的 GPT-6 Astra 评测 → RobotWorld
- 安全：RoboPAIR → RoboGuard → ASIMOV-2.0 → SafeHarness
主要来源与方法
- Anthropic：Project Fetch · Phase two · Claude plays robotics · MHS（Bloomberg）
- Google DeepMind：Gemini Robotics 1.5 · ER 1.6 · ER 2 · Gemini 4 Argon for Robotics
- OpenAI：机器人部门 · GPT-6 Astra（CNBC） · Decisions API
- Physical Intelligence：Pi API beta · RL Token · π0.7
- NVIDIA：GR00T N1.6 · GTC 2026 · Astranomy · DreamZero
- 综述与清单：Towards Agentic Robots · NUS 多模态具身 agent 综述 · Awesome-Astra-Embodied-AI
- 工具：ROS MCP Server · OpenRUA · CaP-X · AgenticROS
- 产业：Helix · Helix 02 · GEN-1 · Skild S1 · DYNA-2 · Rho-alpha · AgiBot GO-2 · 1X
方法：2026-10-23 检索。arXiv 条目用 export.arxiv.org API 按编号核验标题与首发日期；产业信息优先引用官方博客，第三方报道已注明。文中数值摘自论文摘要、官方博客或其直接转述。不同实验的设置不同，数字不可直接横向比较；2026 年的大量工作仍是未经同行评审的预印本。