调研导读 · Dexterous Hands for Motion-Control Researchers

灵巧手算法：给运控研究者的全景导读

A 部分讲"不沾 agent"的灵巧手：硬件与协同设计、手内操作 RL 与 sim2real、双手与动态操作、抓取、触觉、基于模型的接触控制、遥操作、人类演示与手-物数据、灵巧 VLA、真机 RL、世界模型、人形全身灵巧。B 部分讲 agent（LLM / VLM / 编码 agent）在灵巧手上能做什么、不能做什么。全文用腿足与人形控制的概念对照解释。

数据截至 2026-10-23（第二版：对照 2026 年灵巧手综述的参考文献与两份开源清单补全）· 收录 424 条论文与资源，其中 412 条 arXiv 已用官方 API 核验标题与日期 · 长文版：survey.html（Markdown 源文件）· 姊妹篇：机器人 × Agent 导读

一页看懂

A 部分 · 不沾 agent

主线仍是"仿真 RL + sim2real"，新变量是触觉、执行器建模和真机 RL

从 DAPG、Dactyl 到 HORA、DeXtreme，再到 DexNDM、ViserDex，工具和运控几乎一一对应。"重定向 + RL 跟踪"成了与人形 WBC 同构的配方；数据从遥操作、人类视频到合成迅速放大，但缺的是力；真机 RL 借助人在环与 MPC 脚手架开始可用；触觉进入基础模型与世界模型。

DAPGDactylHORADexNDMREGRINDMPC-Scaffolded Real RLEgoScale
B 部分 · Agent × 灵巧手

agent 留在慢环和离线环

写奖励（Eureka、Text2Touch）、给参考轨迹（Scaffolding with VLMs）、生成仿真与数据（GenDexHand、DexAgent）、给语义抓取目标（OmniDexVLG、UniHM）、零样本规划（ZeroDex），以及编码 agent 自己训策略（Dexterous Astra、ASPIRE）。直接让大模型控手指仍然弱，但把触觉作为上下文能显著改善接触任务。

EurekaText2TouchScaffolding with VLMsDexAgentZeroDexDexterous AstraGPT-6-Astra Understands Touch
用 MPC 轨迹预训练后，Allegro 手真机在线 RL 达到 100% 成功
7 分钟
MPC-Scaffolded Real RL · 2026-09
跨 4 种灵巧手共享潜在动作空间，对比 π0 基线
72% vs 32%
XL-VLA · 2026-03
agentic 数据管线训出的策略，对比基线（11 个真机任务）
3.5×
DexAgent · 2026-09
冻结的 GPT-6 Astra 加入触觉上下文，插孔任务成功率
31% → 99%
GPT-6-Astra Understands Touch · 2026-10

八个判断

  1. 你的 sim2real 工具箱可以直接迁移。域随机化、教师-学生、RMA、执行器网络在灵巧手上都有成熟对应（HORA、DexNDM、Force-Based Sim2Real）。
  2. "重定向 + 跟踪 RL"是最快的切入点。ManipTrans、DexMachina、SPIDER、REGRIND、CHORD 的流程和人形运动模仿几乎一样。
  3. 数据的瓶颈是"力不对"。人类视频、遥操作和合成数据都在放大，但运动学数据缺接触力和触觉；2026 年的重定向开始保接触结构、追接触力（TopoRetarget、ReForce、CHORD）。
  4. 真机 RL 在灵巧手上开始可用。人在环（HIL-SERL）、残差（ResFiT、BORA）、MPC 脚手架把真机探索的风险和时间压到可接受范围。
  5. 基于模型的方法仍有位置。采样 MPC 与接触感知优化不用训练、可解释，并与 RL 分层结合（高层 RL 选接触点，低层 MPC 推物体）。
  6. 触觉进入"基础模型 + 世界模型"阶段。Sparsh、AnyTouch 做表征，TacSL、UniVTAC 做仿真，DexTacWAM 等把触觉当作要预测的世界状态。
  7. VLA 覆盖了高自由度手，但手指接触协调仍靠低层控制器与后训练。GR-Dexter、XL-VLA、Dexora 之下，仍需要 DexterityGen、TacBPM 这类基础控制器。
  8. agent 擅长自动化"奖励-环境-数据-调参-评估"循环，不擅长替代 30–500 Hz 的手指接触控制。

运控视角：一张翻译表

左列是你在腿足 / 人形控制里熟悉的概念，中间是灵巧手里的对应物，右列是可以直接读的代表工作。

运控里熟悉的灵巧手里的对应物代表工作
地面接触、步态、支撑相与摆动相物体接触与"指步态"（finger gaiting）：一部分手指稳住物体，另一部分换位HORAFINGRTacBPMNon-Dropping Action Space
大规模并行 PPO + 域随机化同样是主力；自动域随机化（ADR）最早就出现在灵巧手上DactylRubik's Cube (OpenAI)DeXtremeDexPBTIsaac Gym
RMA / 教师-学生特权蒸馏物体质量、摩擦、形状作特权信息，学生只用本体、触觉或视觉HORARotateItPTLDViserDexDextrAH-RGB
执行器网络、系统辨识腱、减速器、电流-力矩更难建模：关节级神经动力学、电流-力矩标定、可微 real-to-simDexNDMForce-Based Sim2RealREGRINDD-REX
动作重定向 + 运动跟踪人手 → 机器人手重定向 + 以物体为中心的跟踪 RLManipTransDexTrackDexMachinaSPIDERREGRINDCHORD
运动先验 / 潜在动作空间灵巧"基础控制器"、行为先验、预训练后再后训练DexterityGenTacBPMADEPTLAMPCoorDex
采样 MPC（MPPI、DIAL-MPC、MuJoCo MPC）接触丰富的手内 MPC，要处理非光滑与接触模式组合DROPJactaPrimitive-Informed MPCGlobal-MPPI (KernelSOS)Contact Trust Region
人在环 / 安全的真机 RL灵巧手真机 RL，用人的干预、残差和 MPC 脚手架降低风险HIL-SERLMPC-Scaffolded Real RLIntervention-Aware WMDexPIE
地形感知物体形状与位姿感知（深度、RGB、触觉），且手-物遮挡严重Visual DexterityViserDexNeuralFeelsCordViP
抗外扰防滑、抓握稳定、受力调节Force-Based Sim2RealWM-CraftnetGrasp to Act
全身控制（WBC）手指 + 手腕 + 手臂 + 身体协调；人形边走边操作CoorDexDexWeaveHumanPlusOmniH2O
学到的动力学 / 世界模型灵巧世界模型，状态从低维扩展到视频与触觉PDDMDexWMDexTacWAMDexterous Tactile World Model

四个本质差异

被控对象不受驱动

要控制的是物体状态，物体没有执行器，只能经由间歇接触施力：欠驱动的混合系统，接触模式切换比步态更频繁、组合更多。

接触多且小

力、尺寸、速度都小，摩擦、滑移、柔顺性影响更大；仿真接触参数的误差相对更致命。

感知被遮挡

物体常被手挡住，视觉位姿难估；触觉因此关键，但触觉仿真很难。

硬件不统一

腱、连杆、直驱并存，自由度 6–22 不等，没有统一平台；跨本体表示（OHRA、UHAS、XL-VLA、UniDexTok、DexFormer）因此成为独立方向。

泛化维度也不同：腿足主要泛化地形，灵巧手主要泛化物体（形状、质量、摩擦、铰接结构）。

配方速查：灵巧手 RL / 模仿的默认清单

2022–2026 年大量工作共享的做法，可以当作搭第一个灵巧任务时的检查表。

观测

  • 本体：关节位置及若干帧历史、上一步动作。
  • 物体：位姿、点云或关键点。TriFinger 的工作发现，用关键点表示物体位姿（观测和奖励都用）比位置 + 四元数更好。
  • 目标：目标位姿或旋转轴；触觉：二值接触、力或触觉潜变量。
  • 教师额外拿特权信息：质量、摩擦、质心、形状参数、真实接触。
TriFinger Sim2RealHORADexPoint

动作空间

  • 最常见：关节位置目标 + PD，常用增量形式加平滑。
  • 降维：协同（eigengrasp）、操作原语、潜在动作、跨手规范表示。
  • 结构化：设计一个"不会掉物体"的动作空间，让 RL 只在稳定抓握内探索。
Primitive-Informed MPCXL-VLAUniDexTokOHRA (One Hand to Rule Them All)UHASNon-Dropping Action Space

奖励

  • 以物体为中心：位姿误差、沿目标轴的转速、关键点距离。
  • 正则：动作幅度与变化率、关节功或力矩、掉落惩罚。
  • 接触奖励：DexPoint、DexMan、EaDex 奖励指定部位接触，CHORD 用接触力旋量。
  • 跟踪人类参考：物体轨迹 + 手部参考（ManipTrans、DexMachina、REGRIND）；HuDOR、Human2Sim2Robot 从人类视频算物体轨迹奖励，绕开手的形态差异。
  • 由 LLM 生成：见 B 部分。
DexPointDexManEaDexCHORDHuDORHuman2Sim2Robot

课程与探索

  • 目标难度课程：POISE 的自适应 6D 目标课程把仿真中全范围到达成功率从 6.2% 提到 59.5%。
  • 几何或场景课程：UniDexGrasp++ 的几何感知课程、ClutterDexGrasp 的密度课程。
  • 逐步撤除的辅助：DexMachina 让"虚拟物体控制器"的强度逐渐衰减。
  • 示范与规划器引导探索：DAPG、DemoGrasp；采样式探索、Jacta、MPC 脚手架。
POISEUniDexGrasp++ClutterDexGraspDexMachinaDAPGDemoGraspSampling-based Exploration RLJacta

域随机化

  • 物体：质量、摩擦、尺寸、质心；手：PD 增益、阻尼、关节摩擦。
  • 时序与噪声：动作延迟与噪声、观测噪声。
  • 手相对重力的姿态（AnyRotate 训练任意手姿态下的旋转）。
  • 视觉外观：ViserDex 在 3D 高斯泼溅空间里做；自动域随机化见 OpenAI 魔方。
Rubik's Cube (OpenAI)AnyRotateViserDex

执行器与真机差距

  • 仔细的系统辨识（REGRIND）；关节级神经动力学（DexNDM）。
  • 电流-力矩标定 + 执行器动力学建模（Force-Based Sim2Real）。
  • 可微 real-to-sim 参数辨识（D-REX）；自动 real-to-sim 调参（人形双手视觉 sim2real）。
  • 用电机电流当"触觉"（Current as Touch）。
REGRINDDexNDMForce-Based Sim2RealD-REXHumanoid Dexterous Sim2RealCurrent as Touch

蒸馏

  • 特权教师 → 学生（本体历史、视觉、触觉），常用 DAgger 式在线蒸馏。
  • 多个专家 → 一个通才或潜在先验：UniGraspTransformer、ClutterDexGrasp、TacBPM、CoorDex；人形双手 sim2real 用分治蒸馏。
  • 也可以保留为混合专家（DexReMoE）。
UniGraspTransformerClutterDexGraspTacBPMCoorDexHumanoid Dexterous Sim2RealDexReMoE

评测指标

  • 旋转：累计旋转角或角速度、掉落前时间（TTF）。
  • 重定向：连续成功次数（如 DexReMoE 在 150 个物体上平均 19.5 次）。
  • 抓取：提起并保持的成功率；长时程任务：分阶段成功率。
  • 真机 RL：除成功率外，还应报告训练用时、掉落与人工干预次数。
HORADactylDexReMoEMPC-Scaffolded Real RL

常见坑

  • 仿真碰撞体与真实指垫的形状、厚度不一致；连杆手的耦合关节在仿真里没建模。
  • PD 增益与执行器饱和不一致；长时间运行后电机发热，特性随之漂移。
  • 仿真与真机的触觉接触事件对不上（Blind Dexterous Grasping 专门做了 Real2Sim 接触事件标定）。
  • 遮挡导致物体位姿抖动；训练物体集合过于规则。
Blind Dexterous Grasping

基础设施

  • 仿真：Isaac Gym / Isaac Lab、MuJoCo / MJX（MuJoCo Playground）、ManiSkill3、ComFree-Sim。
  • 触觉仿真：TacSL、UniVTAC、Tactile Genesis。
  • 手模型：MuJoCo Menagerie（含 Shadow、Allegro、LEAP）；重定向：dex-retargeting。
Isaac GymIsaac LabMuJoCo PlaygroundManiSkill3ComFree-SimTacSLUniVTACTactile GenesisMuJoCo Menageriedex-retargeting

技术地图：在线控制栈与离线回路

左边是灵巧手系统在线运行时的分层（越往下越快）；右边是离线的数据与训练回路。标 B 的环节是 agent 已经能起作用的地方。

任务层 · VLM / LLM / agent秒级

理解指令，确定抓哪里、用什么抓型，规划步骤，在 3D 中定位接触点，失败后恢复。B

DexGraspVLAZeroDexOmniDexVLGUniHMRoboDexVLM
↓ 子任务 / 目标抓取 / 物体目标位姿　　↑ 进度 · 失败 · 触觉事件
技能 / 策略层 · VLA 或 RL 策略约 10–50 Hz

灵巧 VLA、手内操作 RL 策略、抓取策略、跟踪人类参考的策略，以及"基础控制器"与行为先验；可用真机 RL 后训练。

XL-VLAGR-DexterDexNDMDexterityGenTacBPMHIL-SERL
↓ 关节目标 / 期望接触力　　↑ 关节状态 · 电流 · 触觉
手指控制层 · PD / 阻抗 / MPC约 100–1000 Hz

关节 PD 或阻抗控制、电流-力矩估计；也可以是采样 MPC 或接触隐式 MPC 直接给出接触动作（如 Sharpa Wave 控制频率 500 Hz）。

Force-Based Sim2RealDROPContact Trust RegionHierarchical RL-MPCComplementarity-Free Contact
硬件 · 驱动与传感

直驱 / 腱驱动 / 连杆；指尖或全手触觉；腕部与掌心相机。

LEAP HandSharpa WaveWuji HandORCA HandMIDAS HandDIGIT 360

硬件与手部设计（A1）

运控研究者最该关注的不是自由度数字，而是：能否反驱、控制带宽、能否从电流估力矩、触觉布局、能否自己维修，以及有没有可靠的 MuJoCo / URDF 资产——它直接决定 sim2real 的起点。

手自由度 / 驱动传感备注
关节直驱 / 近端电机：建模直接，可用电流估力；手更重，要处理散热
Allegro Hand16 DoF，四指原装无触觉，研究中常外加DeXtreme、Primitive-Informed MPC、MPC-Scaffolded RL 等的平台
LEAP Hand16 DoF可外加低成本、易组装维修，sim2real 常用；Blind Dexterous Grasping 的平台 LEAP Hand
XHand12 DoF指尖触觉力控 sim2real、XL-VLA 使用 Force-Based Sim2Real
Sharpa Wave22 DoF，控制频率 500 Hz每指动态触觉阵列1.3 kg；据报道进入 NVIDIA 参考人形套件；Dexterous Astra 的转笔平台 Sharpa Wave
Wuji Hand20 DoF，每个关节独立电机，FOC—裸手不到 600 g，指尖力 15 N；CoorDex 装在 G1 上 Wuji Hand
MIDAS Hand人手尺寸，低阻抗直驱，开源触觉MIDAS Hand
EyeSight Hand7 DoF，准直驱柔顺驱动集成视触觉EyeSight Hand
腱驱动：手轻、自由度高；腱的摩擦、迟滞、耦合让 sim2real 更难
Shadow Hand24 个关节、20 个电机在前臂可选指尖传感Dactyl、OpenAI 魔方、DexGraspNet、Eureka 的主角
ORCA17 DoF，开源集成触觉8 小时内组装，物料成本不到 2000 瑞士法郎 ORCA Hand
MM-Hand21 DoF，远端腱驱动，模块化触觉 + 关节角 + 掌内双目电机移出手掌，易维护 MM-Hand
Aero Hand Open开源—仿真就绪 Aero Hand Open
CRAFT Hand软硬混合柔顺—CRAFT Hand
CYJ Hand-021 DoF，形状记忆合金 + 电机混合—仿生手 CYJ Hand-0
Tesla Optimus Gen 3 手报道为手 22 DoF + 腕 3 DoF，执行器在前臂未确认二手信息 Tesla Optimus Gen 3 手
连杆驱动：可靠、成本低；耦合关节限制可达姿态
Inspire RH56连杆，6 个主动自由度级别部分型号带触觉中国人形常见标配；XL-VLA、DexWeave 使用
DexLink16 个执行器驱动 20 个关节—320 g，成本不到 400 美元 DexLink Hand
SyLink Hand借鉴手部协同的连杆设计—SyLink Hand
软体 / 欠驱动：被动顺应好，可控自由度少
Tactile SoftHand-A3D 打印，高度欠驱动，拮抗腱机构触觉Tactile SoftHand-A
面向数据与学习的软硬一体平台
GR-Dexter 手21 DoF，紧凑—手 + 双手遥操作 + VLA 训练配方 GR-Dexter
RAPID Hand20 DoF，紧凑全手感知与高自由度遥操作协同设计 RAPID Hand
ByteDexter20 DoF—配套人体运动重定向遥操作 ByteDexter Teleop
DManus模块化、低成本全手大面积触觉DManus (All the Feels)
Handroid同一个 27 DoF 机电身体，可重构为 20 DoF 手或桌面人形—Handroid
商用 / 人形配套
TESOLLO DG-5F-S五指 20 DoF—比上一代更小更轻，便于装上人形 TESOLLO DG-5F-S

协同设计：手的形态也是优化变量

House of Dextra 跨本体地学习任务相关的手形态与控制；Function-based Co-Design 把手掌、指运动学与指尖几何统一成一个参数空间；还有指节长度比优化、软手协同优化（约 400 种设计）、用奖励模型设计软手、联合学习设计工具与使用工具，以及用 LLM 从任务描述生成手形态的 Lang2Morph（B 部分）。另有基准尝试用可测的表现来定义"灵巧度"。

House of DextraFunction-based Co-DesignPhalanx Ratio OptimizationSoft Hand Co-OptimizationSoft Hand Design via Reward ModelsDesign and Use ToolsLang2MorphDexterity Benchmark for Hands

触觉传感器与仿真资产

指尖视触觉：DIGIT、DIGIT 360（形变、振动、声音、温度等多模态）、FingerEye；可更换皮肤：AnySkin；带视触觉手掌的夹持器：VTAP。选手前先确认模型资产：MuJoCo Menagerie 收录了 Shadow、Allegro、LEAP；Aero Hand Open 发布时就提供仿真模型。

DIGITDIGIT 360FingerEyeAnySkinVTAP GripperMuJoCo Menagerie

A 部分：不沾 agent 的灵巧手

十二个方向（A2–A13；A1 硬件见上一节，A14 基准见"数据与基准"）。每张卡片的"展开"里有新进展和给运控研究者的要点。

A2手内操作：RL 与 sim2real

主线

从 DAPG、Dactyl、魔方到 HORA、DeXtreme，再到 DexNDM、ViserDex；任务从单轴旋转扩展到任意重定向、6D 到达、工具使用和真实魔方。

DAPGDactylRubik's Cube (OpenAI)TriFinger Sim2RealHORADeXtremeAnyRotateDexNDMViserDexPOISEFINGRHumanoid Dexterous Sim2Real
展开
早期
DAPG 用示范增强策略梯度；PDDM 学模型 + MPC；低成本手上直接做真机 RL；TriFinger 从 Isaac Gym 迁移到远程真机；DLR 只靠位置与力矩感知、掌心朝下转方块。
新进展
执行器差距：DexNDM、电流-力矩标定、REGRIND 的系统辨识，以及在不完美仿真下学拧螺母、用螺丝刀。视觉：ViserDex 在 3D 高斯泼溅空间做域随机化。先验：ADEPT、TacBPM、Play2Perfect。任务谱：POISE、SimToolReal、Mana、FINGR、UniCross、Dex4D。跨本体：UHAS、OHRA、DexFormer。
运控要点
和腿足的 actuator net、RMA、AMP 类先验同构；最大的不同是被控对象（物体）不受驱动，指步态需要"一部分手指保持接触、一部分换位"。

A3双手、动态与可变形物体

接触时序是关键

双手抛接、接住空中物体、拧瓶盖、抓取-交接-重定向；可变形物体（橡皮泥、衣物、纸张、薄片）。

Dynamic HandoverDyDexHandoverDexCatchCatch It!Twisting Lids OffBiDexHDBiCompoDiffDexDeformDexGarmentLabPP-Tac
展开
代表
Dynamic Handover 用多智能体 RL 做双手抛接；DyDexHandover 只用 RGB；Catch It! 用移动底盘 + 12 DoF 手、只靠板载感知接住空中物体；Tele-Catch 用共享自主接物；BiDexHD 从人类示范自动构建双手任务；DexDeform 结合可微物理与人类示范捏橡皮泥。
运控要点
动态任务最像腿足的跳跃与落地——接触时序和冲击是关键；多智能体 RL 常用来协调两只手。

A4抓取合成与抓取策略

优化 → 生成 → 闭环

力封闭优化（DexGraspNet、BODex）→ 生成模型（DexGrasp Anything、Dex1B）→ 闭环策略的 sim2real（DextrAH、DemoGrasp）→ 功能抓取、杂乱场景、跨手迁移与触觉执行。

DexGraspNetBODexDexGrasp AnythingDex1BDextrAH-GDextrAH-RGBDemoGraspClutterDexGraspOHRA (One Hand to Rule Them All)CoorGraspDexterous Functional GraspingWhen Does Touch Matter?
展开
新进展
BODex 单卡每秒合成 49 个以上抓取，用它训练的模型仿真成功率约 80%（用 DexGraspNet 约 40%）；OHRA 统一 22 DoF 规范 URDF，3 指 LEAP 零样本 81.9%；CoorGrasp 用触觉 MPC 协调多指接触；"When Does Touch Matter?" 用真机对照研究力矩与触觉何时比视觉有用；AutoDex 无人值守地采集真实抓取数据。
运控要点
抓取合成本质是带接触约束的优化；静态质量指标（力封闭）与动态执行成功率之间仍有差距，所以闭环策略和真机验证很重要。

A5触觉：传感、表征、仿真与 sim2real

2026 年热点

传感器（DIGIT 360、AnySkin）、触觉基础模型（Sparsh 系列、AnyTouch、UniTouch）、触觉仿真（TacSL、UniVTAC、Tactile Genesis）、绕开触觉仿真（PTLD、SBLR）、视触觉感知（NeuralFeels）。

DIGIT 360AnySkinSparshSparsh-skinAnyTouchTacSLUniVTACTactile GenesisPTLDSBLRNeuralFeelsCurrent as Touch
展开
新进展
PTLD 用真实世界的特权传感器采数据再蒸馏，不需要触觉仿真；SBLR 用"预言者传感器"训练、部署时对齐真实潜变量；Current as Touch 把电机电流当触觉；NeuralFeels 用视觉 + 触觉神经场在线估计物体形状与位姿；TactiDex、Bench2Dex、HT-Bench 提供触觉基准。
运控要点
触觉相当于"高维的足底接触传感"，但仿真难度高一个量级；最省事的入门路线是不依赖精确触觉仿真的方法。

A6基于模型的接触控制

MPC / 优化

准静态接触平滑 + 全局规划、接触信赖域、免互补接触模型、采样 MPC（Predictive Sampling、DROP、Jacta、Global-MPPI），以及 RL + MPC 分层。

Quasi-Dynamic SmoothingContact Trust RegionComplementarity-Free ContactPredictive SamplingDROPJactaPrimitive-Informed MPCGlobal-MPPI (KernelSOS)Hierarchical RL-MPCGeometric FabricsPDDM
展开
新进展
Contact Trust Region 不靠并行就比 RL 和采样 MPC 省算力；Primitive-Informed MPC 用低维原语偏置采样；Hierarchical RL-MPC 让 RL 选"碰哪里"、MPC 管"怎么推"；同一作者组的 ComFree-Sim 把免互补接触做成 GPU 引擎。
运控要点
这是你最熟悉的工具链（与 DIAL-MPC、MPPI 同源）；难点是接触模式组合爆炸和梯度不可靠。MPC 还可以给真机 RL 当脚手架（A11）。

A7遥操作与数据采集硬件

数据入口

视觉 / VR 遥操作（DexPilot、AnyTeleop、Open-TeleVision、Bunny-VisionPro）、外骨骼与力反馈手套（DOGlove、DEXOP、ACE-F）、人手直接采集（DexCap、DexUMI、DexWild），以及共享自主。

DexPilotAnyTeleopOpen-TeleVisionBunny-VisionProDOGloveDEXOPACE-FDexCapDexUMIDexWildDexterityGendex-retargeting
展开
新进展
重定向从"保运动学"走向"保力"：ReForce 在运动学结果上预测残差以达到期望接触力，AnyDexRT 免标定，DexTwist 专门处理拧转；FACTR、DexForce 把力带进示范；DexterityGen、TeleDexter 让学到的低层控制器补上人难以遥控的接触执行；ViHaTeleop 把成本压到 550 美元。
运控要点
与人形遥操作用 RL 跟踪器兜底是同一思路：人给意图，控制器负责动力学可行。

A8人类演示 / 视频 → 机器人

与人形运动模仿同构

重定向 + 跟踪 RL（DexTrack、ManipTrans、DexMachina、SPIDER、REGRIND、CHORD），保接触重定向，以及从单目视频到大规模第一人称数据。

DexTrackManipTransDexMachinaSPIDERREGRINDCHORDHuman2Sim2RobotTopoRetargetContact-Anchored RetargetingHuDORDo as I DoEgoScale
展开
新进展
Contact-Anchored Retargeting 迁移"哪个手指部位碰哪里、按什么顺序"而非关节运动；CHORD 用接触力旋量引导长时程操作；Dex-X 把仿真当作触觉补全引擎；EgoScale 发现人类数据规模与验证损失呈对数线性。
运控要点
如果你做过 mocap → 重定向 → RL 跟踪的人形运动模仿，这里的流程几乎可以照搬，只是奖励要以物体为中心。

A9人手-物体重建与数据

手部的"动捕库"

数据集（DexYCB、ARCTIC、OakInk2、TACO、GigaHands、HOT3D、OpenEgo）与重建方法（HOLD、HaWoR、WiLoR、EgoGrasp），以及用 agentic 生成做可仿真重建的 AGILE。

DexYCBARCTICOakInk2TACOGigaHandsHOT3DOpenEgoHOLDHaWoRWiLoRAGILEHOI Foundation Model Survey
展开
规模
GigaHands 34 小时、1.83 亿帧；OpenEgo 1107 小时；EgoVerse 是全球协作的第一人称数据平台；HandX 扩大双手运动与交互生成的数据规模。
运控要点
这些是"人类运动捕捉库"的手部版本，质量直接决定重定向与跟踪 RL 的上限；第一人称视频尤其需要世界坐标下的重建（HaWoR、WHOLE）。

A10模仿策略与灵巧 VLA

2025–2026

3D 模仿策略（DP3）、抓取型（DexGraspVLA、GraspVLA）、通用灵巧 VLA（GR-Dexter、XL-VLA、Dexora、UniDex）、人类视频预训练（EgoScale、Being-H0）、触觉 VLA（OmniVTLA、MoDE-VLA）。

DP3 (3D Diffusion Policy)DexGraspVLAGraspVLAGR-DexterXL-VLADexoraUniDexEgoScaleBeing-H0OmniVTLAMoDE-VLAHelix 02
展开
难点
动作维度高（双手 40 维以上）、遮挡、真机数据贵。对应的解法是跨本体潜在动作（XL-VLA、UniDexTok）、人类视频预训练、共享自主采数据，以及后训练（A11）。
运控要点
VLA 输出的通常是关节目标块，手指接触的稳定性仍依赖低层控制与硬件顺应性；LiMA 用异步扩散把慢的长时程"想象"接到实时控制上。

A11真机 RL 与后训练

快速成熟

人在环真机 RL（SERL、HIL-SERL）、扩散策略上的真机 RL（RL-100）、残差 RL（ResFiT、BORA）、MPC 脚手架，以及 VLA 的人在环后训练。

SERLHIL-SERLRL-100ResFiTBORAGR-RLMPC-Scaffolded Real RLIntervention-Aware WMDexPIELAMPHandelBotHigh-DoF VLA Post-Training
展开
新进展
MPC-Scaffolded Real RL：用 12 分钟采到的 20 条 MPC 轨迹初始化，在线 RL 7 分钟达到 100%；20 分钟后转速超过 MPC 的 5 倍，连续 1000 圈不掉。Intervention-Aware WM 把人的干预当安全信号；HandelBot 在真机上弹钢琴；High-DoF VLA Post-Training 组合 SFT、DAgger 与真机残差 RL。
运控要点
灵巧手真机 RL 的关键是安全探索：人在环、残差、脚手架控制器——和你在真机腿足上做在线适应的思路一致。

A12灵巧世界模型

触觉进入世界状态

从人类视频学的手-物世界模型（DexWM、Dexterous World Models、LD4WAM），以及把触觉当作要预测的状态（DexTacWAM、TacWAM、ME-Dex）。

DexWMDexterous World ModelsLD4WAMSkel-WAMP³-WAMDexTacWAMTacWAMME-Dex 1.0Dexterous Tactile World ModelMotus2Mask2Real-WMH2R-Bench
展开
新进展
DexTacWAM 在 22 DoF 双手的 6 个任务上平均 70.6 分，最强基线 38.0；Dexterous Tactile World Model 以触觉手套信号为条件；Motus2 自我进化；H2R-Bench 评测人到机器人的视频生成。
运控要点
相当于给灵巧手学一个能用于预测与规划的动力学模型，与 PDDM 一脉相承，只是状态从低维向量变成了视频与触觉。

A13人形全身灵巧

运控交叉点

身体与手的先验组合（CoorDex）、交互一致的全身重定向（DexWeave）、全身遥操作（HumanPlus、OmniH2O、HOMIE、HumDex），以及人形双手视觉 sim2real 配方。

CoorDexDexWeaveHumDexHumanPlusOmniH2OHOMIEHumanoid Dexterous Sim2RealWholeBodyVLAHandroid
展开
新进展
CoorDex 分别训练身体与手的特权跟踪教师，蒸馏成潜在先验，冻结后作为残差 RL 的动作空间（Unitree G1 + 20 DoF Wuji 手）。人形双手视觉 sim2real 配方：自动 real-to-sim 调参、接触与目标奖励、分治蒸馏、混合物体表征。
运控要点
这是运控研究者最容易切入的交叉点：把已有的人形 WBC 先验与灵巧手先验组合起来。

B 部分：Agent × 灵巧手

一句话：agent 擅长自动化"奖励-环境-数据-调参-评估"这个慢循环，不擅长替代 30–500 Hz 的手指接触控制。

环节agent 的作用成熟度代表
奖励、参考轨迹与课程写奖励函数代码并迭代；生成手与物体的关键点轨迹供 RL 跟踪较成熟，已上真机EurekaText2TouchRF-AgentScaffolding with VLMs
仿真参数 / 域随机化VLM 当视觉真实感评判来调参起步DexSim2Real
仿真、数据与设计生成生成任务和场景；从人类视频重建并生成训练数据；生成手的形态快速发展GenDexHandDexAgentAGILEEmbodiedSWEGemini 4 Argon for RoboticsLang2Morph
语义 / 功能抓取目标理解"拿杯柄""按喷头"，给出接触与抓取类型较成熟OmniDexVLGDextERBLaDAAffordDexGraspSECOND-GraspUniHM
高层规划 + 灵巧技能VLM 规划、在 3D 中定位、调用技能、失败后恢复较成熟DexGraspVLARoboDexVLMZeroDexBeing-0Bi-VLAAW-0 (Agentic WAM)
编码 agent 自动训策略自己搭仿真、写奖励、训 PPO、调参2026 年刚出现Dexterous AstraASPIRESEAR
直接控制手指大模型逐步输出手指动作弱（触觉上下文例外）GPT-6 Astra as Embodied PoliciesGPT-6-Astra Understands TouchTacTalent

B1写奖励、给参考轨迹、调仿真参数

最成熟

Eureka 让仿真里的 Shadow 手第一次学会快速转笔；Text2Touch 把 LLM 奖励扩展到触觉并上了真机；Scaffolding with VLMs 让 VLM 直接给出手与物体的关键点轨迹。

EurekaText2TouchRF-AgentScaffolding with VLMsDexSim2Real
展开
细节
Text2Touch 的提示结构可处理 70 多个环境变量，奖励更短，表现超过人工精调版本；RF-Agent 用蒙特卡洛树搜索管理奖励迭代；Scaffolding with VLMs 让残差 RL 在仿真中跟踪 VLM 给的轨迹，再迁移到真机；DexSim2Real 让 VLM 当视觉真实感评判，闭环 CMA-ES 调域随机化，真机平均 78.2%。
运控要点
写奖励的那部分工作可以交给 agent，但任务定义、可自动判定的成功条件和安全约束仍要你来给。

B2生成式仿真、数据与设计

快速发展

GenDexHand 为灵巧手生成任务与环境；DexAgent 从一段第一人称视频生成物理可信的训练数据，成功率是基线的 3.5 倍；AGILE 从视频重建可仿真的手-物交互；Lang2Morph 让 LLM 生成手的形态。

GenDexHandDexAgentAGILEEmbodiedSWEGemini 4 Argon for RoboticsLang2Morph
展开
细节
DexAgent 分四步：语义理解 → 按物体属性重建仿真 → 轨迹优化 → 数据生成；每一步都有属性相关的校验器把关，工具库可以自我扩充。Gemini 4 Argon 能把第一人称视频重定向到带 22 DoF 手的仿真人形，并从视频或草图生成 MuJoCo 孪生。
运控要点
这类工作的关键在"校验器"：没有可靠的物理校验，生成数据就会把错误传下去。

B3VLM / LLM 语义与功能抓取

给控制器一个参考

从语言到"哪个手指碰哪里、用什么抓型"：AffordDexGrasp、OmniDexVLG（多 agent 推理）、DextER（接触 token）、BLaDA、SECOND-Grasp、UniHM。

Multi-GraspLLMAffordDexGraspOmniDexVLGDextERBLaDASECOND-GraspUniHMAdaRoboVLGBimanual Affordance via VLMDexVLG
展开
细节
DextER 先自回归生成接触 token 再生成抓取；SECOND-Grasp 由 VLM 推理接触区域、跨视角一致化后再求手的位姿；UniHM 用统一手部 tokenizer 跨手生成操作序列，只用人-物交互数据训练，再做物理优化；AdaRoboVLG 把任务理解交给可组合的模块，底层抓取策略不用重训。
运控要点
这一层给的是语义化的目标接触，下游仍需力封闭检查和闭环控制。

B4VLM 规划 + 灵巧技能

分层

VLM 负责规划、3D 定位与恢复，学到的或参数化的灵巧技能负责执行：DexGraspVLA、RoboDexVLM、ZeroDex、Being-0、Bi-VLA、AW-0。

DexGraspVLARoboDexVLMZeroDexBeing-0Bi-VLADexHandDiffAW-0 (Agentic WAM)
展开
细节
ZeroDex 经多视角融合把 VLM 的 2D 定位提升到 3D（接触点、放置目标、工具运动锚点），不采示范，在真机上胜过用 100 条示范微调的 VLA；DexGraspVLA 杂乱场景抓取 90% 以上；Being-0 用 Connector VLM 衔接基础模型与行走、灵巧技能；Bi-VLA 把指令翻译成代码完成双手做沙拉。
运控要点
分层接口（子目标、抓取类型、终止条件）的设计比规划器大小更重要。

B5编码 agent 与自我进化

2026 年新出现

编码 agent 自己搭仿真、写奖励、训 PPO：Dexterous Astra 让 Sharpa Wave 转笔三圈；ASPIRE 在真机灵巧手上解魔方；SEAR 系统地评测自我进化。

Dexterous AstraASPIRESEAREmbodied PlaygroundEmbodiedSWE
展开
细节
社区记录了 GPT-6 Astra 自主运行约一天半、从建模到训好 PPO 转笔策略的案例；Dexterous Astra 中 Wuji 手在 MuJoCo 里拧出了魔方的 U、F、L 三步；SEAR 用对照实验区分"真的学到了"和"只是多试了几次"；EmbodiedSWE 把编码 agent 的解扩增成 VLA 训练数据。
运控要点
本质是 Eureka 的放大版：agent 接管"写环境 → 写奖励 → 训练 → 看曲线 → 改"的循环，你负责可自动评估的任务定义和安全的真机流程。

B6前沿模型直接控手

触觉上下文是例外

直接做手内操作时难以协调手指接触（Galbot 评测）；但把触觉总结成上下文后，冻结的 GPT-6 Astra 在接触任务上表现很好。

GPT-6 Astra as Embodied PoliciesGPT-6-Astra Understands TouchTacTalentHas GPT-6-Astra Achieved Embodied Intelligence?Awesome-Astra-Embodied-AI
展开
细节
Galbot：与学习策略混合控制，在 DexJoCo 的 10 次试验中成功 50%。GPT-6-Astra Understands Touch：5 个 UniVTAC 任务平均 93.8%，插孔任务 31%→99%。TacTalent：19 个视触觉仿真任务，加触觉后两组平均 93.8% 和 81.8%（只用视觉为 76.3% 和 80.6%）。SenseNova 的 12 基准评测：具身能力大体具备，实用性尚不足。
运控要点
大模型的强项是"理解接触信号、做纠正决策"，弱项是"高频协调多指"，所以应把它放在慢环。

时间线（2017 → 2026-10）

方向：
  1. 2017
  2. DAPG

    示范增强的策略梯度：24 DoF 手开门、用锤子、手内重定向

    控制
  3. 2018
  4. Dactyl

    大规模域随机化 + RL，Shadow 手方块重定向 sim2real

    控制
  5. 低成本灵巧手真机 RL

    直接在真机上做深度 RL 的早期工作

    控制
  6. 2019
  7. PDDM

    学深度动力学模型 + MPC，真机 Shadow 手转保定球

    控制
  8. OpenAI 魔方

    自动域随机化 + 带记忆的策略

    控制
  9. DexPilot

    纯视觉遥操作手臂-手系统

    数据
  10. 2020
  11. DIGIT

    低成本、紧凑、高分辨率视触觉传感器

    触觉
  12. 2021
  13. Isaac Gym · TriFinger sim2real

    GPU 上的大规模并行 RL；三指手远程真机迁移

    控制
  14. 通用手内重定向

    教师-学生，掌心朝下也能重定向

    控制
  15. 2022
  16. DIME · OakInk

    单目视觉遥操作 + 模仿；手-物交互知识库

    数据
  17. DLR 纯触觉手内操作

    只靠位置与力矩感知，掌心朝下转方块

    触觉
  18. Bi-DexHands · 准静态平滑全局规划

    双手 RL 基准；接触丰富规划的模型路线

    控制
  19. HORA · DeXtreme

    RMA 进入灵巧手；Isaac Gym 并行 + 视觉位姿

    控制
  20. DexGraspNet · GenDexGrasp · Holo-Dex

    132 万个抓取；接触图跨手生成；混合现实遥操作

    数据
  21. Visual Dexterity · DexPoint

    单深度相机重定向；点云 RL 类别级 sim2real

    控制
  22. Predictive Sampling

    MuJoCo MPC 中的采样式实时控制

    控制
  23. VideoDex

    从互联网视频学灵巧先验

    数据
  24. 2023
  25. UniDexGrasp

    抓取提案 + 目标条件策略的通用抓取

    数据
  26. Rotating without Seeing · T-Dex

    只靠触觉旋转；触觉表征自监督预训练

    触觉
  27. DexDeform

    人类示范 + 可微物理，多指手捏橡皮泥

    控制
  28. DexPBT · DexArt

    种群训练扩展到手臂 + 手；铰接物体基准

    控制
  29. AnyTeleop

    通用视觉遥操作框架

    数据
  30. LEAP Hand

    低成本学习用灵巧手

    硬件
  31. Dynamic Handover · MyoDex

    双手抛接；肌骨手的多任务先验

    控制
  32. RotateIt

    视觉 + 触觉的通用手内旋转

    触觉
  33. Eureka

    LLM 写奖励，第一次让仿真 Shadow 手学会转笔

    B·Agent
  34. DexCatch

    灵巧手接住任意物体

    控制
  35. NeuralFeels · Robot Synesthesia

    视觉 + 触觉神经场估形状与位姿；点云化触觉

    触觉
  36. 2024
  37. SERL

    样本高效的真机 RL 软件套件

    真机 RL
  38. DexCap · OPEN TEACH

    便携动捕采人手数据；VR 遥操作

    数据
  39. DP3

    3D 扩散策略，灵巧模仿的常用基线

    模仿
  40. Twisting Lids Off

    双手拧瓶盖的 sim2real RL

    控制
  41. AnyRotate

    任意手姿态下的多轴旋转，触觉 sim2real

    触觉
  42. HumanPlus · OmniH2O

    人形影子遥操作 + 模仿；人到人形全身遥操作

    人形
  43. DextrAH-G · 转笔经验总结

    几何 fabrics + RL 抓取；高动态手内操作

    控制
  44. Open-TeleVision · Bunny-VisionPro

    沉浸式主动视觉遥操作；Vision Pro 双手遥操作

    数据
  45. Jacta · 免互补接触建模

    通用采样规划器引导 RL；实时灵巧 MPC

    控制
  46. TacSL

    视触觉传感器仿真与学习库

    触觉
  47. DROP · Catch It!

    在线采样规划手内重定向；移动底盘接空中物体

    控制
  48. HIL-SERL

    人在环真机 RL，精密与灵巧任务

    真机 RL
  49. Sparsh

    视触觉的自监督通用表征

    触觉
  50. DexMimicGen · DexGraspNet 2.0 · ManiSkill3

    自动扩增双手数据；杂乱场景生成式抓取；GPU 并行仿真

    数据
  51. DIGIT 360

    多模态人工指尖

    触觉
  52. DextrAH-RGB

    只用 RGB 的抓取策略 sim2real

    控制
  53. BODex · GigaHands

    双层 QP 的 GPU 并行抓取合成；34 小时双手活动数据

    数据
  54. Multi-GraspLLM

    多模态 LLM 按语义为多种手生成抓取

    B·Agent
  55. 2025
  56. DexterityGen · MuJoCo Playground · 人形双手视觉 sim2real

    灵巧基础控制器；MJX 开源训练框架；人形 sim2real 配方

    控制
  57. DexTrack · DOGlove

    通用神经跟踪控制器；开源力反馈手套

    数据
  58. DexGraspVLA

    VLM 规划 + 扩散控制器

    VLA
  59. ManipTrans · DexGrasp Anything

    人类双手技能迁移；物理感知的扩散抓取

    数据
  60. GR00T N1 · Gemini Robotics

    人形双系统基础模型；微调后折纸

    VLA
  61. AffordDexGrasp · RoboDexVLM · Being-0

    语言可供性抓取；VLM 规划 + 灵巧抓取；人形 agent

    B·Agent
  62. ORCA

    开源 17 DoF 腱驱动手，集成触觉

    硬件
  63. Human2Sim2Robot

    一段 RGB-D 人类视频 + 仿真 RL 跨越本体差距

    数据
  64. Contact Trust Region

    尊重接触单边性的 MPC + 全局规划

    控制
  65. DexUMI · DexWild · DexMachina

    人手当操作接口；野外采集；功能性重定向

    数据
  66. Sparsh-skin

    全手磁性皮肤的触觉编码器

    触觉
  67. Dex1B · ClutterDexGrasp

    10 亿条演示；杂乱场景零样本抓取

    数据
  68. Scaffolding with VLMs

    VLM 给手与物体的关键点轨迹，残差 RL 跟踪

    B·Agent
  69. DexVLG · Being-H0 · EgoVLA

    1.7 亿语义抓取；人类视频预训练的灵巧 VLA

    VLA
  70. Text2Touch

    LLM 设计触觉奖励，真机多轴旋转

    B·Agent
  71. DEXOP · DemoGrasp

    被动外骨骼采视触觉人类数据；一次示范的通用抓取

    数据
  72. DexNDM

    关节级神经动力学闭合 sim2real 差距

    控制
  73. RL-100

    扩散策略上的真机 RL：模仿 → 离线 → 在线

    真机 RL
  74. SPIDER

    物理感知的采样式重定向，覆盖 9 种手与人形

    数据
  75. GenDexHand

    灵巧手的生成式仿真

    B·Agent
  76. GR-Dexter · GR-RL

    21 DoF 手 + 双手遥操作 + VLA；VLA 训成长时程灵巧专家

    VLA
  77. DexWM · Dexterous World Models

    从人类视频学灵巧世界模型

    世界模型
  78. House of Dextra

    跨本体的手形态与控制协同设计

    硬件
  79. OmniDexVLG

    多 agent 推理抓取类型与接触语义

    B·Agent
  80. 2026
  81. Force-Based Sim2Real · Hierarchical RL-MPC

    电流-力矩标定 + 触觉；RL 选接触点、MPC 执行

    控制
  82. Figure Helix 02

    指尖触觉 + 掌心相机分药片、推注射器

    产业
  83. DextER

    先生成接触 token，再生成抓取

    B·Agent
  84. EgoScale

    2 万多小时人类视频，对数线性规律

    VLA
  85. OHRA · DexFormer

    规范 URDF 跨手抓取；在线推断手的形态

    控制
  86. UniVTAC

    视触觉数据生成、学习与评测的统一仿真平台

    触觉
  87. RF-Agent · AGILE

    树搜索管理奖励设计；agentic 生成做可仿真的手-物重建

    B·Agent
  88. HydroShear

    水弹性接触的触觉仿真，建模粘滑与剪切累积

    触觉
  89. UniHM

    VLM + 统一手部 tokenizer 按语言生成灵巧操作

    B·Agent
  90. PTLD

    不做触觉仿真的触觉 sim2real：真实特权传感器 + 蒸馏

    触觉
  91. D-REX

    高斯泼溅 + 可微 real-to-sim 辨识物理参数

    控制
  92. XL-VLA · UniDex · MoDE-VLA

    跨手潜在动作 72% vs 32%；通用灵巧控制套件；力与触觉 VLA

    VLA
  93. HumDex · HandelBot

    便携人形灵巧遥操作；真机弹钢琴

    人形 / 真机 RL
  94. ViserDex · Global-MPPI

    3D 高斯泼溅空间的视觉域随机化；全局采样 MPC

    控制
  95. BLaDA

    开放词汇指令 → 结构化约束 → 零样本功能抓取

    B·Agent
  96. Dexora · BORA

    开源双臂双手 VLA；离线 RL + 在线残差

    VLA
  97. DexJoCo · 灵巧手综述

    MuJoCo 任务导向灵巧基准；硬件、方法、数据与评测综述

    数据
  98. DexSim2Real

    VLM 当视觉真实感评判调域随机化

    B·Agent
  99. Wuji Hand

    20 个独立电机驱动的关节，FOC 控制

    硬件
  100. Sharpa Wave · DexLink

    22 DoF + 触觉阵列；400 美元以内的 20 关节手

    硬件
  101. CoorDex · DexPIE

    人形边走边灵巧操作；从真实经验稳定改进策略

    人形 / 真机 RL
  102. Tactile Genesis · HT-Bench

    多种触觉抽象的 GPU 仿真；全手触觉表征基准

    触觉
  103. TopoRetarget · Do as I Do

    保接触结构的重定向；野外视频转灵巧数据

    数据
  104. ZeroDex

    多视角 3D 落地的 VLM 推理，零样本长时程灵巧操作

    B·Agent
  105. CHORD

    以物体为中心的接触力旋量引导 RL，从人类示范学长时程操作

    数据
  106. ASPIRE

    编码 agent 持续写技能，真机解魔方

    B·Agent
  107. REGRIND · DexVerse

    人形 WBC 配方迁移到灵巧手；100 任务 6 手基准

    数据
  108. TacWAM · Mask2Real-WM

    力学感知触觉预测；掩码桥接的可控世界模型

    世界模型
  109. Current as Touch · TactiDex

    电机电流当触觉；真实世界触觉灵巧基准

    触觉
  110. MIDAS Hand

    开源、低阻抗直驱、带触觉

    硬件
  111. ADEPT

    灵巧预训练 + 后训练到长时程任务

    控制
  112. SBLR

    "预言者传感器"训练，部署时对齐真实触觉

    触觉
  113. ReForce

    力感知重定向

    数据
  114. Motus2 · LD4WAM

    自我进化的灵巧世界模型；从人类视频学潜在动力学

    世界模型
  115. Aero Hand Open

    仿真就绪的开源腱驱动手

    硬件
  116. FINGR · TacBPM · Primitive-Informed MPC · POISE

    真实魔方；触觉行为先验；原语化采样 MPC；手内 6D 到达

    控制
  117. MPC-Scaffolded Real RL · Intervention-Aware WM

    Allegro 7 分钟在线 RL 达 100%；人的干预当安全信号

    真机 RL
  118. DexTacWAM · Dexterous Tactile World Model

    视触觉世界-动作模型 70.6 vs 38.0；触觉手套条件的世界模型

    触觉
  119. Contact-Anchored Retargeting

    迁移接触而不是关节运动

    数据
  120. DexWeave

    交互一致的身体 + 手重定向，人形灵巧移动操作

    人形
  121. DexAgent · EmbodiedSWE · Dexterous Astra · Galbot 评测

    agentic 数据管线 3.5×；编码 agent 的解扩增成 VLA 数据；编码 agent 训转笔；大模型直接控手的边界

    B·Agent
  122. HandsOn · BiDex-100 · OmniDex · Gen2Dex

    跨本体基准；106 个双手任务；杂乱抓取数据扩容；生成视频转灵巧演示

    数据
  123. P³-WAM

    感知、预测、规划统一的第一人称灵巧世界-动作模型

    世界模型
  124. GPT-6-Astra Understands Touch · SEAR · AW-0 · Gemini 4 Argon

    触觉上下文 31%→99%；自我进化框架；代码-视频-动作联合生成；视频到 22 DoF 手的仿真

    B·Agent

数据、基准与仿真（A14）

DexGraspNet：力封闭优化合成的 ShadowHand 抓取
132 万
2022-10
DexGraspNet 3.0：与语义部件对齐的抓取（DexVLG）
1.7 亿
2025-07
Dex1B：生成模型产出的抓取与铰接演示
10 亿
2025-06
EgoScale：带动作标签的第一人称人类视频
20,854 小时
2026-02

四个数字的单位不同（抓取、演示、视频小时），不能直接比较，只说明合成与人类视频两条数据路线各自的量级。

名称内容适合做什么
仿真与基础设施
Isaac Gym · Isaac Lab物理与训练全在 GPU 上；Isaac Lab 为继任者，含执行器模型与灵巧任务大规模并行 RL、手内重定向
MuJoCo Playground基于 MJX，含灵巧手任务单 GPU 快速训练与 sim2real 入门
ManiSkill3GPU 并行的仿真与渲染，含灵巧手任务视觉策略训练
ComFree-Sim免互补约束的解析接触 GPU 引擎接触丰富的仿真与 MPC
MuJoCo Menagerie官方维护的机器人模型库（Shadow、Allegro、LEAP 等）手模型资产
灵巧操作基准
Bi-DexHandsIsaac Gym 双手灵巧任务RL 算法、LLM 奖励设计的常用测试场
DexArt铰接物体的灵巧操作泛化到新物体
DexMachina由人类演示定义的长时程双手任务，多种手重定向 + 跟踪方法；比较不同手的设计
DexVerse100 个任务、3 种机械臂、6 种灵巧手多任务、跨本体泛化
HandsOn5 种臂、6 种手、约 200 个资产、1.8 万条示范跨本体模仿学习
BiDex-100MuJoCo 上 106 个双手任务、8080 条示范双手模仿与 VLA 评测
DexJoCoMuJoCo 上的任务导向灵巧基准与工具包任务导向操作；也被用来评测大模型控手
LabDex · DexGarmentLab · DexH2R实验室场景分层任务；衣物操作；人到机器人交接特定场景
BODex · 灵巧度基准MuJoCo 中可复现的抓取评测；用表现定义手的灵巧度抓取合成与学习；硬件比较
触觉仿真与基准
TacSL · UniVTAC · Tactile Genesis视触觉仿真与学习库；统一的数据生成与评测平台；多种触觉抽象的 GPU 仿真研究"需要什么样的触觉"
TactiDex · Bench2Dex · HT-Bench真实世界触觉灵巧基准；跨手视触觉双手基准；全手触觉表征基准比较触觉策略与表征
人手-物体与人类数据
DexYCB · ARCTIC · OakInk2 · TACO人手抓取、双手与铰接物体、复杂任务、工具-动作-物体重定向、手-物重建
GigaHands · HOT3D34 小时、1.83 亿帧双手活动；第一人称多视角 3D 跟踪大规模人手运动与交互先验
OpenEgo · EgoVerse1107 小时多模态第一人称数据；全球协作的第一人称数据平台人类视频预训练
机器人数据与 agent 基准
RoboMIND · RealDex多本体遥操作数据（含灵巧手）；带人类行为模式的真实灵巧抓取模仿学习与 VLA 训练
Embodied Playground · SEAR长时程 agentic 任务（含灵巧手魔方与汉诺塔）；330 个仿真 + 5 个真机任务评测 agent（B 部分）

开放问题

力与接触数据从哪来

人类视频与遥操作缺力和触觉；仿真补全、力感知重定向、真实特权传感器、力反馈遥操作四条路尚未收敛。

执行器与接触参数

腱、回差、指尖材料让关节级建模成为必需，需要像腿足 actuator net 那样的标准流程。

触觉标准化

每种传感器都像一台新机器人；触觉基础模型与统一仿真（UniVTAC、Tactile Genesis）在尝试统一抽象。

跨本体

6–22 DoF、不同驱动的手能否共享策略？规范 URDF、潜在动作、图表示是候选答案。

长时程、工具与可变形物体

魔方、铰接工具、衣物要"保持一部分接触、同时改变另一部分接触"，策略组合与接触规划仍难。

真机 RL 的安全与效率

人在环、残差、MPC 脚手架是目前最有效的组合，但还缺通用的安全约束与自动复位方案。

评测

仿真基准快速增加（DexVerse、HandsOn、BiDex-100），但真机任务难复现，缺少分布式的真机评测。

agent 的边界与评估器

大模型目前只在慢速、离散的接触决策上有效；编码 agent 自动训练需要可靠的自动判定，否则会"优化评估器的漏洞"。

推荐阅读路径（运控研究者）

  1. DAPG → Dactyl → HORA（RMA 迁移）→ DeXtreme → DexNDM（执行器建模）
  2. ManipTrans / DexMachina / REGRIND / CHORD（重定向 + 跟踪）
  3. DROP / Jacta / Contact Trust Region / Hierarchical RL-MPC（MPC 视角）
  4. HIL-SERL → MPC-Scaffolded Real RL（真机 RL）
  5. DexterityGen（基础控制器）→ CoorDex（人形全身）
  6. NeuralFeels / Force-Based Sim2Real / PTLD / Sparsh-skin（触觉）
  7. EgoScale / XL-VLA / GR-Dexter（数据与 VLA）
  8. DexWM / Dexterous Tactile World Model（世界模型）
  9. B 部分：Eureka → Text2Touch → Scaffolding with VLMs → DexAgent → GPT-6-Astra Understands Touch
  10. 综述：Towards Robotic Dexterous Hand Intelligence: A Survey

上手路线（给运控研究者）

仿真起步：先复现方块重定向

MuJoCo Playground 基于 MJX，含灵巧手任务，单 GPU 几分钟就能训完；Isaac Lab 自带手内重定向任务，ViserDex 的仓库就是在它上面扩展的。手的模型可以从 MuJoCo Menagerie 取。

# MuJoCo Playground（命令见其 README）
pip install playground
# 手模型：MuJoCo Menagerie（Shadow、Allegro、LEAP 等）
git clone https://github.com/google-deepmind/mujoco_menagerie.git

MuJoCo Playground 论文 · MuJoCo Menagerie · ViserDex

把你的 sim2real 工具箱搬过来

执行器建模（DexNDM、电流-力矩标定）、RMA 式适应（HORA）、视觉位姿（ViserDex）、预训练先验（ADEPT）。观测、奖励、课程、域随机化的默认做法见上文的配方速查。

选硬件

入门可选 LEAP Hand（低成本），或开源的 ORCA、MIDAS、Aero Hand Open；要做力控与触觉，看直驱 + 触觉的商用手（Sharpa Wave、Wuji 等）。先确认有没有 MuJoCo / URDF 资产，以及电流-力矩接口。

数据与模仿

AnyTeleop、Open-TeleVision 或 Vision Pro（Bunny-VisionPro）遥操作，用 dex-retargeting 做人手到机器人手的重定向；"重定向 + 跟踪 RL"可从 DexMachina、ManipTrans 或 REGRIND 的配方入手，流程和人形运动模仿几乎一样。

# dex-retargeting（命令见其 README）
pip install dex_retargeting

真机后训练

用 HIL-SERL 式的人在环 RL，或者把你已有的 MPC 当脚手架（MPC-Scaffolded Real RL）；残差 RL（ResFiT）适合在已有模仿策略上微调。

加入 agent

让编码 agent（Claude Code / Codex）照 Eureka、Text2Touch 的方式写奖励，或照 GenDexHand、DexAgent 的方式生成环境与数据；低层控制仍由你训练的策略或 MPC 负责。真机前务必有限位、急停与人工确认。

论文与资源库

共 424 条，可按 A / B 部分、关键词、类别、年份筛选。★ 为入门推荐。arXiv 条目的标题与日期经官方 API 核验，"一句话"是本页的中文概括。

日期工作类别一句话

主要来源与方法

方法：2026-10-23 检索。第二版以上面三份底表做全量比对，再按方向补检索；arXiv 条目用 export.arxiv.org API 按编号核验标题与首发日期，未核验的编号会让构建失败；"一句话"根据摘要概括。不收录纯平行夹爪工作，以及与灵巧手无关的通用 VLA。硬件参数来自官方页面或媒体报道，Tesla Optimus 手部参数为二手信息。不同论文的任务、硬件和成功率口径不同，数字不可横向比较；2026 年的大量工作仍是未经同行评审的预印本。