← 返回交互式导读页

灵巧手算法调研：给运控研究者的导读（A 部分：纯灵巧手 · B 部分：Agent × 灵巧手）

截至 2026-10-23。读者设定为熟悉腿足/人形运动控制（RL sim2real、MPC、WBC、动作重定向）的研究者。 配套交互页面：index.html；收录 424 条论文与资源，其中 412 条 arXiv 编号与标题用官方 API 核验。 第二版（2026-10-23）以三份底表做全量比对后补全：2026 年灵巧手综述（arXiv 2605.13925）的参考文献、Awesome-Dexterous-Hands 清单、YanjieZe 的灵巧操作论文清单，再按方向补检索。

0. 一页结论

1. 主线仍是"仿真 RL + sim2real"，方法和运控几乎一一对应。 从 DAPG、Dactyl 到 HORA、DeXtreme，再到 DexNDM、ViserDex，用的都是你熟悉的工具：域随机化、教师-学生蒸馏、RMA 式适应、执行器建模。2026 年的新变量是触觉和执行器层面的建模。
2. "重定向 + RL 跟踪"是与人形全身控制同构的配方。 ManipTrans、DexTrack、DexMachina、SPIDER、REGRIND、CHORD 等把人手-物体演示重定向后训练以物体为中心的跟踪策略。REGRIND 明确说自己就是把人形 WBC 的配方搬到了灵巧手上。

3. 数据在快速扩张，瓶颈是"力不对"。

   • 合成：Dex1B 有 10 亿条演示，DexGraspNet 3.0 有 1.7 亿个抓取；
   • 人类视频：EgoScale 用了 2 万多小时，GigaHands、HOT3D、OpenEgo、EgoVerse 等数据集也在涌现；
   • 遥操作硬件：力反馈手套与外骨骼大量出现。

   但运动学数据缺接触力和触觉，所以 2026 年的重定向开始保留接触结构与接触力（TopoRetarget、ReForce、Contact-Anchored、CHORD）。

4. 真机 RL 在灵巧手上开始可用。

   • 方法：HIL-SERL、RL-100、ResFiT、DexPIE、BORA、GR-RL；
   • MPC 当脚手架效果显著：Allegro 手在线 RL 7 分钟达到 100%，20 分钟后转速超过 MPC 的 5 倍。
5. 基于模型的方法没有退场。 采样 MPC 与接触感知优化（Contact Trust Region、DROP、Jacta、免互补接触模型、Global-MPPI）不用训练、可解释，并与 RL 分层结合（高层 RL 选接触点，低层 MPC 推物体）。
6. 触觉进入"基础模型 + 世界模型"阶段。
   • 表征：Sparsh、Sparsh-skin、Sparsh-X、AnyTouch、UniTouch；
   • 仿真：TacSL、UniVTAC、Tactile Genesis；
   • 世界模型：DexTacWAM、Dexterous Tactile World Model、TacWAM、ME-Dex 把触觉当作要预测的世界状态。
7. VLA 覆盖了高自由度手（GR-Dexter、XL-VLA、Dexora、UniDex、EgoScale），但手指接触协调仍主要靠 RL 训出的低层控制器或"基础控制器"（DexterityGen、TacBPM、ADEPT），后训练（人在环、残差 RL）也必不可少。
8. Agent 留在慢环和离线环。 它能写奖励（Eureka、Text2Touch）、给参考轨迹（Scaffolding with VLMs）、生成仿真与数据（GenDexHand、DexAgent 3.5×）、给出语义抓取目标（OmniDexVLG、DextER、UniHM），还能让编码 agent 自己训策略（Dexterous Astra、ASPIRE）。
   • 直接让大模型控手指仍然弱；
   • 但把触觉作为上下文交给它，插孔任务能从 31% 提到 99%。

1. 运控视角：一张翻译表

四个本质差异：

1. 被控对象不受驱动。 要控制的是物体状态，但物体没有执行器，只能经由间歇接触施力：这是欠驱动的混合系统。
2. 接触多且小。 摩擦、滑移、柔顺性影响更大，仿真接触参数的误差更致命。
3. 感知被遮挡。 物体被手挡住，触觉因此关键，但难仿真。
4. 硬件不统一。 自由度 6–22 不等，驱动方式各异，所以跨本体表示成了独立方向（OHRA、UHAS、XL-VLA、UniDexTok、DexFormer、GraspGraphNet）。

泛化的对象也不同：腿足主要泛化地形，灵巧手主要泛化物体。

2. 配方速查：一份灵巧手 RL / 模仿的"默认清单"

以下是 2022–2026 年大量工作共享的做法，可以作为你搭第一个灵巧任务时的检查表。

• 观测：

  • 本体：关节位置及若干帧历史、上一步动作；
  • 物体：位姿、点云或关键点（TriFinger 的工作发现关键点表示优于位置 + 四元数）；
  • 目标：目标位姿或旋转轴；
  • 触觉：二值接触、力或触觉潜变量。

  教师额外拿到特权信息：物体质量、摩擦、质心、形状参数、真实接触。

• 动作空间：最常见的是关节位置目标 + PD，常用增量形式加平滑。降维的选择有：

  • PCA / 协同（eigengrasp）、操作原语（Primitive-Informed MPC）；
  • 潜在动作（XL-VLA、UniDexTok、TacBPM、LAMP）；
  • 规范化的跨手表示（OHRA、UHAS）；
  • "不会掉物体"的动作空间（Non-Dropping Action Space）。
• 奖励：
  • 以物体为中心：位姿误差、沿目标轴的旋转速度、关键点距离；
  • 正则项：动作幅度与变化率、关节功或力矩、掉落惩罚；
  • 接近与接触奖励：接近物体、指定手指部位接触（DexPoint、DexMan、EaDex 用接触奖励，CHORD 用接触力旋量）；
  • 从人类视频算奖励：以物体轨迹为中心（HuDOR、Human2Sim2Robot），绕开人手与机器人手的形态差异；
  • 跟踪人类参考：物体轨迹 + 手部参考（ManipTrans、DexMachina、REGRIND）；
  • 由 LLM 生成（B 部分）。
• 课程与探索：
  • 目标难度课程（POISE 的自适应 6D 目标课程）、物体几何或场景密度课程（UniDexGrasp++、ClutterDexGrasp）；
  • "虚拟物体控制器"逐渐撤除（DexMachina）；
  • 示范引导（DAPG、DemoGrasp、DemoFunGrasp）；
  • 规划器提供探索（Sampling-based Exploration、Jacta、MPC-Scaffolded RL）。
• 域随机化：
  • 物体：质量、摩擦、尺寸、质心；
  • 手：PD 增益、阻尼、关节摩擦；
  • 时序与噪声：动作延迟与噪声、观测噪声；
  • 手相对重力的姿态（AnyRotate 训练任意手姿态下的旋转）；
  • 视觉外观（ViserDex 在 3D 高斯泼溅空间里做）。
• 执行器与真机差距：系统辨识、关节级动力学模型（DexNDM）、电流-力矩标定与执行器动力学建模（Force-Based Sim2Real）、可微 real-to-sim 参数辨识（D-REX）；用电机电流当"触觉"（Current as Touch）。
• 蒸馏：特权教师 → 学生（本体历史、视觉、触觉），常用 DAgger 式在线蒸馏；多个专家 → 一个通才或潜在先验（UniGraspTransformer、ClutterDexGrasp、TacBPM、CoorDex）；也可以保留为混合专家（DexReMoE）。
• 评测指标：
  • 旋转：累计旋转角或角速度、掉落时间（TTF）；
  • 重定向：连续成功次数、误差阈值内的比例；
  • 抓取：提起并保持的成功率；
  • 长时程任务：分阶段成功率；
  • 真机：成功率 + 完成时间。
• 常见坑：
  • 仿真碰撞体和真实指垫形状、厚度不一致；
  • 连杆手的耦合关节在仿真里没建模；
  • PD 增益与执行器饱和不一致；
  • 长时间运行后手指电机发热，特性随之漂移；
  • 仿真与真机的触觉接触事件对不上（Blind Dexterous Grasping 专门做了 Real2Sim 接触事件标定）；
  • 遮挡导致物体位姿抖动；
  • 训练物体集合过于规则。
• 基础设施：
  • 仿真：Isaac Gym / Isaac Lab、MuJoCo / MJX（MuJoCo Playground）、ManiSkill3、ComFree-Sim；
  • 触觉仿真：TacSL、UniVTAC、Tactile Genesis；
  • 手模型：MuJoCo Menagerie（含 Shadow、Allegro、LEAP）；
  • 重定向：dex-retargeting。

A 部分：不沾 Agent 的灵巧手

A1. 硬件与手部设计

协同设计：House of Dextra（跨本体，学习任务相关的手形态与控制）、Function-based Co-Design（统一手掌、指运动学与指尖几何的参数空间）、指节长度比优化、软手协同优化（遗传算法 + 策略迁移，约 400 种设计）、用奖励模型设计软手，以及 Lang2Morph（用 LLM 生成手形态，见 B 部分）。

评测灵巧度：A Benchmark of Dexterity for Anthropomorphic Robotic Hands 主张用可测的表现来定义"灵巧度"。

选型要点：能否反驱、控制带宽、能否从电流估力矩、触觉布局、能否自己维修，以及有没有可靠的 MuJoCo / URDF 资产（MuJoCo Menagerie 收录了 Shadow、Allegro、LEAP 的模型）。

A2. 手内操作：RL 与 sim2real 主线

• 早期：
  • DeepMind 用 DRL 做抓取堆叠；
  • DAPG 用示范增强策略梯度；
  • PDDM 学深度动力学模型 + MPC；
  • 在低成本灵巧手上直接做真机深度 RL（Zhu 等，2018）；
  • TriFinger 从 Isaac Gym 迁移到远程真机，RRC 挑战赛冠军方案。
• 里程碑：
  • Dactyl、魔方（OpenAI）；
  • 通用手内重定向、Visual Dexterity（MIT）；
  • HORA（RMA）、RotateIt、Rotating without Seeing、AnyRotate、DLR 纯触觉手内操作；
  • DeXtreme、DexPBT、DexPoint（点云 RL）；
  • 转笔经验总结、Twisting Lids Off。
• 探索与结构：采样式探索、Koopman 算子、MyoDex（肌骨手先验）、通用人类先验（人类偏好）、RGMC 竞赛冠军方案（大范围精确抓内移动）、"不会掉物体"的动作空间、DexCompose（按手指分配"动作所有权"，组合已有策略）、物理仿真里学用筷子。
• 2025–2026 的新进展：
  • 执行器差距：DexNDM 关节级神经动力学、Force-Based Sim2Real（电流-力矩标定）、REGRIND 的系统辨识、Learning from Imperfect Sims（不完美仿真下学拧螺母、用螺丝刀）；
  • 视觉：ViserDex 在 3D 高斯泼溅空间做域随机化；
  • 先验与预训练：ADEPT、TacBPM、Play2Perfect（精密装配的玩耍预训练）、在仿真里预训练视觉灵巧；
  • 任务谱：POISE 6D 到达、Mana / SimToolReal / 铰接工具（镊子、剪刀）、FINGR 真实魔方、UniCross（四种技能统一）、Dex4D（与任务无关的点跟踪策略）；
  • 跨本体：UHAS、OHRA、DexFormer（历史条件 Transformer 在线推断手的形态）。
• 人形双手视觉 sim2real：Lin 等给出一套配方——自动 real-to-sim 调参、接触与目标奖励、分治蒸馏、混合物体表征。

A3. 双手、动态与可变形物体

• 动态：Dynamic Handover（双手抛接，多智能体 RL）、DyDexHandover（只用 RGB 的类人抛接）、DexCatch、Catch It!（移动底盘 + 12 DoF 手接空中物体）、Tele-Catch（共享自主接物）。
• 双手：Twisting Lids Off、BiDexHD（从人类示范自动构建双手任务）、BiCompoDiff（抓取-交接-重定向）、ManipTrans、DexMachina、ArtiGrasp。
• 可变形：DexDeform（可微物理 + 人类示范捏橡皮泥）、DexGarmentLab（衣物仿真与策略）、薄片抓取（多传感软手）、PP-Tac（触觉拾纸）、D3Grasp（可变形物体抓取）。
• 运控要点：动态任务最像腿足的跳跃、落地——接触时序和冲击是关键，多智能体 RL 常用来协调两只手。

A4. 抓取合成与抓取策略

• 优化路线：DexGraspNet（可微力封闭）→ BODex（双层 QP，单卡每秒 49 个以上）→ SpringGrasp（形状不确定下的柔顺抓取）。
• 生成模型：GenDexGrasp（接触图跨手）、UniDexGrasp / ++、DexDiffuser、GraspXL、GrainGrasp、DexGraspNet 2.0、DexGrasp Anything（340 万个抓取）、Dex1B（10 亿条）、CEDex（类人接触表示）、HUGS（人类偏好先验）、EvolvingGrasp（用成败反馈做偏好对齐）、DiffusionRL Grasp（RL 适配的数据训练抓取扩散策略）。
• 闭环策略与 sim2real：DextrAH-G、DextrAH-RGB、Get a Grip、UniGraspTransformer（专家蒸馏）、端到端图像 RL、DemoGrasp（一次示范）、DexTransfer。
• 功能性抓取：Dexterous Functional Grasping、拟人功能抓取、预抓取操作、FunGrasp、ScaleADFG、DemoFunGrasp、CoToGrasp、Grasp to Act（工具使用中的动态力）。
• 杂乱场景：ClutterDexGrasp、CADGrasp、RetrDex、OmniDex、"When Does Touch Matter?"（真机对照：力矩与触觉何时比视觉有用）。
• 跨本体与多物体：D(R,O) Grasp、跨本体抓取 RL、OHRA、EAGG、GraspGraphNet、MultiGrasp、MoDex（单手依次抓多个）。
• 触觉驱动执行：CoorGrasp（触觉 MPC 协调多指接触）、AdaDexGrasp、Blind Dexterous Grasping。
• 真实数据与预训练：RealDex、AutoDex（无人值守采集）、GraspVLA（十亿级合成动作预训练）、From Grasps to Dexterity。

A5. 触觉：传感、表征、仿真与 sim2real

• 传感器：DIGIT、DIGIT 360（多模态指尖）、AnySkin、DManus（全手大面积）、EyeSight Hand、FingerEye、VTAP。
• 表征（触觉基础模型）：T-Dex、Sparsh、Sparsh-skin（全手磁性皮肤）、Sparsh-X（图像、声音、运动、压力）、UniTouch、AnyTouch / AnyTouch 2、视触觉对比学习、以人为中心的触觉预训练、TouchWorld。
• 仿真：TacSL、HydroShear、TacMap、ETac、Tactile Genesis、UniVTAC。
• 绕开或对齐触觉仿真：PTLD（真实特权传感器）、SBLR（预言者传感器对齐）、Blind Grasping（Real2Sim 触觉标定）、Current as Touch（电机电流当触觉）。
• 感知：NeuralFeels（视觉 + 触觉神经场，在线估计物体形状与位姿）、PoseFusion、ViTaM-D。
• 策略：RotateIt、TacGNN（图网络从原始触觉估物体状态）、Robot Synesthesia、HATO（双手视触觉 + 低成本遥操作）、TAVI（视觉奖励驱动的触觉 RL）、3D-ViTac、预测力注意力的视触觉融合、TransDex（透明物体）、T-Rex（触觉反应式）、OmniVTLA、MoDE-VLA。
• 基准：TactiDex、Bench2Dex、HT-Bench。
• 运控要点：触觉相当于"高维的足底接触传感"，但仿真难度高一个量级。入门推荐不依赖精确触觉仿真的路线（PTLD、SBLR、电流当触觉）。

A6. 基于模型的接触控制

• 准静态平滑与全局规划：Pang 等；Contact Trust Region；免互补约束的多接触建模（实时灵巧 MPC），以及同一思路的 GPU 引擎 ComFree-Sim。
• 采样 MPC / 规划：Predictive Sampling（MuJoCo MPC）、DROP、腱驱动手采样 MPC、Primitive-Informed MPC、Global-MPPI、Jacta（灵巧与全身操作的通用采样规划器，用来引导 RL）。
• 学到的模型：PDDM、Koopman、D-REX（可微 real-to-sim 参数辨识）。
• 反应式控制：Geometric Fabrics（DextrAH 的底层，可保证稳定）。
• 与学习结合：Hierarchical RL-MPC、MPC-Scaffolded Real RL；"Should We Learn from Sampling-Based Planners?" 讨论了用规划器轨迹做模仿的利弊。
• 给运控研究者：这是你最熟悉的工具链；难点是接触模式组合爆炸和梯度不可靠。

A7. 遥操作与数据采集硬件

• 视觉 / VR：DexPilot、DIME、Holo-Dex、单相机多用户手、Robotic Telekinesis、AnyTeleop、OPEN TEACH、Open-TeleVision、Bunny-VisionPro。
• 外骨骼与手套：ACE、Exo-ViHa、DOGlove（开源力反馈）、Glovity（力旋量反馈）、ACE-F、MILE（机械同构 + 视触觉）、CDF-Glove、MFE（力、压力、温度反馈）、DEX-Mouse、ART-Glove、光纤手套、DexEXO、RealDexUMI、ViHaTeleop（550 美元）、DexDirect、DEXOP（被动外骨骼"围操作"，采视觉 + 触觉的人类数据）。
• 把力带进示范：FACTR（力反馈遥操作 + 力感知课程）、DexForce（从示教中提取含力信息的动作）。
• 人手直接采集：DexCap、DexUMI、DexWild、ExoStart（传感外骨骼示范 + 仿真 RL）。
• 重定向方法：目标项分析、DexFlow、AnyDexRT（免标定）、DexTwist（拧转）、ReForce（力感知）、Smooth Operator（采样式实时重定向）、TypeTele（按操作类型）、ObjRetarget；工具库 dex-retargeting。
• 共享自主与人形：DexterityGen、TeleDexter、DexTeleop-0、DITTO-X、NestDex、Shared-Autonomy VLA、DexTele（双臂力控）、HumanPlus、OmniH2O、HOMIE、HumDex。
• 运控要点：与人形遥操作用 RL 跟踪器兜底同理——人给意图，学到的控制器负责动力学可行与接触执行。

A8. 从人类演示 / 视频到机器人

• 跟踪式（与人形运动模仿同构）：DexTrack、ManipTrans、DexMachina、SPIDER、Human2Sim2Robot、REGRIND、CHORD（接触力旋量引导）、Object-Centric from Human Motion、One Demo Many Objects、示例轨迹 + 预抓取。
• 保接触重定向：TopoRetarget、Contact-Anchored Retargeting、C2Dex、ObjRetarget。
• 视频：
  • 早期：DexMV、VideoDex、Human Grasp Affordance、ViViDex、HuDOR、CyberDemo；
  • 近期：Do as I Do、VideoManip、DexImit、DexMan、Dex-X、Gen2Dex、V2P-Manip、MimicFunc、ImMimic、LaST-HD、AdvDex、RoboTok、RoboEdit、HandEdit。
• 大规模第一人称：EgoScale（对数线性规律）、Being-H0、EgoVLA、UniDex、HOP（手-物交互预训练）、EgoInfinity（网络规模数据引擎）。

A9. 人手-物体重建与数据

• 数据集：FPHA、ContactPose、DexYCB、ARCTIC、OakInk / OakInk2、TACO、GigaHands（34 小时、1.83 亿帧）、HOT3D、HO-Cap、OpenEgo（1107 小时）、EgoVerse、HandX、RoboMIND（含灵巧手的机器人数据）。
• 重建：HOLD、G-HOP、WiLoR、Dyn-HaMR、HaWoR、EgoGrasp、WHOLE、ForeHOI、Follow My Hold、GraspHOI、AGILE（agentic 生成，可仿真的手-物重建）、DexterCap（低成本精细采集）。
• 生成：ManiDext、D-Grasp、ArtiGrasp、GraspXL。
• 综述：大模型时代的手-物交互（2026）。
• 运控要点：这些是"人类运动捕捉库"的手部版本，质量直接决定重定向与跟踪 RL 的上限。

A10. 模仿学习策略与灵巧 VLA

• 3D 模仿策略：DP3、CordViP、Structural Action Transformer、手内视觉运动扩散（单手拧瓶盖）。
• 抓取型：DexGraspVLA、DexVLG、GraspVLA。
• 通用型：
  • 双手与跨手：GR-Dexter、XL-VLA、Dexora、UniDex、UniDexTok、AdvDex；
  • 通用 VLA 的灵巧扩展：DexVLA；
  • 人类视频预训练：EgoScale、Being-H0、EgoVLA；
  • 触觉 VLA：MoDE-VLA、OmniVTLA、T-Rex、TouchWorld；
  • 实时化：LiMA（异步扩散把长时程想象接到实时控制）。
• 产业：Figure Helix 02、NVIDIA GR00T、Gemini Robotics（微调后折纸）。
• 难点：动作维度高、遮挡、真机数据贵；解法是跨本体潜在动作、人类视频预训练、共享自主采数据，以及后训练（A11）。

A11. 真机 RL 与后训练

• 框架：SERL、HIL-SERL（Science Robotics）、RL-100、ResFiT（残差离策略 RL 微调行为克隆策略）。
• 灵巧专项：
  • 早期：Substep Guidance 自主真机 RL、DEFT；
  • 后训练与改进：HandelBot（真机弹钢琴）、DexPIE、LAMP（潜在运动先验约束探索）、BORA（离线 RL + 在线残差，真机灵巧 VLA）、GR-RL（把通用 VLA 训成长时程灵巧专家）；
  • MPC-Scaffolded Real RL（Allegro 7 分钟 100%）、Intervention-Aware WM（把人的干预当安全信号）。
• VLA 后训练：High-DoF VLA Post-Training（手部动作编解码 + SFT + DAgger + 真机残差 RL）、DexHiL、Hand-in-the-Loop（避免接管时手势跳变）、How to Peel with a Knife（人类偏好对齐）。
• 运控要点：灵巧手真机 RL 的关键是安全探索——人在环、残差、脚手架控制器，和你在真机腿足上做在线适应的思路一致。

A12. 灵巧世界模型

• 从人类视频学：DexWM、Dexterous World Models、LD4WAM、Skel-WAM、P³-WAM。
• 触觉进入世界状态：DexTacWAM（6 个任务平均 70.6 分，最强基线 38.0）、Dexterous Tactile World Model（触觉手套信号）、TacWAM、ME-Dex 1.0（异构触觉对齐）。
• 控制与改进：Mask2Real-WM（掩码作 sim2real 桥）、Motus2（自我进化的灵巧世界模型）、WM-Craftnet（世界模型作循环上下文）、Intervention-Aware WM。
• 评测：H2R-Bench（人到机器人视频生成）。

A13. 人形全身灵巧

• CoorDex（身体与手的潜在先验 + 协调残差 RL）、DexWeave、HumDex、WholeBodyVLA、Handroid；人形双手视觉 sim2real 配方（Lin 等）；HumanPlus、OmniH2O、HOMIE、Open-TeleVision。
• 这是运控研究者最容易切入的交叉点：把已有的人形 WBC 先验与灵巧手先验组合起来。

A14. 基准、仿真与数据

• 仿真基础设施：Isaac Gym、Isaac Lab、MuJoCo Playground、ManiSkill3、ComFree-Sim、MuJoCo Menagerie。
• 灵巧基准：
  • 通用与跨本体：Bi-DexHands、DexArt、DexMachina、DexVerse（100 个任务、6 种手）、HandsOn（5 种臂、6 种手、1.8 万条示范）、BiDex-100（106 个双手任务）、DexJoCo；
  • 场景专项：LabDex（实验室）、DexGarmentLab、DexH2R（人到机器人交接）、DexCraft（铰接工具）；
  • 触觉：Bench2Dex、TactiDex、HT-Bench、UniVTAC；
  • 硬件：灵巧度基准。

B 部分：Agent × 灵巧手

B0. 先说结论

一句话：agent 擅长自动化"奖励-环境-数据-调参-评估"这个慢循环，不擅长替代高频的手指接触控制。

B1. LLM / VLM 写奖励、给参考轨迹、调仿真参数

• Eureka：GPT-4 写奖励代码并进化迭代，第一次让仿真里的 Shadow 手学会快速转笔。
• Text2Touch：LLM 设计含触觉的奖励，在多轴旋转上迁移到真机，比人工精调的奖励更好、也更短。
• RF-Agent：用蒙特卡洛树搜索管理 LLM 的奖励迭代。
• Scaffolding Dexterous Manipulation with VLMs（NeurIPS'25）：VLM 从语言和图像生成手与物体的关键点轨迹，残差 RL 在仿真中跟踪并迁移到真机。奖励来自"跟踪 VLM 给的轨迹"。
• DexSim2Real：VLM 当视觉真实感评判，闭环 CMA-ES 优化域随机化参数，真机平均 78.2%。

B2. 生成式仿真、数据与设计

• GenDexHand：灵巧手的生成式仿真，VLM 反馈闭环调整物体位置与尺度。
• DexAgent：一段第一人称视频 → 理解 → 按物体属性重建仿真 → 轨迹优化 → 数据生成。每一步有属性相关的校验器，工具库自我扩充；成功率是基线的 3.5 倍。
• AGILE：用 agentic 生成从视频重建可仿真的手-物交互。
• EmbodiedSWE：编码 agent 的解扩增成 VLA 训练数据。
• Gemini 4 Argon：把第一人称视频重定向到带 22 DoF 手的仿真人形，并从视频或草图生成 MuJoCo 孪生。
• Lang2Morph：用 LLM 从任务描述生成手的形态设计。

B3. VLM / LLM 语义与功能抓取

• Multi-GraspLLM、AffordDexGrasp、OmniDexVLG（多 agent 协作推理抓取类型、接触语义与可供性）、DextER（先生成接触 token 再出抓取）、BLaDA、双手可供性 VLM、AdaRoboVLG、DexVLG、SECOND-Grasp（语义接触引导）、UniHM（VLM + 统一手部 tokenizer 生成操作序列，再做物理优化，ICLR'26）。
• 这一层给的是语义化的目标接触，下游仍需力封闭检查和闭环控制。

B4. VLM 规划 + 灵巧技能（分层）

• DexGraspVLA：VLM 规划 + 扩散控制器，杂乱场景抓取 90% 以上。
• RoboDexVLM：VLM 任务规划，带任务级恢复。
• ZeroDex：多视角 3D 落地的 VLM 推理，零样本长时程灵巧操作，优于微调后的 VLA 基线。
• Being-0：人形 agent；Bi-VLA：语言转代码的双手家务。
• DexHandDiff：LLM 交互引导的扩散规划。
• AW-0：代码、视频、动作三路联合生成，在 YAM 臂与灵巧手上实测。
• 分层接口（子目标、抓取类型、终止条件）的设计比规划器大小更重要。

B5. 编码 agent 与自我进化

• ASPIRE：编码 agent 持续写、修控制程序并沉淀技能库，在真机灵巧手上解魔方。
• SEAR：三种 agent 模式、7 个前沿模型、330 个仿真 + 5 个真机任务，并设计对照实验区分"真学到了"与"只是多试了几次"。
• Embodied Playground：含灵巧手版魔方与汉诺塔。
• Dexterous Astra：GPT-6 Astra 自己搭 Isaac Lab / MuJoCo 环境、写代码、训 PPO，Isaac Lab 中 Sharpa Wave 手转笔三圈，MuJoCo 中 Wuji 手拧出魔方的 U、F、L 三步。社区还记录了 Astra 自主运行约一天半、训出转笔策略的案例。
• 运控要点：这是 Eureka 的放大版。你负责可自动评估的任务定义与安全的真机流程，agent 接管"写环境 → 写奖励 → 训练 → 看曲线 → 改"。

B6. 前沿模型直接控手

• Galbot 评测：与学习策略混合控制，DexJoCo 10 次试验成功 50%；直接控制手内操作时难以协调手指接触。
• GPT-6-Astra Understands Touch：5 个 UniVTAC 任务平均 93.8%，插孔任务从 31% 提到 99%。
• TacTalent：加触觉后成功率上升。
• SenseNova 报告：在含灵巧手的 12 个基准上，具身能力大体具备，实用性不足。
• 解读：大模型的强项是"理解接触信号、做纠正决策"，弱项是"高频协调多指"。

3. 时间线（精选）

4. 开放问题

1. 力与接触数据从哪来：仿真补全、力感知重定向、真实特权传感器、力反馈遥操作，四条路尚未收敛。
2. 执行器与接触参数：需要像腿足 actuator net 那样的标准建模流程。
3. 触觉标准化：每种传感器都像一台"新机器人"，触觉基础模型与统一仿真在尝试解决。
4. 跨本体：规范 URDF、潜在动作、图表示是候选答案。
5. 长时程、工具与可变形物体："保持一部分接触、同时改变另一部分接触"仍难。
6. 真机 RL 的安全与效率：人在环、残差、MPC 脚手架是目前最有效的组合。
7. 评测：仿真基准在快速增加（DexVerse、HandsOn、BiDex-100），但缺少分布式的真机评测。
8. Agent 的边界：大模型目前只在慢速、离散的接触决策上有效；更现实的是让编码 agent 自动化训练与评估循环。

5. 上手路线

1. 仿真起步：MuJoCo Playground（pip install playground）或 Isaac Lab 自带的手内重定向任务（ViserDex 仓库在其上扩展）。先复现"方块重定向 + 教师-学生"。手模型可用 MuJoCo Menagerie。
2. 搬 sim2real 工具箱：执行器建模（DexNDM、Force-Based Sim2Real）、RMA 式适应（HORA）、视觉位姿（ViserDex）、预训练先验（ADEPT）。
3. 硬件：入门选 LEAP（低成本）或 ORCA、MIDAS、Aero Hand Open（开源）；要做力控与触觉，看直驱 + 触觉的商用手，并先确认 MuJoCo/URDF 资产与电流-力矩接口。
4. 数据与模仿：AnyTeleop / Open-TeleVision / Vision Pro 遥操作，dex-retargeting 做重定向；"重定向 + 跟踪 RL"从 DexMachina、ManipTrans、REGRIND 入手。
5. 真机后训练：HIL-SERL 式人在环 RL，或用你的 MPC 当脚手架（MPC-Scaffolded RL）。
6. 加入 agent：编码 agent 写奖励与环境（Eureka、Text2Touch、GenDexHand、DexAgent），低层仍由你的策略或 MPC 负责。真机前务必有限位、急停与人工确认。

6. 推荐阅读路径（运控研究者）

1. DAPG → Dactyl → HORA（RMA 迁移）→ DeXtreme → DexNDM（执行器建模）
2. ManipTrans / DexMachina / REGRIND / CHORD（重定向 + 跟踪）
3. DROP / Jacta / Contact Trust Region / Hierarchical RL-MPC（MPC 视角）
4. HIL-SERL → MPC-Scaffolded Real RL（真机 RL）
5. DexterityGen（基础控制器）→ CoorDex（人形全身）
6. NeuralFeels / Force-Based Sim2Real / PTLD / Sparsh-skin（触觉）
7. EgoScale / XL-VLA / GR-Dexter（数据与 VLA）
8. DexWM / Dexterous Tactile World Model（世界模型）
9. B 部分：Eureka → Text2Touch → Scaffolding with VLMs → DexAgent → GPT-6-Astra Understands Touch
10. 综述：Towards Robotic Dexterous Hand Intelligence（2605.13925）

7. 方法与可信度

• 第二版做法：以 2026 年灵巧手综述（2605.13925）的参考文献、Awesome-Dexterous-Hands、YanjieZe 的灵巧操作清单为底表做全量比对，再按方向补检索。所有 arXiv 条目用 export.arxiv.org API 按编号核验标题与首发日期，未核验的编号会让构建失败。"一句话"根据摘要概括。
• 不收录：纯平行夹爪工作、与灵巧手无关的通用 VLA 和点云分割等。非 arXiv 的经典（如 GelSight、早期接触不变优化）未单列。
• 硬件参数来自官方页面或媒体报道；Tesla Optimus 手部参数为二手信息。
• 不同论文的任务、硬件和成功率口径不同，数字不可横向比较；2026 年的大量工作仍是未经同行评审的预印本。

主要网页来源

• 底表：灵巧手综述（arXiv 2605.13925） · Awesome-Dexterous-Hands · YanjieZe/Paper-List（灵巧操作）
• 硬件：Sharpa Wave（CNX Software） · Wuji Hand · 腱驱动人形手（Humanoid.guide） · TESOLLO @ ICRA 2026 · MuJoCo Menagerie
• 工具：dex-retargeting · ViserDex
• Agent × 灵巧手：Gemini 4 Argon for Robotics · Dexterous Astra · TacTalent · Awesome-Astra-Embodied-AI
• 产业：Figure Helix 02

附录 A：论文与资源总表（424 条，按主类别分组，组内按时间倒序）

arXiv 条目的标题与日期由 export.arxiv.org API 校验；★ 为入门推荐。

A·硬件（22）

A·触觉（40）

A·手内操作 RL/sim2real（57）

A·抓取合成（59）

A·基于模型的接触控制（14）

A·遥操作与重定向（49）

A·人类演示→机器人（39）

A·数据规模化（2）

A·灵巧 VLA/基础模型（22）

A·人形全身灵巧（7）

A·真机 RL 与后训练（17）

A·灵巧世界模型（11）

A·人手-物体重建与数据（24）

A·手部设计与协同设计（7）

A·基准与数据集（13）

综述/资源（10）

B·LLM 奖励与仿真参数（4）

B·生成式仿真/agentic 数据（3）

B·VLM 语义/功能抓取（8）

B·VLM 规划+灵巧技能（6）

B·编码 agent/自我进化（5）

B·前沿模型直接控手（5）