灵巧手操作技术教程：给运控研究者

0. 导读：这份教程讲什么、怎么读

这份教程把调研页里的工作串成一套能动手的技术路线。调研页回答"有哪些工作"，教程回答"这些方法怎么做、为什么这样做、坑在哪里"。

读者设定和调研页一样：你熟悉腿足或人形的运动控制——PPO 与大规模并行仿真、域随机化与 sim2real、MPC、全身控制、动作重定向——但没有系统做过灵巧手。所以我们尽量用你已有的概念来解释，并在正文里用"运控类比"框标出对应关系。

0.1 核心问题地图

灵巧操作的算法问题可以归结为下面十几个核心问题。教程按这张表组织，每章先把问题说清楚（尽量形式化），再给出解法的分类与取舍，最后把一个代表性方法讲透；不重要的细节一律略过。

只想抓主线的话，读第 1、3、4、9 章；做抓取的加第 5 章，做 MPC 的加第 6 章，做数据与大模型的加第 8、10、11 章。第 12 章是把这些串成一条可执行路线的检查表。

0.2 约定

• 代码是说明性骨架（PyTorch / NumPy 风格），用来讲清结构，不是可直接运行的完整工程；示例中未注明出处的数值都是示意，需要按你的硬件标定。
• 凡是来自具体论文的公式与数字，正文都注明了出处，并已对照原文核对；论文之间的任务与硬件设置不同，数字不能横向比较。
• 引用的工作链接到 arXiv 或项目页，悬停可见完整标题；文末附录按章节列出全部引用。

常用记号：

1. 问题设定：灵巧操作到底在控制什么

1.1 一个闭环

灵巧手的闭环和腿足几乎一样：策略低频输出关节目标，高频 PD（或阻抗）控制器把目标变成力矩，传感器把关节、电流、触觉、图像送回策略。区别在于被控对象：腿足要控制的是机器人自己的躯干，灵巧手要控制的是手里的物体。

1.2 被控对象没有执行器

物体的运动只由接触力和重力决定（Newton–Euler 方程）：

手自己的动力学里，接触力以反作用的形式出现：

每个接触力都要满足单边约束和库仑摩擦：法向力只能推、不能拉；切向力不能超过摩擦锥；接触距离和法向力不能同时为正（互补约束）：

这三组式子带来三个后果，后面每一章都在和它们打交道：

1. 动作只能"借道"接触作用于物体。 没有接触时物体只受重力；控制物体，实际上是在控制接触的建立、保持、滑移和断开。
2. 系统是混合系统。 接触的通断是离散事件，接触模式随手指数、接触面数组合爆炸，梯度在模式切换处不连续——这是第 6 章基于模型的方法要正面处理的难点，也是 RL 用采样"绕过去"的东西。
3. 摩擦锥是不等式约束。 推的方向不对接触就会滑，力不够物体就会掉；能稳住物体的手指配置是一个很窄的可行集。

1.3 仿真器怎么解接触：时间步进与软约束

连续形式的互补问题很难直接积分，物理引擎都用速度层面的时间步进：把一个步长 $h$ 内的接触力看成冲量 $\lambda$，求下一时刻的速度 $v^{+}$：

$\phi_i$ 是带符号距离（间隙），$J_{n,i}$ 把广义速度映射到第 $i$ 个接触的法向速度。互补条件说的是：要么下一步间隙为正、法向冲量为零（分离），要么间隙闭合、冲量为正（接触）。再加上"摩擦力方向使能量耗散最大"（最大耗散原理），就是一个非线性互补问题（NCP）；把摩擦锥线性化成多面锥，就成了线性互补问题（LCP，Stewart–Trinkle 一类格式）。

三类主流处理方式：

• 直接解 LCP / NCP。 物理上最"硬"，但求解难、对接触数敏感，解还可能不唯一。
• Anitescu 凸松弛。 把互补条件换成锥互补：$K_i^* \ni J_i v^+ + (\phi_i/h)\, e_n \perp \lambda_i \in K_i$（$e_n$ 只在法向分量上取 1，$K_i^*$ 是摩擦锥的对偶锥），前向动力学变成一个凸的二阶锥规划。代价是相对滑动的物体之间会出现一层轻微的非物理"边界层"效应，步长 $h \to 0$ 时消失；好处是唯一需要调的参数就是 $h$。Pang 等人的接触规划就建在这个松弛上（第 6 章）。
• MuJoCo 的软约束凸优化。 MuJoCo 把约束力写成凸优化

其中 $A$ 是约束空间里的逆惯量，$a_0$ 是不加约束时约束空间的加速度，$\Omega$ 是摩擦锥。两组参数决定接触有多"软"：solref（时间常数、阻尼比）定义参考加速度 $a_{\mathrm{ref}}$，即约束违反量像弹簧-阻尼系统那样被拉回；solimp 定义约束"阻抗" $d \in (0, 1)$ 及其随穿透深度的变化，进而决定正则项 $R$——$d$ 越接近 1，约束越硬、穿透越小，数值上也越难。

对灵巧手来说，"软"不是小事：毫米级的穿透就相当于毫米级的指尖位置误差，软接触还会让被夹住的物体缓慢"蠕滑"。MuJoCo 提供椭圆锥与多面锥（cone）、扭转与滚动摩擦（condim）、额外的防滑迭代（noslip_iterations）等选项来折中。多面锥会带来非物理的各向异性摩擦，这也是 Pang 等人坚持用二阶锥的原因。

GPU 引擎（Isaac Gym / PhysX）用迭代式求解，迭代次数就是精度旋钮。DeXtreme 的 Allegro 环境设置是：仿真步长 1/60 s、控制步长 1/30 s、每步 2 个子步、8 次位置迭代、0 次速度迭代，8192 或 16384 个并行环境。

1.4 抓握的静力学：抓取矩阵、内力与可操纵性

慢速操作时可以忽略惯性（准静态）。把 $m$ 个接触的接触力拼成 $f = (f_1, \ldots, f_m)$，每个 $f_i$ 用接触坐标系表示（法向 $n_i$、两个切向 $d_i$、$e_i$），物体与手的平衡方程是：

$p_i$ 是接触点在物体坐标系（原点取质心）里的位置——这正是 BODex 采用的写法；$J_h$ 是手的接触雅可比，把关节速度映射到各接触点的速度。三个推论贯穿后面几章：

1. 内力。 $G$ 的零空间里的接触力不改变物体受到的合力旋量，只"挤压"物体：$f = f_p + f_N$，$f_p$ 平衡外力，$f_N \in N(G)$ 是内力。抓得稳，本质上就是用足够的内力把每个接触力推到摩擦锥内部，留出抗扰动、抗滑移的余量；内力太大又会压坏物体或让电机过热。
2. 可操纵性。 接触不滑动时，接触点速度必须和物体一起运动：$J_h \dot{q} = G^{\top} \nu_o$，$\nu_o$ 是物体的速度旋量。物体能被手指"操纵"（而不仅仅是被夹住）的方向，是 $G^{\top}$ 的值域中能被 $J_h$ 生成的那部分；若要任意方向都能动，需要 $\operatorname{range}(G^{\top}) \subseteq \operatorname{range}(J_h)$。这就是为什么指尖抓（可操纵性好）适合手内操作，而包络抓（接触多、$J_h$ 受限）适合稳稳拿住。
3. 接触力由关节力矩间接决定。 $\tau = J_h^{\top} f$ 说明：指令力矩——或者位置控制下的"位置误差 × 增益"——决定了接触力的大小，这就是第 2 章"PD 增益是抓握力旋钮"的来源。$J_h$ 接近奇异时（比如手指伸直），某些方向的接触力几乎不需要力矩就能承受，但也几乎无法主动调节。

1.5 和腿足对照

所以灵巧手的"泛化"主要是对物体的泛化，而不是对地形的泛化。这也解释了为什么第 3 章的特权信息是物体属性（质量、尺寸、摩擦、质心），而不是地面属性。

1.6 任务谱系与主流方法

1.7 自测

2. 被控对象：硬件、仿真与执行器

做腿足的人大概都体会过"仿真模型建不对，策略就白训"。灵巧手更敏感：力和尺寸都小，摩擦、回差、执行器的非理想特性在总受力里占比更大。

2.1 三种驱动方式

具体型号与参数见调研页的硬件表。选手时，运控研究者最该看的不是自由度数字，而是：能否反驱、控制带宽、能否从电流估力矩、触觉布局、能否自己维修，以及有没有可靠的仿真资产。

2.2 关节层控制：位置目标 + PD

绝大多数灵巧策略输出的是关节位置目标，由低层 PD 转成力矩：

这一层有三件容易被忽视的事：

1. PD 增益就是"抓握力旋钮"。 手指被物体挡住时，稳态力矩约为 $K_p(q^* - q)$。所以把目标设在物体"里面"一点就能产生夹持力。DexGraspNet 在仿真里验证抓取时正是这样施力的：把每个接触连杆沿接触法向往里挪一点，作为位置目标。
2. 频率分层。 以 HORA 为例：真机上策略以 20 Hz 输出目标，PD 以 300 Hz 运行（Allegro，$K_p = 3.0$、$K_d = 0.1$）；仿真步频 120 Hz、控制 20 Hz。策略不必快，但 PD 要快，而且仿真和真机要一致。
3. 动作参数化。 常见的是"相对目标 + 平滑"：$q^*_t = q^*_{t-1} + \Delta a_t$，或者对策略的原始输出做指数滑动平均。好处是动作有界、平滑，真机不抖，电机也不容易烫。

2.3 执行器模型与系统辨识

从理想 PD 到真实执行器。 理想 PD 假设电机能瞬间给出任意力矩。真实关节至少还要叠加几件事：

• 力矩饱和与力矩-转速曲线。 直流电机的可用力矩随转速近似线性下降：$\tau_{\max}(\dot{q}) \approx \tau_{\mathrm{stall}}(1 - \lvert \dot{q}\rvert / \omega_{\mathrm{free}})$（折算到关节侧要乘减速比和效率）。快速换指恰好会撞上这条曲线。
• 库仑摩擦 $\tau_c$ 与粘滞摩擦 $b$。 小力矩下静摩擦占比很大，形成死区：给了目标，手指却不动。
• 转子惯量（armature）$I_{\mathrm{arm}}$。 经减速比 $N$ 放大 $N^{2}$ 倍，常常比手指连杆本身的惯量还大；不建它，仿真里的手指"太轻、太快"。
• 回差与延迟。 减速器回差，以及通信、驱动器带来的延迟。

腱驱动还有一个特有的非线性：腱绕过滑轮或导管时，摩擦按绞盘方程随包角指数增长，拉动方向上传到远端的张力约为 $T_{\mathrm{out}} \approx T_{\mathrm{in}} e^{-\mu \theta}$（$\theta$ 为总包角）。同一个电机力矩传到指尖的大小，取决于手指当前的姿态和运动方向，于是出现明显的迟滞——这是腱驱动手 sim2real 难的根源之一。

隐式 PD 与显式 PD。 很多 GPU 引擎把 PD 写进物理求解器（隐式），刚度再大也稳定；在策略代码里自己算力矩再施加（显式）则受步长限制，刚度高时要缩小步长。同样的 $K_p$、$K_d$ 下，两者的行为也不完全一样——换仿真器或从隐式改成显式时，增益要重新标定。

系统辨识：一个最小可行流程。

1. 激励。 手指悬空、不碰物体，对每个关节发阶跃、正弦扫频（chirp）和随机目标；记录 $q$、指令 $q^*$、电机电流，采样率至少是控制频率的几倍。
2. 拟合。 把上面的模型写成对未知参数线性的形式，逐关节最小二乘。如果 PD 跑在驱动器固件里、增益不可知，就改为辨识"指令 → 响应"的传递特性（带宽、延迟、稳态误差）。
3. 验证。 用一段没参与拟合的轨迹，在仿真里回放同样的指令序列，对比关节轨迹的跟踪误差、相位延迟和稳态误差。
4. 写回。 把辨识出的惯量、摩擦、增益、延迟写进仿真，并以辨识值为中心做随机化（第 3 章）。

import numpy as np

def identify_joint(q, qd, qdd, q_cmd, kp, kd):
    """单关节最小二乘辨识（悬空激励数据）。模型：
         kp*(q_cmd - q) - kd*qd = I*qdd + b*qd + tc*sign(qd)
    未知量 [I, b, tc] 线性出现。残差 RMS 大，说明模型还缺项（饱和、回差、延迟）。"""
    tau_pd = kp * (q_cmd - q) - kd * qd
    moving = np.abs(qd) > 1e-3                       # 静止段里静摩擦不可辨识，先剔除
    A = np.stack([qdd, qd, np.sign(qd)], axis=1)[moving]
    y = tau_pd[moving]
    theta, *_ = np.linalg.lstsq(A, y, rcond=None)
    resid = y - A @ theta
    return {"inertia": theta[0], "viscous": theta[1], "coulomb": theta[2],
            "rms": float(np.sqrt(np.mean(resid ** 2)))}

def identify_delay(q_cmd, q, dt, max_lag=0.1):
    """用指令与响应的互相关粗估纯延迟（秒）。"""
    a, b = q_cmd - q_cmd.mean(), q - q.mean()
    lags = np.arange(0, int(max_lag / dt))
    corr = [np.dot(a[:len(a) - k], b[k:]) for k in lags]
    return lags[int(np.argmax(corr))] * dt

$\ddot{q}$ 通常由编码器数据二次差分得到，噪声很大，要先做零相位低通滤波（如前后向巴特沃斯滤波）再求导。

执行器网络。 解析模型不够用时可以直接学：用真机数据训练一个网络，输入最近几帧的位置误差 $(q^* - q)$ 和速度，输出实际力矩（或下一时刻的关节状态），再把它嵌进仿真、替代理想 PD——这是腿足 sim2real 里成熟的做法。灵巧手上，DexNDM 的关节级动力学模型可以看成这一思路的推广（2.5 节）。

2.4 把仿真模型建对：一张检查表

1. 资产。 优先用维护良好的模型，例如 MuJoCo Menagerie（含 Shadow、Allegro、LEAP 等）。不同的 URDF 解析器、仿真器和驱动可能用不同的关节顺序，对接时要按关节名映射，不要按下标——dex-retargeting 的文档专门提醒了这一点。
2. 运动学与耦合。 关节限位按真机实测；连杆手、腱驱动手的耦合关节要建出来（MuJoCo 里可以用 equality 约束或 tendon），否则策略会用到真机上不存在的自由度。
3. 碰撞几何与摩擦。 指垫的形状、厚度和软硬直接决定接触点和摩擦。凸分解太粗，就会出现"悬空接触"。MuJoCo 的 condim 决定接触摩擦的维度：3 是切向滑动摩擦，4 加上扭转摩擦，6 再加滚动摩擦；转动类任务往往对扭转摩擦敏感。
4. 执行器参数。 力矩上限、速度上限、转子惯量（MuJoCo 的 armature）、关节阻尼和静摩擦（frictionloss）。Isaac Lab 提供了多种执行器模型，包括理想 PD、带力矩-转速饱和的直流电机模型和执行器网络（Isaac Lab）。
5. 时序。 控制周期、观测延迟、动作延迟要和真机一致，至少要落在随机化范围里。
6. 物体。 质量、质心、惯量、摩擦通常不辨识，而是用域随机化覆盖（第 3 章）。

2.5 执行器差距：比腿足更难的地方

小力矩下，静摩擦、回差、腱的迟滞占比大，"给了目标却不动"和"动过头"都很常见。目前有几类做法：

• 系统辨识。 REGRIND 把"仔细的系统辨识"列为零样本上真机的关键之一。
• 学习关节级动力学。 DexNDM 用少量、自主采集的真机数据，为每个关节拟合等效动力学：把系统级影响压缩成低维变量，每个关节只根据自己的动态历史演化，再据此修正仿真策略的动作。按关节分解让它数据高效，并能跨不同的整手交互分布泛化。
• 电流-力矩标定 + 执行器动力学建模。 Force-Based Sim2Real 用标定代替力矩传感器，做力控层面的 sim2real。
• 可微 real-to-sim。 D-REX 用基于高斯泼溅的可微引擎辨识物理参数。
• 历史条件的策略（第 3 章的适应模块）能吸收一部分差距，但吸收不了系统性的偏差，比如 PD 增益错了一倍。

2.6 自测

3. 在仿真里学控制，再迁移到真机

这一章解决灵巧手 RL 的三个核心问题，它们也是这条路线成败的关键：

1. 学得动：接触丰富、16 维以上的连续控制，RL 怎么才能学出有效的指步态？——奖励结构、初始状态分布、动作参数化、大规模并行 PPO。
2. 看不全：物体的质量、摩擦、形状不可观测，策略怎么在线"感知"它们？——部分可观测与教师-学生蒸馏。
3. 对不上：仿真和真机不一样，怎么让策略对差距不敏感？——把差距拆成可随机化的项，再用 ADR 自动定范围。

贯穿全章的两个例子：HORA（只用本体感觉的手内旋转，RMA 式两阶段）和 DeXtreme（视觉方块重定向，非对称 actor-critic + LSTM + ADR）。

3.1 问题的形式化

把物体与动力学的未知参数记作 $\xi$（质量、摩擦、尺寸、执行器参数……）。真机上策略只能拿到观测 $o_t$，看不到 $\xi$，因此这是一个带未知参数的部分可观测问题。训练时，我们在仿真里对 $\xi$ 的一个分布 $P(\xi)$ 优化：

按策略能利用多少信息，解法分三类：

为什么必须在仿真里学？HORA 的策略训练用了约 5 亿个控制步，相当于真实时间约 7000 小时。这种样本量只有并行仿真给得起——代价就是第 3 个问题：仿真不等于真机。

3.2 让 RL 学得动：奖励、初始状态与动作

奖励 = 有界的任务项 + 塑造步态的正则项。 HORA 的完整奖励（转轴 $\hat{k} = [0, 0, 1]$）：

论文用消融说明了每一项的作用，这几条结论具有普遍性：

• 任务项必须有界。 不截断角速度，策略会尽可能快地转、牺牲稳定性——在仿真里表现为高回报，到真机上就是把物体甩飞。
• 步态来自正则，而不是来自显式的步态奖励。 HORA 没有写任何"至少三指接触"之类的启发式。去掉姿态惩罚后，步态变得不自然，策略也学不会"断开接触、再建立新接触"；能耗与物体线速度惩罚则让动作更省力、更平稳，sim2real 也更好。
• 任务项的形状取决于任务类型。 旋转是"保持一个速度"，所以用截断的角速度；重定向是"到达一个目标"，DeXtreme 用 $1/(d + 0.1)$ 的塑形（$d$ 为与目标姿态的旋转距离），配合 $d < 0.1$ 时的大额到达奖励，在接近目标时给出很陡的梯度。

初始状态分布是最便宜的探索手段。 HORA 每回合都从一个预先生成的稳定精确抓取开始（在典型抓取附近随机扰动关节、仿真一小段时间、筛掉不稳定的），物体掉出指尖就终止。RL 因此完全不用自己去发现"怎么抓住"，只需学"抓住之后怎么转"。同样的思路在第 4 章表现为"从参考轨迹上的状态初始化"。

动作：相对目标 + 低通。 策略输出关节 PD 目标，常用增量形式，并对输出做指数滑动平均。DeXtreme 训练中把平滑系数从 0.2 退火到 0.15，真机上用 0.1 效果最好——它在灵活与平稳之间取舍：太平滑会跟不上快速换指，太灵活会让真机抖动、电机过热，甚至烧坏线缆。

3.3 大规模并行 PPO：真正影响结果的几件事

PPO 最大化截断的替代目标，$\rho_t = \pi_{\theta}(a_t\mid s_t) / \pi_{\mathrm{old}}(a_t\mid s_t)$：

在 GPU 并行仿真里，标准做法是很多环境、每次只滚很短：HORA 每轮用 16384 个环境、每个环境 8 步（0.4 秒），一轮约 13 万个样本，训练约 5000 轮。每环境步数短，意味着优势估计主要依靠价值函数自举，所以价值函数的质量格外重要。由此引出三个真正影响结果的细节：

1. 超时不是终止。 回合因时间上限结束时，状态并没有"坏掉"，计算 $\delta$ 要用 $V(s_T)$ 自举；只有物体掉落这类真正的终止才把下一状态的价值置零。混为一谈，价值函数会学到"快到时间就不值钱"，策略在回合末变得鲁莽。在"短滚动、多截断"的并行设置下，这个错误的影响被放大。
2. 观测归一化的统计量要冻结并随策略一起部署。 训练时用运行均值和方差归一化；部署时用错统计量，等于给策略换了一套输入。
3. 循环策略要配更长的有效时域。 DeXtreme 指出，用 LSTM 时把折扣从 MLP 常用的 0.99 提到 0.998，是训得动的关键。

import torch

def gae(rew, val, next_val, done, timeout, gamma=0.99, lam=0.95):
    """rew, val, done, timeout: (T, N)；next_val: (T, N) 为 V(s_{t+1})。
    真终止（物体掉落）不自举；超时截断保留自举；两种情况都切断跨回合的累积。"""
    adv = torch.zeros_like(rew)
    last = torch.zeros_like(rew[0])
    for t in reversed(range(rew.shape[0])):
        terminal = done[t] & ~timeout[t]
        delta = rew[t] + gamma * next_val[t] * (~terminal) - val[t]
        last = delta + gamma * lam * (~done[t]) * last
        adv[t] = last
    return adv, adv + val            # 优势，以及价值函数的回归目标

3.4 部分可观测：从历史里推断物体（教师-学生）

两阶段做法（HORA）。

• 阶段一（教师）：特权信息 $e$（物体位置、尺寸、质量、摩擦、质心，共 9 维）经编码器 $\mu$ 压成 8 维隐变量 $z = \mu(e)$；策略 $\pi(o_t, z_t)$ 与 $\mu$ 一起用 PPO 训练。$o_t$ 只含最近 3 帧关节角和动作。
• 阶段二（学生）：冻结 $\pi$ 和 $\mu$，训练适应模块 $\phi$ 从最近 30 步（1.5 秒）的关节角与动作历史估计 $\hat z_t$（结构是逐步编码后接时间卷积），损失 $\lVert \hat z_t - z_t\rVert^{2}$。关键在于数据由用 $\hat z$ 执行的策略采集。
• 部署：$\phi$ 在线估计 $\hat z$，$\pi$ 照常执行，不需要知道任何物体参数。

def train_adaptation(env, policy, mu, phi, opt, iters, hist=30):
    """阶段二：policy 与 mu 冻结；学生用自己的 ẑ 执行，回归教师的 z。"""
    for _ in range(iters):
        hs, zs = [], []
        obs, e = env.reset()
        for _ in range(env.horizon):
            h = env.history(hist)                       # (N, hist, 2n) 关节角与动作
            with torch.no_grad():
                obs, e, done = env.step(policy(obs, phi(h)))   # 用 ẑ 执行
                zs.append(mu(e))                                # 真值隐变量
            hs.append(h)
        loss = ((phi(torch.cat(hs)) - torch.cat(zs)) ** 2).mean()
        opt.zero_grad(); loss.backward(); opt.step()

这个设计里有三个值得记住的结论，都来自 HORA 的消融：

1. 为什么非要两阶段？ 附录专门试了"直接用 RL 训练一个看长历史的鲁棒策略"：历史从 3 步加到 30 步，PPO 训练的 MLP 策略性能单调下降（分布内平均旋转奖励从约 176 掉到约 50），LSTM 有同样的优化困难，时间卷积网络甚至训不出来。原因是回报信号太弱，不足以同时学会"推断物体"和"控制"。两阶段把推断变成有直接监督的回归，RL 只需在 8 维的 $z$ 上学控制。
2. 回归隐变量，而不是物理参数。 让适应模块直接回归 9 维参数 $e$（SysID 基线），转得更快，稳定性却明显变差。$e$ 里有些分量从本体历史中不可辨识；$z$ 是由控制目标"挑选"过的表示，只保留与控制相关、且可推断的部分。
3. 学生必须在自己的状态分布上学。 这就是 DAgger 的论点：若学生只在教师的轨迹上训练（行为克隆），每步 $\varepsilon$ 的误差会把它带到没见过的状态，误差随时域 $T$ 以 $O(\varepsilon T^{2})$ 累积；让学生执行、教师（或真值 $z$）在学生到达的状态上标注，误差界降为 $O(\varepsilon T)$。HORA 的阶段二就是 DAgger 在隐变量上的版本。

另外两种结构。

• 直接蒸馏动作：$\lVert \pi_s(o^{\mathrm{hist}}) - \pi_t(o^{\mathrm{priv}})\rVert^{2}$。学生与教师的输入差异很大时（学生只看 RGB 或深度），回归隐变量很难对齐，直接蒸馏动作更稳妥——Visual Dexterity、DextrAH-RGB、ViserDex 都属于这一类。
• 非对称 actor-critic：只让 critic 看特权状态，actor 只用真机可得的观测，省掉蒸馏阶段。DeXtreme 的 actor 输入 50 维（带噪的物体与目标位姿、上一步动作、关节角），critic 输入 265 维（另含指尖力、关节速度、物体质量与摩擦、所有随机化参数等）。要注意的是，部分可观测时只以状态为输入的 critic 会给策略梯度带来偏差，因为策略实际依赖的是历史；DeXtreme 的 critic 本身也是 LSTM，看的是观测序列。

3.5 sim2real：把差距拆成可随机化的项

域随机化就是 3.1 节目标里的 $P(\xi)$：只要真机落在 $P(\xi)$ 的支撑集里，而策略又能（借助记忆）适应其中每一个 $\xi$，迁移就能成功。所以 sim2real 的工程问题可以表述为：把仿真和真机的每一类差距，都写成一个可随机化的参数。

DeXtreme 在非物理随机化上的几个设计，单独看都很简单，却是它真机表现的关键：

• 噪声的下限必须能到零。 噪声写成 $x + \delta + \varepsilon$（$\delta$ 每回合采样，$\varepsilon$ 每步采样），方差由 ADR 变量 $p$ 经 $\operatorname{var}(p) = \exp(p^{2}) - 1$ 给出，$p = 0$ 时方差恰为 0。理由很实际：部署时并没有人为加的白噪声，"零噪声"这个情形必须被训练覆盖。
• 把延迟当作一等公民。 随机延迟 $x_{\mathrm{obs}} = x_{\mathrm{last}} \cdot d + x \cdot (1 - d)$（$d \sim \operatorname{Bernoulli}(p)$）模拟时延抖动；固定动作延迟模拟通信与驱动的滞后；按随机周期刷新物体位姿，模拟相机与位姿估计器的帧率。
• 随机位姿注入。 遮挡下位姿估计偶尔会跳变，可能"污染"LSTM 的隐状态。训练时每步以一定概率把观测到的物体位姿换成完全随机的位姿，策略就学会了不被单帧离群值带偏。
• 随机网络对抗（RNA）。 每回合用一个随机初始化的网络产生随状态变化的动作扰动：$a = \alpha \cdot a_{\mathrm{RNA}} + (1 - \alpha) \cdot a_{\mathrm{policy}}$。高斯噪声与状态无关，模拟不了摩擦、回差、迟滞这类"随状态系统性变化"的误差；随机网络可以。

自动域随机化（ADR）把"范围定多宽"也交给算法。 范围太窄覆盖不了真机，太宽早期策略学不动。ADR 从窄范围开始：一部分环境专门做评估，把某一维钉在当前边界上，记录这些回合的表现（DeXtreme 用连续成功次数，队列长度 256）；平均表现高于上阈值（20）就把这条边界往外扩，低于下阈值（5）就往里收。结果是一门自动调节难度的课程，并且最终告诉你策略能覆盖多大的范围——DeXtreme 中物体摩擦的范围从 [0.3, 0.9] 被扩到了 [0.01, 1.60]。

import numpy as np
from collections import deque

class ADRBoundary:
    """一个随机化维度的一条边界。阈值与队列长度取自 DeXtreme，步长为示意。"""
    def __init__(self, value, step, outward, n=256, t_hi=20.0, t_lo=5.0):
        self.value, self.step, self.outward = value, step, outward   # outward: +1 上界，-1 下界
        self.q, self.t_hi, self.t_lo = deque(maxlen=n), t_hi, t_lo

    def report(self, score):
        """评估环境把这一维钉在本边界、跑完一回合后调用。"""
        self.q.append(score)
        if len(self.q) == self.q.maxlen:
            m = float(np.mean(self.q))
            if m > self.t_hi:
                self.value += self.outward * self.step   # 够简单了：往外扩
            elif m < self.t_lo:
                self.value -= self.outward * self.step   # 太难了：往里收
            else:
                return
            self.q.clear()                               # 范围变了，重新累计

这些技巧各值多少？ DeXtreme 附录记录了真机上最大连续成功次数随改进的变化，可以当作 sim2real 的优先级参考：

两点启示：观测表示（相对手腕）这类"小改动"的收益不亚于算法；更强的随机化需要更大的网络来承载。

3.6 评测与诊断

指标要分开看"好不好"与"稳不稳"。 旋转类任务常用平均角速度（HORA 的 RotR，评估时不截断）和掉落前时间 TTF（按回合长度归一化）；重定向类任务用连续成功次数（DeXtreme：姿态误差进入 0.4 rad 以内即换新目标，掉落或卡住超过 80 秒就结束）。只看速度会奖励"甩"的策略，只看 TTF 会奖励"不动"的策略。

诊断流程。

1. 逐类关掉随机化，看性能掉多少，就知道策略依赖什么。HORA 关掉物理随机化后，分布外的平均旋转奖励从约 161 降到约 88。
2. 测分布外物体（尺寸、质量、形状超出训练范围）。
3. 检查隐变量是否在"感知"。 HORA 在真机上每 30 秒换一个物体，估出的 $\hat z$ 中一维随直径变化、另一维随质量变化；$\hat z$ 不随物体变化，说明适应模块没起作用。
4. 对照几个有诊断意义的基线：只用域随机化的鲁棒策略、回归物理参数的 SysID、只在开头估一次 $\hat z$ 的 NoAdapt、盲放一段专家动作的回放基线——后者用来证明策略在闭环调整，而不是在周期性地重复同一段动作。

3.7 小结

• 奖励用"有界任务项 + 正则"的结构，步态让正则去塑造；用初始状态分布绕开探索难题。
• 并行 PPO 的关键在价值函数：正确处理超时、冻结归一化统计量、循环策略用更长的有效时域。
• 部分可观测用两阶段解决：RL 在低维隐变量上学控制，监督学习从历史推断隐变量；学生必须在自己的状态分布上学。
• sim2real 的本质，是把每一类差距写成可随机化的参数，让真机落进训练分布；ADR 自动决定分布有多宽。

3.8 自测

4. 从人类演示学：重定向 + 跟踪 RL

4.1 问题：奖励写不出来时，演示提供了什么

第 3 章的配方在"目标好写、回合不长"的任务上很强。到了开盒、拧瓶盖、双手递物这类长时程任务，RL 同时遇到两个难题：奖励写不出来，探索也找不到路。人类演示 $D = \{(h_t, x_t)\}_{t=1}^{T}$（$h$ 为人手位姿，$x$ 为物体位姿）恰好补上这两点：它给出了物体应该怎么走、手大概怎么动、哪里该有接触。

把演示变成机器人能执行的策略，要解决两个子问题：

1. 本体映射：人手与机器人手的尺寸、关节结构都不同——把 $h_t$ 映射成机器人关节角 $q_t$。这是纯运动学问题（4.2、4.3 节）。
2. 物理可行性：运动学重定向不管物理——会穿模，没有力，也不保证物体真的跟着动。需要在物理仿真里找到一个策略，使物体的轨迹跟上演示（4.4 节）。

关键的设计判断是：目标以物体为中心。手的动作像不像人只是辅助，物体有没有按演示走才是任务本身。

4.2 本体映射：重定向是一个小型优化问题

目标函数。 直接复制关节角不可行，通行的做法是匹配手上一组关键向量（腕到各指尖、拇指尖到其余指尖）。AnyTeleop 的形式是

$v_i$ 是人手的第 $i$ 个关键向量，$f_i(q)$ 是机器人手对应向量的正运动学，$\alpha$ 补偿手的尺寸差，$\beta$ 项保证时间上平滑。

捏取要特殊处理。 比例缩放后，人手捏在一起的两个指尖到了机器人手上往往对不上，接触就丢了。DexPilot 的做法是让目标随距离切换：

$d_i$ 是人手上这对点的距离、$\hat{r}_i$ 是单位方向。距离大于阈值时 $s = 1$、$f(d) = 1.6 d$，即按比例匹配；人手拇指与某指捏在一起时，权重跳到 200（或 400），目标距离换成 $10^{-4}\,\mathrm{m}$（强制机器人指尖真的碰上），另一组向量则保持至少 3 cm 的间距，避免两根手指互相干涉。捏取时"碰上"比"像"重要，这条原则后来演化成了下一节的保接触重定向。

求解。 遥操作要求每帧几毫秒内解完。最小二乘结构很适合 Gauss–Newton / Levenberg–Marquardt：把残差 $e(q) = \alpha v - f(q)$ 在当前解处线性化，$J = \partial f / \partial q$ 由运动学库解析给出，

用上一帧的解热启动，通常几次迭代就收敛；DexPilot 用 SLSQP 实时求解，并对输出的关节角再做低通滤波以去掉高频抖动。开源的 dex-retargeting（源自 AnyTeleop）提供了面向视频与遥操作的向量重定向、面向手-物位姿数据集的位置重定向，以及 DexPilot 式的优化器。

import numpy as np

def retarget_lm(v_human, fk, jac, q_prev, q_lo, q_hi, alpha=1.0, beta=1e-3, lam=1e-4, iters=5):
    """AnyTeleop 式向量重定向，用 Levenberg–Marquardt 求解（α、β、λ 为示意值）。
    v_human: (3N,) 人手关键向量拼接；fk(q)->(3N,) 机器人对应向量；jac(q)->(3N, n) 其雅可比。"""
    q = q_prev.copy()                                   # 用上一帧的解热启动
    n = q.size
    for _ in range(iters):
        e = alpha * v_human - fk(q)                     # 关键向量残差
        J = jac(q)
        H = J.T @ J + (beta + lam) * np.eye(n)
        g = J.T @ e - beta * (q - q_prev)
        q = np.clip(q + np.linalg.solve(H, g), q_lo, q_hi)
    return q

4.3 保接触与保力：重定向应该保什么

关键向量只保证"手型像"。按要保留的东西分层，近两年的重定向方法依次往上走：

进入 RL 之前还有一步值得照做的预处理：DexMachina 先在仿真里回放重定向后的关节角——当作软目标、同时固定物体——以消除穿模；再用基于距离的近似，从演示中提取"哪个手部连杆在什么时间、碰物体的哪个部位"。这些接触位置稍后变成接触奖励。

4.4 物理可行性：跟踪 RL 的三个设计维度

把跟踪写成 MDP：观测包括手与物体的状态和未来若干步的参考，动作是关节目标，回合从参考轨迹上的某个状态开始。设计空间主要在三处：奖励的组合方式、动作参数化、让任务"先易后难"的课程。

① 奖励：乘积还是加和。 DexMachina 的任务奖励是物体位置、姿态、铰接角三项误差的指数核的乘积：

乘积相当于逻辑"与"：任何一项很差，总奖励都接近零；对某一项误差的梯度被其余两项的取值加权，策略只能同时改善各项。加和则是"或"：策略可以牺牲一项、去刷另一项（比如位置跟得很好，姿态完全不管）。辅助项——手部关键点的模仿奖励、关节角的行为克隆奖励、与演示接触位置对齐的接触奖励——以小权重加和附上去：它们引导探索，但当与任务冲突时，策略可以偏离人手动作、优先保证物体轨迹。

② 动作：参考 + 残差。 统一的写法是 $a_t = a_t^{\mathrm{ref}} + \Delta a_{\theta}(o_t)$。残差让初始策略（$\Delta a = 0$）就已经"大致在做对的事"，RL 只需学修正；常见做法是把残差输出层初始化为零、并限制残差幅度。DexMachina 的混合方案很有代表性：6 自由度的腕部用重定向结果做基准加残差（腕部决定手在哪，错了很难救），手指则输出按关节限位归一化的绝对目标（重定向的手指角度本来就不可靠，没必要在它上面做残差）；论文发现这种约束显著提升了学习效率。ManipTrans 则分两阶段：先训练一个只模仿手部运动的通用轨迹模仿器，再针对具体任务训练残差模块处理手-物交互，交互状态里显式加入仿真给出的指尖接触力。

③ 课程：让任务先变容易。 长时程双手任务里，策略早期的动作几乎都会把物体弄掉、提前终止回合，策略根本看不到任务的后半段。两种代表性的"先易后难"：

• 虚拟物体控制器（DexMachina）。 给物体加 6 个虚拟的 1 自由度关节（基座位姿）和 1 个铰接关节，用 PD 把物体沿演示轨迹"拽"着走：$F = k_p(x^{\mathrm{ref}} - x) + k_v(\dot x^{\mathrm{ref}} - \dot x)$。初期增益很高（临界阻尼），物体几乎自己跟着演示走，策略先学会"不打扰物体"的手部动作；当各项奖励的滑动平均都超过阈值时，增益按比例衰减（$k_p \le 0.01$ 时直接归零），控制权逐步交给策略。
• 放松物理（ManipTrans）。 初期把重力设为 0、摩擦设得很高，手很容易抓牢，先学会对齐参考；随后逐步恢复重力、降低摩擦。配合从参考轨迹随机挑状态初始化，以及逐步收紧的"物体偏离过大就终止"；若动捕显示人手此刻牢牢握着物体、机器人手的接触力却为零，也提前终止——逼策略学会真正施力。

import torch

def tracking_reward(d_pos, d_rot, d_ang, kp_err, q_err, con_err,
                    b=(10.0, 2.0, 5.0, 20.0, 2.0, 10.0), w_aux=0.1):
    """DexMachina 式奖励（β 与权重为示意）：任务项相乘，辅助项小权重相加。
    kp_err (N,K) 手部关键点误差平方；q_err (N,J) 关节角误差平方；con_err (N,P) 接触位置误差。"""
    r_task = torch.exp(-b[0] * d_pos) * torch.exp(-b[1] * d_rot) * torch.exp(-b[2] * d_ang)
    r_imi = torch.exp(-b[3] * kp_err).mean(-1)
    r_bc = torch.exp(-b[4] * q_err).mean(-1)
    r_con = torch.exp(-b[5] * con_err).mean(-1)
    return r_task + w_aux * (r_imi + r_bc + r_con)

def decay_virtual_controller(kp, kv, reward_means, thresholds, ratio=0.9):
    """所有奖励的滑动平均都超过阈值时，按比例衰减虚拟物体控制器的增益（比例为示意）。"""
    if kp == 0 or any(reward_means[k] <= thresholds[k] for k in thresholds):
        return kp, kv
    kp, kv = kp * ratio, kv * ratio
    return (0.0, 0.0) if kp <= 0.01 else (kp, kv)

4.5 演示从哪里来

管线的输入可以是带手-物位姿的数据集（DexMachina 用的是 ARCTIC），也可以是单段视频——此时先做手部与物体的位姿重建，再进入上面的流程。一个值得注意的变体是绕开手部重定向：Human2Sim2Robot 只用物体轨迹定义与本体无关的奖励，在仿真里用 RL 跨越本体差距；HuDOR 直接从人类视频里的物体轨迹计算奖励，在真机上在线微调。只要任务主要由物体运动定义，这比精确重定向手部更稳健。

4.6 小结

• 演示同时解决"奖励"和"探索"两个问题；把它变成策略，要分开处理本体映射（运动学）与物理可行性（动力学）。
• 重定向是一个可以用 Gauss–Newton 实时解的最小二乘；捏取等关键接触要作为硬性目标，而不是被比例缩放"平均掉"。
• 跟踪 RL 的目标以物体为中心：任务项相乘，辅助项小权重相加；动作用"参考 + 残差"，腕部和手指可以区别对待；课程让任务先变容易。

4.7 自测

5. 抓取：可行性、合成与闭环执行

5.1 问题：一个"好抓取"要满足什么

抓取合成是在手的位姿与关节角 $x = (T, R, q)$ 上找一个解，同时满足三类约束：

1. 静力学可行：接触力能抵抗外力旋量（至少能抵抗重力，最好任意方向都能）——力封闭；
2. 运动学可行：接触点贴在物体表面、手与物体及手指之间不穿透、关节在限位内；
3. 执行可行：从当前状态能到达，闭合手指时物体不被推走，受扰动后不打滑。

三代方法分别回答了不同的子问题：优化求解前两类约束，生成模型把优化"摊销"成一次前向推理，闭环策略处理第三类。

5.2 静力学：抓取力旋量空间与力封闭

沿用第 1.4 节的记号：第 $i$ 个接触的力 $f_i$ 在接触坐标系中表示，经 $G_i$ 映射成物体上的力旋量 $w_i = G_i f_i$。把摩擦锥线性化成 $m$ 条母线 $d_{ij}$（单位法向力加切向分量），每条母线贡献一个力旋量；它们的凸包就是抓取力旋量空间（GWS）。

• 力封闭 ⇔ 原点严格位于 GWS 内部：总法向力有限时，任意方向的外力旋量都能被接触力平衡。
• Ferrari–Canny $\varepsilon$ 度量（$Q_1$） = 原点到 GWS 边界的最小距离，即"最坏方向上单位总法向力能抵抗多大的外力旋量"。力矩分量要除以一个特征长度，才能和力放在同一个尺度上比较。

import numpy as np
from scipy.spatial import ConvexHull

def friction_cone_edges(n, mu, m=8):
    """摩擦锥的 m 条母线（法向分量为 1）。n：指向物体内部的接触法向。"""
    n = n / np.linalg.norm(n)
    a = np.array([1.0, 0, 0]) if abs(n[0]) < 0.9 else np.array([0, 1.0, 0])
    t1 = np.cross(n, a); t1 /= np.linalg.norm(t1)
    t2 = np.cross(n, t1)
    ang = 2 * np.pi * np.arange(m) / m
    return n + mu * (np.cos(ang)[:, None] * t1 + np.sin(ang)[:, None] * t2)

def q1_metric(contacts, normals, center, mu=0.5, m=8, char_len=0.05):
    """Q1：原点到 GWS 凸包边界的最小距离；不是力封闭则返回 0（mu、char_len 为示意值）。"""
    w = [np.concatenate([f, np.cross(c - center, f) / char_len])
         for c, n in zip(contacts, normals) for f in friction_cone_edges(n, mu, m)]
    hull = ConvexHull(np.array(w))              # 6 维凸包
    dist = -hull.equations[:, -1]               # 各个面到原点的有符号距离（法向已归一化）
    return float(max(dist.min(), 0.0))

$Q_1$ 适合评估，却不适合优化：凸包对接触点的依赖不可微，而且对高自由度手的效率很低。下面两种能量就是为了让抓取质量可微、可并行优化。

5.3 优化：从可微力封闭到双层 QP

DexGraspNet 的能量。 DexGraspNet 在 $(T, R, q)$ 上最小化

• $E_{\mathrm{fc}} = \lVert G c\rVert^{2}$ 是可微的力封闭近似：假设每个接触沿法向施加大小相同的力，要求它们的合力与合力矩为零；
• $E_{\mathrm{dis}}$ 让接触点贴在物体表面；$E_{\mathrm{pen}}$ 惩罚手与物体互相穿透——取物体上的点算到手网格的穿透（"反向"计算），即使物体网格很薄、没有厚度也能处理；
• $E_{\mathrm{spen}}$ 惩罚手指之间的自穿透；$E_{\mathrm{joints}}$ 惩罚越过关节限位。

两个工程要点决定了成败：初始化（把物体凸包向外膨胀 0.2 m，在膨胀面上采样、让手朝向物体并加扰动，手就能均匀地"包围"物体）和物理验证（在仿真里把每个接触连杆沿法向往里挪一点作为位置目标来施加抓握力，依次在 6 个轴向上加重力，100 步后仍接触才算成功，穿透超过 1 mm 也算失败）。

BODex 的双层优化。 BODex 指出，上面这类能量依赖"接触力相等、无摩擦"之类的强假设，能量的高低与仿真中是否成功相关性不强。它把抓取质量直接定义成一个下层 QP 的最优值——在给定手位姿下，接触力最好能产生多接近期望力旋量的合力旋量：

$t_j$ 取沿正负三个力轴方向、力矩为零的 6 个单位力旋量——能抵抗这 6 个方向，就能通过线性组合抵抗任意方向的重力。约束 $\sum f_{i,n} \ge \gamma$ 排除了 $f = 0$ 的平凡解（否则 $Q_j$ 对 $G$ 不可微）。上层对 $x$ 做梯度下降，最小化 $\sum_j Q_j(x)$，同时满足关节限位、接触点在物体表面、无碰撞；梯度经最优解对 $G_i(x)$ 的依赖传回 $x$。

工程上，BODex 用 GPU 上批量求解的 QP（相比 CPU 求解器快约 10 倍）和 cuRobo 的运动学与碰撞库，接触建模先用球近似、再用网格精化，单张 3090 每秒能合成 49 个以上抓取。它的数据让学习模型的仿真成功率从约 40%（用 DexGraspNet 数据）提到约 80%——合成数据的质量会直接传给学习模型。

import cvxpy as cp
import numpy as np

def bodex_wrench_energy(G_list, mu=0.5, beta=1.0, gamma=0.5):
    """BODex 式下层问题（示意实现）：对 6 个力方向分别求最小残差，返回能量之和。
    G_list: 各接触的 6×3 映射矩阵（接触坐标系：法向在第 0 维）。上层对手位姿求梯度时，
    需要对这个优化的最优值做可微分（例如 cvxpylayers 或解析的 KKT 灵敏度）。"""
    m = len(G_list)
    G = np.hstack(G_list)                                  # 6 × 3m
    f = cp.Variable(3 * m)
    t = cp.Parameter(6)
    cons = [cp.sum([f[3 * i] for i in range(m)]) >= gamma]
    for i in range(m):
        fn, ft = f[3 * i], f[3 * i + 1: 3 * i + 3]
        cons += [fn <= 1, cp.SOC(mu * fn, ft)]              # 摩擦锥 ‖f_t‖ ≤ μ f_n
    prob = cp.Problem(cp.Minimize(cp.sum_squares(beta * t - G @ f)), cons)
    energy = 0.0
    for axis in range(3):
        for sign in (1.0, -1.0):
            tv = np.zeros(6); tv[axis] = sign
            t.value = tv
            energy += prob.solve()
    return energy

5.4 生成模型：把优化摊销成一次推理

优化一次要几秒到几十秒，部署时等不起。生成模型把这个代价"摊销"掉：离线用优化合成大量数据，训练一个以物体点云 $P$ 为条件、直接输出 $x = (T, R, q)$ 的条件生成模型。以扩散模型为例，训练目标是

纯数据驱动的采样不保证物理可行，于是常在采样时加入物理引导：每一步去噪后沿可微能量的负梯度修正，$x \leftarrow x - \eta \nabla_x E_{\mathrm{phys}}(x)$，其中 $E_{\mathrm{phys}}$ 可以是穿透、接触距离或上面的抓取能量。这和第 8 章 DexterityGen 用梯度引导把扩散样本"推向"外部指令是同一个机制。DexGrasp Anything 把物理约束同时放进训练与采样两个阶段。

跨手泛化的核心是找一个与手无关的中间表示，再映射回具体的手：接触图（GenDexGrasp）、机器人-物体统一表示（D(R,O) Grasp）、规范 URDF 与参数空间（OHRA）。

5.5 闭环执行：为什么开环抓取会失败

开环执行一个"好抓取"会因三件事失败：位姿估计误差、手指闭合时物体被推动、闭合时序不协调。所以实际系统都会训练闭环策略，大多数走第 3 章的教师-学生路线（DextrAH-G 用几何 fabrics 保证避碰与硬件约束，DextrAH-RGB 蒸馏成只看 RGB 的学生）。两个降低 RL 难度的结构性技巧值得单独记住：

• 先专家、后通才。 UniGraspTransformer 先为每个物体单独训练 RL 专家、收集成功轨迹，再蒸馏进一个 Transformer。每个专家的 RL 问题都很简单，难点转移到了监督学习上，后者更容易扩展到数千个物体。
• 把长时程问题压成单步决策。 DemoGrasp 从一条成功的示范出发，策略只需决定如何"编辑"它——改腕部位姿决定抓哪里，改手指关节角决定怎么抓——这个编辑被写成单步 MDP，完全绕开了高维、长时程的探索。

5.6 小结

• 抓取的可行性分三层：静力学、运动学、执行；$Q_1$ 是好的评估指标，却不是好的优化目标。
• 让抓取质量可微、可并行，是大规模合成的关键；以"能达到的力旋量"定义质量（BODex 的下层 QP）比带强假设的近似能量更可靠，数据质量直接决定学习模型的上限。
• 生成模型把优化摊销成推理，物理引导弥补其可行性；闭环策略解决执行，结构化动作空间（专家蒸馏、单步编辑）能大幅降低 RL 难度。

5.7 自测

6. 基于模型的接触控制：平滑、凸化与采样

6.1 问题：在非光滑的模型上做优化

有了模型 $x^{+} = f(x, u)$，MPC 在每个控制周期求解

接触让这个问题难在三处（Pang 等人的归纳）：接触模式组合爆炸；接触动力学刚硬、非光滑，梯度会爆炸或不连续（不接触时，手指动作对物体的梯度恰好为零）；问题本身非凸。解法因此分成两路：

• 让 $f$ 变好优化：换一个凸的、可微的接触模型，或者对 $f$ 做平滑，然后用梯度方法；
• 不对 $f$ 求导：采样 MPC，只需要能把候选动作在模型里前推、比较代价。

这一章先讲第一路的核心思想（它也解释了 RL 为什么能处理接触），再讲第二路的算法。

6.2 凸的接触模型

准动态 + 凸松弛（CQDC）。 手内操作通常不太动态，可以去掉速度和加速度项、只保留接触力的作用（准动态假设）：状态减半，而且一步就能"看得更远"。Pang 等人把机器人建模成刚度为 $K_a$ 的弹簧，输入 $u$ 是关节的指令位置（弹簧平衡点），一步的动力学写成

下标 $a$ 为机器人（受驱动）、$u$ 为物体（不受驱动）；$\varepsilon = 0$ 对应精确的准静态，$\varepsilon = 1$ 对应 Mason 的准动态定义，实际取尽量小的正数。接触冲量 $\lambda_i$ 满足 Anitescu 凸松弛下的摩擦锥约束（第 1.3 节），于是求下一步状态就是解一个二阶锥规划。导数 $\partial \delta q^* / \partial q$、$\partial \delta q^* / \partial u$ 由对 KKT 条件用隐函数定理得到。一个容易忽略的实现细节：碰撞检测本身会引入不连续（接触点和法向随构型跳变），他们把手指和物体都表示成内切球的阵列，让接触点与法向随构型平滑变化。

免互补模型。 Jin 从优化型接触模型的对偶出发，用显式的闭式解近似互补约束：时间步进有闭式解、可微、自动满足库仑摩擦律、超参数很少，接触隐式 MPC 能以 50–100 Hz 运行。基于同一模型的 GPU 引擎 ComFree-Sim 让接触计算按接触对解耦，运行时间随接触数近线性增长，在真实的 LEAP 手上做了实时 MPC。

6.3 平滑：RL 为什么能处理接触

随机平滑。 对噪声分布 $\rho$ 定义平滑后的动力学 $f_{\rho}(x) = \mathbb{E}_{w\sim \rho}[f(x + w)]$。Pang 等人证明（$\rho$ 为高斯 $\mathcal{N}(0, \Sigma)$ 时）：用最小二乘在采样点上拟合仿射模型 $f(\bar{x} + w) \approx J w + \mu$，最优的 $J^*$ 恰好是平滑后动力学在 $\bar{x}$ 处的雅可比：

由此有两种估计器：一阶——对采样点处的梯度取平均，方差小，但要求 $f$ 局部 Lipschitz，遇到不连续就有偏；零阶——只用函数值做上式的最小二乘拟合，对不连续的 $f$ 依然无偏，代价是方差更大。

这给出了一个很有用的视角：RL 的随机策略 + 策略梯度，本质上就是零阶随机平滑——它对接触模式做采样和平均，把非光滑的动力学"抹平"了，所以能学；代价是样本量。

解析平滑。 也可以不采样，直接把约束换成对数障碍：

$\kappa \to \infty$ 时解收敛到原来的约束问题；$\kappa$ 有限时，障碍项相当于一个强度与到约束边界距离成反比的"力场"：物体还没碰到手指，就已经能感受到"隔空的力"，梯度不再为零。这和接触隐式轨迹优化里常用的"隔空施力"松弛是同一个效果。两种平滑在简单系统上可以证明等价——一个靠采样，一个靠解析。

6.4 采样 MPC