15 机器人抓取接触力学运动规划闭环操作

Robot Grasping & Manipulation

从物体位姿到
可执行、可验证的动作

一个 6D grasp pose 只是候选动作的几何中心。真正的抓取还包含 gripper embodiment、opening、contacts、pre-grasp、扫掠体积、IK / path、任务语义、不确定性、抓后 hand-object pose 和失败恢复。

打开抓取实验室先统一抓取 frame

01 · What Problem Are We Solving?

“抓取检测”可能绕过 object pose；“利用 6D pose 抓取”只是其中一条路线

先说明已知什么、输出什么、使用哪种 gripper、要完成什么下游任务。模型驱动、scene grasp、affordance、suction、dexterous 与 insertion 不能只用一个 grasp score 混排。

Instance / model-based grasping

已知 object ID、CAD 和 ᶜTₒ / ᴮTₒ

预计算或在线生成 ᴼTɢ，再随 object pose 变到 world

能使用完整不可见几何、质量/COM、语义面与任务约束；强依赖模型—实物、尺度和 object frame

Model-free scene grasp detection

RGB-D / point cloud，不要求 object identity 或 CAD

直接输出 camera/world 中 6-DoF grasp distribution + width / score

新对象接入快；可见表面、遮挡、目标归属、不可见碰撞和 task semantics 较弱

Category / affordance grasping

类别、部件、关键点、语言任务与部分几何

把 handle / rim / support / functional region 映射到 embodiment-specific grasp

跨实例迁移并服务“拿来倒水/递给人”；affordance 与几何可行性都需验证

Suction / vacuum picking

局部表面、法向、曲率、材质/密封与外部 wrench

contact point + approach + cup/pressure；常少于完整 jaw pose 参数

狭小空间和工业分拣有效；多孔/粗糙/柔软、边缘泄漏和重心力矩是主要边界

Dexterous / multi-finger

hand pose、每指关节、接触、摩擦与 task intent

高维 hand configuration + contact sequence，而非单一 6D palm pose

可操作性强；IK/self-collision/contact dynamics、数据和控制难度显著增加

Assembly / insertion

object、gripper、hole/fixture 的 task frames 与低 clearance

选择能保持装配轴/键位的 grasp，并规划 compliance / search / force control

抓取成功只是前置；hand-object slip、横向/角度误差、jamming/wedging 决定最终结果

Object pose 与 grasp pose 是不同随机变量。 已知 CAD 路线常先估 ^BT_O 再查 object-relative grasp library；model-free grasp detector 可直接输出 ^CT_G 而不恢复唯一 object frame。两者都要经过 robot / gripper / task feasibility，不能凭输出维度相同就互换。

02 · Frames & Grasp Representations

先定义 planner grasp frame G，再把它翻译成机器人实际控制的 tool frame U

抓取数据集、gripper driver、URDF end-effector parent、palm center、finger midpoint 和 suction cup center 常用不同 origin / axes。每个 grasp asset 都要绑定 gripper convention。

Object-relative grasp to controller tool target

{}^{B}\mathbf T_G={}^{B}\mathbf T_O\,{}^{O}\mathbf T_G,\qquad {}^{B}\mathbf T_U^\star={}^{B}\mathbf T_G\,{}^{G}\mathbf T_U

若已保存的是 ᵁTɢ，则第二式使用其逆。不能通过手调 ᴼTɢ 来掩盖遗漏的 G↔U/TCP 固定边，否则所有 grasp libraries 都被污染。

Pre-grasp waypoint under a declared approach axis

{}^{B}\mathbf T_P={}^{B}\mathbf T_G\,\operatorname{Trans}(-d_{\mathrm{pre}}\mathbf e_a)

页面交互把 +x_G 声明为 approach；其他库可能用 ±x/±y/±z。符号、frame 和 desired/min distance 都属于动作 contract。

表示	参数	还需要	适用与陷阱
Parallel-jaw 6-DoF	grasp frame pose T、jaw width、approach / closing axes、insertion depth	finger/palm collision geometry、stroke、force、contact pad	完整空间抓取与 clutter 规划；不同数据集的轴与 origin 不通用
Planar rectangle	image center (u,v)、in-plane angle、pixel width，有时 depth	camera K、depth 与 camera→robot transform	桌面 top-down 抓取简洁；不是一般 6-DoF，出平面与遮挡结构缺失
Contact pair	p₁,p₂、normals n₁,n₂、friction / curvature	从 contacts 反解 gripper pose、opening 和 approach family	最接近 antipodal mechanics；同一 pair 可对应多种 palm roll / approach
Contact-rooted 6-DoF	observed surface contact + approach / roll + width	scene point cloud 与 gripper convention	降低预测维数并锚定可见几何；仍需完整 gripper collision 和 target assignment
Suction target	contact point、normal / approach、cup radius、seal / wrench score	surface smoothness、material、vacuum system 与 COM/load	不能把 parallel-jaw force-closure score 直接复用到 suction
Multi-finger hand	SE(3) palm pose + q_hand + contact set / synergy	hand kinematics、tendon/compliance、self/object collision	6D palm 只是高维 grasp configuration 的一部分
Object-relative library	ᴼTɢ、gripper type、width、contacts、quality、task tags	object asset/version、symmetry、mass/friction assumptions	随 ᴮTₒ 快速复用；模型尺度、frame 或 grasp convention 改变时必须整体失效

Executable grasp record · pose 只是其中一列

grasp_id / target_object / task_id / gripper_id + geometry_hash
frame_convention: origin / approach_axis / closing_axis / handedness
object_T_grasp OR world_T_grasp / planner_grasp_T_controller_tool
pregrasp_distance / approach_min_desired / jaw_open / jaw_close / force
contact_points / normals / friction + mass/COM assumptions / analytic_quality
collision_padding / allowed_touch(stage, link, object) / unknown-space rule
IK branch / joint margin / path / retreat / attached_object_transform
pose_belief_version / robust_success_event / score_calibration_id
reobserve / verify / lift / abort / recovery policy

03 · Contacts, Friction & Grasp Wrench Space

Antipodal、force closure 和稳定性从 contact model 开始

contact location、normal、摩擦、接触斑、gripper force、object mass / COM 和 task wrench 共同决定抓取能抵抗什么；仅看几何对称的两个点不够。

接触模型	允许的作用	参数化	工程边界
Frictionless point	只有沿 contact normal 的压缩力；不能拉	每点 1 个 force DoF	理论基线；平行夹爪实际软指/摩擦不能用该模型的结论直接替代
Point contact with friction	normal + tangent force，受 Coulomb cone 约束	常将 cone 多面体离散成 primitive forces	μ 未知、各向异性、速度/表面污染会改变 cone；离散边数影响 analytic score
Soft finger	在摩擦力外允许有限 contact-normal torsional moment	适合有限接触斑和软 pad	torsional limit 与压力分布相关，不等于无限扭矩
Suction contact	seal、cup compliance、normal pull、tangent/friction 与 moment bounds	需抵抗 gravity / acceleration wrench 且不泄漏	局部平面好看不代表真实材料密封；边缘、孔洞、曲率和管路延迟关键
Compliant / enveloping	contact 随 closing 和形变演化，可能形成 caging / power grasp	需 hand/object dynamics 或实验模型	静态点接触 GWS 可能过于保守或过于乐观

Coulomb friction cone

f_n\ge 0,\qquad \|\mathbf f_t\|_2\le \mu f_n,\qquad \alpha=\arctan\mu

contact 只能推不能拉；μ 越大 cone 越宽。数值规划常用多面锥近似，primitive 数量与 force normalization 必须记录。

Contact force to object wrench

\mathbf w_i=\begin{bmatrix}\mathbf f_i\\(\mathbf p_i-\mathbf c)\times\mathbf f_i+\boldsymbol\tau_i\end{bmatrix},\qquad \mathbf w=\mathbf G\mathbf f

上半是力、下半是相对参考点 c 的力矩。两者单位不同；GWS metric 必须用 characteristic length 或 task wrench scaling。

Force-closure geometric test with discretized primitive wrenches

\mathbf 0\in\operatorname{int}\operatorname{conv}\{\mathbf w_{ij}\}\quad\text{and}\quad \operatorname{span}\{\mathbf w_{ij}\}=\mathbb R^6

直观上，允许的正 contact forces 能抵抗任意小方向外部 wrench。force closure 不说明所需力是否过大、接触是否可达、物体是否会损伤。

Ferrari–Canny epsilon quality

\epsilon=\min_{\|\mathbf u\|_2=1}\ \max_{\mathbf w\in\mathcal W}\mathbf u^{\mathsf T}\mathbf w

ε 是 GWS convex hull 内以原点为中心的最大球半径：衡量最弱 wrench 方向的余量。它依赖 force/torque scaling、friction-cone discretization 与 force budget，不是天然校准的成功概率。

Antipodal pair

连接两 contact 的作用线落入双方 friction cones

它为 parallel jaw 提供高效候选条件，但不检查 palm/finger collision、opening、COM、外部 task wrench、reach 或 path。

Form vs force closure

几何约束与可用 contact forces 不同

form closure 主要依靠不可穿透几何约束；force closure 利用受限 contact forces。不要把稳定包络抓取简单称为“两个 antipodal 点”。

Gravity / task wrench

不一定需要抵抗任意 6D wrench

某些任务只需在特定方向和 acceleration 下稳定；task wrench metric 可更贴近应用，但必须公开 load / trajectory。

Damage & compliance

更大夹持力不总是更好

脆弱、柔性、可变形或液体容器还受 pressure、deformation、slip 与内容物动态约束。

Interactive Lab

从 frame chain，到 hard-feasibility funnel，再到 belief-space action gate

三个实验共享同一原则：先保持物理语义和硬约束，再讨论 score；只有把误差映射到具体 contact / collision / task event，才知道是否应执行。

approach axis +x_G closing axis +y_G controller TCP U 真实系统还需 z / roll / pitch；本画布只展示 table-plane slice

Grasp in base

^BT_G = ^BT_O^OT_G

——

Controller target

^BT_U = ^BT_G^GT_U

—planner grasp frame 与 robot tool frame 不同就必须补固定边

Pre-grasp

same orientation · −approach

——

Command

gripper mode / width

—pose、opening、approach、close、retreat 是一个动作 contract

Frame audit

—

——

04 · Candidate Generation

候选来自 CAD、可见点云、affordance、simulation 或 task graph

候选集要覆盖几何与执行多样性，但不能用数百万个近重复 pose 冒充 coverage。去重应同时考虑 SE(3)、contact set、object symmetry、gripper embodiment 和 task equivalence。

01

CAD library / analytic sampling

在 object mesh 上采 contact、approach、roll、depth，计算 antipodal / GWS / collision

已知实例、稳定 object frame、重复生产；可离线重算

02

Retrieval / transfer

按 object shape/category/parts 检索相似 grasp，再配准 / optimize

同类对象与功能抓取；必须处理尺度与局部部件差异

03

RGB-D / point-cloud detector

从可见 scene 直接预测 grasp pose distribution

未见对象、快速接入和 clutter；与 object identity / task target 连接需额外机制

04

Affordance / task-conditioned

以功能区域、目标动作、place frame 或语言约束生成

拿杯把、递交、倒液体、装配等非任意稳定 grasp

05

Simulation / learned policy

在物理仿真或真实 trials 上学习 success / Q / action trajectory

能吸收复杂 contact 和控制；依赖 domain coverage、reward / success label 与 safety layer

06

Regrasp / TAMP

把 grasp 当离散 mode，连接 transit、transfer、place、handoff 与 fixture states

单次 grasp 不能同时满足当前可达性和最终 task orientation 时

Symmetry representative and object-relative grasp

{}^{B}\mathbf T_O'={}^{B}\mathbf T_O\mathbf S,\qquad {}^{O'}\mathbf T_G=\mathbf S^{-1}{}^{O}\mathbf T_G\ \Longrightarrow\ {}^{B}\mathbf T_G'={}^{B}\mathbf T_G

更换等价 object-pose representative 时，对应 object-relative grasp 也要逆向变换，世界动作才保持不变。只有 task/action 等价的 modes 才能合并；碰撞与 IK 仍在世界/机器人状态下逐一检查。

Pose NMS

SE(3) 邻近

translation、rotation 与 gripper-specific axes 的尺度必须声明。

→

Contact NMS

相同接触区域

避免 palm roll 略变却占满 top-K。

→

Symmetry quotient

对象等价

pose representative 改变时同步变换 grasp。

→

Action equivalence

相同 robot command / outcome

结合 IK branch、task frame 与 path 去重。

05 · Hard Feasibility Before Ranking

最终 grasp pose 只是轨迹中的一个瞬间

按固定顺序记录第一失败 stage，才能知道候选生成、collision、robot reach 还是 task constraint 真正构成瓶颈。

检查层	问题	工程要求
Target & semantics	是否抓对 object / part，是否遮挡功能面，放置/倒水/装配后是否仍可用	在进入几何评分前冻结 target、task frame、allowed contacts 与 forbidden regions
Contact feasibility	contact 在可触表面，normals / friction cone / seal / jaw width 合理	使用相符 contact model；未知 friction/material 做 sensitivity 或保守界
Final-pose collision	finger / palm 与 target 非允许区域、邻物、桌面、箱壁是否相交	collision mesh、padding、allowed-touch list 与开/闭手配置版本化
Approach swept volume	open gripper 从 pre-grasp 到 grasp 的整段是否碰撞	连续或离散足够密的 swept-volume check；不能只查最后一帧
Closure motion	手指闭合时能到达 contacts，且不会先推走/夹错对象	模拟 jaw trajectory、contact order、compliance 和 clutter interaction
IK & robot state	grasp / pre-grasp / retreat 各 pose 是否有满足 joint/self-collision 的 IK	保存所有 IK branches、joint margin、manipulability 和当前 state
Path & dynamics	从当前 q 到 pre-grasp、approach、lift/transport 的连续轨迹是否可行	joint/velocity/acceleration/torque、singularity、线缆、控制接口与 deadline
Attached-object motion	抓住后把 object 作为 robot link 的 attached geometry 检查 lift / transport / place	使用实际 ᵁTₒ / hand-object estimate，不以理想 object center 代替
Uncertainty / robustness	pose、shape、calibration、friction、actuation 扰动下仍满足上述约束的概率/余量	sample belief、linearized chance constraint 或 worst-case set；保留系统 bias
Recovery viability	失败或观测低置信时是否可安全退回、重观测、推开、换抓或人工接管	候选评分加入 recoverability，不把不可逆碰撞当普通低分

Transit

current q → pre-grasp

open hand，target 未 attach；全机器人 collision / dynamics。

→

Approach

pre-grasp → grasp

受控方向与速度；open swept volume、可见性和 early contact。

→

Closure

finger / suction contact

allowed touch 精确到阶段；contact order 和 object motion。

→

Transfer

attach → lift / transport

使用真实 ᵁTₒ 与 attached mesh，检查 slip、环境和 joint margin。

→

Place

approach → release → retreat

支撑稳定、task pose、解除 attachment 与安全退出。

Manipulability is a margin, not an IK existence test

m(\mathbf q)=\sqrt{\det\!\left(\mathbf J(\mathbf q)\mathbf J(\mathbf q)^{\mathsf T}\right)}

Yoshikawa-style manipulability 接近 0 提示局部奇异，但依赖单位/scaling，也不能替代 joint-limit、collision、torque 与 global path feasibility。

06 · Robust, Task-Aware Ranking

在同一组 hard-feasible survivors 中，按任务效用与风险排序

score schema 要区分 analytic proxy、learned logit、校准成功概率、clearance、motion cost 和 task value。简单线性加权仍需公开归一化、单位和 veto rules。

Analytic contact quality

force closure、Ferrari–Canny ε、GWS volume、min singular value

明确 contact/friction、force/torque scaling 和 gravity/task wrench；只在 hard-feasible 候选间比较

Learned success

网络/策略输出的 grasp score 或 outcome probability

校准到目标 robot/object/clutter/task event；跨数据集 raw logit 不可当统一概率

Clearance robustness

finger/palm/sweep 到 obstacle / unknown-space 的最小距离及其 uncertainty

优先大 margin，而不是名义无碰撞的擦边轨迹

IK / motion margin

joint-limit、singularity/manipulability、path length、planning time、control smoothness

不要把 IK Boolean 与执行难度混为一谈

Task utility

接近方向、重心、后续 place/insertion、视野保持、handoff / regrasp cost

稳定但挡住杯口、键位或装配面仍是坏 grasp

Information / observability

pre-grasp 与 approach 是否改善 pose、保持 target 可见或提供可判别 contact

主动感知与执行联合规划；避免 wrist camera 被 gripper 完全遮挡

Risk / recoverability

expected success、CVaR / worst-case、碰撞代价、掉落/损伤与可恢复性

高概率低损失与低概率灾难不能只用同一个平均分相加

Belief-aware action selection

g^\star=\arg\max_{g\in\mathcal G_{\mathrm{hard}}}\ \mathbb E_{\mathbf x\sim b}\!\left[U(g,\mathbf x)\right]-\lambda C(g)\quad\text{s.t.}\quad \Pr[c_k(g,\mathbf x)\ge0]\ge1-\alpha_k

x 可含 object pose/shape、calibration、friction、mass 与 actuation；期望效用不能替代 collision / damage 等 chance constraints。高代价事件可使用 worst-case 或 CVaR。

Pose error at an object-relative contact / grasp point

\delta\mathbf p_G\approx\delta\mathbf t_O-\left[\mathbf R_{BO}\,{}^{O}\mathbf p_G\right]_\times\delta\boldsymbol\theta_O

object rotation error 通过 contact lever arm 变成位置误差；符号随 perturbation convention 改变。抓取敏感度必须在 contact / task point 计算，而非只看 object origin。

Linearized clearance chance constraint

\sigma_c^2\approx\mathbf J_c\boldsymbol\Sigma\mathbf J_c^{\mathsf T},\qquad \bar c-z_{1-\alpha}\sigma_c\ge c_{\min}

只在 clearance 函数局部光滑、belief 近似单峰时适用。对多峰 pose、接触切换和非凸碰撞应直接 sample / optimize 每个 mode。

Score calibration 绑定 outcome event。 “抓取分数 0.9”可能是 analytic ε 归一化、simulation lift label、网络 logit、在单物体桌面上的成功率，或只评可见 contact 的置信度。只有在同一 gripper、domain、attempt/retry rule 和成功定义上校准后，才能解释为部署概率。

07 · Closed-Loop Pick State Machine

把一次“move to pose”拆成可观测、可中止、可恢复的阶段

每个 stage 都有进入条件、成功证据、timeout、abort motion 和 recovery。执行日志保留 object belief、robot state、planned/actual path、contact / pressure 和 failure stage。

01

Observe & target

检测目标、pose belief / scene grasp set、sensor/calibration health

目标错、mode 丢失、陈旧 timestamp → acquire / abstain

02

Generate & filter

候选 contacts / ᴼTɢ / width，逐层硬约束和去重

无 survivor → 换 view、gripper、目标姿态或先 rearrange

03

Plan pre-grasp

IK branch、collision-free transit、open posture、visibility

规划超时/擦边 → 换候选、移动 base、降低速度

04

Reobserve

在近场重新估 pose / grasp，比较 innovation 与 predicted belief

目标移动/遮挡/漂移 → 更新 plan，而非沿旧轨迹继续

05

Approach

视觉伺服或受控直线，监控距离、速度、力矩与 tracking

偏差/提前接触 → stop / retreat / compliant local search

06

Close / seal

执行 jaw force/position 或建立 vacuum；记录 contact / pressure

无接触、单边接触、压力泄漏 → reopen / micro-adjust / new grasp

07

Verify

finger position/force、vacuum、tactile、object motion / in-hand pose

未抓稳 → 不进入高速 lift；允许轻量 regrasp

08

Lift & attach

更新 ᵁTₒ 和 attached collision object，慢速离开支撑面

滑移、双抓、邻物带起 → lower / release / recover

09

Transport / place

全程监控 slip、collision、joint margin，并满足目标 task frame

hand-object pose 变了 → 重新估计再放置 / 插装

10

Release & retreat

确认支撑稳定、解除 attachment、按安全方向退出

粘连/未落稳 → 重新夹持或 fixture assist

Hand–object pose after contact

{}^{U}\mathbf T_O(t)=\left({}^{B}\mathbf T_U(t)\right)^{-1}{}^{B}\mathbf T_O(t)

理想 rigid grasp 下它应近似常量；slip、柔性 contact 或 in-hand manipulation 会让它变化。transport / place / insertion 应使用更新后的 ᵁTₒ，而非抓取前名义值。

Vision

全局、非接触、易遮挡

近场 reobserve、target tracking、scene update；受手指遮挡、光照、time/calibration 影响。

Tactile

局部 contact geometry / slip

接触后更新 hand-object pose、中心化与滑移；不能在碰撞前提供远场 clearance。

Force / torque

接触事件与 task wrench

early contact、插装、卡滞、过力；需 bias、frame、filter 与速度相关阈值。

Proprioception / gripper

jaw position、motor current、vacuum

检测空抓、异物、seal 与粗略物体宽度；单一阈值常不能区分稳定抓取和卡住。

08 · Hand–Object Pose, Regrasp & Precision Assembly

能抓起来的姿态，不一定让后续任务可达、可见或可插入

装配从 task frame 反向约束 grasp：保留关键面、键位与插入轴；若当前 grasp 不满足，应在 table / fixture / handoff 中 regrasp，而不是强行扭到奇异位形。

Task frame

从 hole / fixture 定义允许误差

横向、轴向、tilt、roll / key yaw 的容差不同。总体 SE(3) norm 会掩盖最敏感方向。

Grasp compatibility

检查最终 object-in-tool relation

抓取不能遮挡 insertion feature，且 transport 后 tool / object task frame 必须仍可由 robot 达到。

Regrasp graph

稳定放置与抓取是离散 mode

边表示 collision-free transit / transfer；节点同时要求稳定、IK 可行和 task progress。

Compliance / RCC

用力与形变被动/主动校正局部误差

stiffness center、chamfer、friction、speed 和 force thresholds 决定是否收敛、jamming 或 wedging。

Search

spiral / raster / tilt 等局部策略

仅在预期误差界、安全力和 fixture geometry 内；搜索不能替代 gross pose / frame correction。

In-hand estimation

接触后重新估 ᵁTₒ

视觉、触觉和 force/contact constraints 融合，显式检测 slip 与 grasp settling。

Task-frame error decomposition

\delta\boldsymbol\xi_{\mathrm{task}}=\operatorname{Log}\!\left[\left({}^{F}\mathbf T_O^\star\right)^{-1}{}^{F}\mathbf T_O\right]=[\delta x,\delta y,\delta z,\delta\phi,\delta\theta,\delta\psi]^{\mathsf T}

插装通常对 lateral/tilt/key yaw 更敏感，而对 insertion-axis translation 有计划自由度。阈值应来自 clearance、chamfer、compliance 和 force tests。

09 · Evaluation & Failure Attribution

从 analytic proxy 到真实 task success，逐层保留 denominator 和失败 stage

attempt success、first-attempt success、success after retries、object removal rate、task completion 和 picks-per-hour 回答不同问题。重试可以提高最终成功，但也增加 cycle time、碰撞暴露和选择偏差。

层级	报告什么	解释边界
Analytic	force closure / ε / wrench resistance、collision / IK / path margin	可批量、可解释；依赖理想 contact/friction/geometry，不等于真实 success
Simulation	动态 lift、扰动、slip、clutter / contact sequence、policy rollout	覆盖广；sim contact、material、sensor和controller gap 必须用真实验证
Pose-conditioned hardware	已知 target + pose 输入下的 attempt success	隔离 grasp/planning/execution；不能代表 detection recall 或目标选择
End-to-end picking	正确目标被成功拾取 / 尝试数、清空率、PPH、无损伤率	把 perception、planning、execution 和 recovery 全部纳入
Task completion	place pose、插入深度/力、倒水/递交、装配合格率	最接近应用；需要 stage oracle 才能定位失败原因
Safety / tail	collision、drop、excess force、near miss、P95 cycle、manual intervention	平均成功率不能掩盖灾难事件；报告 risk-coverage 与 stop/recovery

Hardware outcome contract · 例

target event:
  correct target leaves support by >= 100 mm
  held for >= 3 s through declared acceleration profile
  no environment/robot collision, no neighbor object lifted
  no drop, damage, forbidden contact, excessive force
denominator:
  all commanded attempts, including planning timeout / no grasp / sensor failure
report:
  first-attempt + retry success, per-object/clutter/task bins
  failure stage, cycle P50/P95, intervention, safety events
  pose-oracle / grasp-oracle / motion-oracle ablations

End-to-end stage factorization is diagnostic, not an independence claim

P(S)=P(D)\,P(G\mid D)\,P(M\mid G,D)\,P(E\mid M,G,D)

D=正确感知/目标，G=有合适 grasp，M=motion plan，E=执行成功。条件概率揭示 stage ceiling；实际变量相关，不能把单独 benchmark 数字直接相乘冒充部署预测。

10 · Failure Taxonomy & Release Gate

“抓取失败”至少要定位到 frame、contact、collision、motion、execution 或 task

每次失败保存传感器原始数据、pose/grasp set、筛选计数、规划场景、trajectory、controller/tactile/force log 和最终状态；视频不是完整机器证据。

失败模式	表象	检测	修复
Grasp frame / TCP 混用	规划器看似对准，实际指尖整体偏一个固定向量	可视化 G/U axes，空中命令已知 pose，测量 planner center	补 ᴳTᵁ 固定边并版本化，不调 object grasp library 代偿
只检查最终碰撞	终点无碰撞，开放夹爪 approach 时撞箱壁	播放 swept volume、pre-grasp→grasp 连续 collision trace	把 approach / closure / retreat 全段纳入
只看 grasp score	analytic / network 分最高的 grasp 无 IK 或不可达	保存每层 reject counts 和 score-before-filter	hard feasibility first，survivors 内排名
允许接触对象配置过宽	手掌穿过目标或推动邻物仍被认为“合法”	按 link / object 记录 contact pair 和 penetration	allowed touch 精确到 link、阶段、target surface
忽略 object attachment	抓起后 object 撞环境或越过 joint limit	lift/transport 时显示 attached mesh 与 ᵁTₒ	抓后更新 collision scene 和 hand-object pose
单一 object pose representative	对称/遮挡多峰下选错抓取面或漏掉可行模式	把每个 pose mode 映射到 grasp set，action-space 去重	传播 top-K / distribution；用 task equivalence 合并
平均 pose error 指导抓取	ADD 好但接触边/装配轴错误，或远端 lever 放大	contact/task Jacobian、clearance / capture sensitivity	对具体 grasp 与 task frame 评估 risk
摩擦/质量假设过乐观	仿真/analytic 稳定，真实 lift 滑落或翻转	μ / COM / mass sweep，tactile/force 与 lift acceleration tests	robust score、保守 force、换 contact / gripper
重观测仍修不好	每次 pose 随机更准，但抓取固定方向偏	区分随机 innovation 与跨帧一致 bias	查 hand-eye/TCP/model scale，不把 reobserve 当校准
抓住但任务失败	拿杯挡住杯口、place / insertion 无可行方向	从最终 task frame 反推 grasp constraints	task-oriented grasp / regrasp / fixture / handoff
闭环频率名义很高	网络 50 Hz，但 queue/robot delay 后控制振荡	端到端 exposure→command→actuation latency/P95 与 phase	时间同步、丢旧帧、速度/增益 gate
成功定义过松	轻触/短暂抬起也算成功，跨论文不可比	审计 lift height、hold time、correct object、drop/collision/damage	冻结 outcome event、denominator、attempt/retry rule

Release gate · 允许自主抓取 / 操作之前

任务是否明确：known-pose model-based、scene grasp、suction、dexterous、place 还是 insertion？
G frame 的 origin / axes、gripper geometry、opening/force 与 G↔controller TCP 固定边是否版本化？
^BT_G、pre-grasp、approach sign 与 object symmetry representative 是否由 frame chain 推导并可视化？
contact model、μ、mass/COM、force/torque scaling 与 analytic quality 的假设是否公开？
grasp candidate 是否含 width、contacts、approach、close、retreat、task tags，而非只有 4×4 pose？
是否先按 target/contact/width/collision/IK/path/task 做 hard filtering，再给 survivors 排分？
collision 是否覆盖 open-gripper approach、closure、target/neighbor contacts、attach 后 lift/transport/place/retreat？
IK 是否绑定当前 robot state、所有 branches、joint/self-collision、singularity 与完整 motion plan？
unknown / stale geometry、allowed-touch objects / links / stages 与 safety padding 是否显式？
object pose 多峰与 symmetry 是否映射到 grasp/action set，并在 world frame 去重与逐候选验证？
pose、shape、calibration、friction 与 actuation uncertainty 是否传播到 clearance/contact/task event？
learned score 是否绑定 gripper/domain/outcome/calibration ID；analytic score 是否未被误称为 success probability？
pre-grasp 是否重观测，approach / close / verify / lift 是否有 timeout、abort 和 safe recovery？
抓后是否更新 ᵁTₒ、attached collision object，并检测 slip / wrong-object / double-pick？
place / insertion 是否从 task frame 反向验证 grasp compatibility、regrasp 与 compliance / force limits？
硬件成功是否冻结 lift/hold/collision/drop/damage/retry definition，并把 timeout / no-plan 纳入 denominator？
是否并列 first-attempt、with-retry、per-object/clutter/task、cycle P95、安全与人工干预？
系统是否通过 pose/grasp/motion oracle、扰动、负载/摩擦、标定漂移和 recovery injection tests？

抓取力学、6-DoF grasp detection、鲁棒规划、闭环与装配的原始来源展开查看 Nguyen、Ferrari–Canny、Murray–Li–Sastry、Dex-Net、GraspNet、ACRONYM、Contact-GraspNet、GG-CNN、belief planning、TAMP、MoveIt 与 Whitney

从物体位姿到可执行、可验证的动作

“抓取检测”可能绕过 object pose；“利用 6D pose 抓取”只是其中一条路线

已知 object ID、CAD 和 ᶜTₒ / ᴮTₒ

RGB-D / point cloud，不要求 object identity 或 CAD

类别、部件、关键点、语言任务与部分几何

局部表面、法向、曲率、材质/密封与外部 wrench

hand pose、每指关节、接触、摩擦与 task intent

object、gripper、hole/fixture 的 task frames 与低 clearance

先定义 planner grasp frame G，再把它翻译成机器人实际控制的 tool frame U

Antipodal、force closure 和稳定性从 contact model 开始

连接两 contact 的作用线落入双方 friction cones

几何约束与可用 contact forces 不同

不一定需要抵抗任意 6D wrench

更大夹持力不总是更好

从 frame chain，到 hard-feasibility funnel，再到 belief-space action gate

BTG = BTOOTG

BTU = BTGGTU

same orientation · −approach

gripper mode / width

—

object / scene generator

antipodal proxy / opening

open gripper · approach

whole robot, not palm point

—

no swept collision

object enters jaw / fixture

friction + orientation

—

—

候选来自 CAD、可见点云、affordance、simulation 或 task graph

CAD library / analytic sampling

Retrieval / transfer

RGB-D / point-cloud detector

Affordance / task-conditioned

Simulation / learned policy

Regrasp / TAMP

SE(3) 邻近

相同接触区域

对象等价

相同 robot command / outcome

最终 grasp pose 只是轨迹中的一个瞬间

current q → pre-grasp

pre-grasp → grasp

finger / suction contact

attach → lift / transport

approach → release → retreat

在同一组 hard-feasible survivors 中，按任务效用与风险排序

force closure、Ferrari–Canny ε、GWS volume、min singular value

网络/策略输出的 grasp score 或 outcome probability

finger/palm/sweep 到 obstacle / unknown-space 的最小距离及其 uncertainty

joint-limit、singularity/manipulability、path length、planning time、control smoothness

接近方向、重心、后续 place/insertion、视野保持、handoff / regrasp cost

pre-grasp 与 approach 是否改善 pose、保持 target 可见或提供可判别 contact

expected success、CVaR / worst-case、碰撞代价、掉落/损伤与可恢复性

把一次“move to pose”拆成可观测、可中止、可恢复的阶段

Observe & target

Generate & filter

Plan pre-grasp

Reobserve

Approach

Close / seal

Verify

Lift & attach

Transport / place

Release & retreat

全局、非接触、易遮挡

局部 contact geometry / slip

接触事件与 task wrench

jaw position、motor current、vacuum

能抓起来的姿态，不一定让后续任务可达、可见或可插入

从 hole / fixture 定义允许误差

检查最终 object-in-tool relation

稳定放置与抓取是离散 mode

用力与形变被动/主动校正局部误差

spiral / raster / tilt 等局部策略

接触后重新估 ᵁTₒ

从 analytic proxy 到真实 task success，逐层保留 denominator 和失败 stage

“抓取失败”至少要定位到 frame、contact、collision、motion、execution 或 task

机器人坐标变换与系统标定

从物体位姿到
可执行、可验证的动作

^BT_G = ^BT_O^OT_G

^BT_U = ^BT_G^GT_U