论文精读笔记：Follow My Hold: Hand-Object Interaction Reconstruction through Geometric Guidance

1. 基本信息

• 作者 / 机构：Ayce Idil Aytekin、Helge Rhodin、Rishabh Dabral、Christian Theobalt；MPI-INF、Saarland University、Bielefeld University。
• 年份 / 会议：2026 / 3DV。
• OpenReview · arXiv PDF · 项目页。
• 阅读模式：精读。

2. 一句话定位

FollowMyHold 不把 diffusion generator 当作一次性 mesh producer，而是在 rectified-flow sampling 中以 2D / 3D geometry losses 直接 steer velocity field，并分阶段优化 hand 和 object transform，使生成的 object geometry 与 grasp 接触共同收敛。

2.1 论文图表导读

图表	阅读重点
Figure 2	生成前的 hand/object cue 提取、三阶段 optimization 以及在 latent sampling 中注入 guidance 的位置
Table 1	三个数据集上的 object accuracy、intersection 与 reconstruction rate；需要同时看，而非只看 CD
Table 2–3 / Figure 5–7	phase order 与每类 geometry loss 的作用，尤其是 hand-only phase

3. 任务边界

• 输入为 single RGB frame；预处理产生 hand/object masks、inpainted object appearance、normal / depth cues、hand pose / mesh 等。
• 输出为 object mesh 与 hand-object transforms，并以 contact / non-intersection 约束保证交互合理。
• 推理有 test-time optimization：约 6.03 min/sample，不应误称为 realtime pose estimation。
• 训练上利用预训练 generator / foundation models，而非为 OakInk、ARCTIC、DexYCB 再专门训练一套对象生成网络。

4. 方法详解

4.1 三阶段 sampling guidance

1. Phase 1：先优化 hand transform，让 hand 成为可靠空间锚点。
2. Phase 2：在 hand 锚点基础上优化 object transform 和 object-centric 2D cues。
3. Phase 3：jointly refine hand/object transforms，并以 SDF intersection、proximity 等 3D constraints 避免穿插或悬空。
4. 每个 phase 的 loss 反向作用于 diffusion / rectified-flow velocity，mesh 在采样过程本身逐渐适应 geometry，而不是生成后才硬对齐。

约束	信息来源	防止的失败
normal / disparity	foundation-model geometric cue	物体深度与局部表面失真
silhouette / keypoint reprojection	image alignment	2D shape 与位置漂移
SDF intersection / proximity	posed hand-object meshes	手穿入物体、抓取接触不合理

5. 实验分析

数据集	本文 CD ↓	本文 F5 / F10	本文 I.V. ↓	R.R. ↑
OakInk	1.80	0.179 / 0.322	5.96	0.87
ARCTIC	2.57	0.160 / 0.288	5.08	0.92
DexYCB	2.04	0.158 / 0.300	7.02	0.58

论文称三个数据集的 CD 均为表内最低。与 EasyHOI 相比，OakInk R.R. 从 0.39 到 0.87，支持其“生成质量更高且更少失败”的结论；但 HORT 在某些 F-score 上更高，说明 CD、局部点覆盖和生成成功率并不总是一致。

在 100 个 OakInk sample 的消融里，Full CD / I.V. = 1.70 / 4.03；无 guidance 为 3.70 / 5.83；无 Phase 1 为 5.67 / 7.66；直接 joint optimization 为 5.51 / 11.7。这个表强烈支持 phase order 及“hand first”的设计。

6. 批判性分析

优点：将物理 plausibility 直接纳入 generative sampling；三类数据集和 R.R. 报告避免只筛选容易生成的样例；对 phase 与 loss 的 ablation 很完整。

局限：分钟级 runtime；上游 mask / inpainting artefact 会级联；thin object 的 supervision 弱，文中也列为失败源；metric object pose accuracy 没有被单独和 BOP protocol 对齐。

现实应用：适合 high-quality offline HOI reconstruction、AR/VR asset 或合成训练数据，而不适合闭环控制中的每帧定位。若想用于机器人，应把 inference-time cues 换为稳定的 RGB-D / tactile signal 并将 6 分钟优化蒸馏成 feed-forward initialization。

启发：对于遮挡重的 pose，先解决哪个实体的 frame 更可信，再按可观察性排序做 optimization，通常比一开始让所有自由度共同最小化 loss 更稳。