论文精读笔记：PACE

1. 核心判断

PACE 是一篇“反基准饱和”论文。它先指出 HS-Pose、DualPoseNet 和 SAR-Net 在 REAL275 上 bottle / bowl / can 常接近 100% AP@15°5cm，但同类对象直接迁移到 PACE 后多数结果接近 0；随后通过四条评测线拆解失败：

• known-instance pose estimation；
• unseen-instance category-level pose estimation；
• model-based pose tracking；
• model-free category-level tracking。

更关键的是 Table 4：即使不跨 synthetic / real domain，模型从一个对象或一个类别扩到全部对象 / 类别，性能仍下降 57–79 points。PACE 揭示的是 domain gap 与 scale / diversity gap 两个不同问题。

2. 数据规模与任务矩阵

PACE-Real：

项目	规模
RGB-D 视频	300
图像帧	55K
pose annotations	258K
扫描对象	238
类别	43
环境	10
每序列对象数	1–7

PACE-Sim 含 100K PBR frames、2.4M annotations 和 931 objects，并针对 instance-level / category-level 分出不同 synthetic training subsets。

真实数据默认不是 train / val / test，而是 20% validation + 80% test；方法主要用 PACE-Sim 训练。论文为分析 domain / scale 另建 80/10/10 real split。复现时若把 Table 4 的 real training 数据混入默认 test，会造成数据泄漏。

刚体与 articulated objects 都存在。关节类别来自 AKB48，包括 scissors、cutters、clips 和 boxes；对象被拆成带 hierarchy 的 parts，并为每一部分提供 pose。它比只给整体 root pose 的视频更适合 articulation-aware tracking。

3. 为什么使用三相机标注

三台 RealSense D415 的作用不只是“多拍两张图”：

• 多视角约束降低单视图 translation-depth ambiguity；
• 同时检查 3D alignment 与三视图 2D projection；
• 静态对象 marker PnP 更稳定；
• 同一动作获得三倍数据。

Extrinsics 先用 SuperPoint / SuperGlue correspondence、trifocal tensor 和 bundle adjustment 估计。SfM translation 只有比例，作者用 ArUco marker 的 metric translation $t'$ 标定尺度：

$$s=\frac{\hat t\cdot t'}{\hat t\cdot\hat t}.$$

对于重复纹理导致自动匹配失效的情况，作者手工补 correspondence。第一相机 frame 作为 reference，intrinsics 用 Intel dynamic calibration。

4. 静态与动态对象的两套标注路径

静态对象：

1. 背景 marker 建立世界 frame；
2. marker tracking 推进 pose；
3. 每 40 帧人工纠正 drift；
4. 用预先拍摄的无 marker 背景把 marker inpaint 掉。

动态对象：

1. BundleTrack 由 RGB correspondences 与 pose graph 给初始轨迹；
2. 每 10 帧人工检查 CAD / point cloud alignment；
3. 同时验证三相机 2D projection；
4. 发生 drift 时手动修正。

移动对象标注是最耗人力部分。“使用 BundleTrack”不等于把 tracker 输出当 GT；它只是初始化器，最终依赖密集人工校验。

作者在带官方 GT 的 NOCS-REAL275 Scene 1 上重新标注，得到平均 0.9° rotation / 2.3 mm translation 差异。这个验证支持局部准确性，但只覆盖一个较简单场景，不能完全量化 PACE 中 severe occlusion、快速运动和 articulated parts 的标注不确定性。

mask 由 CAD depth rendering 生成；出现手部交互时，先用 SAM 估 hand mask，再从 rendered object mask 中扣除。这会带来两个边界：pose GT 的小误差会变成边缘 mask error；SAM hand mask 的漏分 / 过分也会影响 visible ratio。

5. Instance-level pose：学习方法为何输给 PPF

指标遵循 BOP：

$$AR=(AR_{\mathrm{VSD}}+AR_{\mathrm{MSSD}}+AR_{\mathrm{MSPD}})/3.$$

方法	模态	VSD AR	MSSD AR	MSPD AR	Mean AR
PPF	Depth	53.4	48.1	55.2	52.2
CosyPose	RGB	1.4	0.3	11.5	4.4
SurfEmb	RGB	6.2	3.0	17.8	9.0
GDRNPP	RGB-D	3.6	2.1	15.4	7.0

PPF 不需 PBR learning，以 local point-pair geometry 直接匹配 CAD；三个学习方法则在 synthetic PBR 上训练。52.2 对 4.4–9.0 不能简单归因为“传统方法更好”，它反映至少三项差异：

• PPF 在线直接利用 depth 与 CAD geometry；
• RGB 方法对 appearance / rendering gap 更敏感；
• 大量实例共享网络时出现 capacity / interference；
• PBR 对 RealSense depth noise 的建模不充分。

同时所有方法都输入 GT detection，所以该表已经排除了 detector recall；真实端到端系统只会更难。

6. Category-level pose：关节对象几乎未解

PACE 的 AP 是从 0 到给定阈值的均值，而不是单个阈值命中率：

• AP@0:20°：1° 间隔平均；
• AP@0:5cm：0.25cm 间隔平均；
• joint AP@0:20°,0:5cm：角度与平移同时满足；
• 另报告 3D IoU25 / IoU50。

Table 3 中“刚体 / 关节”分开报告。Rigid 部分 CPPF++ 的 IoU25 44.5、0:20° 15.2、joint 0:60°/0:15cm 24.9 最强，但 translation-only 不如 HS-Pose / SAR-Net。Articulated 部分：

• CPPF++ IoU25 3.6、joint 0:60°/0:15cm 5.9；
• ANCSH 的 joint 只有 0.2；
• 多数方法的 IoU50 与严格 joint metric 为 0。

为适配只支持 rigid category 的方法，作者把每个 movable part 当成独立类别。这忽略 joint kinematics 和 parent-child consistency；结果既说明 rigid method 不适用，也不能视为对完整 articulated pose formulation 的公平上限。

7. 区分 domain gap 与 scaling gap

论文用 can 类和 object #57 构造 controlled fitting：

设置	Instance-level 范围	Category-level 范围
Real2Real Single	76.4–88.2 AR	58.6–86.7 mean AP
Sim2Real Single	67.1–78.1 AR	0.3–55.8 mean AP
Real2Real All	8.2–11.2 AR	0.3–13.7 mean AP

Depth-based HS-Pose / SGPA 的 single-category Sim2Real 分别从 81.2 / 86.7 降到 1.1 / 0.3，说明 synthetic depth 与真实噪声差距尤其严重。

Real2Real All 仍比 Single 低 57.2–78.5 points；作者观察到训练 loss plateau / underfitting。因此不能把 PACE 的低分全部解释为渲染域差距。更大的模型、object-conditioned representation、retrieval / foundation features、balanced sampling 和 modular geometry solver 都可能是后续方向。

8. Tracking：初始化正确也无法长期保持

Model-based：

方法	模态	ADD(-S) AUC rigid / articulated
RBOT	RGB	7.4 / 0.5
ICG	RGB-D	38.1 / 10.1

Model-free：

方法	5°5cm rigid / articulated	IoU25 rigid / articulated
BundleTrack	6.4 / 11.2	9.1 / 14.1
CAPTRA	12.9 / 4.4	45.8 / 20.6
6-PACK	9.2 / 3.9	23.1 / 16.7

所有 tracker 获得首帧 GT pose；需要 masks 的方法还用 GT masks，评测统一使用 GT box size。即便有这些强先验，最好的严格准确率仍低于 13%。

Rerr / Terr 只在 IoU>25% 的帧计算，会产生 survivorship bias：BundleTrack 的 mean error 看似较低，是因为 tracker 一旦丢失便不再进入该误差统计。必须结合 IoU25 与 5°5cm 解读，不能单看 conditional error。

9. 局限与使用边界

• 真实集无默认 train split，主要训练依赖 PACE-Sim；
• pose evaluation 假设 GT detection，tracking 还用 GT first pose、mask / size；
• marker 最终虽然被 inpaint，但 inpainting artifact 仍可能形成 shortcut；
• 动态 pose 每 10 帧手工纠正，中间帧误差与快速运动关系未分层报告；
• NOCS Scene 1 的 0.9° / 2.3mm 核验不覆盖最难 PACE 条件；
• articulated baseline 适配方式不统一，不能直接排名 joint-aware 与 part-wise 方法；
• 类别缺少 table、camera、laptop 等大型 / 贵重对象；
• 238 objects / 43 categories 很大，但长尾分布和 scene-object correlation 仍可能影响结论。

10. 复现与新方法检查表

• 默认 split 与 Table 4 的 80/10/10 analysis split 严格分离；
• instance / category、rigid / articulated、estimation / tracking 分开报告；
• 报告 GT box、GT mask、GT first pose、GT size 等 oracle inputs；
• 同时保留 BOP AR、joint angle-translation、IoU 与 unconditional tracking success；
• 按 visibility、motion speed、depth noise、object count 和 part count 分层；
• 先做 single-object / class fitting sanity check，再扩到 all；
• 量化 synthetic RGB gap 与 synthetic depth gap；
• articulated objects 约束 parent-child transforms 与 joint limits；
• tracking 记录 failure time、recovery rate 和 drift，而不只对成功帧算误差；
• 端到端系统补上 detection / segmentation recall。

11. 最终评价

PACE 最有价值的不是“数据规模大”，而是用受控消融证明了真实 pose 系统面临两次断崖：synthetic→real 的域转移，以及 single→all 的规模化学习。传统 PPF 在 known-instance estimation 上以 52.2 AR 明显超过三个深度学习基线，也提醒研究者：大词汇、杂乱和深度噪声条件下，显式 geometry 仍是强而稳定的证据。

它并非完整端到端 benchmark：大量评测使用 oracle detection / mask / initial pose / size，关节方法也只是初步适配。正因为边界清楚，PACE 很适合作为“方法在干净 benchmark 上饱和后，进入真实动态环境究竟还缺什么”的压力测试。