论文精读笔记：RGB-Based Category-Level Object Pose Estimation Via Decoupled Metric Scale Recovery

1. 基本信息

• 简称：DMSR
• 作者 / 机构：Jiaxin Wei（ShanghaiTech）、Xibin Song、Weizhe Liu、Pan Ji（Tencent）、Laurent Kneip（ShanghaiTech）、Hongdong Li（Tencent / ANU）
• 年份 / 会议：2024 / ICRA
• 论文：arXiv / PDF
• 代码：goldoak/DMSR
• 阅读模式：精读

2. 一句话定位

DMSR 不要求单目网络恢复可信的绝对深度，而把预训练 relative depth / normal 当作 correspondence features；网络在 normalized category space 学习 2D–3D 对应，同时用独立分支从 category prior 恢复 metric scale，最后以 perspective PnP 求 $R,t$，从结构上阻断错误 scale 对 rotation 的传播。

2.1 论文图表导读

图表	内容	关键结论
Figure 1	RGB / 2.5D features、prior deformation、correspondence、scale branch、PnP	pose 与 scale 只在 solver 前汇合
Figure 2	CAMERA25 / REAL275 定性结果	真实 clutter 下 bbox / axes 大体贴合，仍有尺度偏差
Tables I–III	主结果、输入模态和 scale strategy 消融	2.5D 几何与 decoupled scale 均有独立贡献

3. 问题设定与任务边界

属性	设定
任务	category-level 6D pose + metric size
测试对象	已知类别中的未见实例
观测	单张 RGB crop；测试时无真实 depth
几何辅助	预训练 Omnidata 输出 relative depth 与 surface normal
对象先验	每类 normalized mean shape / point set
训练监督	mask、category、NOCS correspondence、pose / size
solver	perspective-n-point + RANSAC

DMSR 与真正 prior-free 方法不同：它不需要 instance CAD，但需要 category mean shape。与 RGB-D 类别级方法不同：它不能直接得到可靠 metric point cloud。

4. 研究脉络

• NOCS / SPD / SGPA 路线通常把 observed depth cloud 与 normalized category prior 对齐，用 Umeyama / Procrustes 同时求 pose 与 scale。
• OLD-Net 等 RGB-only 方法先恢复 object-level absolute depth，再回到 RGB-D pipeline；绝对 depth 的 metric error 会传入刚体变换。
• DMSR 的核心判断是：relative depth / normals 对“哪里对应哪里”有帮助，却不应被当成 metric coordinate。

5. 方法详解

5.1 2.5D 几何特征

对 crop $I$，预处理得到

$$\hat D=f_d(I),\qquad \hat N=f_n(I),$$

其中 $\hat D$ 是 relative depth，$\hat N$ 是 surface normal。论文使用 Omnidata pretrained models，不在 DMSR 内重新监督 metric depth。

RGB、depth、normal 分别经 CNN / projection，形成 image semantic features 与 geometric features。relative depth 的数值不用于直接 back-projection，因此即便全局尺度错误，只要局部排序和表面方向仍有信息，就能帮助 correspondence。

5.2 Category prior deformation 与 correspondence

类别 prior $P_r$ 先经特征交互，再预测 deformation field $\Delta P_r$：

$$\tilde P_r=P_r+\Delta P_r.$$

网络输出 image points 与 $\tilde P_r$ 之间的 soft correspondence matrix $C$，得到每个 2D point 的 normalized object coordinate。这里的 3D 坐标位于无 metric scale 的 NOCS。

5.3 Decoupled Metric Scale Recovery

独立 MLP 从 instance / category features 回归相对 mean size 的 scale offset $\Delta s$。若类别 mean scale 为 $s_r$，则

$$\hat s=s_r+\Delta s.$$

关键在于：correspondence learning 不依赖 $\hat s$ 是否准确；只有在 PnP 前，NOCS points 才乘以 $\hat s$ 回到 metric object coordinates。

5.4 Perspective PnP

给定 image points $P_i$、metric 3D points $\hat s\,\tilde P_i$ 和内参 $K$：

$$\hat R,\hat t =\operatorname{PnP}\!\left(P_i,\hat s\,\tilde P_i,K\right).$$

RANSAC 用于抑制 correspondence outliers。与 3D–3D Procrustes 相比，PnP 更贴合 RGB 的 perspective observation，也避免把 pseudo-depth 直接当真实 scene coordinate。

6. 训练与工程

• image / prior correspondence 与 scale offset 使用监督损失联合训练，但网络结构显式分支。
• 2.5D estimator 是外部 pretrained dependency；其 domain robustness 会影响 DMSR。
• query 仍需 mask / crop，论文不评测 open-world detection。
• 主要计算包含 Omnidata、PSPNet / ResNet18 特征、prior interaction 与 RANSAC-PnP。
• 代码公开，使其适合复现 RGB-only category-level baseline。

7. 实验分析

7.1 数据与指标

• CAMERA25：合成 NOCS 测试集，25k images。
• REAL275：真实 NOCS 测试集，2,750 images，六类日常对象。
• 指标：3D IoU25 / 50 / 75，以及 $5^\circ2$ cm、$5^\circ5$ cm、$10^\circ2$ cm、$10^\circ5$ cm。

这些指标同时受 rotation、translation、size 影响；论文额外画不同 error thresholds 的 AP 曲线，能更连续地观察 rotation / translation。

7.2 主要结论

• 相比 Synthesis、MSOS、OLD-Net，DMSR 在 CAMERA25 与 REAL275 的 rotation-sensitive criteria 上更强。
• 论文总结其在 REAL275 相比 MSOS 的 rotation error 约降低 50%，同时模型仅约 5.1% 参数量。
• quantitative gain 在 synthetic CAMERA25 更稳定；REAL275 的 metric size 受类别实例分布差异影响。

7.3 消融解释

消融	支撑的主张	我的判断
RGB only → + depth / + normal	2.5D geometry 提升 correspondence	支持；但应同时报告外部 estimator 成本
depth only vs depth+normal	normal 补充局部 surface orientation	对 rotation 尤其合理
mean scale → learned scale offset	类别统计不足以覆盖实例 size	支持
joint scale vs decoupled branch	scale error 不应污染 pose feature	是本文最关键的结构证据

8. 批判性分析

优点

• 对单目类别级 pose 的 scale ambiguity 给出结构化解法，而非只换 backbone。
• relative geometry 的使用方式克制：帮助 matching，不伪装成 metric depth。
• PnP 将 camera model 显式放回 pipeline。

缺点与隐含假设

• “RGB-only”不代表只依赖一个网络；实际要运行两个 pretrained 2.5D estimators。
• category prior、mask 和 NOCS supervision 都是强先验。
• mean-scale residual 假设训练 / 测试类别尺寸分布相近；REAL275 已显示偏移。
• 论文主要在六类 NOCS benchmark 上验证，尚不能证明扩展到长尾类别。
• 对对称对象的训练与评价处理没有形成独立的多解建模。

9. 可改进方向

• 用 metric-depth uncertainty 而非单个 scale offset，输出 pose / size distribution。
• 用 foundation monocular geometry 替代 Omnidata，并评测跨域 calibration。
• 将 mask uncertainty 传播到 correspondence weights 与 PnP covariance。
• 扩展到开放类别 shape prior retrieval，减少固定 mean shape 依赖。
• 在真实机器人上直接评价抓取 / 放置成功率，而不只看 NOCS thresholds。

10. 对研究的启发

这篇论文最可复用的思想是“让不可靠的几何只做它擅长的事”。relative depth 适合排序和局部形状，metric scale 则需要独立统计或测量；把两者硬拼成 pseudo point cloud 反而会增加 rotation error。

11. 待解决问题

• scale offset 的误差如何定量传到 PnP translation？
• 去掉 category mean shape 后，DMSR 是否仍能保持 correspondence？
• Omnidata 在透明、反光、无纹理对象上的 failure 会怎样表现？
• 与同设定的 FAP-Net 在 detector、mask 和训练数据完全一致时谁更强？