物体位姿估计 · 2025 · ICRA · CCF B

MonoDiff9D: Monocular Category-Level 9D Object Pose Estimation via Diffusion Model

MonoDiff9D 从单张 RGB 以 DINOv2 恢复粗点云，将图像 / 点云全局特征和 timestep 编码作为条件，用 Transformer denoiser 从高斯噪声生成旋转、平移与尺度。

Paper Code

研究方向

物体位姿估计

任务层级

Category-level

物体设定

Unseen objects

输入模态

single RGB imageDINOv2-estimated coarse depth

关键依赖

2D object maskcamera intrinsicsDINOv2 depth headcategory-level training labels

完整论文元数据作者、单位、研究方向、数据集、指标、方法标签和阅读状态展开

作者: Jian Liu, Wei Sun, Hui Yang, Jin Zheng, Zichen Geng, Hossein Rahmani, Ajmal Mian
作者单位: Hunan University / Central South University / Lancaster University / The University of Western Australia
会议 / 期刊: 会议 · ICRA · CCF B
研究方向: 物体位姿估计
开源状态: 已开源
阅读状态: 粗读：已生成精读：已生成
任务设定: Category-level · Unseen objects
数据集: CAMERA25 REAL275 Wild6D
评估指标: 3D IoU
方法标签: 类别级位姿估计绝对位姿估计合成数据与基础模型
关键依赖: 2D object maskcamera intrinsicsDINOv2 depth headcategory-level training labels

Reading Notes

粗读 / 精读

已生成 src/paper-notes/monodiff9d-icra2025/coarse.md

论文粗读笔记

用于快速判断论文定位、问题设定、核心方法、实验结论和是否值得精读。

论文粗读笔记：MonoDiff9D: Monocular Category-Level 9D Object Pose Estimation via Diffusion Model

1. 基本信息

作者：Jian Liu、Wei Sun、Hui Yang、Jin Zheng、Zichen Geng、Hossein Rahmani、Ajmal Mian
会议：ICRA 2025
论文：arXiv:2504.10433
代码：CNJianLiu/MonoDiff9D

2. 一句话定位

MonoDiff9D 从单张 RGB 估计粗深度并反投影点云，再以图像 / 点云全局特征为条件，让 diffusion Transformer 从噪声中逐步生成类别级 rotation、translation 和 metric size。

2.1 论文图表导读

MonoDiff9D Figure 1：单目类别级 9D pose 任务对比 — 原论文 Figure 1：与依赖真实深度的方法不同，MonoDiff9D 只使用 RGB，并通过单目深度产生几何条件。来源：作者公开 PDF。图片版权归论文作者及出版方所有，本站仅作论文解读展示。

3. 输入与输出

输入：单张 RGB、2D mask / ROI、相机内参。
中间量：DINOv2 估计的 coarse depth 和反投影点云。
输出：3D rotation、3D translation、3D metric size，共 9D。
任务：category-level；测试实例可未见，但类别在训练范围内。

4. 方法流程

Mask R-CNN 提取对象 crop / mask。
DINOv2 depth head 预测单目深度。
用相机内参反投影为对象局部点云。
ResNet-18 与 PointNet 分别提取 RGB / point-cloud global features。
self / cross attention 融合两类特征和 diffusion timestep。
DDPM 训练，DDIM 推理，从高斯噪声去噪得到 9D pose。

5. 结果速览

数据集	3D IoU50	3D IoU75	10 cm	10°	10° 10 cm
CAMERA25	35.2	6.7	33.6	80.1	28.2
REAL275	31.5	6.3	41.0	56.3	25.7

作者报告单张 RTX 3090 上约 26.3 FPS。严格阈值下的 3D IoU75 和 10° 10 cm 仍明显低，说明 RGB-only metric pose 远未解决。

6. 粗读结论

MonoDiff9D 的价值是把多峰 pose 分布交给 diffusion 建模，并用估计深度补充 RGB 几何。但“单目”不等于不需要几何先验：相机内参、mask、深度模型和类别训练数据都很关键。它的主要瓶颈也正是 coarse depth 的尺度与边界质量。

已生成 src/paper-notes/monodiff9d-icra2025/deep.md

论文精读笔记

用于复现、对比、写 related work 和挖掘后续研究切入点。

论文精读笔记：MonoDiff9D: Monocular Category-Level 9D Object Pose Estimation via Diffusion Model

1. 任务定义

给定单张 RGB、相机内参 $K$ 和对象 mask，预测：

y=(R,t,s),

其中 $R\in SO(3)$ ， $t\in\mathbb R^3$ ， $s\in\mathbb R^3$ 为 metric size。类别级意味着目标实例未见，但属于训练类别；9D 不是单纯 6D pose，而是额外预测三轴尺度。

MonoDiff9D Figure 2：RGB、单目深度、点云条件与 diffusion denoiser — 原论文 Figure 2：RGB crop 与估计深度点云分别编码，经 attention 融合后作为 Transformer denoiser 的条件，从随机 pose 逐步去噪。来源：作者公开 PDF。图片版权归论文作者及出版方所有，本站仅作论文解读展示。

2. 从 RGB 构造几何条件

对 mask 内像素 $(u,v)$ 和估计深度 $d(u,v)$ ：

X=d(u,v)K^{-1}[u,v,1]^\top .

这一步把单目深度变成 point cloud，使 PointNet 可以编码三维结构。要注意：若深度只有相对尺度，translation 和 object size 会共同漂移；因此训练数据中的 metric supervision 和深度模型尺度泛化非常重要。

RGB branch 用 ResNet-18 提取纹理 / 轮廓，全局 point branch 提取估计几何。Cross-attention 并不是恢复真实 depth，而是在当前有噪几何下学习可供 pose 去噪使用的条件。

3. Diffusion pose generation

前向过程逐步向 ground-truth pose vector 加噪：

q(y_t\mid y_0)= \mathcal N(\sqrt{\bar\alpha_t}y_0,(1-\bar\alpha_t)I).

Transformer denoiser 接收 $y_t$ 、timestep embedding 和视觉条件，预测噪声或 clean pose。推理时从 $y_T\sim\mathcal N(0,I)$ 出发，以 DDIM 逐步得到 $\hat y_0$ 。

Diffusion 的潜在优势：

可表示对称 / 遮挡导致的多峰解；
iterative denoising 比单次 regression 更容易修正各分量耦合；
可采样多个候选并排序。

但如果最终只输出一个样本且没有可靠 ranking，多峰建模的系统收益仍需实验验证。

4. Rotation、translation 与 size 的耦合

9D 分量的数值范围差异大。一个有效 denoiser 必须处理：

rotation representation 的合法性；
translation 深度与 size 的尺度耦合；
不同类别 canonical coordinate；
对称对象的多组等价 rotation。

扩散在欧氏向量上进行不自动保证每一步都位于 $SO(3)$ ，需要合法 rotation 表示或解码。阅读与复现时应查看代码中的归一化、旋转投影和 symmetry-aware loss，而不能只看“用了 diffusion”。

5. 实验结果

MonoDiff9D Tables I-II 与定性结果 — 原论文 Tables I-II 与定性图：CAMERA25、REAL275 上的类别级 9D pose 指标，以及复杂真实场景中的预测框。来源：作者公开 PDF。图片版权归论文作者及出版方所有，本站仅作论文解读展示。

数据集	IoU50	IoU75	10 cm	10°	10° 10 cm
CAMERA25	35.2	6.7	33.6	80.1	28.2
REAL275	31.5	6.3	41.0	56.3	25.7

三个观察：

10° 单独指标明显高于联合 10° 10 cm，translation 是重要瓶颈；
IoU75 只有 6–7 左右，严格尺度 / 位置对齐仍困难；
synthetic CAMERA25 的 rotation 好于 REAL275，体现 sim-to-real 与单目深度泛化问题。

Wild6D 用于跨域泛化测试，模型不在该数据集训练。它支持“有一定跨数据集能力”，不等于跨任意新类别。

6. 速度与部署

论文报告 RTX 3090 上约 26.3 FPS。这个数字应与以下组件一起理解：

instance mask 是否计入；
DINOv2 depth 是否计入；
DDIM steps 数；
每图对象数量；
是否采样多个 hypotheses。

降低 diffusion steps 能提升速度，但可能牺牲去噪质量，是最直接的工程旋钮。

7. 局限与改进方向

深度质量是显式瓶颈；物体边缘、透明面与反光面会产生错误点云。
依赖 mask 和相机内参，不是端到端开放场景系统。
类别级 canonical frame 仍需定义，跨类别对称规则复杂。
单目 metric scale 不可从任意图像稳定恢复，需要数据先验。
可进一步引入 multi-hypothesis ranking、uncertainty calibration 或 test-time geometric consistency。

8. 精读结论

MonoDiff9D 不是“diffusion 替换回归头”这么简单：它先把 RGB 转成带噪三维条件，再学习 9D pose 的条件分布。实验显示 rotation 已有竞争力，但严格 IoU 和联合 translation 指标仍低，恰好说明单目 metric geometry 才是系统上限。