物体位姿估计 · 2024 · CVPR · CCF A

6D-Diff: A Keypoint Diffusion Framework for 6D Object Pose Estimation

6D-Diff 将 2D keypoint 定位写成由热图分布到确定坐标的条件反向扩散，并用 9 分量 Mixture-of-Cauchy 拟合遮挡与杂乱造成的重尾、多峰误差。LM-O 平均 ADD(-S) 为 79.6，YCB-V 的 ADD(-S) / ADD-S AUC / ADD(-S) AUC 为 83.8 / 91.5 / 87.0；不用 MoC 时 LM-O 降至 73.1。

Paper

研究方向

物体位姿估计

任务层级

Instance-level

物体设定

Seen objects

输入模态

single RGB object cropobject CAD model128 pre-selected 3D keypoints2D keypoint heatmaps

关键依赖

off-the-shelf object detectorknown object CAD modelobject-specific trainingcamera intrinsicsProgressive-X PnP solver

完整论文元数据作者、单位、研究方向、数据集、指标、方法标签和阅读状态展开

作者: Li Xu, Haoxuan Qu, Yujun Cai, Jun Liu
作者单位: Singapore University of Technology and Design / Nanyang Technological University
会议 / 期刊: 会议 · CVPR · CCF A
研究方向: 物体位姿估计
开源状态: 未开源 / 未整理
阅读状态: 粗读：已生成精读：已生成
任务设定: Instance-level · Seen objects
数据集: LM-O YCB-Video
评估指标: ADD ADD-S ADD / ADD-S AUC ADD(S) / ADD(-S)
方法标签: 实例级位姿估计绝对位姿估计 rgb-only keypoint-diffusion 2d-3d-correspondence mixture-of-cauchy heavy-tailed-noise heatmap-prior transformer pnp occlusion-robust
关键依赖: off-the-shelf object detectorknown object CAD modelobject-specific trainingcamera intrinsicsProgressive-X PnP solver

Reading Notes

粗读 / 精读

已生成 src/paper-notes/6d-diff-cvpr2024/coarse.md

论文粗读笔记

用于快速判断论文定位、问题设定、核心方法、实验结论和是否值得精读。

论文粗读笔记：6D-Diff

1. 基本信息

标题：6D-Diff: A Keypoint Diffusion Framework for 6D Object Pose Estimation
作者：Li Xu, Haoxuan Qu, Yujun Cai, Jun Liu
机构：Singapore University of Technology and Design；Nanyang Technological University
年份 / 会议：2024 / CVPR
论文：CVF 正式页面 · 正式 PDF
阅读模式：粗读

2. 一句话定位

6D-Diff 不直接在 $SE(3)$ 上扩散，而把 CAD 上 128 个 3D keypoint 的 2D 投影定位改写成条件反向扩散：从预测热图形成的多峰重尾分布出发，逐步去噪为确定的 2D 坐标，再由 PnP 恢复实例级 6D pose。

3. 图表导读

6D-Diff keypoint diffusion pipeline — 原论文 Figure 3：ROI 先产生 keypoint heatmaps 与 appearance feature；Mixture-of-Cauchy 分布提供扩散起点，Transformer decoder 迭代恢复 2D keypoints，最后以 2D–3D 对应进入 PnP。来源：CVPR 2024 正式论文；图片版权归论文作者及 IEEE/CVF 所有，本站仅作论文解读展示。

6D-Diff LM-O and YCB-Video results — 原论文 Table 1–2：LM-O 平均 ADD(-S) 为 79.6；YCB-V 的 ADD(-S)、ADD-S AUC 与 ADD(-S) AUC 分别为 83.8、91.5、87.0。来源：CVPR 2024 正式论文；表格版权归论文作者及 IEEE/CVF 所有，本站仅作论文解读展示。

4. 问题设定

输入：单幅 RGB 图像、检测到的对象 ROI、已知实例 CAD、相机内参。
中间表示：从 CAD 表面 FPS 采样的 128 个 3D keypoints，以及它们对应的 2D heatmaps。
输出：对象相对相机的旋转与平移；不预测尺度。
协议：known-instance、model-based、RGB-only；需要对象检测器和 CAD。
数据：LM-O 与 YCB-Video，训练混合真实图像和公开 PBR 图像。

5. 方法概览

ResNet-34 initializer 对 256×256 ROI 预测每个 keypoint 的热图，并导出 appearance feature。
从热图采样候选坐标，用 9 个 Cauchy kernel 的混合模型拟合初始分布 $D_K$ 。
训练时从真值 2D 坐标 $D_0$ 向拟合后的重尾分布逐步扩散，生成各步监督。
三层 Transformer encoder 编码 appearance，三层 decoder 接收坐标与 diffusion-step embedding，学习逐步反向去噪。
测试时采 5 组 keypoints，经 DDIM 将 100 个训练步压缩为 10 个反向步，平均最终坐标。
以 128 组 2D–3D 对应交给 Progressive-X PnP，恢复 6D pose。

6. 实验速览

LM-O 平均 ADD(-S)：79.6，CheckerPose 为 77.5，ZebraPose 为 76.9。
LM-O 分对象：ape 60.6、can 97.9、cat 63.2、driller 96.6、duck 67.2、eggbox 73.5、glue 92.0、holepuncher 85.5。
YCB-V：ADD(-S) 83.8、ADD-S AUC 91.5、ADD(-S) AUC 87.0。
不使用 appearance feature：LM-O 79.6 → 74.4。
标准 Gaussian diffusion：73.1；把 heatmap 仅当 condition：76.2；完整 MoC：79.6。
取消逐步去噪、直接回归的三个变体：49.2 / 57.3 / 61.1，均远低于 79.6。

7. 快速判断

亮点：扩散变量选在可解释的 2D keypoint space，输出仍可由成熟几何求解器约束。
最强证据：MoC 比标准 Gaussian 高 6.5 points，说明利用 heatmap 的重尾、多峰结构比从白噪声生成更适合 pose correspondence。
容易误读：它不是直接生成多模态 $SE(3)$ 分布；最终把 5 组坐标平均成单解。
限制：依赖对象专属 CAD、检测框、实例训练与 PnP；100-step diffusion 训练和 10-step 推理也比一次前向回归复杂。
适合读者：RGB-only instance pose、keypoint/PnP、扩散模型、遮挡下 correspondence uncertainty。

已生成 src/paper-notes/6d-diff-cvpr2024/deep.md

论文精读笔记

用于复现、对比、写 related work 和挖掘后续研究切入点。

论文精读笔记：6D-Diff

1. 核心判断

6D-Diff 的关键不是“把 diffusion 套到 pose 上”，而是重新选择扩散对象。直接对旋转和平移扩散会遇到 $SO(3)$ 几何、尺度不一致和对称多解；论文选择在 $N\times2$ 的 2D keypoint coordinates 上建模，既能从网络 heatmap 读取不确定性，又能把最终结果交给 PnP。

更重要的是，作者没有把 reverse process 从标准 Gaussian 开始。遮挡、背景干扰与自遮挡使 heatmap 往往多峰且有离群尾部，Mixture-of-Cauchy（MoC）比 Gaussian 更适合描述这一分布。实验中标准 diffusion 为 73.1、heatmap-as-condition 为 76.2、完整 MoC 为 79.6，证明增益来自“把数据依赖的 heatmap 分布作为终点”，而不只是网络更深。

2. 任务边界与数据流

给定 ROI 图像 $I$ 、CAD 模型和相机内参，先在 CAD 表面用 farthest point sampling 选 $N=128$ 个 3D keypoints：

X=\{x_i\in\mathbb R^3\}_{i=1}^{N}.

目标是预测其 2D 投影：

d_0=\{u_i\in\mathbb R^2\}_{i=1}^{N},

再求：

(R,t)=\operatorname{PnP}(X,d_0,K_{\text{cam}}).

因此它属于：

known CAD、known instance；
单 RGB绝对 pose；
correspondence-based，而非 direct pose regression；
不解决检测、类别发现、未知对象泛化或尺度估计。

3. 为什么用 Mixture-of-Cauchy

initializer 为每个 keypoint 输出热图 $H_i$ 。从这些热图采样 $V$ 组坐标后，用 $U=9$ 个 Cauchy kernels 拟合：

\eta_{\mathrm{MoC}}^\star= \operatorname{EM} \left( \prod_{v=1}^{V} \sum_{u=1}^{U} \pi_u\operatorname{Cauchy}(d_K^v\mid\mu_u,\gamma_u) \right).

Cauchy 的尾部比 Gaussian 更重，少量背景峰或错误高响应不会迫使分布方差整体增大；混合形式又能保留多个局部峰。这个设计与任务有直接对应：

可见 keypoint：热图集中，某个 kernel 权重大；
遮挡 keypoint：多个候选峰并存；
背景干扰：少量远离真值的 outliers 进入重尾；
对称或近重复纹理：局部多峰由多个 kernels 表达。

但 MoC 并没有显式标注“哪一个峰是对称等价解”，最终仍由 appearance-conditioned decoder 和训练真值把分布推向一个监督解。

4. 数据依赖的 forward process

普通 DDPM 令 $d_K$ 接近 $\mathcal N(0,I)$ 。6D-Diff 改为让终点接近拟合的 MoC：

\hat d_k= \sqrt{\bar\alpha_k}d_0+ (1-\sqrt{\bar\alpha_k})\mu^{\mathrm{MoC}}+ \sqrt{1-\bar\alpha_k}\epsilon^{\mathrm{MoC}}.

当 $\bar\alpha_K\to0$ 时， $\hat d_K$ 接近 heatmap 对应的 MoC。forward process 只在训练时生成逐步监督；测试时直接从 initializer 的 $D_K$ 采样并执行 reverse process。这一点避免了“训练从白噪声出发、测试却从网络热图出发”的分布错位。

5. 网络与训练

6D-Diff network and geometry pipeline — 原论文 Figure 3。黄色部分是 diffusion model，绿色箭头表示逐步 reverse step；模型只修复 2D keypoints，最终几何仍由 Progressive-X PnP 完成。来源：CVPR 2024 正式论文；图片版权归论文作者及 IEEE/CVF 所有，本站仅作论文解读展示。

训练分两阶段：

initializer：ResNet-34 后接两层 deconvolution 与 $1\times1$ convolution，以 L2 heatmap loss 学习 128 张热图；
diffusion model：appearance feature 经三层 Transformer encoder；每一步坐标 embedding 与 sinusoidal step embedding 进入三层 decoder，通过 cross-attention 读取图像上下文，回归上一步坐标。

reverse loss 对 5 组样本和 100 个步骤逐项监督：

\mathcal L_{\mathrm{diff}} = \sum_{i=1}^{M}\sum_{k=1}^{K} \left\| M_{\mathrm{diff}}(\hat d_k^i,f_{\mathrm{app}},f_D^k) -\hat d_{k-1}^i \right\|_2^2.

实现使用 V100、 $M=5$ 、 $K=100$ 、9 个 Cauchy kernels，diffusion model 训练 1,500 epochs、Adam、初始学习率 $4\times10^{-5}$ 。测试以 DDIM 只走 10 步。

6. 逐步去噪是否真的发生

6D-Diff keypoint reverse denoising process — 原论文 Figure 4：黄色鸭子样例中展示三个 keypoints；初始热图有明显扩散和错误峰，反向步骤逐渐把概率质量收缩到红色真值点附近。来源：CVPR 2024 正式论文；图片版权归论文作者及 IEEE/CVF 所有，本站仅作论文解读展示。

直接回归对照很关键：

配置	LM-O ADD(-S)
Variant A：直接从 heatmap 取坐标	49.2
Variant B：相同结构但直接回归坐标	57.3
Variant C：堆叠到近似相同计算量	61.1
完整逐步 diffusion	79.6

Variant C 控制了网络深度和计算量，仍落后 18.5 points，支持作者关于“逐步分布变换”本身有效的判断。不过论文没有给每个 reverse step 的误差曲线，也没有报告 1/5/10 步之间的速度—精度折衷。

7. 主结果

6D-Diff quantitative results on LM-O and YCB-Video — 原论文 Table 1–2。LM-O 用 ADD(-S)；YCB-V 同时报告阈值正确率与 10 cm 截断的 AUC，三列不能互换解释。来源：CVPR 2024 正式论文；表格版权归论文作者及 IEEE/CVF 所有，本站仅作论文解读展示。

LM-O

方法	平均 ADD(-S)
CRT-6D	66.3
ZebraPose	76.9
CheckerPose	77.5
6D-Diff	79.6

6D-Diff 在 can、cat、driller、eggbox、glue、holepuncher 上领先或有明显优势；duck 为 67.2，低于 CheckerPose 的 69.9，说明扩散并非每个对象都改善。相比 CheckerPose，平均提升 2.1 points，属于稳定但不是数量级变化。

YCB-Video

方法	ADD(-S)	ADD-S AUC	ADD(-S) AUC
ZebraPose	80.5	90.1	85.3
CheckerPose	81.4	91.3	86.4
6D-Diff	83.8	91.5	87.0

ADD-S AUC 只比 CheckerPose 高 0.2；更明确的增益在 ADD(-S) 阈值正确率（+2.4）和 ADD(-S) AUC（+0.6）。

8. appearance 与 MoC 消融

6D-Diff qualitative examples and ablations — 原论文 Figure 5 与 Table 3–5：左侧展示 LM-O 遮挡场景，右侧消融区分逐步去噪、appearance condition 和 MoC 起点的贡献。来源：CVPR 2024 正式论文；图片与表格版权归论文作者及 IEEE/CVF 所有，本站仅作论文解读展示。

设计	LM-O ADD(-S)	相对完整模型
无 appearance feature	74.4	-5.2
标准 Gaussian diffusion、无 MoC	73.1	-6.5
Gaussian 起点 + heatmap condition	76.2	-3.4
MoC 起点 + appearance condition	79.6	—

MoC 的贡献比 appearance condition 更大，但两者并非互斥：MoC 决定从怎样的坐标分布开始，appearance 决定每一步向哪里去。仅把 heatmap 当 condition 不等于利用它作为起始分布。

9. 不确定性解释的边界

论文反复使用 noise 与 indeterminacy，但输出过程有三次“压成单解”：

5 组 reverse samples 最终取坐标均值；
每个 keypoint 的均值组成一组确定对应；
PnP 输出单个 pose。

因此 6D-Diff 的目标更接近“利用分布完成稳健点估计”，而非校准的 pose posterior。对强对称对象，坐标均值甚至可能落在两个合法模式中间；论文沿用 ADD-S 评测，但没有展示多模态 pose samples 或置信度校准。

10. 复现与局限

Faster R-CNN / FCOS 检测框来自 CDPNv2，检测误差没有和 keypoint diffusion 分离报告。
LM-O 使用 LM real + PBR，YCB-V 使用 real + PBR；结果不是纯真实训练。
每个实例需要 CAD、3D keypoints 与对象训练，不支持 novel object。
Progressive-X 比普通 PnP 更鲁棒，最终成绩包含 robust solver 的贡献。
文中未报告端到端 FPS、参数量和显存；10 次 decoder 推理的部署成本需自行测量。
MoC fitting 使用 EM，训练流水线比标准 heatmap regression 更复杂。
论文未比较 Laplace、Student-t、Gaussian mixture 等替代重尾分布，无法断言 Cauchy 是唯一最优选择。

11. 最终评价

6D-Diff 是一篇问题建模清楚的 diffusion-for-pose 工作：它保留 correspondence + PnP 的几何可解释性，只用 diffusion 解决最不稳定的 2D keypoint localization。MoC 与 direct-regression 消融都能支撑核心设计，LM-O / YCB-V 结果也有一致提升。

它的能力边界同样明确：known CAD、单解输出、无速度报告，也没有真正建模 $SE(3)$ 的对称多模态分布。后续若要扩展，最有价值的方向是保留多组 keypoint samples 到 pose hypothesis 层，并把 symmetry-aware likelihood、PnP uncertainty 与少步采样统一评测。