物体位姿估计 · 2024 · ECCV · CCF B

FoundPose: Unseen Object Pose Estimation with Foundation Features

FoundPose 在每对象少于 5 分钟的 onboarding 中把 800 个 CAD templates 的 DINOv2 layer-18 patch features 注册到 3D，在线用 BoW 检索 5 个视角、2D–3D matching 与 PnP-RANSAC 得到 pose。Training-free coarse / featuremetric AR 为 37.2 / 42.6；59.6 AR 的最高配置另接了在 200 万余合成图上训练的 MegaPose refiner。

Paper Project Code

研究方向

物体位姿估计

任务层级

Instance-level

物体设定

Unseen objects

输入模态

single RGBtexture-mapped object 3D modelexternal object mask

关键依赖

object CAD / meshcamera intrinsicsobject identity and segmentation masksingle-GPU object onboardingDINOv2template renderer

完整论文元数据作者、单位、研究方向、数据集、指标、方法标签和阅读状态展开

作者: Evin Pınar Örnek, Yann Labbé, Bugra Tekin, Lingni Ma, Cem Keskin, Christian Forster, Tomas Hodan
作者单位: Technical University of Munich / Meta Reality Labs
会议 / 期刊: 会议 · ECCV · CCF B
研究方向: 物体位姿估计
开源状态: 已开源
阅读状态: 粗读：已生成精读：已生成
任务设定: Instance-level · Unseen objects
数据集: LM-O T-LESS TUD-L IC-BIN ITODD HB YCB-Video
评估指标: BOP AR VSD MSSD MSPD
方法标签: 未知物体级位姿估计 rgb-only dinov2 foundation-feature template-retrieval bag-of-words 2d-3d-correspondence pnp-ransac featuremetric-refinement cad-model 绝对位姿估计
关键依赖: object CAD / meshcamera intrinsicsobject identity and segmentation masksingle-GPU object onboardingDINOv2template renderer

Reading Notes

粗读 / 精读

已生成 src/paper-notes/foundpose-eccv2024/coarse.md

论文粗读笔记

用于快速判断论文定位、问题设定、核心方法、实验结论和是否值得精读。

论文粗读笔记：FoundPose

1. 基本信息

标题：FoundPose: Unseen Object Pose Estimation with Foundation Features
作者：Evin Pınar Örnek, Yann Labbé, Bugra Tekin, Lingni Ma, Cem Keskin, Christian Forster, Tomas Hodan
机构：Technical University of Munich；Meta Reality Labs
年份 / 会议：2024 / ECCV
论文：ECVA 正式 PDF · ECCV 页面 · 项目页
阅读模式：粗读

2. 一句话定位

FoundPose 在每个新对象少于 5 分钟的离线 onboarding 中渲染 800 张 CAD RGB-D templates，把 DINOv2 ViT-L 第 18 层 patch descriptors 注册到模型 3D 点；在线以 bag-of-words 检索 5 个视角、patch NN 建 2D–3D correspondence、PnP-RANSAC 求 pose，再做免训练 featuremetric refinement，七个 BOP 数据集 coarse AR 达 37.2，显著高于当时需要任务训练的 coarse RGB 方法。

3. 图表导读

FoundPose 对象接入、模板检索、2D到3D匹配和特征度量细化流程 — 原论文 Figure 2：离线把模板 patch descriptors 关联到 CAD 3D points 并构建视觉词袋；在线由 CNOS mask 裁剪查询图、检索相似模板、PnP-RANSAC 估计 coarse pose，再直接在 DINOv2 feature map 上做 L-M alignment。来源：ECVA 正式论文；图片版权归论文作者及 Springer Nature 所有，本站仅作论文解读展示。

FoundPose 在七个 BOP 数据集的 coarse 和 refinement 结果 — 原论文 Table 1：纯 FoundPose coarse / 单假设 featuremetric 的平均 AR 为 37.2 / 42.6，耗时 1.7 / 2.6 s；接入有任务训练的 MegaPose refiner 后可达 59.6 AR，但此时整个系统已不再 training-free。来源：ECVA 正式论文；表格版权归论文作者及 Springer Nature 所有，本站仅作论文解读展示。

4. 问题设定

输入：单幅 RGB、相机内参、带对象身份的 instance mask、目标对象 texture-mapped 3D mesh。
输出：object model 到 camera 的 6D pose。
对象设定：测试对象从未用于 pose / task-specific training；每个对象只允许单 GPU、5 分钟 onboarding。
训练边界：FoundPose 本体使用 frozen DINOv2，无对象级或 pose 任务训练；默认 mask 来自 CNOS，CNOS 也需要 CAD onboarding。
模态边界：在线 pose estimator 是 RGB-only；CAD 的 depth 仅由离线 renderer 产生，用于把 template descriptors 注册到 3D。

5. 方法概览

每对象渲染 800 张 420×420 RGB-D templates，视角约间隔 25°。
从 DINOv2 ViT-L/14 registers 的第 18 / 23 层取 layer 18 patch tokens，30×30 patches，经 PCA 降到 256D。
用模板 depth 把每个有效 patch center 反投影到 CAD 3D 点。
对每对象以 2,048 个 k-means visual words 建 TF-IDF 式 bag-of-words，每个 patch soft assign 到 3 个词。
查询图按 mask 做 virtual-camera perspective crop，检索 5 个模板。
查询 patch 与单个模板 patch 做 NN，形成 2D–3D correspondences；EPnP-RANSAC 最多 400 iterations、10 px inlier threshold。
以最多 30 次 Levenberg–Marquardt 直接最小化 DINOv2 featuremetric error，补偿 14×14 patch center 的离散误差。

6. 实验速览

七个 BOP 核心集、108 个对象；只使用 test RGB、CAD 和 CNOS masks，不使用数据集训练图。
coarse FoundPose：37.2 AR / 1.7 s，对比 GigaPose 27.6 / 0.9、GenFlow 23.5 / 3.8、MegaPose 20.8 / 15.5。
单假设 featuremetric：42.6 AR / 2.6 s，提升 5.4 points。
单假设 MegaPose refiner：54.7 / 4.4 s；featuremetric + MegaPose：55.0 / 6.4 s。
5 hypotheses + 两种 refinement：59.6 AR / 20.5 s，是最高精度配置，但依赖在 200 万余合成图上训练的 MegaPose。
运行时间包含约 0.3 s CNOS；对象 onboarding <5 min。
GT masks 替代 CNOS 可带来 6–19 AR，segmentation 是主要上限之一。

7. 快速判断

优点：把 foundation feature 落到可解释的 template retrieval、2D–3D matching 和 PnP；training-free coarse pose 优势清晰；速度—精度配置完整。
限制：依赖高质量 CAD texture、mask 与 intrinsics；默认每对象表示约 234 MB；1.7 s / image 仍非实时；featuremetric 只细化局部最优。
适合读者：unseen-object pose、BOP、DINOv2 correspondence、template retrieval、PnP-RANSAC 与 CAD onboarding。

已生成 src/paper-notes/foundpose-eccv2024/deep.md

论文精读笔记

用于复现、对比、写 related work 和挖掘后续研究切入点。

论文精读笔记：FoundPose

1. 核心判断

FoundPose 的贡献可以概括成一句话：DINOv2 的中间层 patch descriptors 已经具备足够强的 real-render correspondence，使“模板检索 → 2D–3D correspondence → PnP”这条经典路线重新成为 unseen-object pose 的强方法，而且不必为 pose 任务训练网络。

这里真正重要的是“中间层”。最后层更偏语义，在无纹理或对称对象上，不同侧面可能得到相似特征；浅层位置性强但跨域语义弱。作者发现 ViT-L/14 registers 第 18 层在 positional 与 semantic information 之间平衡最好。该层让渲染模板与真实图像中的同一对象侧面保持可匹配，从而把 foundation model 从“全局相似度”推进到可用于 PnP 的局部 2D–3D correspondence。

FoundPose 本体及其 featuremetric refinement 都无需 pose-specific training；但论文最高的 59.6 AR 配置还接了 MegaPose refiner，后者在 200 万余合成图上训练。阅读结果表时必须把 training-free 本体与混合系统分开。

2. 任务、输入与对象 onboarding

给定：

查询 RGB image；
camera intrinsics；
带 object identity 的 segmentation mask；
texture-mapped 3D model。

目标是估计 model-to-camera $R,t$ 。默认 mask 来自 CNOS；对象 mask 识别和 pose 使用同一 CAD inventory，因此并非在完全未知身份的开放世界中检测。

BOP 2023 unseen-object protocol 要求每对象 onboarding 不超过 5 分钟、单 GPU。FoundPose在该预算内为每对象：

均匀采样 SO(3)，渲染 800 个 RGB-D templates；
提取 patch descriptors；
用 rendered depth 将 descriptor 绑定到 CAD surface point；
建立 per-object bag-of-words index。

这不是训练，但仍有对象级预计算、存储和渲染成本。

3. 从模板到 2D–3D correspondence

FoundPose offline onboarding 和 online pose pipeline — 原论文 Figure 2。检索不是最终 pose：它只把 exhaustive all-template matching 缩小到 5 个候选，随后每个候选独立建立 correspondence 并由 PnP-RANSAC 验证空间一致性。来源：ECVA 正式论文；图片版权归论文作者及 Springer Nature 所有，本站仅作论文解读展示。

3.1 Template representation

模板和查询 crop 均为 420×420，object longer side 占 $\delta=0.6$ 。DINOv2 patch size 为 14，因此每幅图产生 30×30 grid。

对模板 patch $j$ ：

第 18 层 raw descriptor 经全模板 PCA 投影到 256D；
只有 patch center 在 mask 内才有效；
rendered depth + intrinsics 给出对应 CAD point $x_j$ ；
template 记为 $T_t=\{(p_j,x_j)\}$ 。

这一步把纯 2D foundation feature 转成 model-space 3D descriptor bank。

3.2 Bag-of-words retrieval

每对象将全部模板 patch descriptors 聚成 2,048 个 visual words。模板词频使用类似 TF-IDF 的权重：

b_i=\frac{n_{i,t}}{n_t}\log\frac{N}{n_i},

并把 patch soft-assign 到 3 个最近词， $\sigma=10$ 。查询与模板 BoW 用 cosine similarity 排序，保留 top 5。

BoW 对遮挡的鲁棒性来自可见 parts 仍贡献一部分 words；后续 PnP-RANSAC则隐式完成 spatial verification。直接对每个 query-template pair 做 patch kNN 需要 0.64 s / query，BoW retrieval 只需约 0.0008 s。

3.3 Perspective crop

直接矩形 crop 会因对象偏离主点而产生与模板不同的 perspective distortion。作者构造 optical axis 指向 mask box center 的 virtual pinhole camera，再 warp 为与模板相同的尺寸和 object occupancy。这是容易被忽略、但对 PnP correspondence 很实用的几何预处理。

对每个 retrieved template，查询 patch descriptor匹配模板最近邻，得到：

C_t=\{(u_i,x_i)\},

其中 $u_i$ 是 query patch center， $x_i$ 是模板 patch 绑定的 CAD point。EPnP 每次用最小 4 对 correspondence，RANSAC最多 400 iterations、10 px 阈值；5 个模板各自产生 pose，以 inlier 数最高者作为 coarse pose。

14×14 patch center 是粗采样，匹配点的真实投影可能不在 patch center。featuremetric refinement 用最多 30 次 L-M 优化：

\min_{R,t}\sum_i \rho\left(p_i-F_q(\pi(Rx_i+t))\right),

在 query DINO feature map 上 bilinear sampling，以 Barron robust loss（ $\alpha=-5,c=0.5$ ）减少错误对应影响。它不需要专门训练 refinement network，但仍是局部优化，错误 coarse basin 无法保证纠正。

5. 定性证据

FoundPose 在遮挡无纹理对称对象上的检索和对应 — 原论文 Figure 4：每例依次显示 query + CNOS mask、retrieved templates、patch correspondences，以及 GT / coarse / refined contours。来源：ECVA 正式论文；图片版权归论文作者及 Springer Nature 所有，本站仅作论文解读展示。

图覆盖 HB、LM-O、IC-BIN、TUD-L、ITODD 与 T-LESS，包含 clutter、occlusion、texture-less 和 symmetry。它证明真实—渲染之间存在可用 patch matches，但属于作者挑选案例；定性图没有系统展示失败率，仍需以 BOP AR 判断。

6. BOP 主结果与 training-free 边界

FoundPose BOP AR 与时间主表 — 原论文 Table 1。绿色勾只表示该行整体不做 task-specific training；接入 MegaPose refinement 的行没有勾，因为 MegaPose refiner本身有大规模合成训练。来源：ECVA 正式论文；表格版权归论文作者及 Springer Nature 所有，本站仅作论文解读展示。

七个 BOP 数据集共 108 个对象，指标为：

AR=(AR_{\mathrm{VSD}}+AR_{\mathrm{MSSD}}+AR_{\mathrm{MSPD}})/3.

配置	Task-specific train	Hypotheses	Mean AR	s / image
FoundPose coarse	否	1	37.2	1.7
+ featuremetric	否	1	42.6	2.6
+ MegaPose refiner	是	1	54.7	4.4
+ featuremetric + MegaPose	是	1	55.0	6.4
featuremetric, 5 hypotheses	否	5	44.1	7.4
featuremetric + MegaPose, 5 hypotheses	是	5	59.6	20.5

coarse FoundPose 比 GigaPose / GenFlow / MegaPose coarse 高 9.6 / 13.7 / 16.4 AR。单假设 featuremetric 再增 5.4；但单独 refine 5 hypotheses只到 44.1，说明重复局部优化的边际收益不大。

最强 59.6 AR 是“FoundPose proposal + FoundPose featuremetric + trained MegaPose render-and-compare”的组合，不应归因于 frozen DINOv2 alone。

时间包含约 0.3 s CNOS；硬件也不完全一致：GigaPose 0.9 s 用 V100 48 GB，FoundPose用 P100 16 GB。FoundPose coarse 更准确但不是实时。

7. 消融：为什么是 intermediate DINO + BoW

FoundPose backbone 模板检索和 mask 消融 — 原论文 Table 2。layer 18 相对 last layer 的巨大差距验证了 positional information；GT mask 行则量化了 segmentation 上限。来源：ECVA 正式论文；表格版权归论文作者及 Springer Nature 所有，本站仅作论文解读展示。

DINOv2 ViT-L layer 18：37.2 AR；
同模型 layer 23：23.5，下降 13.7；
ViT-S intermediate layer 9：34.0 / 1.3 s；
SAM ViT-L：10.7；
DenseSIFT：7.6；
S2DNet：1.1。

BoW 37.2 vs cls-token retrieval 18.2；将 background 置黑后 cls token 25.1，仍明显落后。top-template pose 直接作为输出只有 17.7，证明 retrieval 不能替代 PnP。

GT mask 相对 CNOS 在可核验数据集提高 6–19 AR。对象表示默认约：

800\times(300\text{ patches}\times256\times4\text{ B}+8\text{ kB BoW})\approx234\text{ MB}.

使用 400 templates、128D PCA、1,024 words 可降到 59 MB，AR 损失不足 1。

8. 限制与复现风险

依赖 texture-mapped 3D model；CAD texture 错误会影响 template feature；
依赖 CNOS mask 与正确 object identity；
intrinsics 与 virtual-camera warp 必须一致；
1.7–2.6 s / image，不适合高帧率闭环；
每对象 234 MB 对大 inventory 显著；
featuremetric objective 有局部极值；
中间层位置编码可能依赖 crop、padding 和背景约定；
BOP 只测已给 instance count 的 localization，开放场景 detector errors 没有完全纳入；
高精度配置依赖 trained MegaPose，不能称整个 pipeline training-free。
官方代码仓库目前发布的是 coarse pose pipeline，不含论文中的 featuremetric refinement；复现 42.6 / 59.6 AR 配置时不能只依赖仓库默认实现。

9. 复现检查表

每对象 800 views、约 25° spacing、420×420、 $\delta=0.6$ ；
DINOv2 ViT-L/14 registers layer 18、14×14 patches、256D PCA；
只保留 template mask 内 patch centers，并准确反投影到 CAD；
2,048 per-object k-means words，soft top-3、 $\sigma=10$ ；
virtual-camera perspective crop，而非普通 resize；
top-5 templates，EPnP-RANSAC 400 iterations、10 px；
L-M 30 iterations，Barron $\alpha=-5,c=0.5$ ；
统一 CNOS masks 数量 $n$ / $5n$ ；
分开报告 coarse、featuremetric 与 MegaPose refinement；
记录 onboarding time、per-object memory、CNOS time 和 pose time。

10. 最终评价

FoundPose 最有价值的结论是：foundation model 的中间层可以直接支持几何一致的 real-render correspondences，而不只做语义检索。它让经典的 BoW、nearest-neighbor、PnP-RANSAC 和 L-M 在 unseen-object pose 上重新达到强竞争力，且方法每一步都可以诊断。

37.2 AR 的 training-free coarse 和 42.6 AR 的免训练 refinement 是论文最干净的贡献；59.6 AR 则是与 trained MegaPose refiner 的系统组合。把两组结果区分后，FoundPose 仍是 2024 年 RGB-only unseen-object pose 最值得精读的基础特征路线之一。