论文精读笔记：GigaPose

1. 核心判断

GigaPose 的设计可以概括为：不要用模板同时离散全部旋转自由度。

传统 render-and-compare 通常需要对 azimuth、elevation、in-plane rotation 都采样，模板数迅速膨胀。GigaPose 只渲染 162 个 out-of-plane viewpoints：

• template retrieval 负责 azimuth / elevation；
• 一个局部 2D–2D correspondence 负责 scale、in-plane rotation 与 2D translation；
• scale + intrinsics 再恢复 depth / 3D translation；
• RANSAC 从多个单对应候选中选 pose。

它把 MegaPose 每个 query-template 都跑网络的 1.68 s，变成预计算 dense features 后的 48 ms / detection。七个 BOP 数据集上 coarse mean AR 从 MegaPose 20.8 提到 26.8；接相同 refinement 后仍保持更好的初始化质量。

这不是完全“one correspondence 就稳定求 pose”：每个 correspondence 生成一个候选，最终仍由多候选 RANSAC 选择。标题强调的是单个 2D–2D match 已包含生成完整 pose candidate 所需的信息。

2. 输入、输出与系统边界

输入：

• RGB image；
• CNOS 给出的 object mask / detection；
• camera intrinsics $K$；
• 测试时新对象 CAD；
• onboarding 阶段离线渲染的 templates 与 features。

输出：

• coarse $R,t$；
• 可选 top-1 / top-5 hypotheses；
• 可接 MegaPose 或 GenFlow refinement。

训练与测试对象分离。网络在 Google Scanned Objects、ShapeNet 的约 2M BlenderProc renderings 上训练，不为 BOP test objects 更新权重。

“novel object”指训练未见实例；系统仍知道每个 test object 的 CAD identity，且 CNOS 已完成目标发现 / 分割。它不是 open-vocabulary、model-free 或 category-level pose。

3. 自由度分解

完整 pose 的 6DoF 被重新参数化为：

• out-of-plane rotation：azimuth、elevation；
• in-plane rotation $\alpha$；
• image-plane translation $t_x,t_y$；
• metric scale $s$，结合 template geometry / intrinsics 转为 depth translation。

检索最近 template 后，out-of-plane rotation 已知。对 template patch $i$ 和 query patch $i'$：

• 位置差直接给出 image translation；
• 两侧 $F_{\mathrm{ist}}$ feature 输入 scale MLP 和 angle MLP；
• 形成 affine transform $M_{t\rightarrow q}$；
• 将 template pose 组合成完整 6D candidate。

相比 3D–2D PnP 至少需要多个对应，GigaPose 利用已知 template viewpoint 和 learned scale / angle prior，让一个 2D–2D correspondence 就能定义 candidate。

4. 两套 feature 为什么分开

$F_{\mathrm{ae}}$ 用于 azimuth / elevation retrieval，应满足：

• 对 scale、in-plane rotation、2D translation 不敏感；
• 对 out-of-plane rotation 敏感；
• 跨 synthetic template / real query 保持对应。

$F_{\mathrm{ist}}$ 则必须保留：

• in-plane rotation；
• scale。

如果用同一完全 invariant feature，后两项信息会被主动丢弃。论文因此将“检索 invariance”与“剩余自由度 regression”拆为两套表示。

5. $F_{\mathrm{ae}}$ 的局部对比学习

训练 pair 是同一 CAD 的两个 renderings：

• out-of-plane rotation 相同；
• scale、in-plane angle、translation 不同。

由渲染已知几何建立 2D–2D ground-truth correspondences。正样本：

• 相同物体；
• 同一 surface patch；
• 允许 scale / in-plane / translation 改变。

负样本：

• 同对象错误位置；
• 不同 out-of-plane rotation；
• 不同对象；
• batch 内其他 template。

局部 contrastive objective 使对应 patch feature 靠近，其余远离。训练时还加入：

• color augmentation；
• random crop；
• random in-plane rotation。

目的是缩小 synthetic-to-real gap，并让 $F_{\mathrm{ae}}$ 学到所需 invariance。feature backbone 基于 DINOv2 ViT，但不是直接 frozen DINOv2；Table 4 显示不 fine-tune 时 mean AR 19.0，完整模型 27.9，提升 8.9。

6. 模板数量与 onboarding

162 viewpoints 来自规则 icosphere，将 Blender icosphere triangle 再细分四份，只覆盖 camera direction / out-of-plane rotation。

对每个新对象：

1. 渲染 162 templates；
2. 提取并存储 $F_{\mathrm{ae}}$ dense features；
3. 建 nearest-neighbor search index。

onboarding 时间：

• GigaPose：11.5 s / object；
• MegaPose：0.82 s / object。

GigaPose 把更多计算前移到 onboarding，以换取重复 inference 的巨大提速。只有当同一对象被多次使用时，11.5 s 才容易摊薄。

ablation 使用 576 templates：

• 162 templates mean AR：27.9；
• 576 templates：28.5；
• 只提升 0.6。

说明单对应对剩余自由度的估计确实降低了密集模板采样需求。

7. BOP 主结果

七个数据集共：

• 132 objects；
• 19,048 test instances；
• clutter、occlusion、textureless 与工业对象混合；
• 标准 BOP AR：VSD、MSSD、MSPD 的 threshold-averaged recall。

无 refinement：

方法	LM-O	T-LESS	TUD-L	IC-BIN	ITODD	HB	YCB-V	Mean	time
MegaPose + CNOS	22.9	17.7	25.8	15.2	10.8	25.1	28.1	20.8	15.5 s
GigaPose + CNOS	29.6	26.4	30.0	22.3	17.5	34.1	27.8	26.8	0.4 s

GigaPose 只在 YCB-V 略低 0.3，其余数据集都更高。T-LESS、IC-BIN、ITODD 的增益超过 5 points，支持对 textureless / industrial object 的 robustness。

不同 refinement：

初始化 + refiner	Mean AR	time
MegaPose init + MegaPose 1 hyp	50.9	17.0 s
GigaPose init + MegaPose 1 hyp	54.7	2.3 s
MegaPose init + MegaPose 5 hyp	54.7	21.9 s
GigaPose init + MegaPose 5 hyp	57.8	7.7 s
MegaPose init + GenFlow 5 hyp	57.0	20.8 s
GigaPose init + GenFlow 5 hyp	60.5	10.6 s

更好的 coarse pose 不只提高自身 AR，也让同一个 refiner 避免局部极小值。

8. 定性、预测 3D 模型与速度

单 detection、V100：

阶段	MegaPose	GigaPose
Onboarding / object	0.82 s	11.5 s
Coarse pose / detection	1.68 s	48 ms
MegaPose refinement	33 ms	33 ms

论文称约 35× speedup；正文按 1.68 / 0.048 可得到 35×，另有“more than 38×”表述，可能来自未四舍五入时间。网站统一使用“约 35×”。

BOP Table 1 的 0.4 s 是 每张图像平均、包含 CNOS 分割与所有 detections，不能与 48 ms / detection 混为同一计时。

Wonder3D predicted model，LM-O：

3D source	方法	Coarse	Refined
GT CAD	MegaPose	16.3	25.6
GT CAD	GigaPose	18.3	27.9
single-image model	MegaPose	15.4	25.2
single-image model	GigaPose	17.6	27.2

结果只在作者谨慎挑选的 reference images 上验证，因为 Wonder3D 对输入质量敏感。它展示潜力，但不能据此声称 CAD dependency 已普遍消除。

9. Segmentation robustness 与消融

在 T-LESS / YCB-V 上，GigaPose 随 mask IoU 变化的 AP 比 MegaPose 平坦；MegaPose 主要在高 IoU mask 才取得高分。这来自：

• dense patch retrieval 不把整幅 crop 压成单一 score；
• RANSAC 可忽略一部分 boundary / background matches；
• template feature 已离线计算，不需要每个 noisy crop 与每模板联合前向。

LM-O 改善有限，因为：

• object 在图中很小；
• heavy occlusion；
• mask resize 后有效 patch 极少；
• 某些 CAD fidelity 低。

Table 4：

设置	LM-O	T-LESS	YCB-V	Mean
不 fine-tune $F_{\mathrm{ae}}$	20.1	19.3	17.7	19.0
36-bin in-plane templates，5832 total	23.3	21.1	22.1	22.1
3D–2D ePnP，4 correspondences	28.0	25.3	26.3	26.5
2D–2D Kabsch，2 correspondences	30.0	25.6	26.0	27.2
one-correspondence full	29.6	26.4	27.8	27.9
full + 576 templates	30.1	27.1	28.4	28.5

关键结论：

• fine-tuning local features 是最大增益之一；
• 把 in-plane rotation 放回模板会产生 5832 templates，反而比 learned one-correspondence 低 5.8 mean；
• 标准 3D–2D ePnP 并不优于任务定制的 2D–2D parameterization；
• one correspondence mean 最好，但 LM-O 上 two-correspondence 略高。

10. “One correspondence”中的几何与学习

系统不是纯解析：

• out-of-plane rotation 来自离散 template；
• scale / in-plane rotation 由 MLP 学习；
• 2D translation 来自 patch coordinates；
• depth / 3D translation 依赖 CAD render geometry 与 intrinsics；
• RANSAC 依赖多个 candidate 的 consensus。

因此它的成功建立在 correspondence feature、template camera model 与 learned MLP 三者共同标定良好。换相机内参、render convention 或 CAD scale 时，必须检查 affine-to-3D conversion。

11. 与相邻方法的关系

MegaPose：

• 对每个 query-template pair 跑 coarse scoring network；
• 模板更多，运行慢；
• refiner 强，但初始化成本高。

GigaPose：

• template features 预计算；
• nearest-neighbor sublinear retrieval；
• 162 templates；
• coarse 更快且可接同一个 MegaPose refiner。

ZS6D：

• 也用 DINOv2 与 correspondence；
• 倾向 3D–2D correspondences + PnP；
• GigaPose 的实验表明在该协议下，学习 2D scale / angle 的 hybrid representation 更有效。

FoundationPose：

• 统一 CAD / model-free pose 和 tracking；
• render-and-compare refinement 更重；
• GigaPose 主要优化 CAD-based novel-object coarse initialization，可作为其他系统前端。

12. 局限

• test-time CAD 仍是主设定；
• predicted 3D model 实验依赖挑选 reference image；
• CNOS mask / detection 是硬前端；
• 小目标、重遮挡、低质量 CAD 会导致 retrieval 与 correspondence 同时失败；
• 162-template quantization 仍限制 out-of-plane initial accuracy；
• onboarding 11.5 s 比 MegaPose 慢；
• coarse mean AR 26.8，不适合直接替代 refinement；
• reported V100 timings 与当前硬件不可直接横比；
• 训练依赖 2M synthetic images 与 BOP/MegaPose data；
• one-correspondence MLP 可能受 camera / render distribution shift；
• symmetry 主要由 BOP metrics 处理，网络本身不输出 pose distribution；
• RANSAC 多候选意味着最坏运行时间仍受 correspondence count 影响。

13. 复现检查表

• 使用论文相同 BOP synthetic / MegaPose training sets；
• CAD 单位、origin、camera convention 与 BOP 一致；
• 精确渲染 162 icosphere viewpoints；
• template feature 只在 onboarding 计算一次；
• $F_{\mathrm{ae}}$ 与 $F_{\mathrm{ist}}$ 不混用；
• 正 / 负 patch correspondence 按真实 render geometry 生成；
• 加入 color、crop、in-plane rotation augmentation；
• 实现 nearest-neighbor template retrieval；
• MLP 分别预测 scale 与 in-plane angle；
• 检查 2D translation、scale 到 3D translation 的公式和 intrinsics；
• 多 correspondence 生成候选后再 RANSAC；
• 与 MegaPose 比较时固定 CNOS detections；
• coarse、single-hypothesis、five-hypothesis 分开报；
• 分开报告 onboarding / object、coarse / detection、whole image；
• 对 mask IoU、小目标、CAD fidelity 单列 failure curves。

14. 最终评价

GigaPose 是一篇非常工程化、同时又有明确几何结构的 unseen-object pose 工作。它没有简单换更大的 backbone，而是重新设计 pose parameterization，使 162 个模板足以覆盖 out-of-plane rotation，再把剩余自由度交给局部对应。Table 4 对密集面内模板、ePnP、双对应和模板数的消融有力支撑了这一选择。

它并未摆脱 CAD、mask 与 refinement；coarse 26.8 AR 也说明速度不是最终精度。但在同一 CNOS / refiner 条件下，GigaPose 始终提供更快、更好的初始化。最准确的结论是：对需要反复估计训练未见 CAD 对象的系统，将模板检索与局部对应按自由度解耦，可以把 coarse stage 从秒级降到几十毫秒，并提高后续 refinement 的可达精度。