返回研究文献库

物体位姿估计 · 2025 · ICRA · CCF B

ZeroBP: Learning Position-Aware Correspondence for Zero-Shot 6D Pose Estimation in Bin-Picking

ZeroBP 将局部点云特征与对象中心方向编码共同写入 cross-attention,通过 superpoint-to-point 的交替 pose / position refinement,减少工业工件重复局部几何造成的错配。

研究方向

物体位姿估计

任务层级

Instance-level

物体设定

Unseen objects

输入模态

RGB-D bin sceneCAD point cloud

关键依赖

unseen-object CAD modelcamera intrinsicspicking-box promptinstance segmentation
完整论文元数据 作者、单位、研究方向、数据集、指标、方法标签和阅读状态 展开
作者
Jianqiu Chen, Zikun Zhou, Xin Li, Ye Zheng, Tianpeng Bao, Zhenyu He
作者单位
Harbin Institute of Technology, Shenzhen / Pengcheng Laboratory / JD.com / SenseTime Research
会议 / 期刊
会议 · ICRA · CCF B
研究方向
物体位姿估计
开源状态
未开源 / 未整理
阅读状态
粗读:已生成 精读:已生成
任务设定
Instance-level · Unseen objects
评估指标
ADD ADD-S ADD(S) / ADD(-S)

论文原始写法:AR of ADD(-S) / ADD(-S)-0.1d

关键依赖
unseen-object CAD modelcamera intrinsicspicking-box promptinstance segmentation

Reading Notes

粗读 / 精读

已生成 src/paper-notes/zerobp-icra2025/coarse.md

论文粗读笔记

用于快速判断论文定位、问题设定、核心方法、实验结论和是否值得精读。

论文粗读笔记:ZeroBP: Learning Position-Aware Correspondence for Zero-Shot 6D Pose Estimation in Bin-Picking

1. 基本信息

  • 作者:Jianqiu Chen、Zikun Zhou、Xin Li、Ye Zheng、Tianpeng Bao、Zhenyu He
  • 会议:ICRA 2025
  • 论文:arXiv:2502.01004
  • PDF:作者公开全文
  • 阅读模式:粗读

2. 一句话定位

ZeroBP 不只比较局部外观,而把“点相对对象中心的方向”编码进 cross-attention,并在 superpoint 与 point 两个层级交替更新 correspondence、pose 和全局位置,以减少工业工件重复局部几何造成的错配。

2.1 论文图表导读

图表内容阅读重点
Figure 1ZeroBP 与既有 zero-shot 方法对比position-aware correspondence 是核心差异
Figure 2PAC 与 coarse-to-fine pipeline先 superpoint 粗匹配,再 point 精匹配并交替更新
Table I / Figure 3ROBI 主结果与定性对齐通用模型仍低于 object-specific,但显著超过 zero-shot baselines
ZeroBP Figure 1:bin-picking zero-shot pose 方法对比
原论文 Figure 1:重复局部几何会让只依赖局部描述的 correspondence 发生错配,ZeroBP 进一步编码点在对象中的全局方向。来源:作者公开 PDF。图片版权归论文作者及出版方所有,本站仅作论文解读展示。

3. 任务设定

  • 输入:料箱 RGB-D、对象 CAD 点云、相机内参和 picking-box 区域。
  • 输出:训练阶段未见对象实例的 6D pose。
  • 训练:Google Scanned Objects 中 1000 个对象、约 100 万张合成 RGB-D。
  • 测试:ROBI,7 个反光或弱纹理金属对象、14 个场景、1218 张图像、超过 2 万实例;单个料箱最多约 38 个实例。

4. 方法流程

  1. picking-box aware detection / segmentation 提取料箱中的候选实例。
  2. KPConv-FPN 分别编码场景点云与 CAD 点云。
  3. superpoint 层执行 position-aware correspondence,得到粗匹配。
  4. 由当前 pose 推断对象中心,并计算每个点指向中心的方向向量。
  5. 把方向向量作为乘性 positional encoding 注入 cross-attention。
  6. 在 point 层精化对应,并交替更新 pose 与 global position。
  7. 用加权 SVD 求解刚体变换。

5. 结果速览

ROBI 上 ADD(-S) 平均召回率:

方法Mean AR
ZeroPose29.4
SAM-6D36.7
ZeroBP45.8
ST6D(object-specific)64.1

ZeroBP 比当时 zero-shot baseline 提升 9.1 个百分点,但与针对 ROBI 对象训练的 ST6D 仍有明显差距。

6. 粗读结论

ZeroBP 的关键观察是:工业件的局部孔、边和圆柱面很相似,可靠 correspondence 必须知道局部位于整个对象的什么位置。它特别适合 CAD 可得、对象变化频繁的料箱抓取;前提是深度、实例分割和粗中心估计足够稳定。

Related Papers

相关论文