物体位姿估计 · 2025 · IROS · CCF C

JENGA: Object Selection and Pose Estimation for Robotic Grasping from a Stack

JENGA 在 YOLOv8 + ZebraPose 候选上，以 IMU 重力方向排序对象高度，并用观测 modal mask 与 pose-rendered amodal mask 的面积比筛除遮挡砖块。合成 top-1 的自定义 precision-mAP 为 0.79；该指标不含 recall，真实 Yaskawa 工地部署也只有视频、没有抓取成功率。

Paper Project

研究方向

物体位姿估计

任务层级

Instance-level

物体设定

Seen objects

输入模态

single RGB imagestatic IMU gravity measurementknown brick CADmodal and rendered amodal masks

关键依赖

known brick identity and metric CADYOLOv8 detector and trained RGB-only ZebraPosecamera intrinsics and camera–IMU extrinsicssensor stationary enough to observe gravitypose renderervisibility threshold and top-k selection

完整论文元数据作者、单位、研究方向、数据集、指标、方法标签和阅读状态展开

作者: Sai Srinivas Jeevanandam, Sandeep Inuganti, Shreedhar Govil, Didier Stricker, Jason Rambach
作者单位: German Research Center for Artificial Intelligence (DFKI) / RPTU Kaiserslautern
会议 / 期刊: 会议 · IROS · CCF C
研究方向: 物体位姿估计
开源状态: 未开源 / 未整理
阅读状态: 粗读：已生成精读：已生成
任务设定: Instance-level · Seen objects
数据集: JENGA synthetic stacked-brick dataset custom real construction-site deployment
评估指标: ADD-S MSSD
方法标签: 实例级位姿估计 rgb-only robotic-manipulation stacked-objects object-selection graspability imu visibility zebrapose pnp synthetic-data 绝对位姿估计
关键依赖: known brick identity and metric CADYOLOv8 detector and trained RGB-only ZebraPosecamera intrinsics and camera–IMU extrinsicssensor stationary enough to observe gravitypose renderervisibility threshold and top-k selection

Reading Notes

粗读 / 精读

已生成 src/paper-notes/jenga-pose-iros2025/coarse.md

论文粗读笔记

用于快速判断论文定位、问题设定、核心方法、实验结论和是否值得精读。

论文粗读笔记：JENGA

1. 基本信息

标题：JENGA: Object Selection and Pose Estimation for Robotic Grasping from a Stack
作者：Sai Srinivas Jeevanandam, Sandeep Inuganti, Shreedhar Govil, Didier Stricker, Jason Rambach
机构：German Research Center for Artificial Intelligence（DFKI）；RPTU Kaiserslautern
年份 / 会议：2025 / IROS
论文：arXiv · IEEE DOI
项目：Project Page
阅读模式：粗读

2. 一句话定位

JENGA 不再把“检测到并估准 pose”直接等同于“值得抓”，而是在 YOLOv8 + ZebraPose 候选上先按 IMU 重力方向选择堆顶对象，再用可见 / 完整轮廓面积比剔除遮挡实例；合成测试的 top-1 precision-mAP 为 0.79，但真实工地只展示部署视频，没有抓取成功率或 pose 真值。

3. 图表导读

JENGA 在工地砖垛和 Yaskawa 机器人上的真实部署 — 原论文 Figure 1：Yaskawa HC20DTP 与腕载 RealSense D435i 面向真实砖垛，插图显示被选择砖块的 6D pose。该图证明系统被部署过，但论文没有报告真实抓取次数、成功率或真值误差。来源：作者公开稿；图片版权归论文作者及 IEEE 所有，本站仅作论文解读展示。

JENGA 随机、检测置信度、惯性、视觉和融合筛选的消融结果 — 原论文 Table II：top-1 视觉筛选达到 0.73 mAP，惯性筛选 0.61，串联后为 0.79；视觉是主要贡献，重力高度排序带来进一步增益。这里的 mAP 是两个 pose error AP 的均值，不是标准检测 mAP。来源：作者公开稿；表格版权归论文作者及 IEEE 所有，本站仅作论文解读展示。

4. 问题设定

输入：单幅 RGB、相机—IMU 标定、静止时的重力加速度、已知砖块 CAD。
前端：YOLOv8 检测每块砖的 RoI，RGB-only ZebraPose 输出 modal mask 与 6D pose。
输出：从所有 pose hypotheses $\Pi$ 中筛出的 top- $k$ graspable poses $G$ 。
“可抓”含义：优先选择堆叠顶部、可见面积大、周围留有空间的砖，而不是预测任意机械手的接触点或完整 collision-free trajectory。
深度：合成数据包含 depth，但论文方法的 detection、pose 与筛选均不依赖 depth；真实 D435i 主要提供 RGB 与 IMU。

5. 方法概览

YOLOv8 检测所有砖块。
ZebraPose 从 RGB crop 预测 binary surface code，经 PnP 得到每块砖的 6D pose。
按 pose 渲染完整 amodal silhouette $M_a$ ，以 ZebraPose segmentation 为 visible modal mask $M_m$ 。
计算 visibility ratio $r=|M_m|/|M_a|$ ，只保留 $r\ge 0.8$ 的对象。
用相机—IMU外参将对象位置转到 sensor frame，以重力方向投影作为相对高度。
按高度降序保留 top- $k$ ，再应用 visibility filter，得到最终候选。

6. 数据与标签

BlenderProc 程序化生成 regular / irregular brick stacks。
使用一个保留砖体纹理和几何的 scanned model，先组成 3×3 brick units 再堆叠。
随机相机视角、墙 / 地面纹理、灯光和部分 clutter objects。
12,000 张：10K train、1K validation、1K test。
格式：RGB、depth、modal / amodal masks、6DoF poses，兼容 BOP 与 COCO。
graspability label：按砖块 bounding box 在 $\pm X,\pm Y,\pm Z$ 六个方向是否缺少邻居的几何规则生成，不是物理模拟或真实抓取标签。

7. 结果速览

候选策略	APADD-S ↑	APMSSD ↑	mAP ↑
all poses	0.19	0.16	0.17
Ours top-1	0.84	0.74	0.79
Ours top-2	0.74	0.66	0.70
Ours top-3	0.68	0.62	0.65

随着 $k$ 增大 precision 下降，说明后续候选中仍有遮挡或 pose error。消融中 random 为 0.17，detector confidence 0.60，inertial-only 0.61，vision-only 0.73，融合 top-1 为 0.79。

8. 快速判断

亮点：把 object-selection correctness 与 pose accuracy 放进同一个匹配协议，强调机器人不应直接抓任意 pose prediction。
有效机制：modal / amodal ratio 比 detector confidence 更能反映遮挡；IMU 只提供重力方向，不需要完整视觉惯性里程计。
不要误读：0.79 不是抓取成功率，也不是标准 detection mAP；它是固定 top-1 候选在多个 ADD-S / MSSD 阈值下的平均 precision。
评价偏置：只输出一个最容易对象天然会减少 false positives；论文不报告 graspable objects 的 recall、每垛处理吞吐或清空率。
标签限制：轴向 bounding-box 邻居规则没有摩擦、重心、夹爪接近路径和抽取后堆垛稳定性。
真实证据：论文和项目视频展示真实机器人运行，但没有定量 pose / selection / grasping 结果。
开放状态：项目页可访问，但截至 2026-07-31 仍显示 “Code, Dataset and more details coming soon”，代码按钮也是模板占位链接。

已生成 src/paper-notes/jenga-pose-iros2025/deep.md

论文精读笔记

用于复现、对比、写 related work 和挖掘后续研究切入点。

论文精读笔记：JENGA

1. 核心判断

标准 6D pose benchmark 默认“所有正确 pose 都有价值”，JENGA 认为堆叠抓取不是这样：一个底层砖块即使 pose 完全正确，也可能被其他砖压住；机械手贸然执行会碰撞或破坏整垛稳定性。因此任务应写成：

G=F(\Pi,I,M,\alpha_s),

其中 $\Pi$ 是 detector + pose estimator 产生的全部 pose hypotheses， $G\subseteq\Pi$ 是适合优先抓取的子集， $I$ 为 RGB， $M$ 为已知模型， $\alpha_s$ 是 IMU 观测到的重力方向。

论文的核心并不是新 pose network，而是两个可解释的 candidate filters 与一个同时检查 graspability label / pose error 的评价协议。YOLOv8 和 ZebraPose 都可以替换。

2. 完整输入、输出与系统边界

真实工地砖垛上的 JENGA 机器人系统 — 原论文 Figure 1。真实平台是 Yaskawa HC20DTP、双叉 gripper 与法兰上的 RealSense D435i；正文只说明部署和视频演示，没有给出真实抓取统计。来源：作者公开稿；图片版权归论文作者及 IEEE 所有，本站仅作论文解读展示。

需要：

known brick instance 与 metric CAD；
YOLOv8 detector；
为该砖训练的 RGB-only ZebraPose；
camera intrinsics；
camera–IMU rigid transform $T_{sc}$ ；
相机静止或近似无额外线加速度时的 IMU gravity measurement；
pose-based renderer，用于 amodal silhouette；
top- $k$ 和 visibility threshold。

不需要：

RGB-D depth 输入；
IMU angular velocity；
SLAM / VIO 给出的完整 world pose；
learned grasp network。

虽然 D435i 是 RGB-D 相机、合成数据也保存 depth，方法公式没有使用 depth。专题页将其归为 RGB + IMU + CAD，而不是 RGB-D pose。

3. Pose hypotheses 的生成

YOLOv8 输出每块砖的 bounding box。每个 crop 进入 ZebraPose：

将 CAD surface points 编成 coarse-to-fine binary codes；
网络预测 object pixels 的 surface codes 和 segmentation；
codes 建立 2D pixel–3D model correspondences；
PnP 恢复 $T^i_{co}=[R^i_{co},o^i_c]$ 。

所有结果形成

\Pi=\{T^1_{co},\ldots,T^n_{co}\}.

JENGA 不修改 ZebraPose，也不重新优化 pose；若 detector 漏检、mask 串实例或 PnP 落到错误对称解，后端只能筛选，不能修正。

4. 视觉可见性筛选

对于每个估计 pose：

amodal mask $M_a^i$ ：将完整 CAD 按 $T^i_{co}$ 渲染，包含当前图像里被遮住的部分；
modal mask $M_m^i$ ：ZebraPose segmentation 实际看到的对象区域。

定义

r_i=\frac{|M_m^i|}{|M_a^i|}.

若 $r_i<\epsilon_{\mathrm{vis}}$ ，丢弃该 pose；实验固定 $\epsilon_{\mathrm{vis}}=0.80$ 。

优点是可解释：同一个 pose 同时给“理想完整投影”和“实际可见区域”，无需额外 graspability network。风险也很直接：

amodal mask 来自 预测 pose，pose 错会改变分母；
modal mask 来自 pose estimator，强遮挡时可能漏分或把相邻同类砖合并；
80% 阈值只在合成验证，没有 sensitivity curve；
visibility 高不等于 gripper 两侧有接近空间。

所以该 ratio 更像 pose-conditioned confidence heuristic，而不是独立的物理可抓性测量。

5. IMU 重力高度筛选

对象位置先从 camera frame 转到 sensor frame：

o_s^i=T_{sc}^i o_c^i.

IMU 静止时测得

\alpha_s=R_{sg}g_{\mathrm{global}}.

作者只需沿 gravity axis 的相对排序，用

o_{g,z}^i=\alpha_s^\top o_s^i

为候选打分，再保留最高 top- $k$ 得到 $G_h$ 。加速度没有显式归一化不会改变同帧排序，但该假设要求 sensor 不受机器人快速运动产生的线加速度干扰。论文真实部署中相机装在 robot flange，若边运动边推理， $\alpha_s$ 可能不是纯重力；正文没有给静止采样、低通滤波或动态补偿细节。

最终通常先 height filtering，再 visibility filtering：

G=F_v(F_h(\Pi,I,M,\alpha_s)).

先取 top- $k$ 可能提前删掉略低但明显更可见的对象；论文没有比较过滤顺序或联合 score。

6. 合成数据集

程序化生成的规则与不规则砖垛场景 — 原论文 Figure 3：BlenderProc 生成多种砖垛 topology、camera pose、light、floor / wall texture，并在部分场景加入 clutter objects。来源：作者公开稿；图片版权归论文作者及 IEEE 所有，本站仅作论文解读展示。

数据以 scanned brick model 为基础，构造 3×3 units，再程序化形成 regular / irregular stacks。相机从以 stack center 为中心的球壳采样。输出：

RGB；
depth；
modal / amodal masks；
6DoF pose；
binary graspability label；
BOP 与 COCO 格式。

总计 12K images，划分 10K / 1K / 1K。论文没有列出每图砖块数量分布、stack topology 数量、train/test 是否按 topology 隔离、相机半径、照明参数，也没有真实训练 / 合成测试的 domain-gap 分析。

7. Graspability ground truth 是几何启发式

每块砖用 transform 后的八个 model corners 构造 bounding box，以所有中心建立 KD-tree。对当前砖，在 $\pm X,\pm Y,\pm Z$ 六方向将 box 平移一个自身尺寸，检查是否与邻居 box 相交。文本定义：

至少四个方向无邻居 → graspable；
恰好三个方向无邻居时，还要求 $+Z$ 无邻居、左右至少一侧空、前后至少一侧空。

这提供可自动生成的大规模标签，但不等价于真实抓取：

axis-aligned / principal-direction box 近似不刻画砖孔和局部几何；
不考虑 friction、mass、center of gravity；
不考虑 gripper finger thickness、approach direction 和 collision；
不模拟抽出一块后的 stack dynamics；
label 是“周围空且顶部可达”，不是经过 physics simulation 验证的 grasp success。

还有一个文档一致性问题：正文描述了“恰好三个方向”的额外规则，但 Algorithm 1 的伪代码只出现 $m\ge4$ 分支；伪代码中的 IoU 条件写法也不直观。复现应以作者实现为准，而当前代码尚未公开。

8. 联合评价协议

对预测候选 $G$ 与 ground-truth graspable poses，分别构造 ADD-S 和 MSSD cost matrix，用 Hungarian matching 最优配对。若匹配误差低于阈值 $\theta$ ，计为 TP；错误 pose 或未匹配预测为 FP。

\mathrm{Precision}= \frac{TP}{TP+FP}, \qquad AP_e= \frac{1}{|\Theta_e|} \sum_{\theta\in\Theta_e} \mathrm{Precision}(\theta).

最后将 $AP_{\mathrm{ADD-S}}$ 与 $AP_{\mathrm{MSSD}}$ 平均为论文的 mAP。

它与标准 detection AP 不同：

没有按 confidence sweep 得到 precision–recall curve；
是对多个 pose-error thresholds 的 precision 平均；
不报告 recall；
top- $k$ 越小，预测越少，FP 天然越少；
只选择一个“最容易”的砖能取得高分，即使同一垛还有多个可抓砖未返回。

因此结果衡量“返回的少量候选有多可信”，而不是“找全所有可抓对象”或“整垛清空效率”。

9. 主结果与消融

全部姿态、过滤后的可抓候选与抓取真值三行对比 — 原论文 Figure 4：每列从上到下为全部 pose hypotheses、JENGA 筛选结果和 GT graspable poses。筛选显著减少底层 / 遮挡候选，但仍存在数量与姿态差异。来源：作者公开稿；图片版权归论文作者及 IEEE 所有，本站仅作论文解读展示。

输出集合	APADD-S ↑	APMSSD ↑	mAP ↑
all poses	0.19	0.16	0.17
top-1	0.84	0.74	0.79
top-2	0.74	0.66	0.70
top-3	0.68	0.62	0.65

all poses 的低 precision 说明“pose estimator 返回结果”不等于“适合抓的结果”。但 top-1 与 all poses 的输出数量差异很大，这不是单纯算法精度的公平一对一比较。最稳妥的结论是：系统能把最有把握的一块砖排到前面；对第二、第三候选的可靠性明显下降。

JENGA 候选筛选基线和视觉惯性消融 — 原论文 Table II。vision-only 已从 detector confidence 的 0.60 提升到 0.73；inertial-only 与 detector confidence 接近，组合后再提升 0.06。来源：作者公开稿；表格版权归论文作者及 IEEE 所有，本站仅作论文解读展示。

策略	mAP ↑
Random choice	0.17
Detector confidence	0.60
Inertial only	0.61
Vision only	0.73
Vision + inertial	0.79

主要收益来自 visibility ratio；gravity height 是互补小增益。没有 confidence interval / multiple seeds，也未按规则垛、乱序垛、遮挡比例或 camera tilt 分桶。

10. 真实部署证据

硬件：

Yaskawa HC20DTP six-axis collaborative arm；
horizontal reach 1700 mm、vertical reach 3400 mm、payload 20 kg；
custom two-pronged gripper；
flange-mounted Intel RealSense D435i。

项目页给出真实砖垛与工地抓取视频。论文没有报告：

总抓取次数与 success rate；
selection mistake / pose failure / gripper failure 的拆分；
每次推理与机械动作时间；
抓取后 stack disturbance；
IMU 在运动中的滤波；
sim-to-real pose accuracy。

所以“真实部署”是系统可运行的定性证据，不是对 0.79 synthetic mAP 的现实验证。

11. 开放与复现

官方项目页当前可以访问，也嵌入视频。页面同时保留模板代码按钮 github.com/YOUR REPO HERE，并显示 “Code, Dataset and more details coming soon…”。截至 2026-07-31，尚不能核验可下载的 JENGA dataset 或方法 code。

复现还需作者补充：

YOLOv8 / ZebraPose training config 和 synthetic-real augmentation；
camera–IMU calibration；
gravity normalization / motion rejection；
top- $k$ 与 filter order；
amodal rendering 的 rasterization / clipping；
threshold sets $\Theta_e$ 的精确值；
ground-truth Algorithm 1 与正文 exact-three rule 的一致实现；
real sequence、robot commands 和 grasp success annotations。

12. 局限

单一砖块类别和固定 CAD，不能证明一般 stacked objects；
12K 定量数据完全合成；
graspability GT 是 bounding-box neighbor heuristic，不是物理抓取；
标准化 mAP 命名容易与 detection AP / BOP AP 混淆；
只报告 precision，不报告 recall、coverage 或 throughput；
top-1 相对 all poses 的提升部分来自输出数量减少；
vision ratio 依赖已经正确的 pose 与 segmentation；
IMU height 假设传感器无额外线加速度；
没有 threshold、filter order 或 stack difficulty 敏感性；
真实机器人只有视频，无抓取成功率；
代码和数据仍未公开。

13. 最终评价

JENGA 的贡献是把一个很实际的决策层补到 pose pipeline 后面：在结构化堆叠中，机器人应该优先相信“高、可见”的 pose，而不是把所有检测结果等价地交给 grasp planner。modal / amodal ratio 与 gravity ranking 都很轻量，且消融说明可见性比 detector confidence 更适合排序。

它还没有建立完整的物理 grasp benchmark。更准确的定位是“pose-aware stacked-object candidate selection”：合成环境中能高精度返回一块最可信砖，真实机器人也能运行；至于能否找全可抓砖、长期安全清垛以及跨对象泛化，仍需开放数据、物理标签和大规模真实实验。