机器人感知与操作 · 2024 · IROS · CCF C

ToolEENet: Tool Affordance 6D Pose Estimation

ToolEENet 将机器人所需状态从整件工具 pose 改为接触功能端 pose：Mask R-CNN 和深度提取 EE 点云，score-based diffusion 生成类别级 6D pose，并预测各轴对称属性处理不可观测旋转。

Paper Project

研究方向

机器人感知与操作

任务层级

Category-level

物体设定

Unseen objects

输入模态

RGB-Dtool end-effector affordance maskpartial end-effector point cloud

关键依赖

tool affordance segmentation modeldepth cameracamera intrinsicsknown tool end-effector categories

完整论文元数据作者、单位、研究方向、数据集、指标、方法标签和阅读状态展开

作者: Yunlong Wang, Lei Zhang, Yuyang Tu, Hui Zhang, Kaixin Bai, Zhaopeng Chen, Jianwei Zhang
作者单位: Universität Hamburg / Agile Robots AG
会议 / 期刊: 会议 · IROS · CCF C
研究方向: 机器人感知与操作
开源状态: 已开源
阅读状态: 粗读：已生成精读：已生成
任务设定: Category-level · Unseen objects
数据集: TOOLEE
评估指标: n° mcm
方法标签: 类别级位姿估计 affordance symmetry diffusion point-cloud tool-use 合成数据与基础模型
关键依赖: tool affordance segmentation modeldepth cameracamera intrinsicsknown tool end-effector categories

Reading Notes

粗读 / 精读

已生成 src/paper-notes/tooleenet-iros2024/coarse.md

论文粗读笔记

用于快速判断论文定位、问题设定、核心方法、实验结论和是否值得精读。

论文粗读笔记：ToolEENet

1. 基本信息

标题：ToolEENet: Tool Affordance 6D Pose Estimation
作者：Yunlong Wang, Lei Zhang, Yuyang Tu, Hui Zhang, Kaixin Bai, Zhaopeng Chen, Jianwei Zhang
机构：Universität Hamburg；Agile Robots AG
年份 / 会议：2024 / IROS
论文：arXiv · IEEE DOI
项目与代码：ToolEENet
阅读模式：粗读

2. 一句话定位

ToolEENet 把工具 pose 从“整个物体坐标系”改写为“真正产生接触的功能端坐标系”：先从 RGB-D 分割 hammer head、screwdriver head、wrench head 等 affordance 区域，再用点云条件扩散生成类别级功能端 6D pose，并以对称感知表示消除多解。

3. 图表导读

ToolEENet 功能端分割、点云编码与扩散位姿生成流程 — 原论文 Figure 4：Mask R-CNN 提取工具 EE，深度反投影为 1028 点，PointNet++ 与 pose/time 条件共同驱动 reverse ODE，输出对称感知位姿。来源：作者公开稿；图片版权归论文作者及 IEEE 所有，本站仅作论文解读展示。

ToolEENet 的功能端位姿阈值结果与定性对比 — 原论文 Table I 与 Figure 6：比较整物体先验、普通 EE pose、额外对称先验和论文表示；完整方法平均达到 0.984 / 0.984 / 0.998。来源：作者公开稿；图表版权归论文作者及 IEEE 所有，本站仅作论文解读展示。

4. 问题设定

输入：手持工具的 RGB-D；工具常被手遮挡。
前端输出工具功能端 affordance mask，并反投影得到局部 EE 点云。
输出：功能端相对相机的类别级 6D pose，而不是整把工具的对象坐标系。
类别包括 hammer grip、hammer head、screwdriver head、wrench head；其中后三类含明显对称。

5. 方法与数据

TOOLEE 数据集为功能端分割和依据实际使用方式定义的 EE pose 提供标签。
Mask R-CNN 从 RGB 分割 EE，深度生成局部点云。
PointNet++ 编码 1028 点；pose 与扩散时间条件经 MLP 融合。
score-based diffusion / reverse ODE 从高斯 pose 采样多个候选，再平均输出。
旋转按 x/y/z 轴分别预测对称属性和旋转分量，metric 与输出都按学习到的对称性消歧。

6. 实验速览

完整方法在 5°2cm、5°5cm、10°5cm 上的四类平均结果为 0.984 / 0.984 / 0.998。
直接从整物体点云估计并依赖对象先验的方案平均为 0.368 / 0.713 / 0.850。
只使用 EE 点云但没有论文对称表示的方案为 0.701 / 0.701 / 0.753。
螺丝刀头在对称感知协议下达到 1.0；扳手头在完整方法下为 0.996 / 0.996 / 0.999。
论文展示 UR10 + Shadow Hand 的真实工具操作定性实验，但没有给出任务成功率。

7. 快速判断

研究价值：重新定义了机器人真正需要的状态变量；功能端 pose 比整物体 pose 更直接对应接触。
优点：数据集、affordance segmentation、生成式 pose 与对称表示形成闭环。
限制：功能端分割错误会直接破坏后续点云；实验类别较少，真实机器人只有定性展示。
推荐读者：工具使用、affordance、类别级 pose、手物遮挡与接触操作方向。

已生成 src/paper-notes/tooleenet-iros2024/deep.md

论文精读笔记

用于复现、对比、写 related work 和挖掘后续研究切入点。

论文精读笔记：ToolEENet

1. 核心判断

ToolEENet 最重要的贡献首先是任务定义：机器人锤钉、拧螺丝或夹持螺母时，决定接触效果的是 hammer head、screwdriver head、wrench head 的功能端坐标，而不是整件工具任意定义的对象中心。类别内工具的手柄长度、形状差异很大，但功能端几何与使用姿态更一致，因此对功能端做 category-level pose 更适合技能迁移。

网络使用扩散生成和对称感知表示，但实验中最大的提升来自输入从整物体点云切换到 EE-centric 点云，以及对称 metric / 表示的对齐。阅读时不应把全部收益笼统归因于 diffusion。

2. TOOLEE 数据与坐标定义

TOOLEE 同时标注：

工具功能端 affordance segmentation；
依据工具使用方式定义的 6D EE pose；
工具类别与功能端类别；
对称属性。

EE 坐标系强调接触方向。例如锤头的工作方向、螺丝刀尖的轴线、扳手口的夹持方向应保持语义一致。相比对象几何主轴，这种坐标更适合直接生成末端执行器目标。

这也引入主观性：同一工具可能有多个 affordance / 使用方式，EE frame 的定义依赖任务。论文主要覆盖单一典型用法，没有系统讨论多 affordance、双头工具或任务条件 pose。

3. 方法流程

ToolEENet 的 RGB-D affordance 分割与 score diffusion pose 网络 — 原论文 Figure 4。绿色区域是 EE 点云构造，红色区域是条件扩散 pose；输出显式包含各轴的对称标记。来源：作者公开稿；图片版权归论文作者及 IEEE 所有，本站仅作论文解读展示。

3.1 功能端分割

Mask R-CNN 在 RGB 上预测工具及其 EE affordance mask。把该 mask 投影到深度后得到局部三维点云 $O$ ，随机采样到 1028 点。

局部化有两重作用：

减少手部遮挡和手柄类别内形变对 pose 的干扰；
让同一功能类别的几何分布更集中。

但它也把前端误差变成强瓶颈：mask 少覆盖一侧或混入手部时，局部点云会偏心，平移和对称轴都会被影响。

3.2 条件扩散 pose

PointNet++ 将功能端点云编码为 1024 维特征。当前 pose $p(t)$ 与扩散时间 $t$ 分别经 MLP 编码，与点云特征融合；score network 预测 reverse process 的更新方向。

训练从真实 pose 加 SDE 噪声，学习条件 score $\nabla_p \log P(p\mid O)$ 。推理从高斯噪声初始化，沿 reverse ODE 生成多个候选 pose，论文再对候选做 mean pooling。

这里存在一个几何问题：旋转不能像欧氏向量那样任意平均。作者通过按轴的旋转 / 对称表示降低等价解冲突，但对多峰分布直接 mean pooling 仍可能产生偏置。更稳妥的工程实现应在 $SO(3)$ 上做 Fréchet mean，或保留多个候选交给任务约束选择。

3.3 对称感知 pose 表示

输出不仅包含各轴旋转分量，还预测 $(S_x,S_y,S_z)$ 对称属性。评测与 pose 消歧使用模型估计的对称性，使螺丝刀头等绕轴对称的功能端不会因不可观测自转被错误惩罚。

论文比较四种设置：

obj_w_pp：整物体点云 pose，再用对象类别先验变换到 EE；
ee：EE-centric 点云与普通 pose 表示；
ee_w_sp：EE 点云加额外真值 / 类别对称先验；
our：EE 点云加网络学习的 symmetry-aware 表示。

这套比较能分离“输入坐标中心”“对称先验”和“自动预测对称性”的贡献。

4. 实验结果

ToolEENet 四类功能端的定量结果和 pose 可视化 — 原论文 Table I 比较四种设置；Figure 6 左右分别为 seen / novel objects，每组四列依次是整物体先验、普通 EE、完整方法和真值，未另列 ee_w_sp；坐标轴覆盖展示 pose。来源：作者公开稿；图表版权归论文作者及 IEEE 所有，本站仅作论文解读展示。

平均结果：

设置	5°2cm	5°5cm	10°5cm
obj_w_pp	0.368	0.713	0.850
ee	0.701	0.701	0.753
ee_w_sp	0.903	0.903	0.921
ToolEENet	0.984	0.984	0.998

分类型：

Hammer grip（非对称）：完整方法 0.967 / 0.967 / 0.994，与普通 EE 方案已较接近；
Hammer head：0.976 / 0.976 / 0.997；
Screwdriver head（对称）：完整方法为 1.0 / 1.0 / 1.0，普通 EE 在严格阈值只有 0.219；
Wrench head：0.996 / 0.996 / 0.999。

这说明对称表示对螺丝刀头贡献最大。Hammer head 的 affordance mask 可能只覆盖手柄附近一部分，使点云已经不完全对称，因此额外对称建模增益较小。

需要谨慎的一点是，完整方法使用“估计的对称属性”参与 metric 消歧；若预测把非对称对象误判为对称，评测可能变宽松。论文应进一步报告 symmetry classification 的准确率和 confusion matrix，以确认 pose 增益不是由评测容差泄漏造成。

5. 真实机器人实验

系统采用 UR10 与 Shadow Hand，在手内持工具条件下展示功能端 pose 和接触操作。它证明网络能从真实 RGB-D、遮挡手部和部分点云中输出可用坐标。

但论文只给定性图 / 视频，没有报告：

affordance mask IoU 到 pose 的误差传播；
锤钉、拧螺丝等任务成功率；
接触位置 / 方向误差；
工具类别外泛化；
与整物体 pose + 手眼标定系统的端到端比较。

因此真实实验应理解为概念验证，而非功能端 pose 已达到工业可靠性。

6. 批判性分析

优点

输出变量与下游接触任务匹配；
功能端局部几何减少类别内整物体差异；
通过四组设置把 EE-centric 与 symmetry 的作用拆开；
数据、代码与项目页公开，便于扩展工具类别。

局限

只覆盖少量工具 / affordance，真实多功能工具未充分建模；
Mask R-CNN 的分割依赖强，缺少错误 mask 鲁棒性实验；
多候选 pose 最终平均，可能丢失扩散本应保留的多模态；
对称预测参与 metric，需要独立验证其分类质量；
机器人结果无定量任务成功率。

7. 复现与扩展清单

公开并固定每类 EE frame、对称轴和使用语义；
分别评测真值 mask、预测 mask 与遮挡比例变化；
记录 PointNet++ 输入点数、SDE 日程、reverse ODE 步数和采样候选数；
在 $SO(3)$ 上实现候选聚类 / mean，而非直接平均欧氏旋转参数；
单独报告 symmetry prediction accuracy；
下游评测增加接触点误差、接触法向误差和任务成功率；
对双头工具、多 affordance 和语言条件工具使用进行扩展。

8. 最终评价

ToolEENet 的启发性大于单个 benchmark 数字：它提醒 pose 研究者，最常见的“对象中心 6D pose”不一定是机器人任务真正需要的状态。功能端局部化与任务语义坐标是主要价值，扩散和对称表示则负责在局部点云不完整、多解时提高稳定性。下一步最关键的是把漂亮的 pose 阈值转化为可重复的接触任务成功率。