物体位姿估计 · 2025 · ICRA · CCF B

Visuo-Tactile Object Pose Estimation for a Multi-Finger Robot Hand with Low-Resolution In-Hand Tactile Sensing

该方法把视觉 pose、手部本体感觉、每指节二值接触和 non-penetration prior 统一进 factor graph，以 robust cost 在手部严重遮挡或视觉噪声下优化抓持对象 pose。

Paper

研究方向

物体位姿估计

任务层级

Instance-level

物体设定

Seen objects

输入模态

RGB-Dhand proprioceptionbinary tactile contacts

关键依赖

known object meshinitial visual poserobot kinematics / hand geometryper-pad tactile calibration

完整论文元数据作者、单位、研究方向、数据集、指标、方法标签和阅读状态展开

作者: Lukas Mack, Felix Grüninger, Benjamin A. Richardson, Regine Lendway, Katherine J. Kuchenbecker, Joerg Stueckler
作者单位: University of Augsburg / Max Planck Institute for Intelligent Systems
会议 / 期刊: 会议 · ICRA · CCF B
研究方向: 物体位姿估计
开源状态: 未开源 / 未整理
阅读状态: 粗读：已生成精读：已生成
任务设定: Instance-level · Seen objects
数据集: 17 YCB objects in simulation ISyHand real grasp sequences
评估指标: ADD-S
方法标签: 实例级位姿估计 visual-tactile factor-graph dynamic-interaction in-hand-slip tracking sensor-fusion robotic-grasping 绝对位姿估计
关键依赖: known object meshinitial visual poserobot kinematics / hand geometryper-pad tactile calibration

Reading Notes

粗读 / 精读

已生成 src/paper-notes/lowres-inhand-visuotactile-icra2025/coarse.md

论文粗读笔记

用于快速判断论文定位、问题设定、核心方法、实验结论和是否值得精读。

论文粗读笔记：Visuo-Tactile Object Pose Estimation for a Multi-Finger Robot Hand with Low-Resolution In-Hand Tactile Sensing

1. 基本信息

作者：Lukas Mack、Felix Grüninger、Benjamin A. Richardson、Regine Lendway、Katherine J. Kuchenbecker、Joerg Stueckler
会议：ICRA 2025
论文：arXiv:2503.19893
PDF：作者公开全文

2. 一句话定位

该方法不需要高分辨率触觉图像，只用每个指节“接触 / 未接触”的二值信号，加上手部运动学、视觉 pose 与 non-penetration prior，在 factor graph 中持续优化抓持对象位姿。

2.1 论文图表导读

Low-resolution visuotactile pose Figure 1：系统与因子图 — 原论文 Figure 1：视觉 pose 观测、手部本体感觉、低分辨率接触和几何不穿透约束共同进入逐时刻 factor graph。来源：作者公开 PDF。图片版权归论文作者及出版方所有，本站仅作论文解读展示。

3. 系统输入

RGB-D 视觉 pose；
已知对象 mesh；
多指手关节角与 forward kinematics；
各触觉 pad 的 binary contact；
手指 link 与对象不应互相穿透的几何约束。

4. 方法速览

FoundationPose 初次进行 pose 初始化，之后每个时刻使用其 pose-refinement 组件提供视觉观测。
手部运动学把触觉 pad 放到统一坐标系。
contact factor 约束对象表面应靠近触发 pad。
non-penetration factor 惩罚对象进入未接触手指几何。
手部关节角参与当前时刻的接触与不穿透几何；上一时刻 pose 仅初始化下一次优化，不构造时序平滑残差。
Welsh robust cost 抑制误触发和视觉离群值。

5. 评测

仿真：17 个 YCB 对象。
Dvary：遮挡与视觉噪声变化大。
Docc：稳定 power grasp、接触覆盖高。
真实：自研多指 ISyHand 上的抓持序列。
优化更新频率约 13.3 Hz。

6. 粗读结论

论文证明低带宽触觉也能提供有用 pose 约束，关键是把接触放进已知手部几何和逐时刻图优化，而不是要求触觉直接回归 6D pose。它特别适合抓持后视觉被手遮挡的 tracking；代价是需要精确运动学、对象 CAD 和触觉 pad 标定。

已生成 src/paper-notes/lowres-inhand-visuotactile-icra2025/deep.md

论文精读笔记

用于复现、对比、写 related work 和挖掘后续研究切入点。

论文精读笔记：Visuo-Tactile Object Pose Estimation for a Multi-Finger Robot Hand with Low-Resolution In-Hand Tactile Sensing

1. 核心问题

抓取前视觉通常能看清对象，抓取后手指会遮住物体。高分辨率 tactile image 可估计接触几何，但成本、布线和耐用性不一定适合多指手。本文问：如果每个 pad 只输出一个 bit，能否仍改善 6D pose？

答案依赖于一个重要转换：单个 bit 信息很少，但已知 pad 在手坐标中的位置、手部运动学和对象 mesh 后，“这里接触”会变成明确的几何可行域。

2. Factor graph 表达

每个时刻只优化当前对象 pose 变量 $T_t$ 。与三类因子对应的解释性目标可简写为（不是跨时刻平滑目标）：

\min_{T_t} \rho_v(e_v(T_t)) +\rho_c(e_c(T_t,q_t,z_t)) +\rho_n(e_n(T_t,q_t)),

其中：

$e_v$ ：FoundationPose / RGB-D 视觉观测残差；
$e_c$ ：触发 pad 到对象表面的接触残差；
$e_n$ ：对象与手指 link 的 penetration residual；
状态转移采用 uniform model；上一时刻 pose 仅用于初始化，不加入时序运动平滑残差。
$q_t$ ：关节角， $z_t$ ：binary contacts。

Welsh robust cost 对大残差的代价趋于饱和，降低误触或视觉跳变的影响，避免它们支配整体优化。

Low-resolution visuotactile pose Figures 3-4：Dvary 仿真的 ADD-S 分布与时间变化 — 原论文 Figures 3–4：Dvary 仿真的 ADD-S 分布及随时间变化，对照包括视觉单独与去触觉消融；Figure 4 展示手腕旋转和遮挡增加后的变化。来源：作者公开 PDF。图片版权归论文作者及出版方所有，本站仅作论文解读展示。

3. Contact 与 non-penetration 的互补

“接触”只说明对象表面经过 pad 附近，单个接触会对应很大的 pose 集合。多个手指从不同方向接触后，这些集合相交，位姿被逐步缩小。

Non-penetration 还利用了未接触的手部几何：候选对象不能穿过 finger links。它是一种负证据，尤其能排除仅满足少量接触、却几何上不可能的 pose。

对称对象仍可能保留旋转自由度；binary contact 不会凭空使不可观测方向变得可观测。

4. 仿真协议

17 个 YCB objects；
Dvary：视觉遮挡 / 噪声随时间变化，更接近抓持中的视觉退化；
Docc：稳定 power grasp，接触覆盖更充分；
对比视觉单独、不同触觉 / 几何因子与完整融合；
采用 ADD-S 等 symmetry-tolerant pose 指标。

区分两组数据很重要：Dvary 检验触觉能否填补视觉失效，Docc 更偏向验证高接触覆盖下的几何约束上限。

5. 真实系统

Low-resolution visuotactile pose Figures 5–7：仿真噪声、Docc 统计与真实实验设置文字 — 原论文 Figures 5–7 所在页面局部：Figure 5 为 Dvary 的 RGB-D 噪声扫描，Figures 6–7 为 Docc 仿真统计；右侧文字介绍真实 ISyHand 设置。此截图不含 Figure 8 的实机可视化。来源：作者公开 PDF。图片版权归论文作者及出版方所有，本站仅作论文解读展示。

自研 15-DoF 多指手；
四指、多个低分辨率触觉 pad；
RGB-D 约 30 Hz，触觉 / proprioception 约 50 Hz；
factor-graph 输出约 13.3 Hz。

13.3 Hz 是完整优化的有效更新率，比只报视觉网络前向更有工程意义；对快速手内操作仍可能偏低，但足以支持较慢抓持后的闭环修正。

6. 不确定性与权重

论文使用固定 measurement covariance。这样实现简单，但不同阶段的传感质量并不恒定：

视觉在无遮挡时可靠，手闭合后迅速变差；
binary pad 可能因接触面积和压力变化抖动；
运动学误差随关节姿态改变。

更进一步的系统可学习或在线估计 factor covariance，让图优化自动调整视觉 / 触觉权重。

7. 局限

需要对象 mesh、初始视觉 pose 和准确 hand geometry。
接触 pad 位置 / 阈值标定误差会被解释成对象 pose 误差。
硬物体与刚性接触假设不适合明显形变。
固定协方差难表达时变可靠性。
low-resolution contact 改善可观测性，但无法完全替代外部视觉。

8. 精读结论

论文最有价值的观点是“触觉分辨率低不等于几何信息低”：一旦与已知手部运动学、对象 mesh 和 non-penetration 组合，多个 binary contacts 就能形成强约束。它为低成本多指手提供了比端到端触觉回归更透明、可调试的 pose tracking 路线。