物体位姿估计 · 2025 · ICRA · CCF B

High-Precision Object Pose Estimation Using Visual-Tactile Information for Dynamic Interactions in Robotic Grasping

该工作以 particle filter 融合视觉和触觉位移：视觉实时追踪被接触对象，触觉修正抓持对象的滑移与 pose change；摘要在 13 个不同几何对象上验证动态适应性，但未披露 cm / degree 误差。

Paper

研究方向

物体位姿估计

任务层级

Instance-level

物体设定

Seen objects

输入模态

visiontactile displacementrobot motion

关键依赖

initial object posetactile displacement sensingknown hand-object transform conventionparticle-filter state model

完整论文元数据作者、单位、研究方向、数据集、指标、方法标签和阅读状态展开

作者: Zicai Peng, Te Cui, Guangyan Chen, Haoyang Lu, Yi Yang, Yufeng Yue
作者单位: Beijing Institute of Technology
会议 / 期刊: 会议 · ICRA · CCF B
研究方向: 物体位姿估计
开源状态: 未开源 / 未整理
阅读状态: 粗读：已生成精读：已生成
任务设定: Instance-level · Seen objects
数据集: 13-object dynamic interaction test
评估指标: Translation Error Rotation Error
方法标签: 实例级位姿估计位姿细化多物体位姿估计绝对位姿估计
关键依赖: initial object posetactile displacement sensingknown hand-object transform conventionparticle-filter state model

Reading Notes

粗读 / 精读

已生成 src/paper-notes/high-precision-visuotactile-icra2025/coarse.md

论文粗读笔记

用于快速判断论文定位、问题设定、核心方法、实验结论和是否值得精读。

论文粗读笔记：High-Precision Object Pose Estimation Using Visual-Tactile Information for Dynamic Interactions in Robotic Grasping

1. 基本信息

作者：Zicai Peng、Te Cui、Guangyan Chen、Haoyang Lu、Yi Yang、Yufeng Yue
会议 / 年份：IEEE ICRA 2025
机构：Beijing Institute of Technology
论文：DOI
任务：机器人动态交互中的对象 pose tracking，覆盖被接触对象运动与抓持对象手内滑移
实验范围：13 个不同几何形状对象
公开性：正文非开放获取；未发现作者公开稿、代码或数据

2. 一句话总结

该方法用 particle filter 融合视觉和触觉位移：视觉实时追踪环境中被接触对象，触觉 displacement 修正抓持对象因滑移产生的 pose change；作者在 13 个对象上验证动态适应性，但摘要没有公开 translation / rotation error。

3. 方法主线

静态抓取假设 $\mathbf T_{hand\rightarrow object}$ 固定，但真实交互会发生：

夹持力变化导致手内滑移；
抓持对象推动环境对象；
视觉被机械手遮挡；
接触瞬间运动模型突变。

方法用 particle filter 维护多假设 pose belief：

motion model 预测粒子；
vision 更新被接触对象；
tactile displacement 更新抓持对象增量；
重加权 / 重采样得到当前 pose。

视觉观测与触觉位移进入粒子滤波器进行动态对象位姿估计 — 本站依据作者公开摘要重绘，非论文原图。摘要未披露粒子状态、likelihood 与 sensor 型号，图中仅表达可核验的融合关系。来源：论文 DOI。

4. 证据边界

作者摘要确认 13 个不同几何对象、dynamic scenes、compelled motion 和 high-precision pose conclusion，但没有 cm / degree、更新率、baseline 或 task success。

视觉触觉动态位姿公开结论和未披露精度项 — 本站根据作者公开摘要整理。没有数值时，不将“high precision”画成毫米级结果。来源：论文 DOI。

5. 粗读评价

论文最有价值的是把两类对象状态分开：环境中的 contacted object 可由 vision 给全局 pose，grasped object 被遮挡却能由 tactile displacement 给局部变化。粒子滤波适合处理噪声、多假设和不同更新率。

限制是系统依赖 initial pose、触觉与手坐标标定、运动模型；触觉提供的是局部位移而非天然全局 pose，长期积分会漂移。无公开数字，当前不能判断其“高精度”是否达到装配所需毫米级。

已生成 src/paper-notes/high-precision-visuotactile-icra2025/deep.md

论文精读笔记

用于复现、对比、写 related work 和挖掘后续研究切入点。

论文精读笔记：High-Precision Object Pose Estimation Using Visual-Tactile Information for Dynamic Interactions in Robotic Grasping

1. 研究问题

多数 grasp pose pipeline 假设抓取完成后对象与夹爪刚性固定。实际装配、插入和推动中，接触力会使抓持对象滑移，环境对象也会被推动。此时初始视觉 pose 很快失效，而手和对象互相遮挡使视觉难以持续观察。

本文用视觉提供全局信息、触觉 displacement 提供接触后的局部增量，并以 particle filter 维护动态 pose。

2. 两种对象角色

Contacted object

指被机器人 / 抓持物体接触并推动的环境对象。它通常仍在外部相机视野中，视觉可实时追踪其 pose，但接触会让运动不再服从静态假设。

Grasped object

指夹爪中的对象。视觉可能被手遮挡，且相对 hand transform 因滑移变化。触觉位移直接观测接触面变化，适合估计 pose increment。

这种角色拆分避免把所有触觉信息粗暴融合到同一观测中。

3. Particle filter

令状态为对象 pose $\mathbf x_t$ ，粒子滤波递推：

p(\mathbf x_t\mid \mathbf z_{1:t}) \propto p(\mathbf z_t\mid \mathbf x_t) \int p(\mathbf x_t\mid \mathbf x_{t-1}) p(\mathbf x_{t-1}\mid \mathbf z_{1:t-1}) d\mathbf x_{t-1}.

粒子 $\{\mathbf x_t^{(i)},w_t^{(i)}\}$ 先按 motion model 传播，再由 vision / tactile likelihood 重加权。此式是标准滤波解释，不是论文未公开实现。

视觉适合绝对校正，触觉 displacement 更像相对运动：

\Delta \mathbf T_t^{touch} \approx \mathbf T_{t-1}^{-1}\mathbf T_t.

二者结合可减少纯触觉积分漂移，也能在视觉短时遮挡时维持估计。

视觉触觉粒子滤波与接触对象抓持对象两类动态状态 — 本站依据作者摘要重绘，非论文原图。粒子数量、state parameterization 和 likelihood 未公开，图中不作猜测。来源：论文 DOI。

4. 实验与结果证据

摘要披露：

13 个几何形状不同的对象；
动态交互和 compelled object motion；
方法能估计高精度 pose；
展现 uncertain practical scenarios 的适应性。

未披露：

translation / rotation error；
视觉 / 触觉 sensor；
particle 数和 update rate；
vision-only / tactile-only baseline；
滑移幅度、遮挡比例；
grasp / insertion success。

13 对象实验的公开结论和缺失精度数值 — 本站根据公开摘要整理。标题中的 High-Precision 不能替代定量误差，因此本页不声称毫米级或某个角度值。来源：论文 DOI。

5. 技术难点

坐标系：tactile displacement 必须从 sensor frame 转换到 hand / object frame；
可观测性：单个接触 patch 对某些旋转或切向运动不敏感；
接触切换：stick / slip / detach 会改变 measurement model；
视觉遮挡：抓持对象可能长期不可见，无法绝对纠漂；
对称性：视觉和触觉都可能出现多解；
非同步：camera 与 tactile 更新率不同，时间戳误差会成为假运动。

6. 优点与局限

优点：

面向动态交互，而非只估抓取前静态 pose；
两种模态职责清晰；
particle belief 可表达多假设；
13 对象覆盖一定几何多样性。

局限：

需要 initial pose 与传感器标定；
tactile displacement 是局部增量，长期会漂移；
particle filter 的计算随状态维度和粒子数增长；
无公开数值和代码，无法评估是否满足装配精度 / 频率。

7. 复现清单

正文公开后需要补齐：机器人 / 手 / tactile sensor、vision tracker、状态与 motion model、touch displacement 定义、measurement likelihood、resampling、粒子数、时间同步、13 对象列表、误差与任务成功率、消融、runtime。

8. 研究启发

后续可采用 contact-mode switching filter，为 stick / slide / roll 维护不同 dynamics；用视觉低频绝对校正、触觉高频相对更新；根据接触几何分析 SE(3) 可观测方向，并只在可观测子空间收紧 covariance。

这篇论文代表 6D pose 从“抓取前 perception”走向“交互中 state estimation”。其问题很重要，但公开摘要不足以判断实际精度等级，页面因此将方法价值与数值证据严格分开。