物体位姿估计 · 2025 · ICRA · CCF B

ViTa-Zero: Zero-Shot Visuotactile Object 6D Pose Estimation

ViTa-Zero 先检查视觉 pose 是否满足接触、穿透和运动学约束；若不可行，则把手—物交互建模为 spring–mass system，在测试时优化 FoundationPose / MegaPose 的结果。

Paper Project

研究方向

物体位姿估计

任务层级

Instance-level

物体设定

Unseen objects

输入模态

visual pose backbonetaxel contactsrobot proprioception

关键依赖

object CAD / reconstructed modelrobot forward kinematicshand geometryinitial FoundationPose or MegaPose estimate

完整论文元数据作者、单位、研究方向、数据集、指标、方法标签和阅读状态展开

作者: Hongyu Li, James Akl, Srinath Sridhar, Tye Brady, Taskin Padir
作者单位: Amazon Fulfillment Technologies & Robotics / Brown University / Northeastern University
会议 / 期刊: 会议 · ICRA · CCF B
研究方向: 物体位姿估计
开源状态: 未开源 / 未整理
阅读状态: 粗读：已生成精读：已生成
任务设定: Instance-level · Unseen objects
数据集: Five-object real visuotactile manipulation set
评估指标: ADD ADD-S Translation Error ADD / ADD-S AUC
方法标签: 未知物体级位姿估计位姿细化合成数据与基础模型绝对位姿估计
关键依赖: object CAD / reconstructed modelrobot forward kinematicshand geometryinitial FoundationPose or MegaPose estimate

Reading Notes

粗读 / 精读

已生成 src/paper-notes/vita-zero-icra2025/coarse.md

论文粗读笔记

用于快速判断论文定位、问题设定、核心方法、实验结论和是否值得精读。

论文粗读笔记：ViTa-Zero: Zero-Shot Visuotactile Object 6D Pose Estimation

1. 基本信息

作者：Hongyu Li、James Akl、Srinath Sridhar、Tye Brady、Taskin Padir
会议：ICRA 2025
论文：arXiv:2504.13179
项目：ViTa-Zero

2. 一句话定位

ViTa-Zero 把 FoundationPose / MegaPose 视为视觉初值，再检查它是否满足触觉接触、手—物体不穿透和机器人运动学；若不满足，就用 spring–mass test-time optimization 把 pose 拉回物理可行区域。

2.1 论文图表导读

ViTa-Zero Figure 2：视觉初值、可行性检测和测试时优化 — 原论文 Figure 2 左侧裁图：视觉 pose 经 feasibility checking 后输出或进入 test-time optimization，右侧优化区域未完整展示；正文另解释 spring–mass 的吸引、排斥和正则项。来源：作者公开 PDF。图片版权归论文作者及出版方所有，本站仅作论文解读展示。

3. 方法流程

FoundationPose（RGB-D）或 MegaPose（RGB）产生零样本 pose。
由 forward kinematics 将 taxels / 手部几何变换到场景坐标。
计算 tactile contact consistency。
检查对象是否穿入手部 / 机械臂几何。
检查相邻帧和运动学可行性。
若不可行，spring–mass TTO 以接触吸引、穿透排斥和原 pose 正则修正 $SE(3)$ 。

4. 核心结果

Backbone	ADD-S AUC	ADD AUC	Position error
FoundationPose	26.30	21.09	0.24
FoundationPose + ViTa-Zero	40.68	33.68	0.05
MegaPose	21.90	16.88	0.25
MegaPose + ViTa-Zero	26.19	21.48	0.09

相对 FoundationPose，作者概括为 ADD-S AUC 约 +55%、ADD AUC 约 +60%、position error 下降约 80%。

5. 粗读结论

ViTa-Zero 的价值在于它不重新训练视觉模型，而用测试时物理一致性修正结果。它适合接触后的抓持与双臂 handover；仍需要 CAD / 重建模型、机器人运动学和触觉，且约 20 Hz 的优化速度更适合操作闭环而非高速动态跟踪。

已生成 src/paper-notes/vita-zero-icra2025/deep.md

论文精读笔记

用于复现、对比、写 related work 和挖掘后续研究切入点。

论文精读笔记：ViTa-Zero: Zero-Shot Visuotactile Object 6D Pose Estimation

1. 研究定位

ViTa-Zero 不是从头训练新的视觉—触觉网络，而是一个 test-time pose correction layer：

\hat T_v \xrightarrow{\text{feasibility check}} \begin{cases} \hat T_v,& \text{feasible}\\ \operatorname{TTO}(\hat T_v,\mathcal C,\mathcal H),& \text{infeasible} \end{cases}

其中 $\hat T_v$ 来自 FoundationPose 或 MegaPose， $\mathcal C$ 是 tactile contacts， $\mathcal H$ 是机器人手和运动学几何。

ViTa-Zero Figure 3：FoundationPose 与 ViTa-Zero 修正对比 — 原论文 Figure 3：视觉结果在遮挡下会漂移或穿入手部，触觉—运动学约束将对象模型修正到与真实接触更一致的位置。来源：作者公开 PDF。图片版权归论文作者及出版方所有，本站仅作论文解读展示。

2. 三类 feasibility constraints

2.1 Tactile contact

被触发 taxel 应靠近对象表面。可定义吸引残差：

e_{\text{contact}}= \sum_{p\in\mathcal C}d(p,T\mathcal M)^2,

其中 $\mathcal M$ 为对象 mesh。

2.2 Penetration

对象不应穿过机器人手实体。对发生碰撞的点施加 repulsive force / penalty。只用 contact attraction 会把模型吸进手内，因此 penetration 是不可缺少的负约束。

2.3 Kinematic consistency

taxel 和 link 的空间位置由 forward kinematics 决定。机器人关节状态将接触证据变成统一坐标下的几何约束，也可限制不合理的跨帧跳变。

3. Spring–mass test-time optimization

论文把对象 pose 看成受虚拟弹簧作用的刚体：

接触点与对象表面之间产生吸引；
穿透区域产生排斥；
$L_2$ regularization 防止偏离视觉初值过远。

这不是纯 ICP：ICP 只寻找最近表面对齐，可能把接触点吸到错误表面，也不理解手部不可穿透。完整 loss 同时使用正、负接触与视觉 prior。

4. 实验平台与任务

两台 UR5e；
Ability Hands；
Intel RealSense D455 / L515；
5 个训练未见日常对象；
单臂 picking 与双臂 handover；
RGB-D backbone FoundationPose，RGB backbone MegaPose。

测试对象少，结果主要证明方法可行性，而非覆盖广泛材质、形状和抓持模式。

5. 定量结果

ViTa-Zero Figures 4–5 与 Table I：机器人平台、逐对象主结果与总体比较 — 原论文 Figures 4–5 / Table I：机器人平台、五个对象上两种视觉 backbone 的 ADD-S / ADD AUC 与 position error，以及总体结果；该裁图不含物理 loss 消融或任务时序，相关正文另据原表 / Figure 3。来源：作者公开 PDF。图片版权归论文作者及出版方所有，本站仅作论文解读展示。

方法	ADD-S AUC ↑	ADD AUC ↑	PE ↓
FoundationPose	26.30	21.09	0.24
FoundationPose + ViTa-Zero	40.68	33.68	0.05
MegaPose	21.90	16.88	0.25
MegaPose + ViTa-Zero	26.19	21.48	0.09

FoundationPose 的收益更大，可能因为 RGB-D 初值已接近正确 basin，触觉优化更容易收敛；也可能与两种 backbone 的误差分布不同有关，不能简单推断 ViTa-Zero 只适合 FoundationPose。

完整 loss 达 40.68 / 33.68 / 0.05。普通 ICP 为 28.37 / 23.64 / 0.05：两者 position error 相同，但完整方法的表面对齐 AUC 更高，说明仅修正中心位置还不足以恢复 rotation 与完整几何一致性。

6. 运行速度

模块	时间	频率
Pose tracking	0.011 s	90.9 Hz
Feasibility check	0.006 s	166.7 Hz
TTO	0.051 s	19.6 Hz

系统瓶颈是 test-time optimization。作者在 i9-14900K / RTX 4090 上、视觉精修两次与 TTO 十次时报告在线刷新约 20 Hz；Table V 只列模块时间，不能把单项 TTO 频率直接等同于串行完整闭环频率。可行 pose 不触发 TTO 时可以更快，部署时仍需测量整体调度与端到端延迟。

7. “Zero-shot”的准确含义

不对五个测试对象训练 visuotactile network；
复用 FoundationPose / MegaPose 的 novel-object 能力；
测试时仍需对象 CAD 或重建模型；
仍需机器人 forward kinematics、hand geometry 与 tactile calibration；
测试时有迭代优化，所以不是 zero-computation adaptation。

8. 局限

CAD / reconstructed model 误差会使 contact 与 penetration loss 产生系统偏差。
软物体、软指尖和 compliant grasp 不符合刚性 spring–mass 假设。
触觉接触稀疏时，某些 rotation 仍不可观测。
五对象验证规模较小。
作者项目页说明代码与数据因公司政策不能公开，复现门槛较高。

9. 精读结论

ViTa-Zero 展示了一种很实用的组合方式：视觉 foundation model 负责全局初始化，触觉与机器人几何只负责把结果投影回物理可行集合。它没有承诺触觉独立识别物体，而是把接触当作测试时约束。主结果和 ICP 对比说明，真正的收益来自 contact + penetration + prior 的联合建模，而非简单最近点对齐。