物体位姿估计 · 2026 · ICRA · CCF B

Active Tactile Exploration for Rigid Body Pose and Shape Estimation

方法用 violation-implicit loss 把物理约束违规纳入优化，联合估计自由运动未知凸刚体的 pose trajectory 与 cuboid / 20 顶点 polytope；再以局部 MLE 的 observed / Fisher information 计算 EIG 选择下一次触碰。仿真 cuboid 5 次动作后 EIG 稳定低于 4 mm，真实 Trifinger 第 5 步显著优于随机；边界是凸几何、局部最优、多次初始化和触觉 / 本体误差。

Paper Project Code

研究方向

物体位姿估计

任务层级

Category-level

物体设定

Unseen objects

输入模态

two DenseTact optical tactile streamsrobot proprioceptioncontact boolean and measured normal

关键依赖

unknown but convex rigid objectknown ground plane and convex end-effectorsreliable contact normal extractionmultiple trajectory initializationsdifferentiable collision geometry and contact optimization

完整论文元数据作者、单位、研究方向、数据集、指标、方法标签和阅读状态展开

作者: Ethan K. Gordon, Bruke Baraki, Hien Bui, Michael Posa
作者单位: University of Pennsylvania GRASP Laboratory
会议 / 期刊: 会议 · ICRA · CCF B
研究方向: 物体位姿估计
开源状态: 已开源
阅读状态: 粗读：已生成精读：已生成
任务设定: Category-level · Unseen objects
数据集: Drake simulated cuboid and Platonic-solid trials self-collected Trifinger DenseTact trials
评估指标: Chamfer Distance
方法标签: tactile-only active-exploration joint-pose-shape unknown-object contact-dynamics violation-implicit-loss expected-information-gain fisher-information convex-polytope real-robot 类别级位姿估计绝对位姿估计
关键依赖: unknown but convex rigid objectknown ground plane and convex end-effectorsreliable contact normal extractionmultiple trajectory initializationsdifferentiable collision geometry and contact optimization

Reading Notes

粗读 / 精读

已生成 src/paper-notes/active-tactile-exploration-pose-shape-icra2026/coarse.md

论文粗读笔记

用于快速判断论文定位、问题设定、核心方法、实验结论和是否值得精读。

论文粗读：Active Tactile Exploration

一句话概括

这篇工作只用触觉和机器人本体信息，联合估计一个会被触碰推动的未知凸刚体之当前 pose 与 shape，并用 Expected Information Gain（EIG）选择下一次接触方向，让有限动作优先探索尚不确定的表面。

为什么难

触觉只观察直接接触的局部表面，因此数据天然稀疏；更麻烦的是，机器人每次触碰都可能移动物体。若把物体当作固定，后续触点无法对齐；若通过刚性接触模拟器端到端反传，又会遇到接触切换造成的近乎不连续 / 平坦梯度。主动探索还需要预测某个未来动作能带来多少信息，而动态物体的 belief propagation 往往多模态且代价高。

方法概览

观测是 contact boolean、接触法向和 robot proprioception。对象以 cuboid 三个边长或 20 顶点 convex polytope 表示，pose trajectory 与 shape parameters 一起优化。

作者使用 violation-implicit loss：不把接触动力学当成必须逐步精确满足的硬等式，而是把轨迹各时刻都设为决策变量，并惩罚动力学、互补性、最大功率耗散、非穿透和非弹性等约束的违规程度；内层 contact impulse 是带摩擦锥的 QP。

得到当前 maximum-likelihood estimate 后，系统用 loss Hessian 近似 observed information；对候选动作向前模拟并计算 Fisher information，使用

\log\det(F_{\mathrm{future}}I_{\mathrm{observed}}^{-1}+I)

近似 EIG。候选双指直线接近轨迹由 Gaussian cross-entropy method 迭代筛选。

Violation implicit learning 与 EIG 主动触觉探索闭环 — 原论文 Figure 2：先从既有触觉数据联合估计 shape / pose trajectory，再模拟候选触碰、计算新增信息并执行最优动作。来源：原论文。图片版权归论文作者所有，本站仅作学术解读展示。

关键实验

仿真 cuboid：5 次动作后，随机探索可到约 5 mm bCH，EIG 稳定低于 4 mm；第 5 步差异在 Bonferroni 校正后仍显著（ $N=10,p<0.05$ ）。
仿真 20 顶点 polytope：两法 8 次动作内都到约 5 mm，但 EIG 更快、更稳定；随机约多需 3 次动作达到相近一致性，统计显著性弱于 cuboid。
真实 Trifinger + 双 DenseTact：5 次动作后 EIG 显著优于随机（ $N=6,p<0.05$ ，Bonferroni 校正）。绝对误差较仿真大，作者归因于每个末端 3–5 mm 的 proprioceptive error。

主动触觉 EIG 与随机探索的 shape bCH 曲线 — 原论文 Figures 4–5：红色 EIG 在 cuboid 仿真和真实机器人上收敛更快，阴影为均值的 95% 置信区间。来源：原论文。图片版权归论文作者所有，本站仅作学术解读展示。

重要边界

方法要求未知对象和 end-effector 都可用凸几何表示，且物体是中等重量、落在已知地面上。EIG 是围绕当前局部 MLE 的局部指标；若 shape / pose 已陷入错误局部最小值，主动策略也可能探索错误区域。刚性 Coulomb contact 的历史状态对当前状态敏感性并不好定义，作者实际使用 identity dynamics Jacobian 近似。真实触觉对轻触不敏感，实验对象因此不能太轻。

阅读判断

论文的亮点不是提出了一个新的 pose network，而是把“边碰边建模”拆成可优化状态估计和信息驱动动作选择。它特别适合研究未知对象建模、active perception 与 contact-rich system identification；若用于通用 6D pose，还需要非凸表示、全局 / 多峰 belief、视觉融合以及更可靠的接触和本体标定。

已生成 src/paper-notes/active-tactile-exploration-pose-shape-icra2026/deep.md

论文精读笔记

用于复现、对比、写 related work 和挖掘后续研究切入点。

论文精读笔记：Active Tactile Exploration

1. 核心判断

论文：arXiv 2510.13595
项目与代码：Active Tactile Exploration
核心问题：仅靠触觉识别未知物体时，观测既局部稀疏，又会通过接触推动物体；必须同时估计 shape、整段 pose trajectory，并主动选择更有信息的下一次触碰。
核心回答：用 violation-implicit loss 避开刚性接触的坏梯度；在当前局部 MLE 处以 observed information / Fisher information 近似 EIG，通过 CEM 选择候选双指接近轨迹。
我的判断：论文把系统辨识和主动感知做成了完整闭环，5–8 秒触觉数据即可恢复受限凸形状；但它仍是“局部连续参数 + 局部 Gaussian information”的方案，不能自动表达多个全局 pose / shape 假设。

2. 问题设定

场景含：

已知 ground plane；
一个未知、自由移动的 convex rigid object；
已知几何与位姿的 convex robot end-effectors；
触觉输出 contact boolean $c_t$ 和测得的 contact normal $\hat n_{t,m}$ ；
robot pose / proprioception $r_t$ 。

目标是用尽可能少的动作估计对象当前 pose $x_T$ 与 geometry parameters $\theta$ 。作者把 cuboid 用三个正边长参数化，把一般 convex polytope 表示成 20 个顶点的 convex hull。评测不是直接比较 pose / size 分量，而是将估计表面变换到当前 pose 后，与 ground-truth surface 计算 bidirectional Chamfer distance（bCH），从而联合反映 pose 与 shape error。

FoundationPose 和 RealSense 只用于真实实验的评估真值，不进入 tactile-only estimator。这个边界很重要：方法输入确实没有视觉，但真实 bCH 的参考仍是视觉 pose。

3. 触觉似然

机器人与对象间 signed distance 为 $\phi_t(\theta,x_t,r_t)$ 。contact boolean 使用 logistic likelihood：

p(c_t|\theta,x_t,r_t)=\frac{c_t+(1-c_t)e^{\alpha\phi_t}}{1+e^{\alpha\phi_t}}.

有接触时，测得 normal $\hat n_{t,m}$ 以 Gaussian likelihood 匹配几何预测 normal $\hat n_t$ 。合并后的 negative log-likelihood $L_t$ 同时惩罚：

contact / non-contact 与 signed distance 不一致；
measured normal 与 predicted normal 不一致。

如果直接在 rigid dynamics 约束

x_{t+1}=f_\theta(x_t,r_t,\lambda_t)

下优化，接触状态切换会产生大片平坦区域与突变梯度。论文用一维 step function 的 graph-distance 类比解释：与其只比较同一横坐标的函数值，不如允许寻找函数图上的最近点。

4. Violation-implicit loss

作者把整个 $x_{0:T}$ 都当成决策变量，并把动力学残差与物理约束违规写进 loss：

\mathcal L_v=\sum_t\min_{\lambda_t\in FC} \left[ L_t+\|x_{t+1}-f_\theta(x_t,\lambda_t,r_t)\|_2^2+ g_\theta(x_t,\lambda_t,r_t) \right].

$g_\theta$ 包含：

Complementarity： $\lambda_t^n\phi_t$ ，只在接触时产生法向力；
Maximum power dissipation：摩擦力应反对切向滑动；
Non-penetration： $\min(0,\phi_t)^2$ ；
Inelasticity：法向冲量不能给物体“返还能量”导致无源弹跳。

内层 $\lambda_t$ 优化是带二阶锥摩擦约束的 QP，用 CVXPYLayers 求解。根据 envelope theorem，外层反向传播不必显式穿过最优 $\lambda_t$ 的求导路径。代价是硬物理可行性被改为软 penalty，可能出现 non-physical local minima；作者以多轨迹初始化缓解。

主动触觉方法的估计模拟评分执行闭环 — 原论文 Figure 2：左侧 violation-implicit optimization 恢复当前 MLE；中间对候选动作向前模拟并按 EIG 评分；右侧机器人执行后加入新触觉数据。来源：原论文。图片版权归论文作者所有，本站仅作学术解读展示。

5. 从局部 MLE 到 EIG

参数记作 $\omega=\{\theta,x_T\}$ 。作者没有维护完整 belief，而是在 MLE $\tilde\omega$ 处用 negative log-likelihood Hessian 做 Laplace-like 局部近似：

H[\omega|D]\approx \frac12\log\det I(D,\tilde\omega)+c,

其中 observed information

I(D_{\rm obs})\approx \nabla_\omega^2\sum_tL_t

在实现中省略了期望为零、但单次样本不一定为零的 Hessian-of-logit 项，保留 gradient outer product 部分。

对未来动作 $r_{T:H}$ ，从当前估计向前模拟得到 future trajectory 与理想 contact / normal，计算 Fisher information $F(D_{\rm acq})$ 。最终：

\operatorname{EIG}\propto \log\det\!\left(F(D_{\rm acq})I(D_{\rm obs})^{-1}+I\right).

这个量可理解为“未来预计获得的信息，相对于已经拥有的信息有多少新增”。如果某候选动作只重复触摸高置信表面， $F$ 虽可能大，但被 $I(D_{\rm obs})^{-1}$ 折算后收益低；触及未观察面则更有价值。

6. 一个关键近似：历史状态敏感性

EIG 关心 $\omega=\{\theta,x_T\}$ ，但过去观测 $L_t$ 依赖历史 $x_t$ 。理论上需计算历史状态对当前状态的反向敏感性，类似 $x_{T-1}=f^{-1}(x_T)$ 。刚性接触是多对一映射：一个静止状态可能一直在那里，也可能刚碰撞停下，因此逆动力学并不唯一。

作者没有强行求逆，而是把每时刻 gradient 只对该时刻状态求导再求和，相当于假设 dynamics Jacobian $dx_t/dx_{t-1}=I$ 。对实验中的滑动物体足够，但若对象翻滚、弹跳或接触模式剧烈改变，这个 EIG 近似可能失真。这不是实现细节，而是方法从平稳滑动扩展到复杂操作时的核心理论瓶颈。

7. 动作空间与硬件

每个双指 end-effector 执行 1 秒直线轨迹，从固定半径朝估计的 object centroid 接近。每指动作由 right ascension 和 declination 两角描述；真实机器人约束在 $[-\pi/4,\pi/4]$ ，仿真放宽到 $[-2\pi/5,2\pi/5]$ 。

系统以 iterative Gaussian CEM 优化：均匀采样动作，按 EIG 排序，用 top $n_{\rm best}$ 拟合新 Gaussian，多轮后从最终 elite set 随机选一个。它不是对任意机器人 trajectory 做全局 optimal control，而是在手工定义的 4D 双指接近动作族中搜索。

双指 Trifinger DenseTact 主动触觉硬件 — 原论文 Figure 3：改造后的双指 Trifinger 各装一枚 DenseTact；触觉 center-of-pressure 投影到 nominal sensor model 得到接触法向。RealSense + FoundationPose 仅用于评估。来源：原论文。图片版权归论文作者所有，本站仅作学术解读展示。

DenseTact 以 30 Hz 输出图像。作者用 optical flow 分解 normal、shear 和 torsional motion，再做 Helmholtz–Hodge decomposition；由 irrotational scalar potential 的加权中心求 center-of-pressure，投到 nominal surface 得 normal，并以局部 potential 阈值判断 contact。

8. Shape 参数化

8.1 Cuboid

$\theta\in\mathbb R_{>0}^3$ 是三个边长，参数少，因此一次触及 corner / 多个面就可能显著提高 observed information。它适合验证 pose–shape–contact 联合优化，但离任意对象还很远。

8.2 Convex polytope

20 个 3D vertices 取 convex hull。优化中某顶点若掉进 hull 内部，它对表面和 bCH 都不再可见，表达能力永久下降；作者把这类点随机替换到 hull 上。另加 regularizer 鼓励轨迹结束时至少三个顶点落在 ground 上，避免 violation loss 接受不稳定形状。

非凸对象理论上可用 convex parts union 扩展，但论文没有实现；复杂拓扑、凹槽、薄结构也不在当前验证范围。

9. 仿真结果

Drake 以 1 kHz 模拟、30 Hz 报告观测。

9.1 Cuboid

真值边长随机 3–6 cm，初始 guess 1–3 cm；pose 初值与真值都在 workspace center 2 cm 内随机。第一次接触后再执行 5 个动作， $N=10$ 。

随机探索在 5 步内到约 5 mm bCH；EIG consistently 到低于 4 mm。第 5 步做 independent two-tailed t-test，并对五个时刻做 Bonferroni correction 后仍有 $p<0.05$ 。

9.2 Polytope

真值为 2 cm bounding radius 的 Platonic solids，初始 guess 是 1 cm sphere 上随机 20 点。第一次接触后做 8 个动作。两法都在 8 步内稳定到约 5 mm，EIG 方差更低、收敛更快；随机约需多 3 次动作才达到类似 95% CI，但差异未达到 cuboid 实验同等统计显著性。

仿真与真实机器人 bCH 随接触动作变化 — 原论文 Figures 4–5：左上 cuboid、左下 polytope 仿真（N=10），右侧真实 cuboid（N=6）；红色 EIG、黑色随机。来源：原论文。图片版权归论文作者所有，本站仅作学术解读展示。

图中随机 polytope 的置信区间排除了一个 catastrophic outlier：估计 centroid 完全在物体外，导致连续两次动作没有接触后才重新对齐。排除离群点使主曲线更可读，但也提醒我们，局部优化失败正是在线系统要承担的真实风险。

10. 真实机器人结果

真实对象是 5.8 × 4.9 × 5.3 cm、约 0.5 kg cuboid；每个 trial 中被触碰移动约 1–2 cm。初始条件同仿真，第一次 contact 后做 5 个动作， $N=6$ 。

EIG 在第 5 步显著优于 random（independent two-tailed t-test，五时刻 Bonferroni 后 $p<0.05$ ）。但最终 bCH 约仍在厘米级，明显差于仿真。作者指出每个 end-effector 有 3–5 mm proprioceptive error；双指误差、触觉 normal 与视觉评估真值共同构成下限。

cuboid polytope 与真实对象的逐动作估计轨迹 — 原论文 Figure 6：由上到下为仿真 cuboid、仿真正八面体和真实 cuboid；颜色编码 observed information，灰色为真值。来源：原论文。图片版权归论文作者所有，本站仅作学术解读展示。

11. 局限与复现风险

凸性要求：对象和 end-effector 均需 convex，才有唯一 collision point。
局部 MLE / EIG：错误 mode 上的高置信 Hessian 会误导下一动作。
多初始化成本：数据随时间增长，多轨迹初始化使在线优化越来越慢；论文未给完整 wall-clock 曲线。
轻触不敏感：DenseTact 难检测 light touch，实验限制在中等重量对象。
identity Jacobian：历史到当前状态敏感性的近似只在温和滑动中验证。
ground plane 先验：物体必须落在已知平面；悬空、在手、桌面未知均需改模。
动作空间依赖当前 centroid：pose 错太多时，规划的直线可能完全 miss object。
评测样本较小：仿真 N=10、真实 N=6，且真实仅一个 cuboid。
视觉真值误差：FoundationPose 不是 motion-capture ground truth，评测噪声应单独量化。

12. 代码与复现

作者公开的是 DAIR physics-based learning library 的 egordon/exploration 分支，并说明 cleaner JAX version 正在迁移。复现时需要版本锁定：

Drake / contact geometry；
CVXPYLayers 的 QP 与 friction-cone 参数；
JAXopt collision normal / distance derivatives；
tactile normal extraction；
CEM sample / elite 数；
violation penalty 权重与多初始化策略。

最关键消融应包括：随机 vs EIG、去掉 violation terms、不同 MLE initializations、identity Jacobian vs 可微 forward sensitivity，以及真实 proprioceptive perturbation。

13. 方法启发

这篇论文给 6D pose 研究两个重要提醒：

未知对象的 pose 与 shape 不一定要先后估计；接触物理可让它们在一条 trajectory 上共同辨识。
主动感知不必维护完整高维 belief，局部 information matrix 可以成为工程折中，但必须显式承认 mode failure。

若将其与视觉初始模型、非凸 neural implicit shape、全局粒子 belief 和闭环安全控制结合，会更接近“遇到未知对象后主动摸几下，建立可操作模型”的长期目标。