机器人感知与操作 · 2025 · ICRA · CCF B

Semantic Cross-Pose Correspondence from a Single Example

Semantic Cross-Pose 自动定位示范中的 interaction regions，用 DINO-ViT 语义与局部几何学习对象间 soft correspondence，再通过 differentiable SVD 把瓶颈相对位姿迁移到未见对象对。

Paper Project

研究方向

机器人感知与操作

任务层级

Category-level

物体设定

Unseen objects

输入模态

single-view RGB-D demonstrationDINO-ViT dense features

关键依赖

object masks / point cloudsinteraction frame from pose trackingcamera intrinsicsone or few demonstrated object pairs

完整论文元数据作者、单位、研究方向、数据集、指标、方法标签和阅读状态展开

作者: Denis Hadjivelichkov, Sicelukwanda Zwane, Marc Peter Deisenroth, Lourdes Agapito, Dimitrios Kanoulas
作者单位: University College London / Archimedes / Athena Research Center
会议 / 期刊: 会议 · ICRA · CCF B
研究方向: 机器人感知与操作
开源状态: 未开源 / 未整理
阅读状态: 粗读：已生成精读：已生成
任务设定: Category-level · Unseen objects
数据集: GSOD / PyBullet interaction pairs Real RGB-D interaction demonstrations Human preference survey
评估指标: task success rate survey score cross-pose consistency
方法标签: 相对位姿估计 2D-3D 对应关系稠密对应与坐标场合成数据与基础模型
关键依赖: object masks / point cloudsinteraction frame from pose trackingcamera intrinsicsone or few demonstrated object pairs

Reading Notes

粗读 / 精读

已生成 src/paper-notes/semantic-cross-pose-icra2025/coarse.md

论文粗读笔记

用于快速判断论文定位、问题设定、核心方法、实验结论和是否值得精读。

论文粗读笔记：Semantic Cross-Pose Correspondence from a Single Example

1. 基本信息

作者：Denis Hadjivelichkov、Sicelukwanda Zwane、Marc Peter Deisenroth、Lourdes Agapito、Dimitrios Kanoulas
会议：ICRA 2025
论文：UCL Discovery
PDF：作者接受稿

2. 一句话定位

论文从一次双物体交互示范中自动找到接触相关区域，以 DINO-ViT 语义和局部几何学习两件新物体之间的 soft correspondence，再通过 differentiable SVD 迁移示范中的相对 pose。

2.1 论文图表导读

Semantic Cross-Pose Figure 1：单示例跨对象相对位姿迁移 — 原论文 Figure 1：倒液和电钻操作等单个或少量交互示例，迁移到外观和几何不同的新对象对。来源：作者接受稿。图片版权归论文作者及出版方所有，本站仅作论文解读展示。

3. 任务不是普通绝对位姿

输入：一组 manipulator A 与 manipulandum B 的交互示范，以及新的对象对。
输出：新对象之间满足相同语义交互的相对变换。
关注：哪里接触、两个对象应如何相对放置。
不负责：完整轨迹、碰撞规避、力控制和动态过程。

4. 方法流程

从示范 tracking 中寻找两对象点云距离最小的 interaction frame。
由近距离点自动裁出 interaction regions。
将 DINO-ViT dense features 投影到三维点。
以 TAX-Pose 风格双分支网络预测 soft correspondences 与 displacement residuals。
Differentiable SVD 求两对象相对刚体变换。
训练时随机施加 SE(3) 扰动，学习 cross-pose consistency。

5. 结果速览

任务	TAX-Pose	本文
Mug-Pour 1-shot	53%	66%
Mug-Pour 2-shot	55%	68%
Mug-Pour 5-shot	56%	78%
Mug-Rack arbitrary rotation	41%	78%

Mug-Rack upright setting 两者均为 100%，说明简单初始姿态下语义模块的优势不明显；任意旋转才真正检验 cross-pose 泛化。

6. 粗读结论

这篇工作把 pose 从“对象相对相机在哪里”提升为“两个对象怎样摆才具有相同交互语义”。DINO 提供跨实例语义，局部几何与 SVD 保证刚体一致性。它很适合 one-shot manipulation，但仍需规划器把目标相对 pose 转化为安全轨迹。

已生成 src/paper-notes/semantic-cross-pose-icra2025/deep.md

论文精读笔记

用于复现、对比、写 related work 和挖掘后续研究切入点。

论文精读笔记：Semantic Cross-Pose Correspondence from a Single Example

1. 问题定义

设操纵工具为 A，被作用对象为 B。示范给出交互时的相对变换 $T_{BA}^{*}$ 。面对新的 $A'$ 与 $B'$ ，目标不是复制相机绝对坐标，而是找到语义等价的：

\hat T_{B'A'}.

例如不同杯子仍应让杯口对准容器内部，不同杯架仍应让杯把套入挂钩。对象形状和 canonical frame 都可变化。

Semantic Cross-Pose Figure 2：交互区域、语义特征与双向对应网络 — 原论文 Figure 2：自动定位示范中的 interaction regions，投影 DINO-ViT 特征，并通过对称双流 pointer transformer 预测跨对象 soft correspondences。来源：作者接受稿。图片版权归论文作者及出版方所有，本站仅作论文解读展示。

2. 自动发现 interaction region

论文从示范 pose tracking 中找到两对象点云最小距离出现的 frame，再以距离阈值扩张邻域。这样可以：

去掉与任务无关的大面积表面；
把学习集中到杯口、杯把、挂钩等功能区域；
避免人工标注 keypoints 或 contact labels。

风险是：最小距离不一定代表语义关键区域，例如预接触动作、软接触和多点接触可能使该启发式偏离真正任务瓶颈。

3. 语义—几何点特征

DINO-ViT dense feature 从 RGB 提取，再借助深度和相机内参投影到点云。每个点同时携带：

3D coordinate / local geometry；
跨实例较稳定的视觉语义；
是否位于 interaction region。

纯几何 correspondence 会把形状相似但功能不同的区域混淆；纯语义又不足以达到精确几何放置。两者结合的目标是“先找到功能对应，再做厘米级 / 角度级对齐”。

4. 双向 soft correspondence 与 SVD

网络在 A→B 与 B→A 两个对称 stream 中，通过 pointer transformer 预测 soft correspondence。对应点不只由加权平均得到，还预测 displacement residual，以补偿稀疏点和类内形变。

给定预测对应 $(x_i,y_i)$ ，differentiable SVD 求：

\min_{R,t}\sum_i w_i\|Rx_i+t-y_i\|_2^2.

几何 solver 确保输出为合法 rigid transform，梯度则可以回到 correspondence network。训练时随机施加 $SE(3)$ 变换，迫使网络学习与初始 pose 无关的跨姿态对应。

5. 少样本训练成本

作者报告约 1000 steps、单张 RTX 3080 约 10 分钟即可适配任务。这说明它不是完全 training-free，而是从一到数个示例做轻量任务适配。所谓 “from a single example” 指数据需求小，不代表直接零参数推理。

6. 实验结果

Semantic Cross-Pose Figures 5–7：倒液成功率与接触阈值消融、跨对象示例和机器人执行 — 原论文 Figures 5–7：Figure 5 为 Mug-Pour 成功率与接触阈值 / 语义消融，Figure 6 为真实及模拟对象间迁移示例，Figure 7 为机器人倒液位姿执行；当前截图没有任意初始旋转表格或人工偏好评分。来源：作者接受稿。图片版权归论文作者及出版方所有，本站仅作论文解读展示。

设置	TAX-Pose	Semantic Cross-Pose
Mug-Pour 1 / 2 / 5-shot	53 / 55 / 56	66 / 68 / 78
Mug-Rack upright	100	100
Mug-Rack arbitrary rotation	41	78

人类评价为 4.17 ± 1.13，对照为 2.45 ± 1.07。用户研究支持生成 pose 更符合语义，但主观分数不能替代物理任务成功率。

7. 成功的真实含义

1-shot 到 5-shot 的提升说明多示例仍有价值；
upright 饱和、arbitrary rotation 拉开差距，证明 rotation augmentation 与 cross-pose consistency 是关键；
78% 并非完全可靠，错误 correspondence、对象碰撞和几何公差仍导致失败。

8. 局限

只输出目标相对 pose，不生成接近 / 离开轨迹。
不建模接触力、液体动力学、摩擦或可达性。
单视角 RGB-D 下遮挡会破坏 interaction region 和 DINO projection。
对高度对称或视觉相似功能区，soft correspondence 仍可能多峰。
每类交互仍需示范和短时训练。

9. 精读结论

论文最重要的贡献是把“语义功能对应”与“刚体几何求解”连接起来：DINO 找到跨实例同功能区域，differentiable SVD 把它变成可执行相对 pose。它不是通用 6D detector，而是 manipulation task 的 pose transfer 模块；与规划、碰撞检查和力控制结合后价值最大。