物体位姿估计 · 2025 · IROS · CCF C

OmniPose6D: Towards Short-Term Object Pose Tracking in Dynamic Scenes from Monocular RGB

OmniPose6D 用 4,000+ OmniObject3D 网格生成 4 万条、每条 100 帧的动态合成序列；其 baseline 在首帧 mask 上采 CoTracker 点轨迹，以五档像素误差训练 uncertainty-aware refinement，筛选共视点后由 COLMAP 在 8 帧短窗中恢复相对首帧、up-to-scale 的对象运动。评测需 7-DoF 真值对齐，RTX 3090 上每窗口约 10 秒。

Paper

研究方向

物体位姿估计

任务层级

Instance-level

物体设定

Unseen objects

输入模态

8-frame monocular RGB windowinitial object segmentation mask

关键依赖

rigid objectinitial mask and video mask propagationsufficient object texture and parallaxCoTracker-style point trackingCOLMAP bundle adjustment7-DoF ground-truth alignment for metric evaluation

完整论文元数据作者、单位、研究方向、数据集、指标、方法标签和阅读状态展开

作者: Yunzhi Lin, Yipu Zhao, Fu-Jen Chu, Xingyu Chen, Weiyao Wang, Hao Tang, Patricio A. Vela, Matt Feiszli, Kevin Liang
作者单位: Meta / Georgia Institute of Technology
会议 / 期刊: 会议 · IROS · CCF C
研究方向: 物体位姿估计
开源状态: 未开源 / 未整理
阅读状态: 粗读：已生成精读：已生成
任务设定: Instance-level · Unseen objects
数据集: OmniPose6D HO3D v3 YCBInEOAT DexYCB
评估指标: Translation Error Rotation Error
方法标签: 相对位姿估计未知物体级位姿估计 tracking rgb-only model-free synthetic-data keypoint-tracking uncertainty structure-from-motion bundle-adjustment
关键依赖: rigid objectinitial mask and video mask propagationsufficient object texture and parallaxCoTracker-style point trackingCOLMAP bundle adjustment7-DoF ground-truth alignment for metric evaluation

Reading Notes

粗读 / 精读

已生成 src/paper-notes/omnipose6d-iros2025/coarse.md

论文粗读笔记

用于快速判断论文定位、问题设定、核心方法、实验结论和是否值得精读。

论文粗读笔记：OmniPose6D

1. 基本信息

标题：OmniPose6D: Towards Short-Term Object Pose Tracking in Dynamic Scenes from Monocular RGB
作者：Yunzhi Lin, Yipu Zhao, Fu-Jen Chu, Xingyu Chen, Weiyao Wang, Hao Tang, Patricio A. Vela, Matt Feiszli, Kevin J. Liang
机构：Meta；Georgia Institute of Technology
年份 / 会议：2025 / IROS
论文：arXiv · IEEE DOI
阅读模式：粗读

2. 一句话定位

OmniPose6D 一方面用 OmniObject3D 网格和 BlenderProc 生成 4 万条、每条 100 帧的动态对象序列；另一方面把首帧 mask 上的 CoTracker 点轨迹送入 uncertainty-aware transformer，保留较可靠的共视点，再通过 COLMAP bundle adjustment 从 8 帧单目 RGB 恢复相对首帧、仅确定到尺度的对象姿态变化。

3. 图表导读

OmniPose6D 的四种运动轨迹与 BlenderProc 数据生成流程 — 原论文 Figure 2–3：随机游走、环绕相机、噪声轨迹、真实数据轨迹四种模式；OmniObject3D 扫描网格经 BlenderProc 输出 RGB、depth、mask、normal 与 pose。来源：作者公开稿；图片版权归论文作者及 IEEE 所有，本站仅作论文解读展示。

OmniPose6D 在合成测试集和 HO3D 上的短时相对位姿结果 — 原论文 Table I：方法在 OmniPose6D 与 HO3D 的各组 KITTI odometry threshold AP 上总体领先 LoFTR、DROID-SLAM、TAPIR 和 CoTracker；所有单目预测先用真值轨迹做 7-DoF 对齐。来源：作者公开稿；表格版权归论文作者及 IEEE 所有，本站仅作论文解读展示。

4. 问题设定

任务：8 帧短窗口内的 rigid-object relative pose tracking。
输入：单目 RGB 视频和首帧对象 mask；Track Anything 把 mask 传播到后续帧。
输出：每帧相对首帧的 6-DoF 变化，但 translation 只确定到全局尺度。
不需要：对象 CAD、类别先验、测试时扫描或 depth。
评测前处理：预测轨迹与真值做 7-DoF Umeyama 对齐，消除坐标与尺度差异。
不是：具有真实尺度的绝对相机系 object pose，也不是在线长时跟踪。

5. 数据集

规模：40,000 sequences × 100 frames，共约 400 万帧。
物体：OmniObject3D 中清理后的 4,000+ meshes，203 categories；21 类留作 validation。
四种轨迹各 10,000 条：random walk、circling camera、noisy trajectory、HO3D real trajectories。
每条序列只有一个前景对象，背景为空白。
原始标签包含 RGB、depth、pose、normal、segmentation；训练再加入边界遮挡、color jitter、Gaussian / motion blur、shade、flip 与 crop jitter。

6. 方法概览

Track Anything 根据首帧 mask 传播视频对象区域并 crop。
在首帧 mask 以 grid size 3 密集采样；内存限制下随机保留 1,500 条 track。
CoTracker 特征与时空 transformer 在 8 帧上迭代细化点轨迹，同时预测 visibility。
把每个点的二维误差离散为 $[1,3,5,10,\infty]$ 像素五档，训练 uncertainty classification。
推理按不确定性排序，保留最低不确定性的前 95%，并丢弃不可见 / 非共视点。
形成所有 view pairs，交给 COLMAP mapper 与 bundle adjustment，输出 up-to-scale poses。

7. 实验速览

主测试：OmniPose6D 21 类各随机 5 条序列；HO3D v3 的 4 个对象、13 段长视频。
追加测试：YCBInEOAT 5 个对象 / 9 段视频；DexYCB S3 中 subject 0 的 120 段视频。
Baselines：LoFTR、RGB-only DROID-SLAM、TAPIR、CoTracker，尽量统一接入 SfM。
HO3D RPE 旋转 AP@2°：Ours 0.61，CoTracker 0.51，LoFTR 0.43。
HO3D RPE 平移 AP@0.015 m：Ours 0.62，CoTracker 0.52，LoFTR / TAPIR 0.47。
OmniPose6D RPE 旋转 AP@2°：Ours 0.71，LoFTR / CoTracker 0.52。
速度：RTX 3090 上处理 8 帧约 10 秒，属于 offline pipeline。

8. 快速判断

亮点：把 model-free、RGB-only、动态对象 pose 追踪明确成短窗 benchmark；数据、点轨迹、uncertainty selection 与 SfM 的关系清楚。
最强证据：OmniPose6D fine-tuning 对 HO3D 多数指标有稳定提升；合成与 HO3D 上均超过直接 CoTracker + SfM。
不要误读：表中米制 ATE / RPE 是 7-DoF 真值对齐后的条件 AP；方法本身没有恢复真实 translation scale。
主要限制：每 8 帧约 10 秒、离线；SfM 依赖视差，纹理少、点共面、out-of-plane rotation 或平移太小时会失败。
开放性：截至本站核对时，论文与作者页面未提供可验证的官方代码或数据下载入口，因此不标记为开源。

已生成 src/paper-notes/omnipose6d-iros2025/deep.md

论文精读笔记

用于复现、对比、写 related work 和挖掘后续研究切入点。

论文精读笔记：OmniPose6D

1. 核心判断

OmniPose6D 实际包含两项紧密相关但应分开评价的贡献：

数据 / 任务贡献：定义 model-free、monocular RGB、dynamic-scene 中的短期对象相对 pose tracking，生成 4 万条合成序列；
方法贡献：在 CoTracker 上增加针对对象运动的 synthetic fine-tuning、uncertainty classification 与 track selection，再用标准 SfM / COLMAP 求 pose。

方法的价值是把“track any point”转为“选足够稳定且有几何信息的对象点，再做多视几何”。但输出是相对首帧、up to a scale 的 pose；评测还使用真值进行 7-DoF 对齐。它与输入 CAD、输出 metric translation 的 6D pose tracker 不处在完全相同的问题设定中。

2. 任务边界：这里的 6D pose 是什么

给定单目 RGB 窗口 $\{I_t\}_{t=1}^{8}$ 与首帧目标 mask，方法估计每帧相对首帧的刚体运动。核心假设只有对象在窗口内刚性，但还隐含：

mask propagation 大体能持续覆盖同一对象；
对象表面有可追踪纹理；
窗口内有足够视差 / 旋转，能让 SfM 初始化；
对象相对相机运动可被看作“固定对象上的虚拟相机运动”。

SfM 无法从单目观测恢复绝对尺度，所以 translation 只确定到一个全局 scale。对象动、相机动或两者同时动在观测上都表现为相对运动；论文并不分解 object motion 与 camera ego-motion。

3. OmniPose6D 数据集

OmniPose6D 动态轨迹模式和多模态标注生成 — 原论文 Figure 2–3。左侧展示四类轨迹，右侧展示扫描 mesh、灯光、空白背景与 BlenderProc 生成的 RGB / depth / mask / normal。来源：作者公开稿；图片版权归论文作者及 IEEE 所有，本站仅作论文解读展示。

3.1 规模与对象

40,000 sequences；
每条 100 frames，合计约 4,000,000 frames；
OmniObject3D 扫描网格经 Blender 清理和降面后保留 4,000+ meshes；
覆盖 203 categories，其中 21 类留作 validation；
每条序列只含一个前景对象。

与 ShapeNet 的人工 CAD 相比，OmniObject3D 扫描物体有更真实的几何和纹理；但训练渲染使用 blank background，场景层面的真实性主要靠 crop / mask 设定绕开，而不是完整室内合成。

3.2 四类运动

每类 10,000 sequences：

Random Walk：固定相机，对象在三维空间随机运动；
Circling Camera：相机以不同高度和视角绕对象；
Noisy Trajectory：在环绕轨迹上加入扰动；
Real Dataset Trajectories：从 HO3D training split 提取手—物交互轨迹，切成短段后迁移到不同 mesh。

第四类轨迹让合成运动分布接近真实交互，但也意味着 HO3D 训练轨迹被用于数据生成。论文在 HO3D official evaluation set 测试，split 层面没有直接使用测试 pose；仍应将结果理解为 domain-targeted synthetic pretraining，而非完全无关域泛化。

3.3 标签与增强

BlenderProc 输出 RGB、depth、pose、normal、instance segmentation。训练 point tracks 由首帧 mask 的 grid point 通过真值 depth / pose 投到其他视图；depth consistency 与 cycle projection error 决定 visibility。

为模拟手或其他物体遮挡，作者在 mask 边界画随机扰动黑圆，半径为 mask 尺寸的 0.1–0.5；还使用 color jitter、Gaussian blur、motion blur、shade、flip、随机 crop shift / scale。它们增强了观测噪声，但遮挡形态仍比真实手部连续遮挡简单。

4. 从 mask 到点轨迹

OmniPose6D 从视频分割、关键点轨迹到 bundle adjustment 的流程 — 原论文 Figure 4。Track Anything 传播对象区域；首帧 mask 的 grid points 经 CoTracker-style transformer 细化并按 uncertainty 选择，最后送入 COLMAP bundle adjustment。来源：作者公开稿；图片版权归论文作者及 IEEE 所有，本站仅作论文解读展示。

Track Anything 从首帧人工 / 给定 mask 传播后续 mask，并将对象区域 crop 到 512×512。方法并不要求像素级完美分割，因为点轨迹和 uncertainty 会过滤一部分边界错误；但若 mask 长期跟错对象，后面的几何没有全局纠错机制。

训练：

每个 sample 取 $N=8$ 帧；
相邻采样间隔最多 $K=4$ 个原始帧；
初始 mask grid size = 3；
随机选 500 条 tracks 以控制显存；
输入网络分辨率 384×512；
CoTracker CNN 将图像下采样 8 倍，输出 128D feature；
transformer 交替做 temporal 与 group attention，迭代更新 4 次。

推理：

8 帧 sliding window；
grid size = 3，最多随机保留 1,500 tracks；
先由简单 optical-motion threshold 选择有足够运动的 keyframes；
距离变化阈值 $t_{\mathrm{dis}}=2.0$ ，尺度变化阈值 $t_{\mathrm{scale}}=1.3$ 。

过于静止的帧会违反 SfM 的几何条件，因此被过滤。这意味着该 benchmark 偏向“窗口里确实发生了可观测运动”的片段。

网络同时输出：

每点每帧二维位置 $\hat P$ ；
visibility $v$ ；
uncertainty level。

点误差 $e_i$ 是预测位置到真值位置的像素 $L_2$ 距离，被离散成五档：

[1,3,5,10,\infty]\ \text{pixels}.

uncertainty head 对五档做 softmax，并用 balanced cross entropy 训练。总损失：

\mathcal L = \mathcal L_{\text{keypoint}} +5\mathcal L_{\text{visibility}} +5\mathcal L_{\text{uncertainty}}.

keypoint loss 沿四次 iterative updates 加权，折扣 $\gamma=0.8$ 。训练采用 AdamW、learning rate $5\times10^{-4}$ 、1-cycle、100 epochs、每 epoch 5,000 samples、batch 32 与 16 张 V100。

推理时先丢不可见点，再按最可能 uncertainty class 排序，保留最可靠的前 $R=0.95$ 。这个比例相当宽松：它主要去掉最差的 5%，避免严格筛选导致 SfM correspondence 不足。附录 Figure 7 也显示 ratio >0.8 更稳。

6. 由点轨迹到 pose

选中的 keypoints 被恢复到原图坐标，按所有 view pairs 组织；只保留一对视图中都有效的共视点。随后调用 COLMAP mapper 默认参数做：

pairwise geometric estimation；
camera / object-relative pose initialization；
multi-view bundle adjustment。

由于把刚体对象当作局部静态世界，求出的“相机运动”取逆即可对应对象相对相机的运动。首帧是 reference；所有 pose 仍只确定到相似变换。

论文把 learned tracker 与 classical SfM 清晰解耦，优点是几何可解释；缺点是初始化、共面退化、低视差、outlier 和窗口连接都受传统 SfM 约束。

7. 评测协议：最容易误读的部分

论文采用 KITTI odometry 风格指标：

translation error $t_{\mathrm{err}}$ （%）；
rotation error $r_{\mathrm{err}}$ （deg/m）；
Absolute Trajectory Error（ATE）；
Relative Pose Error（RPE translation / rotation）。

表中每个数不是平均误差，而是误差小于指定阈值时的 average precision，越高越好。更重要的是，单目预测先以 Umeyama 做 7-DoF similarity alignment：

3D rotation；
3D translation；
1D global scale。

因此 ATE@0.03 m、RPE@0.015 m 等“米制阈值”是在真值辅助的尺度 / 坐标对齐之后计算。它们衡量轨迹形状和相对运动一致性，不证明系统独立恢复了真实世界 translation scale。

表中的 GT 也不是恒为 1，因为作者将真值可见 correspondence 送入同一 SfM，仍受遮挡、共面点和几何求解影响。它更像该 pipeline 在当前数据和取点策略下的上界。

8. 主结果

OmniPose6D 与四类基线在合成和 HO3D 上的阈值 AP 主表 — 原论文 Table I。上半是 21 个未见类别的合成测试，下半是 HO3D v3；粗体为最佳预测方法，GT correspondence 行是同一 SfM 的参考上界。来源：作者公开稿；表格版权归论文作者及 IEEE 所有，本站仅作论文解读展示。

8.1 OmniPose6D validation

21 类各随机 5 sequences，共 105 条原始测试序列，再分成 8-frame windows。

方法	ATE AP@0.03m	RPE trans AP@0.015m	RPE rot AP@2°
LoFTR	0.63	0.63	0.52
DROID-SLAM	0.50	0.57	0.36
TAPIR	0.62	0.64	0.32
CoTracker	0.64	0.69	0.52
Ours	0.74	0.76	0.71

相对直接 CoTracker + SfM，三项分别 +0.10、+0.07、+0.19；rotation gain 最大，符合数据集强调 out-of-plane rotation 的动机。

8.2 HO3D v3

使用 4 个对象、13 段超过 1,000 帧的视频；只输入 RGB，原视频先 3× downsample，再用首帧标注驱动 Track Anything。

方法	ATE AP@0.03m	RPE trans AP@0.015m	RPE rot AP@2°
LoFTR	0.46	0.47	0.43
DROID-SLAM	0.26	0.28	0.26
TAPIR	0.47	0.47	0.39
CoTracker	0.51	0.52	0.51
Ours	0.64	0.62	0.61

相对 CoTracker 分别 +0.13、+0.10、+0.10。合成训练确实转移到真实手—物交互，但仍有明显 sim-to-real gap：例如 RPE rot@2° 从 0.71 降到 0.61。

9. 消融：数据贡献大于单一 uncertainty head

HO3D 上，CoTracker weights：

训练来源	ATE@0.03	RPE trans@0.015	RPE rot@2°
原始预训练	0.52	0.54	0.50
OmniPose6D scratch	0.60	0.54	0.53
预训练后 OmniPose6D fine-tune	0.65	0.60	0.60

这说明 synthetic dynamic pose data 是主要增益来源之一，且与 TAP-Vid-Kubric 原始预训练互补。

uncertainty strategy：

策略	ATE@0.03	RPE trans@0.015	RPE rot@2°
无 uncertainty	0.65	0.60	0.60
按 level 删除	0.62	0.62	0.59
按 ranking 保留 95%	0.64	0.62	0.61

ranking 在部分 RPE / rotation 指标上略优，但 ATE@0.03 反而比无 uncertainty 低 0.01。不能把全部主结果提升都归因于 uncertainty；fine-tuning、crop、track refinement 和 selection 共同作用。

10. 追加真实数据

附录还评估：

YCBInEOAT：5 个 YCB 对象、9 段约 1,000 帧双臂机器人视频；
DexYCB S3：20 个 YCB 对象、subject 0 的 120 段 × 72 帧视频。

YCBInEOAT 里对象常被机械臂近直线移动、旋转很小，不利于 SfM；Ours 并非每个指标都第一，例如 RPE rot@2° 为 0.24，低于 DROID-SLAM 0.34。DexYCB 中 Ours 在表列预测方法的各阈值上总体最好，例如 RPE rot@2° 0.34，CoTracker 0.21。

这些结果说明 model-free pipeline 能跨多个真实数据集工作，也暴露出“动态”不等于“几何可观测”：平移过小或近直线运动反而会让单目 SfM 更难。

11. 失败案例

OmniPose6D 在四个数据集上的八类代表性失败序列 — 原论文 Figure 9：a–b 来自 OmniPose6D，c–d 来自 HO3D，e–f 来自 YCBInEOAT，g–h 来自 DexYCB。本站核对说明：上述分组沿用作者图注；图中 a–b 为手物交互、c–d 为无背景渲染，与数据集标签疑似不一致，归属暂待澄清，不据此自行重分组。失败由少纹理、初始点共面、大 out-of-plane rotation、小平移及遮挡组合触发。来源：作者公开稿；图片版权归论文作者及 IEEE 所有，本站仅作论文解读展示。

作者明确总结：

textureless region 无法形成稳定 track；
初始点集中在单一平面时，SfM 几何约束退化；
少纹理与大 out-of-plane rotation 同时发生；
对象平移太小，视差不足，relative pose 难初始化。

DexYCB 还包含强手部遮挡和远距离小目标。当前 pipeline 离线运行，keypoint selection 仍是经验策略。

12. 速度与部署

RTX 3090 上，一个 8-frame、512×512 crop 的窗口约需 10 秒。耗时包含 track refinement 和 COLMAP mapping / BA，约 1.25 s/frame 的摊销速度，无法直接服务实时机器人控制。

滑窗之间如何保持全局一致、跨窗口累计 drift、跟丢后重新初始化、长视频内存与 latency 均未被解决。论文明确把 short-term 视为未来 long-term method 的基础，而不是已完成的长时 tracker。

13. 开源与可复现性

截至本站核对时间：

arXiv 与作者 publication page 可访问；
未找到论文作者提供的可验证 official code repository；
未找到 OmniPose6D 数据下载 / license 页面；
Papers with Code 也未列出 implementation。

因此元数据标记为未开源。即便未来公开，复现还需核对：

4,000+ OmniObject3D mesh 的授权与清理列表；
四类轨迹的采样范围和 HO3D trajectory extraction；
遮挡圆生成、crop jitter 与 visibility threshold；
Track Anything 版本和传播参数；
CoTracker initialization、500 / 1,500 track sampling；
COLMAP mapper 参数、失败窗口处理；
7-DoF alignment 与 conditional AP 的精确实现。

14. 最终评价

OmniPose6D 最值得保留的是“短窗、无 CAD、RGB-only 的对象相对运动”这一清晰设定，以及围绕它建立的合成数据与统一 baseline。它证明：直接把通用 point tracker 接到 SfM 还不够，面向对象旋转的数据和 track reliability selection 能在合成与真实 HO3D 上稳定提升。

但该工作距离可部署的 metric 6D pose tracker仍有明显距离：输出无尺度、评测借助真值 similarity alignment、8 帧约 10 秒、SfM 对纹理 / 视差敏感，且数据与代码尚无公开入口。把它归为“数据与短时相对 pose benchmark 代表”比归为“实时绝对位姿方法”更准确。