物体位姿估计 · 2026 · ICRA / IEEE RA-L · CCF B

Aleatoric Uncertainty from AI-based 6D Object Pose Predictors for Object-relative State Estimation

论文在 PoET 的平移与旋转分支旁增加可独立校准的异方差 MLP，用 Gaussian NLL 预测 6 个分量的对数方差，并将其作为 MaRS EKF 的动态测量协方差。单独使用动态协方差与固定噪声相近，真正稳定的收益来自按不确定性切换锚点和拒绝离群值：真实 7 次飞行的位置 RMSE 均值由 0.172 m 降至 0.146 m；但对称物体旋转 coverage 明显失配，且模型忽略平移—旋转相关与多峰分布。

Paper

研究方向

物体位姿估计

任务层级

Instance-level

物体设定

Seen objects

输入模态

single RGB imageIMU for downstream state estimationoptional multiple object observations

关键依赖

pre-trained class-specific pose predictorpose-labelled calibration or training dataknown object classescamera and IMU calibration for state estimationGaussian diagonal covariance approximation

完整论文元数据作者、单位、研究方向、数据集、指标、方法标签和阅读状态展开

作者: Thomas Jantos, Stephan Weiss, Jan Steinbrener
作者单位: University of Klagenfurt, Control of Networked Systems Group
会议 / 期刊: 期刊 · ICRA / IEEE RA-L · CCF B
研究方向: 物体位姿估计
开源状态: 未开源 / 未整理
阅读状态: 粗读：已生成精读：已生成
任务设定: Instance-level · Seen objects
数据集: synthetic power-pole inspection dataset synthetic YCB-Video subset AIVIO real UAV inspection dataset
评估指标: ADD-S Rotation Error Translation Error
方法标签: aleatoric-uncertainty heteroscedastic-regression gaussian-nll poet rgb se3-covariance ekf visual-inertial-odometry dynamic-anchor-switching outlier-rejection 实例级位姿估计绝对位姿估计
关键依赖: pre-trained class-specific pose predictorpose-labelled calibration or training dataknown object classescamera and IMU calibration for state estimationGaussian diagonal covariance approximation

Reading Notes

粗读 / 精读

已生成 src/paper-notes/aleatoric-pose-uncertainty-icra2026/coarse.md

论文粗读笔记

用于快速判断论文定位、问题设定、核心方法、实验结论和是否值得精读。

论文粗读：Aleatoric Uncertainty from AI-based 6D Object Pose Predictors

一句话概括

这篇工作给现有 6D pose 网络外挂两个可独立训练的不确定性头，把每次位姿预测的平移、旋转方差送进视觉惯性 EKF；实验表明，动态协方差本身不一定优于固定噪声，真正明显的收益来自用不确定性切换锚点对象或拒绝离群观测。

方法主线

作者以 RGB-only 的 PoET 为实例：检测器与 deformable transformer 产生 object query，原有 head 输出三维平移和 6D rotation representation；新增的两个 class-specific MLP 分别输出平移与旋转三个分量的对数方差。旋转先经 Gram–Schmidt 得到 $R\in SO(3)$ ，再用矩阵对数映射到轴角形式，使旋转误差可在李代数 $\mathfrak{so}(3)$ 的三维切空间内建模。

PoET 平移旋转头旁增加 aleatoric uncertainty heads — 原论文 Figure 2：红框为新增的不确定性分支；它读取 object query，但与位姿 head 分开，因而可以冻结原网络后单独校准。来源：原论文。图片版权归论文作者所有，本站仅作学术解读展示。

对每个误差分量 $e_i$ ，网络预测 $s_i=\log \sigma_i^2$ ，损失是异方差 Gaussian NLL：

\mathcal L=\frac12\sum_i\left[\exp(-s_i)e_i^2+s_i\right].

作者只预测对角协方差，平移和旋转也彼此独立。该 6×6 block-diagonal covariance 经坐标变换后成为 MaRS EKF 的逐帧测量噪声；系统还可以选择总不确定性最低的对象作为导航锚点，或按阈值执行 uncertainty-based outlier rejection。

关键结果

95% PICP 在电力杆绝缘子数据上多数分量达到 0.9 以上，整体偏保守；YCB-V 的平移 coverage 大多较高，但 mug 的两个旋转分量只有 0.703 / 0.228，scissors 的一个旋转分量为 0.313，揭示对称性失配。
TensorRT FP 部署在 Jetson Orin AGX：PoET 从 106.73 ms 增至 107.43 ms，额外开销约 0.6%。
5 条仿真轨迹中，固定噪声 / 动态不确定性 / 动态不确定性加锚点切换的位置 RMSE 均值为 0.140 / 0.141 / 0.126 m。
7 次真实飞行中三者为 0.172 / 0.179 / 0.146 m；仅替换协方差甚至略差，而锚点切换才带来稳定改善。
YCB-V 五条仿真轨迹中，固定噪声的位置 / 旋转 RMSE 为 0.425 m / 25.50°；不确定性加离群拒绝降至 0.311 m / 11.73°。

固定噪声动态不确定性锚点切换和离群拒绝的状态估计结果 — 原论文 Tables IV–VI：AU 单独使用与 Fixed 接近，AU + Dynamic Anchor Switching 或 AU + AOR 才获得主要收益。来源：原论文。图片版权归论文作者所有，本站仅作学术解读展示。

重要边界

这里预测的是数据噪声造成的 aleatoric uncertainty，不是模型在分布外输入上的 epistemic uncertainty。对角 Gaussian 无法表达平移—旋转相关、多峰旋转或对称等价解；PICP 也已显示 mug、scissors 的旋转区间严重漏覆盖。因此它更适合作为“观测可靠性提示”，不能被直接解释为完整的 $SE(3)$ 后验。

阅读判断

论文最值得借鉴的不是给网络多加一个 variance head，而是把不确定性放到决策链中检验。结果清楚说明：若下游只把固定 $R$ 换成逐帧 $R_t$ ，收益很有限；当系统据此换锚点、拒绝离群观测时，才把校准信息变成实际轨迹精度。

已生成 src/paper-notes/aleatoric-pose-uncertainty-icra2026/deep.md

论文精读笔记

用于复现、对比、写 related work 和挖掘后续研究切入点。

论文精读：Aleatoric Uncertainty from AI-based 6D Object Pose Predictors for Object-relative State Estimation

1. 论文要解决什么问题

典型 6D pose 网络给出单个 $\hat T_{CO}\in SE(3)$ ，机器人状态估计器却还需要一个测量协方差 $R$ 。工程上常见做法是从验证集计算一个全局常量，或由专家手工调参。问题在于，同一个模型对“近距离、无遮挡、纹理充分”和“远距离、遮挡、对称视角”的可信度显然不同：固定 $R$ 会把所有观测等价对待。

论文的目标分成两层：

在一次前向传播中，为每个对象、每个 6D pose 分量预测 data-dependent aleatoric variance；
证明这些 variance 不只是可画曲线，还能成为 object-relative visual-inertial state estimation 的动态测量噪声，并驱动锚点选择和离群值拒绝。

这个问题设置很实用。它不要求把原 pose predictor 改造成大规模采样模型，也不需要 MC dropout 的多次前向传播，适合 Jetson 一类边缘设备。

2. 网络扩展与旋转参数化

作者使用 PoET 作为载体。PoET 先通过 Scaled-YOLOv4 和多尺度 backbone 形成特征，再由 deformable transformer 产生包含类别与上下文的 object query；原模型有 translation head 和 rotation head。论文新增两个与原 pose head 分离的 MLP：

translation uncertainty head：输出 $\hat\Sigma_t\in\mathbb R^{3\times3}$ ；
rotation uncertainty head：输出 $\hat\Sigma_\vartheta\in\mathbb R^{3\times3}$ 。

PoET 网络与外挂不确定性预测头 — 原论文 Figure 2：不确定性头与位姿输出头并列，既可端到端训练，也可冻结 pose predictor 后单独校准。来源：原论文。图片版权归论文作者所有，本站仅作学术解读展示。

平移直接在 $\mathbb R^3$ 中处理。旋转则不能对 rotation matrix 元素直接做独立 Gaussian：作者先将网络的 6D continuous rotation representation 经 Gram–Schmidt 正交化为 $R\in SO(3)$ ，再取矩阵对数：

\log(R)=\theta[v]_\times\in\mathfrak{so}(3),\qquad \vartheta=\theta v\in\mathbb R^3.

于是 ground truth 与预测旋转的误差可写成局部轴角向量。这样做的优点是三维、连续且局部欧氏化；缺点是它仍是局部表示，在接近 $\pi$ 的旋转、对称物体和多峰后验下不能由一个 Gaussian 完整覆盖。

3. 异方差损失到底在学什么

令 $y$ 表示三维平移或三维旋转向量，网络的 pose head 给均值 $\hat y$ ，uncertainty head 给对角 covariance：

\hat\Sigma_y=\operatorname{diag}(\hat\sigma_{y,1}^2,\hat\sigma_{y,2}^2,\hat\sigma_{y,3}^2).

以 Gaussian likelihood 建模并取负对数似然，单个对象的损失为

\mathcal L_y =\frac12\sum_{i=1}^{3} \left( \frac{e_i^2}{\hat\sigma_i^2} +\log\hat\sigma_i^2 \right), \quad e_i=y_i-\hat y_i.

实际预测 $s_i=\log\hat\sigma_i^2$ ，得到数值更稳定的形式：

\mathcal L_y =\frac12\sum_i\left[\exp(-s_i)e_i^2+s_i\right].

第一项要求误差大时方差不能太小，第二项防止网络把所有方差无限放大。这里的“aleatoric”可理解为：给定当前图像，模型尝试学习训练数据中相似观测通常会产生多大的 residual。

论文给出两种训练方式：

Calib：冻结原 pose predictor，只训练 uncertainty heads，约 10 epochs；
E2E：均值与方差一起训练，约 50 epochs。

两者 coverage 表现相近，因此“给已有 pose 系统补一个置信度层”是可行路线。需要注意，NLL 在 $e\to0$ 时会推动 $\sigma\to0$ ，作者也观察到 near-zero error 附近梯度较陡、误差分布并不严格零均值。换句话说，这不是一个自动保证校准的损失，仍需独立 reliability / coverage 验证。

4. 从网络坐标系到状态估计协方差

网络分别预测 camera frame 中的 translation covariance 与 rotation tangent covariance。作者将它们组成

\Sigma_{\text{pose}}= \begin{bmatrix} \Sigma_t&0\\ 0&\Sigma_\vartheta \end{bmatrix},

再根据测量方向和 object–camera 坐标关系旋转 / 变换到 MaRS EKF 使用的 object-relative frame。系统状态由 IMU 以 200 Hz 传播，RGB pose 以 15 Hz 更新。

论文比较三种策略：

Fixed：在验证集上用平均误差设定固定协方差；
AU：每帧直接使用预测的 aleatoric covariance；
AU + Dynamic Anchor Switching：除动态 covariance 外，选择总预测不确定性最低的可见对象作为当前导航锚点。

YCB-V 实验还使用 AU + AOR：若预测不确定性或与估计状态的创新不一致，则拒绝观测。

这里有一个关键工程洞见：variance 不只是滤波器中的连续权重，也能进入离散决策——“现在信哪个对象”“这一帧要不要用”。后者对错误观测更有抑制力。

5. 校准结果：总体可用，但对称旋转暴露边界

论文以 95% prediction interval coverage probability（PICP）检查每个分量。理想值为 0.95；高很多说明区间过宽，低很多说明过度自信。

电力绝缘子和 YCB 对象的 PICP 与 PoET pose 精度 — 原论文 Tables I–III：电力杆对象多数分量接近或超过 0.95；YCB-V 中 mug 与 scissors 的旋转 coverage 明显偏低。来源：原论文。图片版权归论文作者所有，本站仅作学术解读展示。

在电力杆绝缘子上，多数分量 PICP 为 0.93–1.00，说明区间能覆盖误差，但有过于保守的倾向。合成 YCB-V 上，cracker box、mustard bottle、power drill 等平移或旋转分量大多良好；异常集中在：

mug： $\vartheta_1=0.703,\ \vartheta_3=0.228$ ；
scissors： $\vartheta_3=0.313$ ；
若干对象的深度 $z$ coverage 约 0.84–0.90。

论文把 mug / scissors 的问题归因于近似对称与可见性：杯把不可见时，多个 yaw 是合理解释；剪刀的局部形状也会产生旋转歧义。一个对角单峰 Gaussian 会在这些等价模式之间折中，因而无法同时满足准确均值与正确 coverage。

PoET 在该 YCB-V 子集上的平均 AUC ADD-S 为 78.1，平均平移误差 0.040 m，平均旋转误差 36.06°。后两个数字提醒我们：coverage 高不等于 pose 本身精确。一个误差很大的 predictor 也可以通过预测很宽的区间获得高 coverage，必须同时报告 sharpness 与 task metric。

误差分布 Q-Q 图与逐时刻误差不确定性曲线 — 原论文 Figures 5–7：Q–Q 图检验 Gaussian 假设；绝缘子上 uncertainty 会随距离与误差变化，mug 的遮挡旋转则出现更强的非高斯行为。来源：原论文。图片版权归论文作者所有，本站仅作学术解读展示。

作者的时序曲线显示，平移 $z$ 方向 uncertainty 与相机—对象距离高度相关；旋转 uncertainty 在侧视和遮挡时增大。这符合“图像中有效像素越少，观测噪声越大”的直觉。但曲线也存在 error peak 未被同步放大的情况，说明 uncertainty 是统计关联，不是逐样本误差的上界。

6. 状态估计结果应怎样解读

动态不确定性在仿真真实和 YCB 状态估计中的结果 — 原论文 Tables IV–VI：三组下游实验将 fixed covariance、AU、anchor switching 或 AOR 分开比较。来源：原论文。图片版权归论文作者所有，本站仅作学术解读展示。

电力杆仿真（5 条轨迹）

策略	位置 RMSE	姿态 RMSE	最大位置误差
Fixed	0.140 m	2.41°	0.317 m
AU	0.141 m	2.44°	0.322 m
AU + 动态锚点	0.126 m	2.18°	0.280 m

真实 AIVIO 飞行（7 次）

策略	位置 RMSE	姿态 RMSE	最大位置误差
Fixed	0.172 m	2.21°	0.347 m
AU	0.179 m	2.21°	0.358 m
AU + 动态锚点	0.146 m	2.01°	0.303 m

YCB-V 合成轨迹（5 条）

Fixed 的位置 / 姿态 RMSE 均值为 0.425 m / 25.50°，AU + AOR 为 0.311 m / 11.73°。改善主要来自对失败 pose 的拒绝，而不是把每个失败观测“柔和地降权”。

这些结果不支持“学习到的 covariance 天然比固定 covariance 更好”这一强结论：AU 单独使用在两组电力杆实验中持平或略差。更准确的表述是，逐观测 uncertainty 提供了固定噪声无法提供的决策信号；只有当系统利用该信号切换锚点或拒绝异常，才稳定转化为轨迹收益。

7. 计算与部署

在 Jetson Orin AGX、TensorRT full precision 下：

原 PoET：106.73 ms；
加 uncertainty heads：107.43 ms。

约 0.70 ms / 0.6% 的额外开销很小，因为新增模块只是 object query 上的 MLP，不需要 ensemble 或多次采样。这是论文相较复杂 Bayesian pose estimator 的直接优势。

8. 局限与复现风险

单峰、对角假设过强。 六个分量独立，忽略 translation–rotation coupling；对称对象需要多峰或 symmetry-aware density。
只建模 aleatoric。 作者以可大量生成合成数据为由不考虑 epistemic uncertainty，但这不能证明真实域、未知光照或未知遮挡下没有模型不确定性。
coverage 不是充分评价。 高 PICP 可能由过宽区间得到；应同时报告 interval width、NLL、ECE 或 proper scoring rule。
状态估计收益存在策略混杂。 最好的行同时加入 anchor switching / AOR，因而不能把全部提升归因于 covariance 数值更准确。
类别特定 head。 当前实现面向已知类别；未知对象或开放词汇检测场景需要可泛化的 uncertainty representation。
旋转局部化。 李代数 Gaussian 对小误差自然，对大角度和 topology-induced multimodality 不充分。

9. 对 6D pose 研究的启发

这篇论文提供了一个很好的评测范式：不确定性方法不能只画分布，还应回答三个层级的问题：

统计层：coverage / calibration 是否正确；
估计层：动态 covariance 是否改善滤波；
决策层：是否能改变锚点选择、离群拒绝或动作规划。

论文最强的证据在第三层。未来若把单峰 variance 换成 symmetry-aware mixture、Bingham / matrix-Fisher 分布或 pose hypotheses，并继续保持一次前向的低开销，会比简单扩大网络更有价值。