Object Pose 6D Estimation English
← 返回知识体系
13 Pose Errors BOP AR / AP Matching Statistical Diagnosis

Pose Evaluation & Error Analysis

一个分数之前，
其实有一整条协议

位姿评测不是把预测矩阵减去真值矩阵。你先选择误差空间和等价关系，再设阈值、匹配候选、处理漏检与重复，最后跨实例、对象、阈值和数据集聚合。任何一步不同，都可能让同一组预测得到另一套排名。

打开评测实验室 进入评测指标知识库

01 · Evaluation Contract

在跑 evaluator 前，先冻结十层评测契约

一个可比较数字至少要回答 claim、单位、equivalence、threshold、matching、aggregation 和独立采样单位。只写“使用 ADD-S / AR”还远远不够。

01

Claim

先写清要证明什么：已知实例 pose、端到端 6D detection、跟踪稳定性、抓取/装配成功，还是实时系统约束。

同一模型可以针对不同 claim 得到完全不同的“最好指标”。
02

Evaluation unit

frame、object instance、scene、sequence、physical instance、dataset 或 task episode。

统计独立性、bootstrap cluster 和平均权重都由该单位决定。
03

Error function

rotation / translation、surface、visible depth、image projection、box overlap 或 task cost。

误差空间决定它能看到什么、忽略什么。
04

Equivalence

object geometry / appearance symmetry、current-view ambiguity、visibility 与 task equivalence。

必须来自冻结 metadata / protocol，不能看到结果后再改。
05

Correctness

连续 error、单一阈值 success、阈值曲线、prediction set coverage 或 calibrated probability。

阈值、单位、直径归一化、strict < / ≤ 都是协议。
06

Matching

预测与 GT 的类别约束、one-to-one assignment、score order、top-N、ignore / visibility 规则。

漏检、重复和错误排序只在匹配后成为 TP / FP / FN。
07

Aggregation

instance micro、object macro、dataset macro、threshold average、AUC / AR / AP。

headline score 是多层 reduction，不是新的 pose distance。
08

Uncertainty

多 seed、paired difference、scene/sequence cluster bootstrap、effect size 与 interval。

CI 只覆盖指定抽样过程，不自动覆盖域偏移或标签系统误差。
09

Diagnostics

按对象、尺度、距离、可见率、对称、材质、sensor、场景和 failure stage 切片。

总分用于排序，切片用于定位修复。
10

Reproducibility

dataset split/hash、eval mesh、symmetry、targets、toolkit commit、renderer、thresholds 与 result CSV。

缺少任一项，论文数字可能无法复现。

Protocol ID · 建议让结果表可机器追踪

task: ModelBased-6DDet-Unseen
dataset: ycbv/test + targets_bop24@sha256:...
prediction: class + ᶜTₒ(mm) + confidence + runtime
assets: models_eval@sha256:... + models_info@sha256:...
errors: [MSSD, MSPD] @ bop_toolkit:<commit>
thresholds: <named config>          # never inferred from test
matching: score_ordered_one_to_one
aggregation: threshold → object → metric → dataset
independent_unit: scene             # for paired bootstrap
failure_rule: missing/timeout → FN
hardware: GPU / driver / precision / batch / warmup
与指标知识库的分工 本页讲“如何把指标组成一个可信实验并解释冲突”。站内 评测指标知识库 继续维护每个公式的独立详情、常见别名和论文反查；本页所有 metric card 都链接回这些原子条目，避免两套定义漂移。

02 · Component Pose Errors

Rotation 与 translation 是最好的诊断坐标，却不是完整 task metric

把 6DoF 拆开能快速判断是 orientation、metric depth、尺度、frame 还是 calibration 出错；但它们没有自动考虑物体尺寸、表面形状和可见性。

Geodesic rotation error
eR=cos⁡−1 ⁣(clip⁡ ⁣(tr⁡ ⁣((R⋆)⊤R^)−12,−1,1))e_R=\cos^{-1}\!\left(\operatorname{clip}\!\left(\frac{\operatorname{tr}\!\left((R^\star)^\top\hat R\right)-1}{2},-1,1\right)\right)
输出弧度或度必须明确。对称物体应先在 proper symmetry group 上取最小值；clip 避免浮点误差让 acos 产生 NaN。
Translation error and components
et=∥t^−t⋆∥2,exy=Δtx2+Δty2,ez=∣Δtz∣e_t=\left\|\hat t-t^\star\right\|_2,\qquad e_{xy}=\sqrt{\Delta t_x^2+\Delta t_y^2},\qquad e_z=\left|\Delta t_z\right|
总 L2 之外并列 lateral 与 depth 分量，能区分检测中心 / PnP bearing 与尺度 / 深度估计问题。所有向量必须在同一 frame 与单位。
Symmetry-aware component rotation
eRS(R^,R⋆)=min⁡S∈SRcos⁡−1 ⁣(tr⁡ ⁣((R⋆S)⊤R^)−12)e_R^{\mathcal S}(\hat R,R^\star)=\min_{S\in\mathcal S_R}\cos^{-1}\!\left(\frac{\operatorname{tr}\!\left((R^\star S)^\top\hat R\right)-1}{2}\right)
只有当 symmetry axis 经过 object origin、且只诊断 rotation 时可以仅看旋转 subgroup。完整 pose / surface metric 需使用包含 offset translation 的 4×4 S。
SO(3)

Rotation Error

trace / quaternion geodesic、角度阈值、symmetry-aware extension

打开指标页 → ℝ³

Translation Error

单位、frame、lateral/depth component 与尺度公平性

打开指标页 → joint threshold

n° / m cm

rotation 与 translation 同时低于阈值的 success event

打开指标页 →

03 · Surface & Projection Errors

同名点、最近点、最坏点和投影点，四种匹配关系得到四种结论

ADD、ADD-S、MSSD 和 MSPD 都使用模型表面，但 correspondence、symmetry、mean/max 与 3D/2D 空间完全不同。

ADD · average corresponding model-point distance
eADD=1∣M∣∑x∈M∥R^x+t^−(R⋆x+t⋆)∥2e_{\mathrm{ADD}}=\frac1{|\mathcal M|}\sum_{x\in\mathcal M}\left\|\hat R x+\hat t-\left(R^\star x+t^\star\right)\right\|_2
同一个 x 具有固定身份，因此适合非对称对象。点的采样测度、mesh origin 与单位会直接改变结果。
ADD-S · average closest-point distance
eADD-S=1∣M∣∑x1∈Mmin⁡x2∈M∥R^x1+t^−(R⋆x2+t⋆)∥2e_{\mathrm{ADD\text{-}S}}=\frac1{|\mathcal M|}\sum_{x_1\in\mathcal M}\min_{x_2\in\mathcal M}\left\|\hat R x_1+\hat t-\left(R^\star x_2+t^\star\right)\right\|_2
最近点不是显式 symmetry group。它能缓解重复几何，也可能让非严格对称或采样稠密区域的大错显得更小。
Average 2D projection error
eproj=1∣M∣∑x∈M∥πK(R^x+t^)−πK(R⋆x+t⋆)∥2e_{\mathrm{proj}}=\frac1{|\mathcal M|}\sum_{x\in\mathcal M}\left\|\pi_K(\hat R x+\hat t)-\pi_K(R^\star x+t^\star)\right\|_2
像素误差依赖焦距、分辨率与 camera model。小 projection error 不保证光轴方向的 metric translation 足够精确。
MSSD · explicit symmetry + worst 3D surface point
eMSSD=min⁡S∈SMmax⁡x∈VM∥P^x−P⋆Sx∥2e_{\mathrm{MSSD}}=\min_{S\in\mathcal S_M}\max_{x\in\mathcal V_M}\left\|\hat P x-P^\star Sx\right\|_2
BOP 使用预定义 global symmetries 与 eval model vertices。max 强调最坏局部偏差，因此不能与 ADD 的 mean 直接对数值大小。
MSPD · explicit symmetry + worst projected point
eMSPD=min⁡S∈SMmax⁡x∈VM∥πK(P^x)−πK(P⋆Sx)∥2e_{\mathrm{MSPD}}=\min_{S\in\mathcal S_M}\max_{x\in\mathcal V_M}\left\|\pi_K(\hat P x)-\pi_K(P^\star Sx)\right\|_2
MSPD 面向可感知投影偏移，不使用测试深度。它显式处理对象全局 symmetry，但不等于 current-view visible ambiguity。
Metric空间所需对称可见性最敏感看不到 / 风险
Rotation geodesicSO(3) 最短角R̂, R*默认无；可 min over 𝒮无朝向误差，与模型尺寸/平移解耦平移、表面半径、图像尺度与 task contact
Translation L2相机 / 世界坐标的 metric 3Dt̂, t* 与单位/framerotation symmetry 不影响中心；离轴定义需谨慎无中心位置、深度尺度与外参偏差旋转、表面最坏点和物体尺寸相对难度
ADD同名模型点平均 3D 位移固定模型点、两组 pose不处理完整模型旋转+平移，远离原点的点贡献更大遮挡；会惩罚视觉等价 symmetry representatives
ADD-S平均最近点 3D 距离模型点集、nearest-neighbor 实现隐式借助表面最近点完整模型表面整体接近，缓解轴向/重复几何非严格重复结构、纹理方向和 point sampling bias
2D Projection同名点平均像素位移模型点、pose、K / camera model默认无通常完整模型投影最终 overlay 的平均图像偏移沿视线的 3D 错误；分辨率/focal 改变像素含义
VSD当前图像可见表面的 depth discrepancy模型、pose、K、test depth、renderer、δ / τ通过不可辨识的可见表面处理显式核心遮挡下可观测 surface alignment不可见背面；依赖 depth validity 与 rendering contract
MSSD对称感知后的最大 3D 表面偏移eval vertices、pose、global symmetry set显式 min over 𝒮完整模型最坏局部 3D 错位、安全 / 接触容差当前 view 是否能区分；对极端 vertex / sampling 敏感
MSPD对称感知后的最大投影偏移eval vertices、pose、𝒮、K显式 min over 𝒮不使用 test depth最坏可感知像素错位、RGB / AR沿光轴的 metric 3D 错误；依赖 focal / resolution
Task success / cost抓取、插装、碰撞、轨迹或控制结果机器人、环境、动作策略与重复 trials由 action equivalence 定义通过整个闭环间接进入部署真正关心的失败代价难隔离感知模块；sim / hardware 与策略会共同影响
mean · paired

ADD

公式详情 → mean · closest

ADD-S

公式详情 → mean · pixels

2D Projection

公式详情 → max · 3D

MSSD

公式详情 → max · 2D

MSPD

公式详情 →

04 · Visibility, Thresholds & BOP

VSD 看当前可见表面；BOP AR 把三种应用视角跨阈值聚合

VSD 需要 test depth 与 rendering 来判断 surface visibility；MSSD/MSPD 使用预识别全局 symmetry。三者互补，不是同一 metric 的三个精度档。

VSD · visible surface discrepancy
eVSD=avg⁡p∈V^∪V⋆{0,p∈V^∩V⋆ ∧ ∣D^(p)−D⋆(p)∣<τ1,otherwisee_{\mathrm{VSD}}=\operatorname*{avg}_{p\in\hat V\cup V^\star}\begin{cases}0,&p\in\hat V\cap V^\star\ \land\ |\hat D(p)-D^\star(p)|<\tau\\1,&\text{otherwise}\end{cases}
D 是对象在预测 / GT pose 下的 rendered distance，V 由该 distance 与 test image distance / visibility tolerance 构成。官方定义还包含 renderer、缺失深度与 δ 等细节，必须使用冻结 toolkit。
阈值形式示例解释与风险
Absolute metric5 mm、20 mm、5 px、5°直接对应某一工程容差，但跨尺寸、距离和分辨率不公平
Diameter normalizedADD / MSSD < αd，常见 α=0.1跨对象尺度更可比；细小关键特征和 task tolerance 仍可能不同
Image normalized像素阈值按图像宽度或 focal 归一化跨相机更稳，但与人眼/AR 实际容忍度需重新解释
Multiple thresholds在一组 θ 上平均 recall / precision降低单阈值偶然性；阈值集合与权重仍决定 headline
AUC / integral对 recall–error threshold 曲线积分必须固定上限、归一化与数值积分；0.1 m 与 0.1d 不可互换
Task calibrated由插装间隙、夹爪接触、collision margin 或控制稳定性选择最具应用意义；需独立 task validation，不能由 test set 反向调阈值
Recall curve and normalized AUC
Recall⁡e(θ)=1N∑i=1N1[ei<θ],AUC⁡(emax⁡)=1emax⁡∫0emax⁡Recall⁡e(θ) dθ\operatorname{Recall}_e(\theta)=\frac1N\sum_{i=1}^{N}\mathbf1[e_i<\theta],\qquad \operatorname{AUC}(e_{\max})=\frac1{e_{\max}}\int_0^{e_{\max}}\operatorname{Recall}_e(\theta)\,d\theta
AUC 上限可能是 0.1 m、0.1d 或其他值；即便曲线名字相同，上限/归一化不同就不能比较。
BOP localization aggregation
ARD=ARVSD+ARMSSD+ARMSPD3,ARC=1∣Dcore∣∑D∈DcoreARDAR_D=\frac{AR_{\mathrm{VSD}}+AR_{\mathrm{MSSD}}+AR_{\mathrm{MSPD}}}{3},\qquad AR_C=\frac1{|\mathcal D_{\mathrm{core}}|}\sum_{D\in\mathcal D_{\mathrm{core}}}AR_D
每个 AR_e 本身又是多 correctness thresholds 的 recall 平均；VSD 还跨 misalignment tolerance τ。dataset core 和 threshold config 必须带年份 / task version。
01

Pose error

每个 estimate–GT pair 计算 VSD / MSSD / MSPD。

→
02

Correctness

在每个 θ（VSD 还含 τ）判定 e<θ。

→
03

Recall

在 targets 与 matching rule 下计算被正确定位比例。

→
04

ARₑ

跨该 error 的阈值设置平均 recall。

→
05

AR_D / AR_C

跨 3 个 errors，再跨 core datasets 等权平均。

版本提醒 BOP 是持续演进的 benchmark。官方任务页截至 2025 已同时列出 seen / unseen、model-based / model-free、single / multi-view localization 与 detection；不要从旧论文的“BOP AR”推断新 detection 协议，也不要把 challenge 年份省略。

05 · Task, Matching & Candidate Semantics

Pose-only、localization、detection、tracking 与 manipulation 不是同一排行榜

任务输入决定系统被允许知道什么；候选集合、score、top-K 和 one-to-one matching 决定漏检与重复如何进入分母。

6D pose of a provided crop / GT box
Input
已知 ROI、类别，有时甚至使用 GT mask
Output
一个或多个 pose
Score
pose error / oracle top-K
Question
只测试 pose head 或 correspondence / refiner 上限
Warning
不能与端到端 detector pipeline 的 recall / AP 直接排名
BOP-style 6D localization
Input
测试图像 + 每类可见实例数量列表
Output
每类规定数量的 pose estimates + confidence
Score
VSD/MSSD/MSPD 多阈值 recall → AR
Question
在已知 target list 下是否定位正确
Warning
“AR”仍需说明 dataset、metric component、年份和 targets file
6D detection
Input
图像；不提供可见 object instance 列表
Output
类别、pose、confidence 的候选集合
Score
score-ordered one-to-one matching → AP
Question
找全对象、pose 正确且抑制误报/重复
Warning
截至 2025 官方 BOP 6D detection 用 MSSD/MSPD AP，不使用 VSD AP
Tracking
Input
视频与 initial detection / continuous observations
Output
带 identity、timestamp、pose 与可能 uncertainty 的轨迹
Score
per-frame pose + drift、failure/recovery、ID switches、latency
Question
时间连续性、失效恢复和长期控制可用性
Warning
逐帧平均会掩盖 catastrophic loss；相邻帧不是独立样本
Robot manipulation
Input
感知 + calibration + planning + execution
Output
grasp / insertion / placement / servo action
Score
成功率、碰撞、接触误差、cycle time、recovery
Question
完整系统是否完成任务且安全
Warning
task success 不定位 pose head 原因；应同时报告 pose oracle 与 stage ablation
Detection precision, recall and AP
Precision⁡(k)=TP(k)TP(k)+FP(k),Recall⁡(k)=TP(k)NGT,AP=∫01pinterp(r) dr\operatorname{Precision}(k)=\frac{TP(k)}{TP(k)+FP(k)},\qquad \operatorname{Recall}(k)=\frac{TP(k)}{N_{GT}},\qquad AP=\int_0^1p_{\mathrm{interp}}(r)\,dr
k 表示按 confidence 排序后取前 k 个 predictions。exact interpolation、threshold grid、per-object / per-dataset reduction 以对应 benchmark 代码为准。
01

Candidate generation

保存全部候选的 image / object / pose / score / time；先应用 benchmark 允许的 max predictions 与 target rule。

02

Eligibility

类别、图像/视图、GT ignore / visibility、metric threshold 和 task target 必须满足，才可进入匹配。

03

One-to-one

一个 GT 最多被一个 prediction 匹配；一个 prediction 也不能解释多个 GT。重复候选成为 FP 或被 task rule 过滤。

04

Ordering

detection 通常按 confidence 从高到低；错误高分会在低 recall 区域先制造 FP，从而压低整条 PR 曲线。

05

Assignment details

greedy、Hungarian、target-count matching 或 metric-specific matching 可能不同；必须直接使用官方实现并冻结版本。

06

Ignored targets

低可见率或不在 target file 的 GT / predictions 如何处理必须跟协议；“不计入 FN”不必然意味着对应预测计 FP。

07

Multi-hypothesis

top-K 是否作为 K 个 detection、一个 prediction set，还是 oracle best-of-K，三种 protocol 结果完全不同。

08

Ties / duplicates

相同 score 的稳定排序、数值精度、NMS / symmetry dedup 会改变边界结果，需要确定性规则。

Localization mental model

input: image + [(object_id, visible_count), ...]
for each object:
  keep task-allowed number of hypotheses
  compute error matrix to same-object GTs
  one-to-one match under each threshold
recall = matched targets / all targets
AR_e = average recall over threshold settings
headline = aggregate AR_e / datasets

Detection mental model

input: image only (no visible-instance list)
predictions = class + pose + confidence
sort / cap predictions by protocol
for each metric threshold and object:
  score-ordered one-to-one matching
  duplicate / wrong / threshold-fail -> FP
  unmatched GT -> FN
AP_e,o = area under precision–recall
headline = aggregate objects / metrics / datasets

06 · Interactive Lab

让指标冲突、重复候选和平均权重真正发生一次

第一组用同一 transform 实算八类 error；第二组把相同候选送进 localization / detection；第三组对 240 条记录切换 micro/macro、pose oracle 与 scene-cluster bootstrap。

Interactive · Error, Matching & Statistical Diagnosis

指标显微镜、匹配协议与误差切片实验室

先对同一组 pose 扰动实际计算八类误差，再比较 localization / detection 的候选匹配，最后用相同逐样本结果观察 micro、macro、切片和 cluster bootstrap 如何改变结论。
error → threshold → match → aggregate symmetry / visibility are metric semantics score needs a task protocol
ground truth prediction occluder VSD 一栏是显式标注的教学 raster；正式结果必须调用冻结版本的 BOP toolkit

Rotation

raw / quotient-aware

——

Translation

camera-frame center

—不受 rotation symmetry 影响

ADD / ADD-S

mean 3D surface

——

Proj2D

mean corresponding pixels

—依赖 K 与分辨率，不等于 3D 精度

MSSD / MSPD

symmetry-aware maximum

—完整模型的最坏 3D / 2D 偏移

VSD-style

visible raster discrepancy

——
指标之间不是“更高级版本”。 ADD-S 的最近点、MSSD/MSPD 的显式全局 symmetry、VSD 的当前可见表面回答不同问题。一个预测可以在某项通过、另一项失败；正确做法是根据应用 claim 选择并并列报告，而不是挑最有利的数字。

07 · Aggregation & Statistical Evidence

Headline 是 reduction tree；必须能一路展开回逐样本记录

先保存每条 prediction、每个 GT、每种 error 和 matching outcome，再生成所有汇总表。不要只保留最终平均数。

层级怎么平均改变了什么权重 / 风险
Per-instance micro把所有 annotated instances 放在一起平均样本多的 object / scene 主导；适合真实频率 claim
Per-object macro先求每个 object 分数，再让每个 object 等权长尾物体获得同等权重；小样本 object 方差更大
Per-dataset macro先求 dataset score，再跨 core datasets 等权避免大数据集淹没小数据集；dataset 定义变化会改变总分
Across thresholds对 correctness thresholds 求平均 recall / precision不是独立试验；阈值网格与范围必须公开
Across metrics例如 BOP localization 平均 AR_VSD / AR_MSSD / AR_MSPD三个指标面向不同目标应用，平均值会隐藏冲突
Across seeds / runs对完整训练和评测 run 报 mean±SD / CI，并保留每个 seed不能把逐图像方差代替训练 seed 方差
Across time逐帧、逐序列、failure episode 或固定时间窗tracking 应按 sequence / episode 聚合并报告失效持续时间
Micro vs object-macro success
s^micro=∑o∑i=1noyoi∑ono,s^macro=1∣O∣∑o(1no∑i=1noyoi)\hat s_{\mathrm{micro}}=\frac{\sum_o\sum_{i=1}^{n_o}y_{oi}}{\sum_o n_o},\qquad \hat s_{\mathrm{macro}}=\frac1{|\mathcal O|}\sum_o\left(\frac1{n_o}\sum_{i=1}^{n_o}y_{oi}\right)
micro 让每个 instance 等权；macro 让每个 object 等权。两者都合理，但对应不同部署分布主张，不能只选择对自己有利的一项。
Paired cluster bootstrap
Δ(b)=SA ⁣(⋃c∈C(b)Ic)−SB ⁣(⋃c∈C(b)Ic),C(b)∼Resample⁡(C,∣C∣)\Delta^{(b)}=S_A\!\left(\bigcup_{c\in C^{(b)}}\mathcal I_c\right)-S_B\!\left(\bigcup_{c\in C^{(b)}}\mathcal I_c\right),\qquad C^{(b)}\sim\operatorname{Resample}(C,|C|)
以 scene / sequence cluster 有放回采样，A/B 始终使用同一 bootstrap sample。percentile CI 描述该抽样假设下 paired score difference 的不确定性。
Paired comparison

两种方法在同一 GT instance 上得到成对 outcome / error，比较 per-unit difference

去除样本难度的共同波动

若预处理、detector target 或失败样本集合不同，pairing 需先定义 missing rule
Cluster bootstrap

以 scene、sequence、physical instance 或 capture session 为单位有放回采样

保留 cluster 内相关性，避免把相邻帧假装独立

cluster 数很少时 percentile CI 不稳定；应同时给原始 cluster counts
Multiple seeds

完整重复训练/采样/推理，报告各 seed 和 central tendency

揭示优化与随机数据顺序的不稳定

固定 checkpoint 只重复 evaluator 不等价于训练 seed variance
Effect size

报告绝对百分点、relative change、连续 error difference 与实际 task margin

知道提升是否超过工程容差

基线接近零时 relative % 会夸张；只报 p-value 不说明实际意义
Distribution report

mean、median、P90/P95、CDF / recall curve 与 catastrophic failure rate 并列

平均值之外看到长尾与门限附近形状

不同 sample weights 或过滤规则会让 percentile 不可比
Subgroup uncertainty

每个 visibility / scale / symmetry / object slice 报样本数与 interval

避免小 slice 的偶然 100% 被当结论

大量切片会产生选择性汇报；slice schema 应预先冻结
CI 不会替你发现错误协议 一个写错单位、泄漏 test、对称 metadata 错误或只评 matched detections 的实验，也可以得到非常窄的置信区间。统计区间只量化被建模的随机性；schema、标注、域偏移与 protocol uncertainty 需要独立审计和 sensitivity analysis。

08 · Error Slicing & Stage Oracles

总分告诉你“谁高”，切片和 oracle 才告诉你“为什么”

每个 slice 都要预先定义、报告样本数和 interval，并能回到原始图像 / 深度 / overlay / error heatmap；否则容易形成事后挑选。

切片轴定位问题建议报告
Object / category / instance几何、纹理、对称、训练频率与 CAD qualityper-object table、macro score、worst-K objects
Visible fraction / truncation遮挡前端、amodal reasoning 与 VSD 区别按 visib_fract bins、truncation 独立切分
Image footprint / diameter小物体像素量化、MSPD 与 detector recallbbox area、projected diameter 与 metric diameter 分层
Range / depthZ 误差、focal–translation coupling、depth noise按 camera Z、sensor range、translation components
Rotation / viewpoint训练 pose coverage、in-plane / out-of-plane 和 canonical boundarySO(3) bins、view sphere、roll bins、symmetry quotient
Material / illumination透明、镜面、黑色、弱纹理与 domain gap资产标签 + sensor validity / exposure / light bins
Scene / clutter / countdetector overload、inter-object occlusion 与 duplicatesscene-level count、occluder type、background domain
Modality healthRGB blur、depth holes、sync / calibration 和 missing modalityraw sensor QA、confidence、dropout / fallback route
Failure stagedetector、mask、correspondence、solver、refiner、score、trackingGT crop / GT mask / oracle PnP / oracle selection stage ablations
Task / robot statereachability、grasp family、contact tolerance、calibration与 motionpose-only / calibrated chain / simulated / hardware success ladder
Observed E2E

Detector → Mask → Correspondence → Solver → Refiner → Score

真实部署候选、漏检、重复和超时全部保留。

↑
Oracle selection

从真实候选中选最小 error

当前候选覆盖上限；与真实 score 结果差距定位 ranking / calibration。

↑
Oracle solver / correspondence

GT correspondences 或 GT pose initialization

定位 PnP / RANSAC / refinement attraction basin。

↑
GT mask / crop

移除 detector / segmentation 误差

pose head 上限；不能作为端到端 headline。

Per-instance error record · 让所有图都可重算

scene_id / image_id / gt_id / object_id / physical_instance
visibility / truncation / projected_size / camera_z / material_tags
prediction_id / rank / confidence / runtime / failure_stage
rotation_raw / rotation_sym / translation_xyz
ADD / ADD-S / Proj2D / VSD[tau] / MSSD / MSPD
matched_gt / TP-FP-FN per threshold / ignore_reason
asset_hash / symmetry_hash / evaluator_commit / render_backend
overlay_path / depth_diff_path / log_path

09 · Robotics, Tracking & Efficiency

几何分数只是 proxy；机器人还需要任务成功、安全与计算预算

部署评测建立 ladder：pose-only → calibrated robot chain → planner / simulator → hardware trials。每层同时保留输入、失败 stage 与 pose oracle，才能知道改哪里。

Grasping

Contact / collision sensitivity

MSSD 的最坏表面偏移比平均 ADD 更接近局部接触风险，但最终仍要按 grasp family、jaw width、collision 和 force closure 做 task trials。

Insertion

Axis / key / tolerance

分解沿插入轴、横向、roll 与 key-feature error；一个总体 5°5cm 阈值无法表达亚毫米间隙。

Visual servo

Temporal continuity / latency

报告 control-rate latency、jitter、tracking failure duration、recovery 和 quotient representative jumps，而不只逐帧 pose mean。

Safety

Tail and abstention

P95 / worst-slice、risk–coverage、OOD / sensor-health fallback 与 hardware interlock 往往比平均 AR 更重要。

效率维度必须说明
Latency definitionend-to-end wall-clock / image、per-object、per-hypothesis 或 batch throughput；warmup 与 preprocessing 是否计入
HardwareCPU/GPU/accelerator、memory、driver、precision、power mode、threads 与 batch size
Onboarding / trainingseen/unseen object 任务的每对象 onboarding 时间、render/template/cache 与最大资源限制
Memorypeak VRAM / RAM、model size、template / feature database 和 persistent cache
Throughput vs tail平均 FPS 之外报告 median / P95 latency、队列、同步和 worst-case candidate count
Energy / deployment功耗、thermal throttling、edge device、network / server latency 与 fallback 资源
Accuracy–cost frontier相同 protocol 下扫 refinement iterations、top-K、resolution 与 ensemble，报告 Pareto frontier
Accuracy–cost Pareto report
F={m | ∄m′ ⁣: S(m′)≥S(m), C(m′)≤C(m) and at least one strict}\mathcal F=\left\{m\ \middle|\ \nexists m'\!:\ S(m')\ge S(m),\ C(m')\le C(m)\ \text{and at least one strict}\right\}
S 可以是 AR/AP/task success，C 可以是 P95 latency、energy 或 memory。只比较单一 FPS 或单一 accuracy 会隐藏 refinement、top-K 与 ensemble 的真实 trade-off。

10 · Reproducibility & Release Gates

评测最小可复现单元不是表格，而是结果文件 + 完整 evaluator state

先让 expected targets、prediction records 和 evaluated records 对账，再验证资产、相机、symmetry、renderer、threshold 与聚合。

失败模式表象检测修复
单位 / frame 错所有方法在某轴出现巨大 translation，ADD 以 1000× 偏差矩阵投影、known synthetic pose、m/mm 和 m2c/c2m round trip先阻断评测；不能通过大阈值掩盖
错误 eval mesh / originrotation error 正常但 surface metrics 全面偏差hash models_eval、bbox、diameter、vertex count 和 frame overlay固定资产版本并随结果归档
对称 metadata 不一致等价代表元在 ADD/MSSD 得到冲突，per-object 异常渲染 symmetry orbit、surface invariance、texture / instance 审计冻结 geometry/appearance symmetry 与 toolkit discretization
ADD-S 过度宽容非严格重复结构的大错仍最近点很近并列 ADD、MSSD、render overlay 与 task result不要把 ADD-S 当通用显式 symmetry metric
VSD depth / renderer mismatch透明/镜面或无效 depth 样本得分异常记录 depth validity、renderer convention、δ/τ 与 visual heatmap使用官方 renderer/toolkit；分层报告 sensor failure
5px 跨相机比较高分辨率/长焦数据集看似更差将 pixel error 对 image width、fx 与 metric displacement 对照固定 camera protocol或并列 normalized/3D metric
只评 matched detectionspose head 数字很高，端到端系统大量漏检同时报 GT-crop / detector-crop、pose oracle gap 和 AP/AR不丢弃 detector failures；明确 stage
重复预测获益错觉oracle top-K 高但真实 score 选错，AP 下降one-to-one matching、top-1/top-K、NLL/calibration 与 duplicates训练排序/去重；按部署接口评测
Micro 掩盖长尾常见大对象提升，总分升但小对象崩溃micro vs object-macro、per-object / scale bins预注册权重并公开 counts
逐帧伪独立CI 极窄、p-value 很小，但换 sequence 失效按 scene/sequence/physical instance 统计相关性cluster bootstrap / grouped split
Test-set tuning阈值、symmetry tolerance、NMS、temperature 对 test 最优追踪 config provenance 与访问日志validation/calibration split 冻结；test 只运行最终协议
失败样本被 silently dropNaN、无 pose、超时或 missing file 未计入 denominatorexpected targets 与 evaluated records count/checksum 对账失败显式转 FN / max error，按 protocol 记录原因
AUC / AR 名称不完整相同“AR”或“AUC”却差数十点检查 error、threshold grid、upper bound、dataset/year/aggregation字段名携带完整 protocol ID
速度不可复现论文 FPS 只测 network forward，部署慢数倍端到端 profiler、warmup、sync、P95、candidate count同时报告 stage breakdown 与硬件/precision

Release gate · 发布任何 pose benchmark 数字之前

  1. task input 是否明确：GT crop、localization target list、detection、tracking 还是 robot episode？
  2. dataset/split/targets、eval mesh、camera、diameter 与 symmetry 是否都有 hash / version？
  3. 所有 pose 是否使用相同 `^C T_O`、frame、m/mm、timestamp 与 camera model？
  4. error function 是否说明 mean/max、correspondence、visibility、symmetry 和 renderer？
  5. threshold、strict inequality、AUC 上限、VSD δ/τ 与连续 symmetry discretization 是否冻结？
  6. matching 是否 one-to-one，score ties、duplicates、ignore、top-N 与 missing outputs 是否确定？
  7. 每一层 AR/AP/AUC 是否能从 headline 展开到 metric、threshold、object、dataset 和 instance？
  8. micro、macro、per-object、visibility、scale、distance 与 failure-stage 是否并列报告 counts？
  9. 方法比较是否 paired，并按 scene/sequence/physical instance 的独立单位给 interval？
  10. NaN、超时、崩溃、无 pose 与缺文件是否进入 denominator，而非 silently drop？
  11. 速度是否为端到端同步 wall-clock，并附硬件、batch、precision、warmup、P95 和 memory？
  12. test 是否完全不参与 threshold、NMS、symmetry tolerance、calibration 与模型选择？
  13. 是否保存官方 evaluator 原始输出、per-instance errors、result CSV、config、commit 与日志？
  14. 几何分数是否用真实 task / hardware holdout 验证其与部署成功和安全的关联？
位姿误差、BOP 任务、检测 AP 与评测实现的原始来源展开查看 6D evaluation、BOP 2018/2020/2024、官方 tasks/toolkit、PoseCNN、LINEMOD 与 COCO

Previous · 12

对称性、歧义与不确定性

回看 quotient pose、view-induced ambiguity、multi-modal posterior 与 confidence calibration。← 上一专题

Next · 14

机器人坐标变换与系统标定

把相机 pose 接入 base、flange、TCP 与 object frame，建立 eye-in-hand / eye-to-hand 的完整标定和误差链。下一专题 →