← 返回指标目录

BOP / 6D detection 聚合 · aggregate

BOP AP

BOP Average Precision for 6D Detection

在不知道图中有哪些目标的 6D detection 任务中,以 precision–recall 曲线评估检测与 pose 的联合质量。

它不同于 localization AR:模型不仅要给对 pose,还要抑制错误类别和重复检测。当前 BOP detection 评测以 MSSD 与 MSPD 为基础。

Principle

原理:它究竟在惩罚什么?

公式给出计算规则;示意图帮助区分误差发生在三维模型、可见表面、图像平面还是阈值聚合层。

定位任务已知图中对象身份,主要问“这个对象的 pose 对不对”;检测任务还要解决“是否找到了所有对象且没有误报”。

因此 AP 会惩罚置信度排序、漏检和重复预测,通常比 AR 更严格。

AP=APMSSD+APMSPD2AP=\frac{AP_{MSSD}+AP_{MSPD}}{2}
每个 AP_e 来自按置信度排序后的 precision–recall 曲线;具体匹配和阈值规则应以对应年份 BOP challenge 为准。
recall / precision阈值 / 置信度跨多个设置聚合
本站示意:用于理解该指标关注的误差空间,并非真实数据或原论文插图。

How to compute

计算步骤

  1. 01

    输出包含 object id、pose 与置信度的全部候选。

  2. 02

    按置信度匹配预测与 GT,并用 MSSD/MSPD 判定 true positive。

  3. 03

    计算 precision–recall 曲线及 AP_e,再聚合为 AP。

Strength

适合回答

  • 评估更接近真实多物体系统端到端使用方式。
  • 把检测质量与姿态质量放到同一个协议中。

Caveat

读表时要警惕

  • 不能把检测 AP 与给定实例 identity 的 AR 混为一谈。
  • 不同 BOP challenge 年份的子任务和 AP 变体可能不同。

Paper atlas

文献库中哪些论文报告了它?

由论文的原始指标写法自动归一化得到。直接报告与通过上层协议关联的论文会明确区分。

在文献库筛选
5关联论文
5直接报告
0通过协议关联
定义与协议来源展开查看原始论文、综述和官方评测页面。