Datasets & Metrics

数据集与评测

从可复现的 BOP 横评,到类别级泛化、未见物体 onboarding、透明材质与手物交互:先用任务条件选数据,再用与协议匹配的指标读结果。

POSE DATASET ATLAS

按任务条件选数据,而不是只按名称找数据

本目录以指定综述的任务划分为骨架,并补充综述发布后或未单列的公开资源。每条记录都标出“它测什么、需要什么、容易在哪失败”; 训练资产与固定评测基准分开列出,避免误用。

40
条可取用资源
17
条 BOP 生态数据
9
条类别级集合
6
条未见物体集合

快速选型

显示 40 条资源

BOP Classic

LM-O

LINEMOD-Occluded

BOP 官方

为 LINEMOD 的一个测试序列补充全部已建模物体的真值,形成经典遮挡压力测试。

实例级 · 已知模型 真实采集 RGB-D
物体 / 类别
8 个 LM 物体
规模
重遮挡测试集
模型条件
提供 3D 模型
遮挡桌面

适合:已知模型、重遮挡下的单帧姿态与 BOP Classic 对比。

BOP Classic

T-LESS

BOP 官方

无显著纹理和判别色的工业零件;形状/尺寸相近并带多种对称性。

实例级 · 已知模型 真实 + 合成 RGB-DRGB
物体 / 类别
30 个工业物体
规模
20 个测试场景
模型条件
提供无纹理模型
弱纹理对称相似形状工业

适合:对称感知评测、纹理缺失、工业抓取与 BOP AR。

BOP Classic

ITODD

MVTec ITODD

BOP 官方

由高质量 Gray-D 传感器采集的工业物体数据;公开真值覆盖训练/验证,测试真值受控。

实例级 · 已知模型 真实 + 合成 RGB-D
物体 / 类别
28 个工业物体
规模
真实工业设置
模型条件
提供 3D 模型
工业金属遮挡

适合:工业零件、深度感知和 BOP 受控测试协议。

BOP Classic

HB

HomebrewedDB

BOP 官方

玩具、家居与工业物体混合的 RGB-D 数据,含 Primesense 与 Kinect 采集。

实例级 · 已知模型 真实 + 合成 RGB-D
物体 / 类别
33 个物体
规模
13 个场景
模型条件
提供 3D 模型
桌面遮挡跨传感器

适合:已知模型 RGB-D、不同传感器和混合物体域的验证。

BOP Classic

YCB-Video

YCB-V

BOP 官方

桌面多物体视频基准,常用于 RGB/RGB-D 的已知物体 6D pose。BOP 版提供统一格式与 PBR 训练图像。

实例级 · 已知模型 真实 + 合成 RGB-DRGB
物体 / 类别
21 个 YCB 物体
规模
92 段视频
模型条件
提供纹理模型
遮挡桌面视频

适合:经典多物体 RGB-D 对比;注意不要使用与测试姿态泄漏的原始合成训练图像。

BOP Classic

IC-BIN

BOP 官方

来自 IC-MI 的两个物体,在料箱多个位置出现并伴随严重遮挡。

实例级 · 已知模型 真实 + 合成 RGB-D
物体 / 类别
2 个物体
规模
bin-picking 测试
模型条件
提供 3D 模型
重遮挡料箱工业

适合:小规模但高遮挡的 bin-picking 定性与协议验证。

BOP Classic

TUD-L

TUD Light

BOP 官方

三件运动物体在八种光照条件下的训练与测试序列。

实例级 · 已知模型 真实 + 合成 RGB
物体 / 类别
3 个物体
规模
8 种光照条件
模型条件
提供 3D 模型
光照桌面

适合:控制变量下的光照鲁棒性实验;规模小,不宜单独作为泛化结论。

BOP Classic

LINEMOD

LM

BOP 官方

经典单物体 6D pose 数据;每个序列主要标注一个目标,遮挡相对温和。

实例级 · 已知模型 真实 + 合成 RGB-D
物体 / 类别
15 个家居物体
规模
单物体测试序列
模型条件
提供 3D 模型
弱纹理杂乱背景

适合:复现基础 pipeline 与检查实现;不要把分数外推为复杂遮挡性能。

BOP-H3

HOPE / HOPEv2

BOP 官方

可购买的玩具杂货物体在家居/办公室采集;HOPEv2 扩展了 BOP-H3 多视角真实测试。

实例级 · 已知模型 真实 + 合成 RGBRGB-D
物体 / 类别
28 个日用品
规模
50 场景 / 10 环境
模型条件
提供纹理模型
遮挡光照日用品

适合:家庭机器人、可复现物体采购、BOP-H3 的见过/未见物体检测。

BOP Classic

RU-APC

Rutgers APC

BOP 官方

Amazon Picking Challenge 商品在杂乱仓储货架中的 RGB-D pose 数据。

实例级 · 已知模型 真实 + 合成 RGB-D
物体 / 类别
14 个商品
规模
货架测试图像
模型条件
提供纹理模型
货架遮挡商品

适合:仓储 pick-and-place、纹理商品与遮挡场景。

BOP Classic

IC-MI

BOP 官方

两个弱纹理与四个有纹理家居物体,多实例出现且带有轻度遮挡。

实例级 · 已知模型 真实 + 合成 RGB-D
物体 / 类别
6 个家居物体
规模
多实例杂乱场景
模型条件
提供 3D 模型
遮挡弱纹理

适合:早期 RGB-D 6D pose 方法复现、与 IC-BIN 的遮挡难度对照。

BOP Classic

TYO-L

Toyota Light

BOP 官方

受控桌面拍摄的 21 件物体,强调姿态变化、桌布和光照变化。

实例级 · 已知模型 真实采集 RGB
物体 / 类别
21 个物体
规模
4 种桌布 / 5 种光照
模型条件
提供 3D 模型
光照桌面

适合:纯 RGB 的光照与背景变化对照。

BOP-H3

HOT3D / HOT3D-Clips

BOP 官方

头戴设备下的手物追踪数据,提供物体、手、相机真值和眼动等;BOP 使用质检过的 Clips 子集。

未见物体 · 在线建模 真实 + 合成 RGBMulti-viewEgocentric
物体 / 类别
33 个刚体 / 19 位受试者
规模
4,117 个 5 秒片段
模型条件
提供 PBR 模型与 onboarding
手物交互鱼眼在线建模多视角

适合:动态 object onboarding、第一视角手物交互、BOP-H3 未见物体任务。

BOP-H3

HANDAL

BOP 官方

手持物体数据集;BOP 选取带可用 CAD 的子集并加入额外测试集。

未见物体 · 在线建模 真实 + 合成 RGBEgocentric
物体 / 类别
BOP 使用 40 个 / 7 类
规模
手持日常物体
模型条件
BOP 提供艺术家建模 CAD
手遮挡未见物体第一视角

适合:手遮挡、已知/未知模型检测与 BOP-H3 任务。

BOP Industrial

IPD

Industrial Parts Dataset

BOP 官方

以 HDR 和结构光采集的工业多视角数据,属于 BOP Industrial。

实例级 · 已知模型 真实 + 合成 RGBMulti-view
物体 / 类别
工业零件
规模
HDR + 结构光多视角
模型条件
提供无纹理模型
工业多视角反射

适合:多视角工业检测、跨视角融合与 BOP Industrial 协议。

BOP Industrial

XYZ-IBD

XYZ Industrial Bin-picking Dataset

BOP 官方

工业 bin-picking 数据,包含精确物体位姿真值并采用 BOP Industrial 格式。

实例级 · 已知模型 真实 + 合成 RGBMulti-view
物体 / 类别
工业零件
规模
料箱抓取场景
模型条件
提供无纹理模型
料箱工业多视角

适合:多视角料箱抓取与实际工业部署的压力测试。

BOP Industrial

ITODD-MV

BOP 官方

ITODD 的多视角扩展,用于 BOP 工业组的单/多视图已知或未见模型检测。

实例级 · 已知模型 真实 + 合成 RGBMulti-view
物体 / 类别
28 个 ITODD 物体
规模
多视角扩展
模型条件
提供无纹理模型
工业金属多视角

适合:已使用 ITODD 时的多视角扩展实验。

独立基准

YCBInEOAT

综述收录

面向对象操作与动作任务的 YCB 视频序列,保留手和物体交互带来的遮挡。

实例级 · 已知模型 真实采集 RGB-DVideo
物体 / 类别
5 个 YCB 物体
规模
9 段视频 / 7,449 帧
模型条件
提供对象模型
交互遮挡视频

适合:交互式 manipulation 序列中的已知物体跟踪。

独立基准

ClearPose

综述收录

大规模透明物体 RGB-D 数据,专门覆盖透明材料在深度与颜色上的失效模式。

实例级 · 已知模型 真实采集 RGB-D
物体 / 类别
63 个透明物体
规模
超过 350K RGB-D 图像
模型条件
提供对象模型/标注
透明遮挡反射

适合:透明物体 6D pose、透明深度补全与跨材质鲁棒性。

独立基准

MP6D

综述收录

面向金属零件姿态估计的真实/合成混合数据,强调高反射表面。

实例级 · 已知模型 真实 + 合成 RGB-D
物体 / 类别
20 个金属零件
规模
20,100 实景 + 50K 合成图像
模型条件
提供 3D 模型
金属反射工业

适合:金属工业件、真实到合成迁移和反射鲁棒性。

独立基准

StereOBJ-1M

补充收录

大规模双目 RGB 6D pose 数据;在不同环境中采集透明、反光、对称物体。

实例级 · 已知模型 真实采集 Stereo RGBMulti-view
物体 / 类别
18 个物体
规模
393K+ 帧 / 1.5M+ 标注
模型条件
提供模型、mask 与 pose
透明半透明镜面反射对称

适合:双目几何、透明/反光物体以及大规模单实例训练。

独立基准

CAMERA25

NOCS CAMERA

综述收录

NOCS 基准的合成部分,使用 ShapeNet 模型构成类别级 RGB-D 训练/评测条件。

类别级 · 未见实例 合成 / 仿真 RGB-D
物体 / 类别
6 类 / 1,085 个实例
规模
ShapeNet 合成场景
模型条件
训练实例模型可用
类别泛化尺度合成到真实

适合:类别级 6D + 尺度、合成预训练;应与 REAL275 一起报告。

独立基准

REAL275

NOCS REAL

综述收录

NOCS 基准的真实部分;未见实例上的类别级 pose/size 是主要评价目标。

类别级 · 未见实例 真实采集 RGB-D
物体 / 类别
6 类 / 42 个实例
规模
18 段视频 / 约 8K 图像
模型条件
类别级 NOCS 标注
类别泛化尺度真实场景

适合:与 CAMERA25 配套的真实类别泛化主基准。

独立基准

kPAM

综述收录

用关键点与操作约束表达类别级物体,面向机器人 manipulation 而非单纯 CAD 对齐。

类别级 · 未见实例 真实采集 RGB-D
物体 / 类别
类别级日常物体
规模
关键点式操作任务
模型条件
以语义关键点/操作为中心
类别泛化抓取可供性

适合:类别级抓取、可供性与关键点驱动的 pose representation。

独立基准

TOD

Transparent Object Dataset

综述收录

透明物体数据集,包含双目和 RGB-D 观测,覆盖透明材质的类别级 pose/size。

类别级 · 未见实例 真实采集 Stereo RGBRGB-D
物体 / 类别
15 个透明物体 / 6 类
规模
48K 立体/RGB-D 图像
模型条件
提供类别与姿态标注
透明折射类别泛化

适合:透明类别级方法、立体输入与尺度评测。

独立基准

Objectron

综述收录

移动设备采集的对象中心数据,提供对象 3D box、关键点和相机姿态,关注真实移动端场景。

类别级 · 未见实例 真实采集 RGBMobile AR
物体 / 类别
9 个类别
规模
15K 视频片段 / 4M+ 标注
模型条件
3D bounding box 与相机信息
移动端野外尺度

适合:RGB-only、移动端 AR、类别级 3D box/9DoF;其标注并非细粒度 CAD 表面 pose。

独立基准

Wild6D

综述收录

真实视频中的类别级 6D pose 数据,强调自然环境、快速运动与遮挡。

类别级 · 未见实例 真实采集 RGBVideo
物体 / 类别
162 个物体 / 5 类
规模
486 段测试视频
模型条件
提供类别级姿态标注
野外视频类别泛化

适合:in-the-wild RGB 视频、类别级时序 pose 与域泛化。

独立基准

PhoCaL

综述收录

结合光度与偏振信息的类别级数据,包含透明与反光等高光学难度物体。

类别级 · 未见实例 真实采集 RGB-DPolarization
物体 / 类别
60 个模型 / 8 类
规模
24 个场景序列
模型条件
提供物体模型与 pose
透明反射偏振

适合:偏振/RGB-D、多材质类别级 pose、光学难例。

独立基准

HouseCat6D

综述收录

真实家庭场景的多模态类别级数据,覆盖日常、透明与反光物体,并提供抓取标注。

类别级 · 未见实例 真实采集 RGB-DPolarization
物体 / 类别
10 类 / 194 个模型
规模
41 个大场景
模型条件
提供类别实例模型
类别泛化遮挡透明反射

适合:类别级 RGB-D/偏振、家庭环境和抓取感知。

独立基准

Omni6D

补充收录

大词表类别级 RGB-D 数据,将类别数从传统 NOCS 级别扩展到 166 类并加入复杂背景/遮挡。

类别级 · 未见实例 真实 + 合成 RGB-D
物体 / 类别
166 类 / 4,688 个实例
规模
80 万+ captures
模型条件
提供 canonicalized 3D 实例
大词表遮挡类别泛化对称

适合:大词表类别级 pose、广义泛化和对称感知评测。

独立基准

BMVC articulated set

BMVC

综述收录

综述收录的早期关节物体姿态集合,规模较小,主要用于与新型关节数据做历史对照。

关节 / 手物交互 真实采集 RGB-D
物体 / 类别
4 个关节物体
规模
小型早期基准
模型条件
部件/关节模型
关节部件 pose

适合:早期 articulated pose 复现;不建议单独承担泛化结论。

独立基准

RBO

RBO Dataset of Articulated Objects

综述收录

真实交互式关节物体数据,适合考察运动部件、遮挡与时间连续性。

关节 / 手物交互 真实采集 RGB-DVideo
物体 / 类别
14 个关节物体
规模
358 段交互序列 / 67 分钟
模型条件
提供关节与物体标注
关节交互时序

适合:关节状态估计、交互场景和视觉机器人研究。

独立基准

HOI4D

综述收录

大规模第一视角 RGB-D 交互数据,提供逐帧类别级物体 pose、手 pose、动作和场景标注。

关节 / 手物交互 真实采集 RGB-DEgocentricVideo
物体 / 类别
16 类 / 800 个实例
规模
2.4M 帧 / 4,000 段序列
模型条件
提供 CAD、手和场景标注
手物交互关节第一视角时序

适合:类别级 object pose tracking、手物交互与具身时序任务。

独立基准

ReArtMix / ReArtVal

综述收录

ReArtMix 提供大规模合成交互/关节数据,ReArtVal 提供真实验证视频,二者构成训练与实景评测组合。

关节 / 手物交互 真实 + 合成 RGB-D
物体 / 类别
可关节类别
规模
100K+ 合成 / 6 个真实场景
模型条件
提供部件与关节标注
关节合成到真实遮挡

适合:关节类别泛化、合成训练到真实验证。

独立基准

ContactArt

综述收录

通过视觉遥操作在物理仿真器采集的关节物体与手接触数据,真值包含部件姿态和接触。

关节 / 手物交互 合成 / 仿真 RGBVideo
物体 / 类别
5 个类别 / 80 个实例
规模
交互仿真序列
模型条件
提供关节、接触与 pose
关节接触手物交互

适合:接触先验、手与关节物体联合 pose,需留意仿真到真实差异。

独立基准

MOPED

综述收录

面向测试时多视图 object modeling 与跨环境匹配的未见物体 pose 数据。

未见物体 · 在线建模 真实采集 RGB-DMulti-view
物体 / 类别
11 个物体
规模
每物体 5 个环境
模型条件
测试时由多视图参考构建
未见物体在线建模跨环境

适合:模型自由/测试时建模与多环境泛化。

独立基准

GenMOP

综述收录

使用参考图像而非预先给定 CAD 的泛化物体 pose 基准。

未见物体 · 在线建模 真实采集 RGB
物体 / 类别
10 个物体
规模
参考视图 + 测试场景
模型条件
测试时参考视图
未见物体RGB-only模型自由

适合:reference-based unseen-object pose、RGB-only 泛化。

独立基准

OnePose

综述收录

测试前通过普通手机视频建立对象表示,之后在杂乱场景中估计未见物体 pose。

未见物体 · 在线建模 真实采集 RGBVideo
物体 / 类别
150 个物体
规模
450+ 采集序列
模型条件
测试前视频/重建参考
未见物体在线建模低纹理

适合:可部署的 object onboarding、参考视频重建和 model-free pose。

独立基准

OnePose-LowTexture

综述收录

OnePose 的低纹理难例子集,检验仅依赖局部特征的未见物体 pose 方法。

未见物体 · 在线建模 真实采集 RGBVideo
物体 / 类别
40 个低纹理物体
规模
OnePose 难例扩展
模型条件
测试前参考视频/重建
未见物体低纹理在线建模

适合:低纹理 object onboarding 与泛化失败分析。

独立基准

MegaPose training data

MegaPose

补充收录

面向 BOP 未见物体任务的大规模合成训练资源,不是带固定实景测试集的独立 benchmark。

训练资产 合成 / 仿真 RGB
物体 / 类别
大规模 3D 物体资产
规模
合成训练语料
模型条件
提供合成渲染与模型资产
未见物体大规模预训练

适合:FoundationPose / MegaPose 类预训练与 BOP unseen 任务;评测仍需回到具体 benchmark。

目录范围与来源说明

收录标准:有公开或明确可申请的图像/视频与 pose(或直接服务 pose 的)标注,且能用于物体位姿研究。小型历史集合也保留,但会在推荐用途里提示其局限。

未逐项纳入仅有 3D 模型、没有 pose 任务标注的通用资产库;唯一例外是明确面向未见物体 pose 预训练的 MegaPose training data,并被标为“训练资产”。数据许可、下载入口和版本会变化,请在开始实验前以项目页为准。

Metrics

常见指标怎么理解

误差函数、阈值规则与最终分数不是同一层概念。先看它在哪里测误差,再确认是否处理对称、遮挡及怎样聚合。

每张卡片都可以进入详情页:先用“极速版概要”回想,再看公式、示意、适用边界、BOP 协议以及文献库中的关联论文。

查看全部指标 →

Rotation Error

Geodesic Rotation Error

3DoF

只看预测与真实朝向之间的最小旋转角,通常与平移误差或 5° 等阈值一起报告。

Translation Error

3D Translation Error

3DoF

直接测预测与真实物体中心的三维距离,必须同时确认坐标系与 m / mm / cm 单位。

n° mcm

Rotation–Translation Threshold Accuracy

threshold

只有旋转与平移同时低于阈值才算成功;5°2cm、5°5cm、10°5cm 都属于这一类。

ADD

Average Distance of Model Points

error

用预测姿态和真实姿态分别变换 CAD 模型点,然后计算平均三维距离。它适合非对称物体,但会惩罚视觉上等价的对称姿态。

ADD-S

Average Closest Point Distance

error

对每个模型点寻找最近点距离,减轻对称物体的等价姿态问题。它常用于轴对称或重复结构明显的物体。

ADD(S)

ADD / ADD-S reporting protocol

protocol

按物体对称性选择 ADD 或 ADD-S 后再聚合;它不是新的距离公式,必须同时确认对象划分和阈值。

ADD AUC

Area under the ADD recall curve

aggregate

在一段误差阈值内平均 recall,比单独的 ADD-0.1d 更连续;积分上限必须一致。

2D Projection

2D Projection Error

error

在图像平面比较预测与真实 CAD 投影,常以 Proj@5px / Prj-5 报告,特别适合 RGB-only 视觉对齐。

VSD

Visible Surface Discrepancy

BOP error

比较预测姿态和真实姿态下可见表面的差异,关注图像中真正可见的部分,适合处理遮挡和对称带来的歧义。

MSSD

Maximum Symmetry-Aware Surface Distance

BOP error

考虑物体对称集合后的最大表面距离,强调三维空间中的最坏情况偏差。

MSPD

Maximum Symmetry-Aware Projection Distance

BOP error

在图像平面比较投影误差,适合观察姿态误差最终会在二维图像中造成多大偏移。

BOP AR

BOP Average Recall

aggregate

BOP 在 VSD、MSSD、MSPD 的多组阈值上计算 recall,再逐层聚合为 AR;它不是单独距离。

BOP AP

Average Precision for 6D Detection

detection

当目标身份未知时,BOP detection 同时评估检测、置信度排序与 pose,使用 AP 而不是 localization AR。

3D IoU

3D Bounding-box Intersection over Union

9DoF

预测尺寸的类别级任务常用它比较三维 box 重叠,同时受位置、旋转和尺寸影响。

Chamfer Distance

Bidirectional nearest-point shape distance

shape

用双向最近点距离评价形状重建或补全质量;它与 pose 指标互补,不能相互替代。

Reading Results

读结果表时先问三个问题

同一个方法在不同数据集和指标下表现可能差很多。先确认场景条件,再比较数字。

物体是否对称

如果物体有旋转对称或重复结构,传统 ADD 可能低估等价姿态的合理性,应结合 ADD-S 或 BOP 的对称感知指标。

是否依赖深度

RGB-D 方法通常能获得更好的平移和表面对齐,但部署要求不同,不能直接和纯 RGB 方法混为一类。

评测协议是否一致

BOP 的 AR、传统 ADD(-S) accuracy、投影误差和论文自定义阈值不是同一个量,横向比较时要确认协议。