Methods

方法分类

更实用的分类方式不是只按网络结构,而是看方法依赖什么输入、预测什么中间量、怎样把二维观测变成三维姿态。

Template

模板匹配与渲染检索

预先从 CAD 模型渲染大量视角模板,推理时把图像观测和模板库匹配。它不一定需要大规模训练,但模板数量、渲染质量和检索速度会成为关键。

适合

CAD 模型可靠、类别固定、环境可控的工业场景

难点

视角覆盖、光照差异和背景干扰会显著影响匹配质量

Keypoint

关键点预测 + PnP

网络预测 2D 关键点,再用已知 3D 关键点和 PnP 求解姿态。这个思路清晰、可解释,但关键点设计和遮挡鲁棒性很重要。

适合

纹理明显、关键点可稳定定位的物体

难点

遮挡和弱纹理会让少量关键点不稳定

Correspondence

2D-3D 对应关系

模型为图像像素预测其在物体坐标系中的位置,形成大量 2D-3D 对应,再用 PnP 或投票求姿态。相比少量关键点,它能利用更密集的局部线索。

适合

希望把学习预测和几何求解结合起来的通用流程

难点

错误对应会放大到姿态误差,需要 RANSAC 或置信度过滤

Dense

稠密对应与坐标场

这类方法通常预测 dense object coordinate、surface embedding 或逐像素匹配特征。它能提供更丰富的信息,但对数据质量和优化细节更敏感。

适合

复杂纹理、局部遮挡和需要高精度对齐的场景

难点

训练标注、显存成本和后处理复杂度更高

Refinement

位姿细化

初始姿态可以来自 RGB 网络或几何匹配,之后用深度点云、渲染深度和 ICP 类方法做精修。它通常不是替代前端感知,而是提升最后几毫米或几度的稳定性。

适合

有深度相机、需要最终对齐精度的应用

难点

深度噪声、反光材料和遮挡边界会影响点云对齐

Multi-object

多物体位姿估计

专门整理能同时估计场景中多个物体位姿,或利用多物体、多视角、时序关系进行联合估计的方法。专题页会先按输入输出 setting 分组,再按发表时间回看演进脉络。

适合

杂乱堆叠、遮挡严重、需要一次输出多个物体位姿的场景

难点

实例分配、遮挡、物体间一致性、多视角匹配和时序融合

Modern

合成数据与 foundation model

新方法越来越多地结合大规模合成数据、分割基础模型、视觉语言模型和少样本模板。它们把问题从固定类别扩展到更开放的物体集合,但评测和可靠性也更需要谨慎。

适合

真实标注昂贵、类别扩展快、需要少样本泛化

难点

仿真到真实域差距、开放词汇定位和 CAD 缺失仍是难点

Problem Formulation

文献库新增的筛选标签

文献库现在按 6D pose 综述中的 problem formulation 自动补充标签,同时保留位姿类型和开放输入方式,方便从不同视角筛选论文。 参考综述 arXiv:2405.07801

实例级 / 类别级 / 未知物体级

实例级面向训练中已知的具体物体;类别级面向已知类别内的未见实例;未知物体级强调对训练外新实例或新类别的泛化。

绝对位姿 / 相对位姿

绝对位姿关注物体在相机或场景坐标系中的姿态;相对位姿关注参考视角、图像对或局部坐标系之间的姿态关系。

开放词汇 / 语言提示

当方法显式使用文本提示、语言描述或开放词汇语义来指定目标物体时,可以使用这个标签。

按输入看

RGB 方法部署简单但尺度和几何信息少;RGB-D 方法能利用深度,但受传感器噪声和工作距离影响。

按输出看

直接回归姿态更端到端;预测中间几何量更可解释,也更容易接入 PnP、ICP 等经典模块。

按泛化看

类别固定方法追求精度;少样本、无 CAD、开放词汇方法更关注新物体适应能力。

Related Directions

从方法分类走向研究地图

这里仍然专注物体位姿估计内部方法。如果你要整理视觉定位、开放词汇分割、特征匹配、VLA、世界模型等论文,建议进入研究地图,再通过文献库的“研究方向”筛选管理。

查看研究地图