实例级 / 类别级 / 未知物体级
实例级面向训练中已知的具体物体;类别级面向已知类别内的未见实例;未知物体级强调对训练外新实例或新类别的泛化。
Methods
更实用的分类方式不是只按网络结构,而是看方法依赖什么输入、预测什么中间量、怎样把二维观测变成三维姿态。
Template
预先从 CAD 模型渲染大量视角模板,推理时把图像观测和模板库匹配。它不一定需要大规模训练,但模板数量、渲染质量和检索速度会成为关键。
适合
CAD 模型可靠、类别固定、环境可控的工业场景
难点
视角覆盖、光照差异和背景干扰会显著影响匹配质量
Keypoint
网络预测 2D 关键点,再用已知 3D 关键点和 PnP 求解姿态。这个思路清晰、可解释,但关键点设计和遮挡鲁棒性很重要。
适合
纹理明显、关键点可稳定定位的物体
难点
遮挡和弱纹理会让少量关键点不稳定
Correspondence
模型为图像像素预测其在物体坐标系中的位置,形成大量 2D-3D 对应,再用 PnP 或投票求姿态。相比少量关键点,它能利用更密集的局部线索。
适合
希望把学习预测和几何求解结合起来的通用流程
难点
错误对应会放大到姿态误差,需要 RANSAC 或置信度过滤
Dense
这类方法通常预测 dense object coordinate、surface embedding 或逐像素匹配特征。它能提供更丰富的信息,但对数据质量和优化细节更敏感。
适合
复杂纹理、局部遮挡和需要高精度对齐的场景
难点
训练标注、显存成本和后处理复杂度更高
Refinement
初始姿态可以来自 RGB 网络或几何匹配,之后用深度点云、渲染深度和 ICP 类方法做精修。它通常不是替代前端感知,而是提升最后几毫米或几度的稳定性。
适合
有深度相机、需要最终对齐精度的应用
难点
深度噪声、反光材料和遮挡边界会影响点云对齐
Multi-object
专门整理能同时估计场景中多个物体位姿,或利用多物体、多视角、时序关系进行联合估计的方法。专题页会先按输入输出 setting 分组,再按发表时间回看演进脉络。
适合
杂乱堆叠、遮挡严重、需要一次输出多个物体位姿的场景
难点
实例分配、遮挡、物体间一致性、多视角匹配和时序融合
Modern
新方法越来越多地结合大规模合成数据、分割基础模型、视觉语言模型和少样本模板。它们把问题从固定类别扩展到更开放的物体集合,但评测和可靠性也更需要谨慎。
适合
真实标注昂贵、类别扩展快、需要少样本泛化
难点
仿真到真实域差距、开放词汇定位和 CAD 缺失仍是难点
Problem Formulation
文献库现在按 6D pose 综述中的 problem formulation 自动补充标签,同时保留位姿类型和开放输入方式,方便从不同视角筛选论文。 参考综述 arXiv:2405.07801
实例级面向训练中已知的具体物体;类别级面向已知类别内的未见实例;未知物体级强调对训练外新实例或新类别的泛化。
绝对位姿关注物体在相机或场景坐标系中的姿态;相对位姿关注参考视角、图像对或局部坐标系之间的姿态关系。
当方法显式使用文本提示、语言描述或开放词汇语义来指定目标物体时,可以使用这个标签。
RGB 方法部署简单但尺度和几何信息少;RGB-D 方法能利用深度,但受传感器噪声和工作距离影响。
直接回归姿态更端到端;预测中间几何量更可解释,也更容易接入 PnP、ICP 等经典模块。
类别固定方法追求精度;少样本、无 CAD、开放词汇方法更关注新物体适应能力。
Related Directions
这里仍然专注物体位姿估计内部方法。如果你要整理视觉定位、开放词汇分割、特征匹配、VLA、世界模型等论文,建议进入研究地图,再通过文献库的“研究方向”筛选管理。
查看研究地图