Object Pose 6D Estimation English
Pose Knowledge System 持续建设 · 从几何走向操作

6D 物体位姿
知识体系

从刚体几何、相机成像到 SLAM、机器人标定与抓取操作。这里既是一张可按顺序学习的知识地图，也是一套面向工程问题的速查系统。

浏览知识地图 选择学习路线
18
知识模块
6
一级板块
5
领域路线
GEOMETRY SPINE OBJECT → CAMERA → IMAGE
物体点到像素点的几何投影链 物体坐标系中的三维立方体经过旋转和平移进入相机坐标系，再通过相机内参投影到二维图像平面。 x y z X_obj X_cam pixel (u, v)

Xcam = R Xobj + t

s [u, v, 1]T = K Xcam

Quick Start

先抓住一条不变的几何主线

网络可以预测关键点、稠密对应、深度或直接回归位姿，但最终都要回答同一个问题：物体坐标中的三维点，如何落到当前图像的正确位置？

6D Pose

旋转 R + 平移 t

SE(3)

R 描述物体坐标系相对相机坐标系的朝向，t 描述物体原点在相机坐标系中的三维位置。二者共同构成刚体变换。

[ R t 0 0 0 1 ]

先明确变换方向、坐标轴和单位，再讨论算法。工程中的大量“模型失效”，其实来自约定不一致。

01

物体定位

通过 2D box、实例分割或候选 crop 确定目标区域。

02

建立几何线索

预测关键点、物体坐标、稠密对应、深度或表面法向。

03

求解 R 与 t

使用 PnP、RANSAC、3D–3D 对齐、直接回归或优化。

04

精修与验证

检查重投影、轮廓或深度残差，并用 ICP 或渲染对齐精修。

Learning Paths

从你的问题出发，而不是从目录出发

同一个几何概念会同时出现在 3D 视觉、SLAM 和机器人中。学习路线复用同一批知识模块，只改变阅读顺序。

Knowledge Map

完整知识地图

按知识依赖划分为六个板块，再通过领域标签交叉连接。每个模块后续都可以独立补充推导、示例和交互。

/

18 个模块符合当前条件

已有导览 18 正在建设 0 规划中 0
A

Geometry Foundations

几何与位姿基础

建立所有后续章节共用的数学语言、坐标约定和旋转直觉。

00 已有导览

6D 位姿入门导览

从位置、朝向和自由度出发，建立物体位姿估计的整体问题图景。

3D视觉SLAM机器人抓取
进入完整专题
查看覆盖内容
  • 3/4/6/7/9 DoF
  • 相机位姿与物体位姿
  • 实例级与类别级
  • RGB、RGB-D 与点云

规划交互：6D 位姿全景图

01 已有导览

数学与刚体几何

用矩阵、齐次坐标、SO(3) 与 SE(3) 描述三维刚体运动。

3D视觉SLAM机器人抓取
进入完整专题
查看覆盖内容
  • 向量、矩阵与基
  • 齐次变换与逆变换
  • SO(3) 与 SE(3)
  • 李群与李代数
02 已有导览

坐标系与变换约定

统一世界、物体、相机、像素、机器人与夹爪坐标系之间的方向和记号。

3D视觉SLAM机器人抓取 +1
进入完整专题
查看覆盖内容
  • object-to-camera
  • 右手系与左手系
  • OpenCV / OpenGL / ROS
  • 机器人坐标变换链

规划交互：坐标系与变换链实验室

03 已有导览

旋转与姿态表示

比较欧拉角、旋转矩阵、轴角、四元数和连续旋转表示的语义与陷阱。

3D视觉SLAM机器人抓取
进入完整专题
查看覆盖内容
  • 欧拉角与万向节锁
  • 轴角与 Rodrigues
  • 四元数与双覆盖
  • Egocentric / Allocentric

规划交互：旋转表示转换器

B

Imaging & Solvers

相机、投影与几何求解

理解三维点如何成为像素，以及如何从对应关系反求位姿。

04 已有导览

相机模型与成像几何

沿物体点、相机坐标和像素坐标的完整链路理解透视投影。

3D视觉SLAM机器人数据 +1
进入完整专题
查看覆盖内容
  • 相机内参与外参
  • 针孔与透视投影
  • 畸变与相机标定
  • 深度反投影

规划交互：针孔相机投影实验室

06 已有导览

2D–3D 对应与 PnP

从二维—三维对应点恢复相机与物体之间的旋转和平移。

3D视觉SLAM机器人
进入完整专题
查看覆盖内容
  • P3P / EPnP / SQPnP
  • RANSAC 与离群点
  • 重投影优化
  • 共面退化与失败模式

规划交互：PnP 与 RANSAC 演示

07 已有导览

3D–3D 对齐与点云配准

区分闭式刚体对齐、全局配准和依赖初值的局部迭代精修。

3D视觉SLAM机器人抓取
进入完整专题
查看覆盖内容
  • Kabsch 与 Umeyama
  • ICP point-to-point / plane
  • GICP / NDT
  • 初值、重叠与局部最优

规划交互：Umeyama 与 ICP 配准演示

C

Perception Systems

RGB-D、点云与 SLAM

把单帧几何扩展到多模态、多视角和连续运动的感知系统。

05 已有导览

多视图几何与视觉 SLAM

连接相机运动、对极几何、三角化、BA 与物体级地图。

3D视觉SLAM机器人
进入完整专题
查看覆盖内容
  • F / E / H
  • 三角化与视觉里程计
  • Bundle Adjustment
  • Object-level SLAM

规划交互：两视图与 SLAM 图实验室

08 已有导览

通用位姿估计流程

把检测、几何线索、假设求解、位姿精修和置信度串成完整系统。

3D视觉机器人抓取
进入完整专题
查看覆盖内容
  • 检测与分割
  • 关键点与稠密对应
  • PnP / RANSAC
  • 精修、置信度与跟踪
09 已有导览

RGB、RGB-D 与多模态流程

比较颜色、深度、点云和多视角信息在位姿估计中的能力边界。

3D视觉SLAM机器人抓取
进入完整专题
查看覆盖内容
  • RGB-only 与 RGB-D
  • 深度点云与法向
  • 多模态融合
  • 透明、反光与缺失深度

规划交互：模态信息与可靠融合实验室

D

Data & Evaluation

数据、仿真与评测

从真实标注、合成生成到对称感知评测，理解数字背后的协议。

10 已有导览

数据集设计与真实数据标注

覆盖从模型准备、采集标定到位姿真值生成和质量验证的全过程。

3D视觉机器人数据
进入完整专题
查看覆盖内容
  • Marker / 动捕 / 机器人标注
  • CAD-to-image 对齐
  • 可见性与 Mask
  • BOP 格式与质量控制

规划交互：标注变换链与数据审计实验室

11 已有导览

仿真与合成数据制作

从资产、物理布局和相机采样到多通道标注、传感器噪声与 sim-to-real。

3D视觉机器人数据仿真
进入完整专题
查看覆盖内容
  • PBR 与 Domain Randomization
  • 旋转和视点采样
  • 物理掉落与遮挡
  • 噪声建模与质量检查

规划交互：采样、传感器与 Sim-to-real 审计实验室

12 已有导览

对称性、歧义与不确定性

理解为什么一个观测可能对应多个同样合理的姿态，以及如何表达这种多解。

3D视觉机器人抓取数据
进入完整专题
查看覆盖内容
  • 离散与连续对称
  • 遮挡和外观歧义
  • 等价姿态集合
  • 多假设与置信度校准

规划交互：等价姿态与多峰置信度实验室

13 已有导览

位姿评测与误差分析

把旋转、平移、表面距离、可见性与任务成功率放进正确的评测协议。

3D视觉机器人抓取数据
进入完整专题
查看覆盖内容
  • ADD / ADD-S
  • VSD / MSSD / MSPD
  • BOP Average Recall
  • 协议差异与统计陷阱

规划交互：指标、匹配与误差切片实验室

E

Robotics & Manipulation

机器人标定与抓取

把视觉位姿接入机器人坐标链，并最终转化为可执行的操作。

14 已有导览

机器人坐标变换与系统标定

连接相机、机器人基座、末端执行器、工具和目标物体的完整坐标链。

机器人抓取
进入完整专题
查看覆盖内容
  • Eye-in-hand / Eye-to-hand
  • 手眼标定与 AX=XB
  • TCP 与时间同步
  • 误差传播与视觉伺服

规划交互：坐标链、手眼可观测性与时空误差预算实验室

15 已有导览

机器人抓取与操作

将物体位姿转化为可达、无碰撞且能被闭环执行的抓取或装配动作。

机器人抓取
进入完整专题
查看覆盖内容
  • Object-to-grasp
  • 6-DoF grasp 与 antipodal
  • 碰撞、可达性与 IK
  • 闭环抓取与精密装配

规划交互：抓取变换、可行性漏斗与闭环风险实验室

F

Practice & Frontier

工程实践与前沿

沉淀高频排错经验，并连接开放世界、无 CAD 和新型三维表示。

16 已有导览

工程实现与排错

集中处理单位、方向、矩阵顺序、内参更新和传感器对齐等高频问题。

3D视觉SLAM机器人抓取 +2
进入完整专题
查看覆盖内容
  • 米 / 毫米与度 / 弧度
  • 变换方向与乘法顺序
  • resize / crop 后更新内参
  • 投影坐标轴与深度残差排错

规划交互：位姿契约、成像链与求解运行门禁实验室

17 已有导览

扩展与前沿问题

以任务边界梳理类别级、开放世界、无 CAD、神经三维表示、非刚体与具身感知。

3D视觉SLAM机器人抓取 +2
进入完整专题
查看覆盖内容
  • 类别级 6D / 9D 与开放词汇
  • 无 CAD、对象接入与姿态—形状联合估计
  • NeRF / 3DGS 与基础 / 生成模型
  • 关节、形变、event / tactile 与主动感知

规划交互：问题边界、单目尺度歧义与主张证据审计实验室

Build Roadmap

这套体系会怎样生长

先建立稳定骨架，再从依赖最深的几何核心向数据、系统和前沿逐层展开。页面状态会随内容和交互完成度持续更新。

  1. A

    已完成

    框架与导航

    知识门户、分类、标签、学习路径与结构化数据
  2. B

    当前阶段

    几何核心

    坐标系、刚体变换、旋转、相机、PnP 与点云配准
  3. C

    随后展开

    数据与流程

    RGB-D、真实标注、仿真、对称性、评测与排错
  4. D+

    持续扩展

    系统应用与前沿

    SLAM、机器人标定、抓取、开放世界和新型三维表示

Next Deep Dive

坐标系与刚体变换

它是旋转表示、相机投影、PnP、点云配准、手眼标定和机器人抓取的共同依赖，也将承载知识体系的第一个交互实验室。

查看模块位置