Method Topic
多物体位姿估计
这里先收集专门面向多物体、多实例、场景级一致性、多视角联合优化或时序融合的 6D 位姿估计方法。后续每篇论文都可以继续扩成单独详情页。
62
已收录论文
5
设定分组
2017-2026
时间跨度
收录标准优先看方法目标：能在一个场景中输出多个物体位姿，或显式利用多物体、多视角、时序关系做联合估计。仅仅在多物体数据集上逐个物体评测的方法，后面可以放到“相关方法”区。
By Setting
按输入输出设定浏览
同一个 setting 下的方法通常有相似的依赖、失败模式和实验协议，后续补论文详情时也更容易横向比较。
RGB → multi-instance 6D poses
单目 RGB：检测与位姿一次输出
这类方法把多物体问题建模为检测、关键点/对应关系预测和姿态求解的联合流程，适合只拿到 RGB 图像、但需要一次性处理场景内多个已知物体的设定。
SSD-6D
把 SSD 检测框架扩展到 3D model instance detection 和 6D pose space，用单张 RGB 图像直接产生多个物体的姿态假设。
Single Shot 6D
YOLO 风格单阶段网络同时检测物体并回归 3D 包围盒顶点投影，再用 PnP 求姿态，强调实时多物体推理。
DOPE
使用合成数据训练 RGB 关键点/向量场网络，在机器人抓取场景中实时输出多个已知 household object 的 6D 位姿。
PoseCNN
将语义分割、平移估计和旋转回归结合起来，是 YCB-Video 数据集和早期深度学习 6D pose 方法中的代表工作。
DPOD
预测多类别 dense correspondence map，再用 PnP/RANSAC 和 RGB refinement 生成多个物体的 6D 姿态，是 RGB dense 对应路线的代表。
EPOS
用 surface fragments 表达对称物体，在像素级预测对象存在概率、fragment 概率和 3D 位置，再为可能的多个实例运行 PnP-RANSAC。
YOLOPose
用 Transformer 做联合检测和关键点回归，目标是在单阶段架构里端到端输出多个物体的检测结果与 6D 位姿。
RGB-D / point cloud → per-object 6D poses
RGB-D：点云几何与关键点投票
深度输入让多物体场景里的遮挡、尺度和几何约束更可用，常见做法是在点云或 RGB-D 融合特征上投票 3D 关键点，再恢复每个实例的姿态。
RGB-D + category prior → pose + size
类别级：无精确 CAD 的多实例估计
目标不再是固定 CAD 模型的已知实例，而是在同一类别内处理未见物体，同时输出多个实例的姿态、尺度，有些方法还会联合预测形状。
multi-view RGB/RGB-D → consistent scene poses
多视角：场景级一致性与联合优化
多个视角能显著缓解遮挡和单视角歧义。核心问题从单张图的局部预测，转为跨视角匹配、相机位姿与物体位姿的一致性优化。
video sequence → temporally fused poses
视频序列：时序信息辅助多物体估计
在动态场景里，单帧预测容易被遮挡和运动干扰。时序方法会聚合跨帧的检测与位姿线索，使多物体输出更稳定。
Timeline
按发表时间浏览
时间线保留方法演进脉络：从单阶段检测式 RGB 方法，到 RGB-D 点云投票、类别级多实例、多视角联合和视频时序融合。
2017
SSD-6D: Making RGB-based 3D Detection and 6D Pose Estimation Great Again
把 SSD 检测框架扩展到 3D model instance detection 和 6D pose space，用单张 RGB 图像直接产生多个物体的姿态假设。
2018
Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects
使用合成数据训练 RGB 关键点/向量场网络，在机器人抓取场景中实时输出多个已知 household object 的 6D 位姿。
2018
PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes
将语义分割、平移估计和旋转回归结合起来，是 YCB-Video 数据集和早期深度学习 6D pose 方法中的代表工作。
2018
Real-Time Seamless Single Shot 6D Object Pose Prediction
YOLO 风格单阶段网络同时检测物体并回归 3D 包围盒顶点投影，再用 PnP 求姿态，强调实时多物体推理。
2019
DPOD: 6D Pose Object Detector and Refiner
预测多类别 dense correspondence map，再用 PnP/RANSAC 和 RGB refinement 生成多个物体的 6D 姿态，是 RGB dense 对应路线的代表。
2019
Normalized Object Coordinate Space for Category-Level 6D Object Pose and Size Estimation
提出 normalized object coordinate space，把不同实例映射到类别共享规范空间，可在杂乱 RGB-D 场景中估计多个未见实例的位姿和尺寸。
2020
CosyPose: Consistent Multi-view Multi-object 6D Pose Estimation
面向多物体和多视角一致性建模，强调从检测、单视角估计到多视角联合优化的完整系统。
2020
EPOS: Estimating 6D Pose of Objects with Symmetries
用 surface fragments 表达对称物体，在像素级预测对象存在概率、fragment 概率和 3D 位置，再为可能的多个实例运行 PnP-RANSAC。
2020
PVN3D: A Deep Point-wise 3D Keypoints Voting Network for 6DoF Pose Estimation
在点云上做逐点 3D keypoint Hough voting，再用最小二乘拟合姿态，适合 RGB-D 多物体场景中的遮挡和杂乱条件。
2021
FFB6D: A Full Flow Bidirectional Fusion Network for 6D Pose Estimation
在 RGB 与点云两个分支的全流程中做双向融合，并选择 3D keypoints 输出姿态，强化 RGB-D 多物体场景中的外观和几何互补。
2022
CenterSnap: Single-Shot Multi-Object 3D Shape Reconstruction and Categorical 6D Pose and Size Estimation
把多个物体实例表示为空间中心，在单次前向中同时预测 3D shape、6D pose 和 size，面向无 CAD 的类别级多物体场景。
2022
MV6D: Multi-View 6D Pose Estimation on RGB-D Frames Using a Deep Point-wise Voting Network
把 PVN3D 思路扩展到多视角 RGB-D 输入，融合多视角点云与图像特征，直接预测杂乱场景中所有物体的 6D 位姿。
2022
YOLOPose: Transformer-based Multi-Object 6D Pose Estimation using Keypoint Regression
用 Transformer 做联合检测和关键点回归，目标是在单阶段架构里端到端输出多个物体的检测结果与 6D 位姿。
2024
ContactArt: Learning 3D Interaction Priors for Category-level Articulated Object and Hand Poses Estimation
ContactArt 从人类 teleoperation 仿真数据学习部件排列 discriminator 和接触 diffusion prior，并以二者约束真实图像中的类别级 articulated object 与 hand pose。
2024
Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis
Dynamic 3D Gaussians 固定 Gaussian 外观与身份，只让位置和 orientation 随时间变化，并以局部刚性/等距正则从动态多视图渲染中得到稠密 6DoF trajectories。
2024
Fit-NGP: Fitting Object Models to Neural Graphics Primitives
Fit-NGP 让腕载 RGB 相机扫描静态场景并训练 Instant-NGP，再把已知 CAD 表面直接拟合到 density field；相机位姿联合优化和法向邻域采样是达到 1.6 mm / 3.3° 中位误差的关键。
2024
FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects
面向训练未见刚性实例的统一 RGB-D 6D pose 与 tracking：CAD 已知时直接渲染，CAD 缺失时由少量带位姿参考图拟合 object-centric neural field 以渲染 RGB-D；全局采样假设经 Transformer RefineNet 细化，再由跨假设 self-attention ScoreNet 排序。LLM 和扩散模型只用于扩充合成训练数据，测试时不输入文本也不微调主网络。
2024
HOC-Search: Efficient CAD Model and Pose Retrieval from RGB-D Scans
HOC-Search 将类别、CAD 与 9DoF pose 组织为层次搜索树，以 MCTS 近似昂贵的穷举 render-and-compare，并只对高价值候选联合做 pose refinement。
2024
Learning Better Keypoints for Multi-Object 6DoF Pose Estimation
KeyGNet 将 FPS / BBox 固定关键点改成离线 target-design：EdgeConv 从一个数据集的对象可见彩色表面学习共享 3D 关键点，以 Wasserstein loss 对齐不同关键点的投票分布，并用 dispersion loss 防止几何坍缩。替换 PVNet、PVN3D、RCVPose 的关键点后，七个 BOP core datasets 的 MIMO 平均 AR 分别提高 11.3、12.0、10.0 points；PVN3D 在 LMO 的 ADD(S) 从 53.9 升至 70.3。优势集中在缩小 SISO→MIMO gap，但依赖 GT pose、内参、已知几何和可见表面，并需按数据集与 voting representation 分别训练。
2024
MOTPose: Multi-Object 6D Pose Estimation for Dynamic Video Sequences Using Attention-Based Temporal Fusion
MOTPose 在 DETR 式多对象网络内部用 TEFM 融合历史对象 embedding，并用 TOFM 融合关键点与位姿参数；相较单帧版本，它在动态 SynPick 中同时降低漏检和离群 pose，并在 YCB-Video 上保持有竞争力的精度。
2024
NCRF: Neural Contact Radiance Fields for Free-Viewpoint Rendering of Hand-Object Interaction
NCRF 联合接触优化场、手物 canonical motion field 与 radiance field，让 contact 和多视图渲染共同修正遮挡下的 hand/object pose。
2024
Physics-Based Rigid Body Object Tracking and Friction Filtering From RGB-D Videos
方法以可微刚体仿真作为 Extended Kalman Filter 的状态转移，在 RGB-D pose measurement 之间联合跟踪 position、SO(3) rotation、速度与摩擦系数。
2024
PS6D: Point Cloud Based Symmetry-Aware 6D Object Pose Estimation in Robot Bin-Picking
PS6D 以注意力点云特征、对称感知旋转损失和中心距离加权平移损失逐点预测 pose，并用先按中心、再按旋转的两阶段聚类分开交叉细长件与多对称模式；论文还报告单类工件 91.7% 真实 bin-picking 成功率。
2024
RelPose++: Recovering 6D Poses from Sparse-view Observations
RelPose++ 用多视图 Transformer 更新 pairwise rotation energy distributions，并在 look-at-centered 坐标系下回归 translation，从稀疏对象视图恢复一致的相机组 6D pose。
2024
RGBManip: Monocular Image-Based Robotic Manipulation Through Active Object Pose Estimation
RGBManip 用高层 RL 策略调度主动观察与操作，以运动学引导的多视图 depth-aware features 估计类别级 pose，并用 impedance control 吸收残余误差；主要结果是六项机器人任务成功率而非独立 pose benchmark。
2024
SAM-6D: Segment Anything Model Meets Zero-Shot 6D Object Pose Estimation
面向训练未见实例的 RGB-D 零样本 6D pose：以目标 CAD 渲染模板作为物体先验，SAM/FastSAM 产生候选 mask，经 DINOv2 语义、外观和几何评分筛选，再用带 background tokens 的粗到细 3D-3D 对应与加权 SVD 输出所有目标实例的位姿。
2024
SD-Net: Symmetric-Aware Keypoint Prediction and Domain Adaptation for 6D Pose Estimation in Bin-Picking Scenarios
SD-Net 按对象对称类型设计等价关键点集合，以逐点回归、实例聚类、关键点过滤和 Hough voting 恢复堆叠零件 pose，再通过 teacher–student 与 Semi-Chamfer 几何筛选把合成模型适配到无标注真实点云。
2024
Sim-to-Real Object Pose Estimation for Random Bin Picking
该方法用目标 CAD 和 physics simulator 自动生成随机堆叠、实例分割与 pose annotations，只在 synthetic point clouds 上训练并无额外域适配地部署到真实料箱，最后接入机器人 picking 闭环；公开摘要报告 synthetic recall / accuracy 具有竞争力并提升真实抓取成功率，但未披露数值。
2024
YOLO-6D-Pose: Enhancing YOLO for Single-Stage Monocular Multi-Object 6D Pose Estimation
YOLO-6D-Pose 在 YOLOX 检测头旁直接回归连续 6D rotation representation 与 translation，以一次前向完成多对象检测和 pose，省去 keypoint、PnP 与迭代 refinement。
2025
6DOPE-GS: Online 6D Object Pose Estimation using Gaussian Splatting
以增量式 2D Gaussian Splatting 同时优化对象 pose 与对象表示；动态关键帧选择、图优化和不透明度统计剪枝让模型自由的 RGB-D 6D tracking 与重建能够在线运行。
2025
Betsu-Betsu: Multi-View Separable 3D Reconstruction of Two Interacting Objects
Betsu-Betsu 用共享 multi-resolution hash grid 表征交互场景，再解码出对象各自的 SDF 与 radiance field；alpha-blending regularization 在互遮挡边界抑制两份几何互相穿插。
2025
CAP-Net: A Unified Network for 6D Pose and Size Estimation of Categorical Articulated Parts from a Single RGB-D Image
CAP-Net 以单阶段 RGB-D 网络共同预测 part class、中心偏移与 NPCS，并在 RGBD-Art 上面向类别级可动部件恢复 pose、size 和关节状态。
2025
High-Precision Object Pose Estimation Using Visual-Tactile Information for Dynamic Interactions in Robotic Grasping
该工作以 particle filter 融合视觉和触觉位移：视觉实时追踪被接触对象，触觉修正抓持对象的滑移与 pose change；摘要在 13 个不同几何对象上验证动态适应性，但未披露 cm / degree 误差。
2025
EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting
EgoGaussian 先由静态片段初始化背景与对象 Gaussians，再在动态片段中交替优化 rigid object pose 与 Gaussian densification，最后联合微调得到带每帧对象位姿的第一视角 4D scene representation。
2025
HOGSA: Bimanual Hand-Object Interaction Understanding with 3D Gaussian Splatting Based Data Augmentation
HOGSA 用 mesh-based 3D Gaussian Splatting 与超分辨率渲染构造高质量双手—物体训练样本，并以双手抓取 pose 优化扩充视角和姿态覆盖，提升交互 pose 基线。
2025
InterTrack: Tracking Human Object Interaction without Object Templates
InterTrack 用 CorrAE 为逐帧人形重建建立 SMPL correspondence，用 TOPNet 在时序与人体条件下预测遮挡物体 rotation，再联合优化 canonical object shape、逐帧变换与人—物接触。
2025
Occlusion-Aware 6D Pose Estimation with Depth-Guided Graph Encoding and Cross-Semantic Fusion for Robotic Grasping
ICRA 2025 Best Conference Paper Finalist：以 depth-guided GNN 建模遮挡下非相邻表面点关系，并自适应融合 mask 与 binary code，增强 RGB-D 场景中的 2D–3D correspondence；摘要报告 LM-O / YCB-V 相对提升 1.2% / 1.9%，个别对象最高 30%。
2025
QORT-Former: Query-optimized Real-time Transformer for Understanding Two Hands Manipulating Objects
QORT-Former 用 left-hand / right-hand / object 分区 query、query proposal loss 与 contact feature，在单张 RGB 中实时联合估计双手与物体 3D pose，并兼顾交互识别。
2025
R²-Art: Category-Level Articulation Pose Estimation from Single RGB Image via Cascade Render Strategy
R²-Art 用单张 RGB 并行估计 root pose 与关节状态，以 joint-centric prior 对各部件做变换 / 形变，再通过级联渲染损失逐步校正可动部件的类别级 pose。
2025
SMORE: Simultaneous Map and Object REconstruction
SMORE 将城市 LiDAR 动态场景分解为背景与刚体对象，在 neural surfaces、ego poses 和 object poses 上交替优化，并扩展 continuous-time deskewing 来校正动态对象的 rolling-shutter LiDAR 形变。
2025
Unified Category-Level Object Detection and Pose Estimation from RGB Images using 3D Prototypes
利用带学习顶点特征的 neural mesh 作为类别 3D prototype，在 RGB 单阶段框架中共同完成 detection、6D pose 和 9D pose refinement，避免 detector 与单物体 pose 网络串联。
2025
You Only Estimate Once: Unified, One-Stage, Real-Time Category-Level Articulated Object 6D Pose Estimation for Robotic Grasping
YOEO 用单个 point-cloud network 并行预测 part semantic、centroid offset 与 NPCS，以投票聚类分离部件实例，再对 NPCS 与观测点云做配准，面向实时关节物体操作。
2025
ZeroBP: Learning Position-Aware Correspondence for Zero-Shot 6D Pose Estimation in Bin-Picking
ZeroBP 将局部点云特征与对象中心方向编码共同写入 cross-attention，通过 superpoint-to-point 的交替 pose / position refinement，减少工业工件重复局部几何造成的错配。
2025
ZeroPose: CAD-Prompted Zero-Shot Object 6D Pose Estimation in Cluttered Scenes
面向训练未见刚性实例的 CAD-based RGB-D 6D pose：先将每个目标 CAD 离线渲染为多视角 RGB-D，并缓存 DINOv2 图像/patch 特征与几何特征；推理时以 FastSAM 提议和全局视觉匹配发现所有目标实例，以局部 patch 匹配预测可见视角，再对可见 CAD 表面与场景点云做粗到细 3D-3D 匹配和加权 SVD。它无需为新物体重训，也无需人工给 mask，但仍依赖带尺度 CAD、深度、内参与一次性 onboarding。
2026
3D-Object Perception Transformer (3PT)
3PT 用两个面向 2D/3D object-centric understanding 的 Transformer 统一检测、分割和 6DoF pose，通过连续 object representation refinement 和渲染特征对齐，在 BOP-H3、BOP-Industrial 与 BOP-Classic 上实现零样本跨物体感知。
2026
AlignPose: Generalizable 6D Pose Estimation via Multi-view Feature-metric Alignment
AlignPose 把多张标定 RGB 图像中的候选姿态转换到统一 world frame，再在冻结视觉特征空间中联合优化一个 SE(3) pose，通过渲染物体与观测特征的 discrepancy 完成泛化细化。
2026
DICArt: Advancing Category-level Articulated Object Pose Estimation in Discrete State-Spaces
DICArt 将类别级可动物体 pose 放入离散状态空间，用 Flexible Flow Decider 改善离散扩散去噪，并以 hierarchical kinematic coupling 在遮挡下联合恢复刚性部件、关节轴和 articulation state。
2026
EgoXtreme: A Dataset for Robust Object Pose Estimation in Egocentric Views under Extreme Conditions
EgoXtreme 将低光、运动模糊、烟雾、严重遮挡、近距离截断等条件带入 egocentric 物体位姿评测，覆盖工业维护、运动和应急救援场景，用于检验实验室方法的真实泛化能力。
2026
Event6D: Event-based Novel Object 6D Pose Tracking
Event6D 面向未知物体的高速跟踪，利用事件流和最新深度帧在任意时间戳重建 intensity/depth，再做 render-and-compare pose tracking，系统速度超过 120 FPS 并在真实事件数据上验证泛化。
2026
Follow My Hold: Hand-Object Interaction Reconstruction through Geometric Guidance
FollowMyHold 在 pretrained rectified-flow 3D generator 的采样中加入多阶段 geometric guidance，同时优化 hand / object transforms，并以 depth、normal、silhouette、keypoint 和 SDF contact 约束得到物理一致的 HOI reconstruction。
2026
GaussianArt: Unified Modeling of Geometry and Motion for Articulated Objects
GaussianArt 用 articulated 3D Gaussians 将 part geometry 与 motion decomposition 统一学习，并借助 part segmentation、L0 与 trajectory regularization 处理最多 20 个部件的可动物体数字孪生。
2026
Reconstructing Hand-Held Objects in 3D from Images and Videos
MCC-HO 从单图和推断的 3D hand 联合恢复手物几何，RAR 用 VLM 检索匹配的 3D object model 并与多帧观测刚体对齐；手部作为尺度和位置的强几何锚点。
2026
HRDexDB: A Paired Human-Robot Dataset for Cross-Embodiment Dexterous Grasping
HRDexDB 以 21 个外部相机和 2 个第一视角相机记录 100 个物体、2.1K 条人类与四种灵巧手配对抓取序列，提供约 24M 帧、3D 手部、物体 6D 位姿、机器人状态与触觉标注，并用接触迁移、跨本体抓取检索、手部重建和抓取遮挡下物体位姿基准验证其用途。
2026
iTACO: Interactable Digital Twins of Articulated Objects from Casually Captured RGBD Videos
iTACO 从同时存在手持相机运动、对象运动与遮挡的 RGB-D video 中，先以静态 / 动态对应得到 joint 的 coarse state，再以可微 refinement 与 part segmentation 优化关节参数和可动部件。
2026
KV-Tracker: Real-Time Pose Tracking with Transformers
KV-Tracker 将多视角视觉几何 Transformer 的全局信息缓存为 key-value 场景表示，使模型可以在单目视频中在线更新物体 pose 与几何，减少反复全局计算和长期漂移。
2026
Monocular Vehicle Pose and Shape Reconstruction via Dynamic Context Adaptation and Progressive Geometry Refinement
面向自动驾驶远距离车辆，MonoVPR 用 HDCA 融合 object-centric geometry 与 scene-centric semantics，再用 BIMR 的 tanh-bounded iterative mesh refinement 同时改善 3D pose 和形状恢复。
2026
Point2Pose: Occlusion-Recovering 6D Pose Tracking and 3D Reconstruction for Multiple Unknown Objects Via 2D Point Trackers
Point2Pose 从每个未知刚体上的少量点击与 RGB-D 视频启动，用 SAM2 获得 mask、长程 2D point tracker 维持跨遮挡数据关联，并把深度提升的 tracks 写入对象中心 keypoint map；多假设 SVD / RANSAC、TSDF 评分与 SDF refinement 求每帧 pose，factor graph 与在线 TSDF 维持全局一致性和重建。YCBMultiTrack-Real-World 上 ADD-S / ADD AUC 为 89.40 / 71.19，明显高于 BundleSDF 成功序列均值 62.08 / 42.34；但 HO3D 与 YCBInEOAT 的普通平均并非全面领先，方法依赖纹理、准确 mask、RGB-D 和静态相机，输出也是相对首帧而非 CAD canonical pose。
2026
PoseGAM: Robust Unseen Object Pose Estimation via Geometry-Aware Multi-View Reasoning
PoseGAM 将 query 图像和多张带姿态模板送入几何感知的多视角网络，利用显式点几何与学习到的 geometry features 直接预测 pose，避免显式构造 query-template correspondence，并在五个 BOP 数据集上取得平均 AR 提升。
2026
Exploring Category-level Articulated Object Pose Tracking on SE(3) Manifolds
面向类别级可动物体的多帧 6D pose tracking，在 SE(3) / se(3) 中学习位姿增量，结合 weighted PPF 投票、动态关键帧和关节运动学约束降低漂移并提升部件间一致性。
2026
VPHO: Joint Visual-Physical Cue Learning and Aggregation for Hand-Object Pose Estimation
面向单 RGB 手-物交互，VPHO 同时学习手/物 heatmap 和接触力等物理线索，先生成多个 diffusion pose 候选，再通过 visual-based 与 physics-based aggregation 选择视觉一致且物理可行的结果。
2026
XYZ-IBD: Benchmarking Robust 6D Object Pose Estimation under Real-World Industrial Complexity
XYZ-IBD 用 FANUC 机械臂搭载 RealSense、DLP structured-light 与 Photoneo 三类传感器，采集 15 种反光、无纹理、强对称工业件的 75 个高密度料箱场景；ECCV 接收版统计为 22.5K frames、约 273K pose instances，并用消反光喷涂深度、多视角融合、人工粗配准和 multi-scale ICP 建立标签。BOP 6D detection AP 在 XYZ-IBD 上仅为 GDRN 0.266、SurfEmb 0.247、FoundationPose 0.564、SAM6D 0.578，显著低于 BOP-Core 5；但“0.999 mm / 0.432°”精度来自复现噪声与标注流程的仿真误差量化，且项目页仍保留旧版 91K annotations 口径，使用时应以 v3 / ECCV 版并注明计数版本。
2026
You Only Pose Once: A Minimalist's Detection Transformer for Monocular RGB Category-Level 9D Multi-Object Pose Estimation
YOPO 把类别、2D box、中心、深度、旋转与各向异性尺度都作为 DETR object query 的一次性输出，并把平移条件化在 box 上、把位姿误差加入 Hungarian matching。微调版本在 REAL275 达 79.6 IoU50 与 54.1 的 10°10 cm；优势是纯 RGB 端到端，细粒度精度仍落后于强 RGB-D 系统。