01 · Foundation Evidence
基础模型先改变对应、检索与 proposal
Diffusion Features、SecondPose、SAM-6D 和 FoundationPose 并不简单让大模型直接回归 SE(3),而是用它们改善图像特征、实例发现、跨视图匹配、渲染比较与候选打分。
CVPR 2024 · Paper Collection
CVPR 2024 的核心变化不是某一种网络结构取代另一种,而是 onboarding 条件和输出边界同时松动:CAD、单张参考图、文本提示、无标注对象视频都能成为目标先验;pose 也从静态单物体扩展到多解分布、跨帧跟踪、长期重定位与关节数字孪生。
23
纳入专题论文
5
官方 Highlight
11
未见 / 少参考物体
6
动态、数据与扩展系统
本站对 CVF Open Access 的 2,716 篇 CVPR 2024 主会论文做标题级全量筛选,再逐篇核验近邻候选的摘要、任务输出和实验对象,最终纳入 23 篇。
查看 CVPR 2024 官方论文集 →Collection in One Sentence
FoundationPose、SAM-6D、GigaPose、MatchU 与 diffusion features 都面向未见对象,但分别依赖 CAD / reference views、RGB-D、mask 或 detection、渲染模板与基础模型特征;比较时必须把 onboarding、输入和前端来源一起写清楚。
NOPE、DVMNet 与 Oryon 进一步把先验压缩到单参考图、图像对或文本提示;SE(3) score diffusion、6D-Diff、Living Scenes 与 DigitalTwinArt 则把 pose 的表示从单一刚体解扩展到多解后验、长期对象运动和关节状态。
Research Trends
趋势按技术变化与后续影响归纳;数量统计按每篇论文的主要贡献互斥分类,标签仍保留跨方向属性。
01 · Foundation Evidence
Diffusion Features、SecondPose、SAM-6D 和 FoundationPose 并不简单让大模型直接回归 SE(3),而是用它们改善图像特征、实例发现、跨视图匹配、渲染比较与候选打分。
02 · Lighter Onboarding
NOPE 只用单张 RGB reference,DVMNet 用 reference–query 图像对,Oryon 用文本找出跨场景同一对象;代价是它们多求相对 pose,且 metric scale、可见面和参考姿态条件各不相同。
03 · Pose as Distribution
SE(3) score diffusion 直接在李群上采样后验,6D-Diff 在 2D keypoint 空间做重尾去噪;两者分别处理“pose 分布”和“对应噪声”,不能都概括成同一种 diffusion pose。
04 · Beyond One Frame
L4D-Track 联合追踪与重建,Living Scenes 估计跨时刻对象运动并累积几何,DigitalTwinArt 恢复部件与关节变换;HouseCat6D 和 IPD 则把材质、传感器与真实部署纳入数据协议。
Data Statistics
23 篇论文按主要贡献分为四组;同一论文可能同时含基础模型、对应、跟踪或重建属性。
以通用特征、RGB-D 描述子、模板检索、稠密对应和可插拔细化减少对象级训练,并兼顾精度与速度。
用单张参考图、成对 RGB-D 或文本提示替代完整 CAD / 稠密模板库,直接恢复同一对象跨视图的相对姿态。
围绕类别内形变、规范空间对应、对称与遮挡多解,以及扩散式关键点 / SE(3) 分布建模提升鲁棒性。
把静态单物体 pose 扩展到视频跟踪、多实例注册、长期重定位、工业传感器共评测和关节物体数字孪生。
11 / 23
直接围绕训练外对象或少参考相对 pose,占本专题近一半,是最集中主线。
5 篇
FoundationPose、Oryon、HouseCat6D、Living Scenes 与 Diffusion Features 获官方 Highlight。
2 篇
HouseCat6D 与 IPD 以数据 / 评测为主贡献,其余动态组工作仍是方法或扩展任务。
Recommended Reading
“官方 Highlight”严格来自 CVPR 2024 Accepted Papers 页面;其他推荐是本站依据方法代表性、系统完整度与复现实用性做出的编辑选择。
统一 CAD 与 model-free 两种 onboarding,并把初始化、细化、打分和跟踪组织成可直接部署的通用管线,是 2024 年影响最大的 unseen-object pose 基线之一。
优先阅读它把 render-and-compare、稠密光流、显式 3D shape constraint 与 differentiable PnP 串为可泛化 refiner,适合与 FoundationPose 的 refinement 设计对照。
优先阅读通过把旋转检索降为二维模板空间、再由单个 patch correspondence 恢复剩余自由度,清楚展示速度与几何分解如何共同设计。
优先阅读把“找出目标实例”和“估计其 pose”都纳入 zero-shot 管线,并分别量化前端 proposal 与后端 3D matching,是理解完整 BOP pipeline 的好样本。
官方 Highlight它没有把扩散模型用作图像生成器,而是系统分析并聚合不同层级的 diffusion features,直接面向未见对象表示泛化。
官方 Highlight它首次把文本提示、开放词汇对象定位与跨场景相对 6D pose 串为同一任务,同时明确不依赖 CAD 或对象视频。
优先阅读它把扩散过程直接定义在 SE(3) 上,并以分布预测正面处理对称和透视歧义,适合与 6D-Diff 的关键点空间扩散对照。
系统代表它明确把 multi-instance registration 定义为同一模型多个实例的 pose estimation,并在重遮挡 clutter 中联合做实例分离与对应提取。
官方 Highlight194 个对象、10 类、41 个真实大场景与毫米级标注把类别级 pose 从小型桌面基准推进到更真实的材质、遮挡和视角分布。
数据代表它不只发布图像,而是把相机、HDR、极端照明、机器人一致性和 pose 算法放进同一高精度评测协议。
官方 Highlight它把 object pose 放到长期变化场景中,与实例匹配和逐次变完整的对象重建联合求解,体现了静态 pose 向长期对象地图的扩展。
Paper List
每张卡片写明任务边界、输入资源、官方展示类型和中文简述;只有粗读、精读与原论文图表全部完成后,入口才切换到站内详情页。
8 papers
以通用特征、RGB-D 描述子、模板检索、稠密对应和可插拔细化减少对象级训练,并兼顾精度与速度。
Junwen Huang · Hao Yu · Kuan-Ting Yu · Nassir Navab · Slobodan Ilic · Benjamin Busam
设定:训练外刚体对象;以模型与场景 RGB-D 的局部对应恢复 6D pose
输入:RGB-D + object model
简述:以 Fuse–Describe–Match 管线学习旋转不变的几何描述子,再通过注意力把 RGB 纹理融合进描述空间,缓解纯几何匹配在对称或重复结构上的歧义;无需为新对象重训或做大规模模板渲染。
Bowen Wen · Wei Yang · Jan Kautz · Stan Birchfield
设定:训练外刚体对象;统一 CAD-based 与少量参考图 model-free 两种设定
输入:RGB-D + CAD or posed references
简述:CAD 已知时直接渲染对象,CAD 缺失时由少量带姿态参考图拟合对象中心 neural field;两种模式共享 RefineNet 与 ScoreNet,可对训练未见对象即时做 pose estimation 和 tracking。
Yuelong Li · Yafei Mao · Raja Bala · Sunil Hadap
设定:单 RGB、已知 CAD 的实例级 6DoF pose;无需迭代 refinement
输入:RGB + CAD render
简述:第一阶段分类粗姿态并渲染 CAD,第二阶段通过 multi-scale residual correlation 对输入与渲染图做高低层对应,再回归细粒度残差;用软概率 pose 标签处理对称物体,强调单次前向推理。
Yongliang Lin · Yongzhi Su · Praveen Nathan · Sandeep Inuganti · Yan Di · Martin Sundermeyer · Fabian Manhardt · Didier Stricker · Jason Rambach · Yu Zhang
设定:已知对象模型的单帧 RGB-D 实例级 pose;以无渲染细化的对应求解追求实时
输入:RGB-D + CAD model
简述:把 CAD 表面编码为层级二进制区域,从 point-to-surface 的粗对应开始逐层收缩区域并同步剔除离群点,最终得到 3D–3D 对应与 pose;目标是在不依赖昂贵 render-based refinement 时保持高精度。
Sungphill Moon · Hyeontae Son · Dongcheol Hur · Sangwook Kim
设定:给定新对象 CAD 与初始 pose,以通用光流网络迭代细化训练外对象
输入:RGB or RGB-D + CAD render
简述:预测观测图与当前 CAD 渲染之间的稠密 flow、置信度和 pose 更新,用 3D 形状约束与可微 PnP 保持投影几何一致;级联多尺度相关体支持 coarse-to-fine 的循环细化。
Van Nguyen Nguyen · Thibault Groueix · Mathieu Salzmann · Vincent Lepetit
设定:单 RGB、目标 CAD 与对象检测;训练外对象的快速 coarse pose
输入:RGB + CAD templates
简述:先在只含两个旋转自由度的 CAD 模板库中检索 out-of-plane rotation,再用一个局部对应恢复 in-plane rotation、尺度和图像平移;相较既有模板方法显著提速,并可无缝接 refinement。
Jiehong Lin · Lihua Liu · Dekun Lu · Kui Jia
设定:给定目标 CAD,在杂乱 RGB-D 中同时发现所有目标实例并估计训练外 pose
输入:RGB-D + CAD templates
简述:ISM 让 SAM / FastSAM 产生开放候选,再以语义、外观和几何分数筛选目标;PEM 把 pose 作为 partial-to-partial 3D matching,以 background tokens 与粗到细对应恢复 SE(3)。
Tianfu Wang · Guosheng Hu · Hongguang Wang
设定:用扩散模型中间特征增强训练外对象的图像 pose 表示
输入:RGB + object model / templates
简述:分析 Stable Diffusion 等生成模型中间特征的视角与对象泛化能力,并设计三种不同粒度的聚合架构用于 object pose;论文在 LM、O-LM 与 T-LESS 上重点报告未见对象提升。
3 papers
用单张参考图、成对 RGB-D 或文本提示替代完整 CAD / 稠密模板库,直接恢复同一对象跨视图的相对姿态。
Van Nguyen Nguyen · Thibault Groueix · Georgy Ponimatkin · Yinlin Hu · Renaud Marlet · Mathieu Salzmann · Vincent Lepetit
设定:只给新对象的一张参考 RGB,在查询图中预测对象相对视角
输入:reference RGB + query RGB
简述:以 pose-conditioned U-Net 直接合成环绕对象各候选视角的判别 embedding,再让查询图与这些 viewpoint embeddings 匹配;不需要 CAD、对象级训练或多视图扫描,重点输出相对旋转。
Chen Zhao · Tong Zhang · Zheng Dang · Mathieu Salzmann
设定:参考—查询 RGB 图像对;无 CAD 地一次前向恢复训练外对象的相对 pose
输入:reference RGB + query RGB
简述:分别把 reference 与 query 提升到对象中心 3D voxel,再用 weighted closest voxel 建立抗噪对应并通过加权最小二乘直接求相对 pose;避免枚举并逐一打分大规模离散姿态假设。
Jaime Corsetti · Davide Boscaini · Changjae Oh · Andrea Cavallaro · Fabio Poiesi
设定:文本指定目标,在两个不同场景的 RGB-D 图像中定位对象并估计相对 6D pose
输入:text + reference/query RGB-D
简述:用文本提示驱动 VLM 在两幅 RGB-D 场景中分割同一目标,再把 prompt 的对象级语义与局部图像特征融合,建立跨场景点对应并求相对 SE(3);新 benchmark 基于 REAL275 与 Toyota-Light。
6 papers
围绕类别内形变、规范空间对应、对称与遮挡多解,以及扩散式关键点 / SE(3) 分布建模提升鲁棒性。
Linfang Zheng · Tze Ho Elden Tse · Chen Wang · Yinghan Sun · Hua Chen · Aleš Leonardis · Wei Zhang · Hyung Jin Chang
设定:类别级 RGB-D pose 的后端细化;处理观测实例与类别 shape prior 的形状偏差
输入:point cloud + initial pose + shape prior
简述:用 HS-layer、可学习仿射变换和 cross-cloud transformation 对齐观测点云与类别先验,在类别内形变下细化旋转;同时利用 shape prior 回归平移与尺寸误差,补足实例级 refiner 难以迁移的问题。
Leonhard Sommer · Artur Jesslen · Eddy Ilg · Adam Kortylewski
设定:只用无标注对象中心视频建立类别规范系,并学习单图 3D orientation
输入:unlabeled RGB videos → single RGB
简述:先以粗 mesh、DINOv2 外观特征和 cyclic distance 对不同视频做规范相机对齐,再利用对齐结果与重建模板训练单图 dense correspondence 网络;避免人工 pose 标签、CAD 与 RGB-D。
Tsu-Ching Hsiao · Hao-Wei Chen · Hsuan-Kung Yang · Chun-Yi Lee
设定:单 RGB 下学习条件 pose 分布,而非把对称 / 遮挡多解压成单一回归值
输入:RGB
简述:在 SE(3) 群上训练条件 score-based diffusion,以 surrogate Stein score 改善去噪收敛与效率;输出可覆盖多个等价或近似 pose 的后验样本,而不是只产生单一确定解。
Yamei Chen · Yan Di · Guangyao Zhai · Fabian Manhardt · Chenyangguang Zhang · Ruida Zhang · Federico Tombari · Nassir Navab · Benjamin Busam
设定:RGB-D 类别级 pose 与尺寸;不使用单一 mean shape 压缩实例几何
输入:RGB-D / point cloud
简述:把 DINOv2 的类别语义与局部—全局 SE(3)-invariant 几何特征逐点对齐,形成随坐标变换保持一致的双流对象表示,再从相机空间映射到规范空间;在 REAL275 与 HouseCat6D 上评测。
Li Xu · Haoxuan Qu · Yujun Cai · Jun Liu
设定:单 RGB、已知对象模型;以扩散式 2D keypoint 去噪恢复实例级 6D pose
输入:RGB + 3D keypoints
简述:把 2D keypoint 检测写成条件反向扩散过程,并用 Mixture-of-Cauchy 前向噪声贴合遮挡和背景导致的重尾误差;去噪后的 2D–3D 对应交给几何求解器恢复 pose。
Xiao Lin · Wenfei Yang · Yuan Gao · Tianzhu Zhang
设定:类别已知、实例未见;不依赖类别特定 mean shape 的 6D pose 与尺寸
输入:RGB-D / point cloud
简述:Instance-Adaptive Keypoint Detection 为不同实例选择可表达其几何的稀疏关键点,Geometric-Aware Feature Aggregation 再汇聚局部与全局结构,建立到规范坐标的关键点级对应。
6 papers
把静态单物体 pose 扩展到视频跟踪、多实例注册、长期重定位、工业传感器共评测和关节物体数字孪生。
Jingtao Sun · Yaonan Wang · Mingtao Feng · Yulan Guo · Ajmal Mian · Mike Zheng Shou
设定:连续点云流中联合追踪未知对象 6DoF pose 与当前可见形状
输入:point cloud stream + language
简述:用 pairwise implicit 3D representation 建模相邻点云的时空变化,并通过多层次 3D–language 对比对齐获得零样本语义泛化;同一网络同时输出逐帧 pose tracking 与对象形状重建。
Zhiyuan Yu · Zheng Qin · Lintao Zheng · Kai Xu
设定:给定模型点云,在场景点云中发现未知数量实例并恢复每个实例的刚体变换
输入:model point cloud + scene point cloud
简述:粗层级迭代学习 instance-aware superpoint features 与实例 masks,细层级按 mask 生成每个实例候选对应,最后用候选筛选与 refinement 输出多组 SE(3),避免昂贵 multi-model fitting。
HyunJun Jung · Shun-Cheng Wu · Patrick Ruhkamp · Guangyao Zhai · Hannah Schieber · Giulia Rizzoli · Pengyuan Wang · Hongcheng Zhao · Lorenzo Garattoni · Sven Meier · Daniel Roth · Nassir Navab · Benjamin Busam
设定:真实家庭场景中的类别级 pose、尺寸与抓取评测,包含困难材质和大视角变化
输入:RGB + depth + polarization
简述:发布带同步 RGB、主动双目深度和偏振图像的真实数据集,覆盖无纹理、反光与半透明对象;pose 标注误差约 1.35–1.74 mm,并附密集 6D 平行夹爪抓取标注与类别级基线。
Agastya Kalra · Guy Stoppi · Dmitrii Marin · Vage Taamazyan · Aarrushi Shandilya · Rishav Agarwal · Anton Boykov · Tze Hao Chong · Michael Stark
设定:工业工作空间内联合评估相机、曝光 / 光照和 6DoF pose 算法
输入:13 calibrated multimodal cameras
简述:IPD 含 2,300 个物理场景、20 个工业零件、超过 10 万对象视图;每个场景由 13 台标定相机、4 档曝光和 3 种光照采集,并提出 robot consistency 评估规模化高精度。
Liyuan Zhu · Shengyu Huang · Konrad Schindler · Iro Armeni
设定:跨时间稀疏扫描中匹配已移动对象,估计每个对象 6DoF 运动并累积重建
输入:multi-temporal 3D scans
简述:SE(3)-equivariant encoder–decoder 同时支持跨扫描实例匹配、注册和重建,联合优化把同一对象在多时刻的点云变换到共同坐标系,恢复对象移动并持续提高几何完整度。
Yijia Weng · Bowen Wen · Jonathan Tremblay · Valts Blukis · Dieter Fox · Leonidas Guibas · Stan Birchfield
设定:由未知关节对象在两个 articulation state 下的 RGB-D 扫描恢复形状、部件与关节变换
输入:two RGB-D scans
简述:先分别重建两个状态的对象级隐式形状,再融合图像、3D 重建、点对应与运动学线索,恢复部件分割和连接两状态的关节 articulation;支持多个可动部件且不依赖对象形状 / 结构先验。
Scope, Sources & Deduplication
收录标准:CVPR 2024 正式论文中,主要输出为实例级 / 类别级 object 6D pose、同一对象跨图像相对 pose、object pose tracking / refinement、以对象 pose 为核心的数据评测,或明确恢复每个对象 / 部件 SE(3) 的多实例注册、长期重定位与关节状态。
未计入:人体、手部与动物 pose;纯 camera pose / visual localization;纯 grasp / end-effector pose;只预测 3D bounding box 与 yaw 的 monocular 3D detection;只输出 2D keypoints 而不恢复 3D object pose 的 MP-100 category-agnostic pose。
典型误报:ESCAPE、Meta-Point 与 Dynamic Support 在 MP-100 上做二维关键点定位;MonoDiff 输出自动驾驶 3D box 与 orientation;FAR、Point-Line Absolute Pose 等求相机位姿;ManipLLM、Diffusion-EDFs 与 6-DoF Grasp Detection 输出机器人末端 / 抓取位姿,均不计入。
扩展集合:MIRETR 直接估计同一模型多个场景实例的 rigid transformations;Living Scenes 估计对象跨扫描的 6DoF motion;DigitalTwinArt 恢复部件分割与关节变换。三者都明确输出对象或部件位姿,因此保留并标为扩展任务,不与 BOP-style 单帧绝对 pose 混排。
去重规则:论文的 arXiv、CVF Open Access、项目页与代码仓库只计一个 CVPR 2024 canonical 版本;既有站内 FoundationPose、SAM-6D 与 AG-Pose 详情页直接复用稳定 slug,不复制第二条记录。
主要来源:CVF Open Access 完整论文集、CVPR 2024 Accepted Papers / Highlight 标记及作者公开项目材料。趋势、分类、简述和边界判断为本站编辑整理。