返回会议期刊专题

ECCV 2024 · Paper Collection

物体位姿估计论文集

ECCV 2024 的 object pose 研究出现了两种同时发生的扩张:一边用 foundation features、免训练匹配和自监督域适配降低对象与真实标注依赖;另一边把 pose 从少数刚体类别扩展到大词汇、关节与柔性对象、视频跟踪,以及 pose—shape—reconstruction 联合状态。

16

核心收录论文

2

官方 Oral

4

未见物体与跨域泛化

4

数据与基准论文

本站对 ECCV 2024 官方虚拟论文目录中的 2,387 条唯一论文记录进行了标题级全量筛选,再逐篇核验近邻候选的摘要、任务输出和实验对象,最终纳入 16 篇。

查看 ECCV 2024 官方论文目录 →

Collection in One Sentence

Pose 的对象边界、类别词汇和输出状态在同一年被同时放大

FoundPose、FreeZe 与 GS-Pose 表明,基础模型特征真正进入 6D pose 的方式不是直接回归 SE(3),而是改善模板检索、局部对应和 3D 语义表示,再交给可解释的几何求解器。

Omni6D、OmniNOCS、Omni6DPose 与 PACE 则扩大类别、实例和动态场景;U-COPE、OP-Align、柔性手术器械、CODERS 与 SUP-NeRF 进一步把输出从单个刚体 pose 扩展为部件、形状和重建状态。

Research Trends

四条研究趋势

趋势按技术变化与后续影响归纳;一篇论文可以具有多种属性,但在数量统计中只按主要贡献归入一组。

01 · Foundation Correspondence

基础模型首先改变的是匹配证据

FoundPose 用 DINOv2 完成模板检索与 2D–3D 对应,FreeZe 融合视觉与局部几何描述,GS-Pose 把 2D 语义特征提升到对象 3D 表面;三者都保留显式几何求解。

02 · Vocabulary Scaling

类别级 pose 从六类桌面物体走向大词汇

Omni6D 覆盖 166 类,OmniNOCS 同时扩展室内外 NOCS,Omni6DPose 联合真实与合成大规模数据;规模增长也暴露长尾类别、对称性和跨类别迁移问题。

03 · Beyond Rigid Pose

单个刚体 SE(3) 不再是输出终点

U-COPE 与 OP-Align 恢复对象和部件状态,柔性器械论文预测连续弯曲构型,CODERS 与 SUP-NeRF 联合 pose、形状和重建,使状态表示更贴近机器人真实操作对象。

04 · Dynamic & Domain Shift

真实部署开始要求跨帧、跨域与困难材质

PACE 与 Omni6DPose 把 tracking 纳入基准,RKHSPose 和 FAFA 用无标签真实数据适配,CODERS 用双目处理透明与高反光材质,FastCAD 把检索和对齐推进到约 10 FPS。

Data Statistics

研究方向分布

16 篇论文按主要贡献互斥分类;跨方向技术由标签、趋势和简述补充。

类别级表示与单目提升

3

以不确定形状、几何—语义对应和大规模 NOCS 监督,处理类别内形变、尺度与跨类别泛化。

未见物体与跨域泛化

4

利用基础模型特征、几何描述子、自监督适配和免训练匹配,减少真实 pose 标注与对象级训练。

关节物体、柔性工具与联合重建

5

把刚体 pose 扩展到部件状态、柔性器械、立体重建与对象中心 NeRF,联合恢复姿态、形状和结构。

大词汇数据、跟踪与系统

4

通过类别长尾数据集、真实杂乱视频、通用 pose tracking 和实时 CAD 对齐推动规模化评测与部署。

9 / 16

未见泛化与关节 / 重建两组占 56.3%,显示“减少对象先验”和“扩大输出状态”是两条并行主线。

4 篇

以数据与基准为主贡献,分别推动大词汇 NOCS / 6D pose、真实杂乱视频和 universal tracking。

2 篇

OP-Align 与 OmniNOCS 出现在 ECCV 2024 官方 Oral 日程;其余收录论文均核验为 Poster。

Recommended Reading

论文推荐

“官方 Oral”来自 ECCV 2024 正式日程;其他推荐是本站依据方法代表性、数据价值和可复现分析价值做出的编辑选择。

Paper List

论文罗列与简述

每张卡片给出任务设定、输入模态、发表类型和经摘要核验的中文简述;详情页完成前连接 ECVA 正式论文页,完成后自动切换为站内精读入口。

3 papers

类别级表示与单目提升

以不确定形状、几何—语义对应和大规模 NOCS 监督,处理类别内形变、尺度与跨类别泛化。

ECCV 2024 Poster 方法论文 详情页已完成

LaPose: Laplacian Mixture Shape Modeling for RGB-Based Category-Level Object Pose Estimation

Ruida Zhang · Ziqin Huang · Gu Wang · Chenyangguang Zhang · Yan Di · Xingxing Zuo · Jiwen Tang · Xiangyang Ji

category-levelRGB-onlyshape uncertaintyLaplacian mixturePnP

设定:单幅 RGB 下联合恢复类别级旋转、平移与尺寸,并显式建模实例形状的不确定性

输入:RGB-D + CAD model

简述:不把类别形状压缩成单一确定模板,而以 Laplacian mixture 表达 shape distribution;网络从图像证据估计形状与对应关系,再通过尺度无关的几何求解恢复 pose 和尺寸,重点缓解类别内变化与尺度—深度耦合。

ECCV 2024 Poster 方法论文 详情页已完成

GS-Pose: Category-Level Object Pose Estimation via Geometric and Semantic Correspondence

Pengyuan Wang · Takuya Ikeda · Robert Lee · Koichi Nishiwaki

category-levelRGB-Dfoundation features3D correspondenceself-supervision

设定:只用合成几何监督训练,在未见真实实例上完成类别级 pose 估计

输入:RGB-D / point cloud

简述:将预训练视觉模型的 2D patch 特征投影为带语义的 3D 点云,再与几何描述联合匹配合成部分观测;训练不依赖真实 pose 标注或精调,在 NOCS、Wild6D 与 SUN RGB-D 上检验从合成对象到真实未见实例的迁移。

ECCV 2024 Oral + Poster 数据与基准 详情页已完成

OmniNOCS: A Unified NOCS Dataset and Model for 3D Lifting of 2D Objects

Akshay Krishnan · Abhijit Kundu · Kevis Maninis · James Hays · Matthew Brown

NOCSmonocular 3Dlarge-scale datasetNOCSformer3D bounding box

设定:以 2D 检测框为提示,对室内外广泛类别预测 NOCS、实例 mask、3D pose 与形状

输入:RGB + 2D boxes

简述:建立带单目 NOCS、对象 mask 和 3D bounding box 标注的大规模统一数据集,类别数约为既有 NOCS 数据的 20 倍、实例数约为 200 倍;NOCSformer 从 2D 框提示预测跨类别 NOCS、mask 和 pose。

4 papers

未见物体与跨域泛化

利用基础模型特征、几何描述子、自监督适配和免训练匹配,减少真实 pose 标注与对象级训练。

ECCV 2024 Poster 方法论文 详情页已完成

Pseudo-keypoint RKHS Learning for Self-supervised 6DoF Pose Estimation

Yangzheng Wu · Michael Alan Greenspan

self-supervisedsim-to-realpseudo-keypointsRKHSBOP

设定:由有标签合成域迁移到无标签真实域,以伪关键点自监督实例级 6DoF pose

输入:RGB

简述:把源域模型在真实图像上的预测组织为 pseudo-keypoints,并在再生核希尔伯特空间中约束跨域结构,降低噪声伪标签的破坏;在 LINEMOD、LM-O、YCB-V 及多项 BOP 数据上评估自监督 sim-to-real。

ECCV 2024 Poster 方法论文 详情页已完成

FoundPose: Unseen Object Pose Estimation with Foundation Features

Evin Pınar Örnek · Yann Labbé · Bugra Tekin · Lingni Ma · Cem Keskin · Christian Forster · Tomas Hodan

unseen objectsDINOv2template retrieval2D–3D correspondenceBOP

设定:给定查询 RGB、对象 mask 与 CAD 模型,无需为目标对象训练即可估计 6D pose

输入:RGB + CAD model + object mask

简述:离线渲染 CAD 模板并提取 DINOv2 patch descriptors,以视觉词袋检索相近视角,再建立查询图像到模型表面的 2D–3D 对应并求解 pose;可选 refinement 进一步提升精度,面向 BOP 未见对象设定。

ECCV 2024 Poster 方法论文 详情页已完成

FreeZe: Training-free Zero-shot 6D Pose Estimation with Geometric and Vision Foundation Models

Andrea Caraffa · Davide Boscaini · Amir Hamza · Fabio Poiesi

training-freezero-shotRGB-Dfoundation model3D registration

设定:给定 RGB-D 观测、对象 mask 与 3D 模型,完全免训练地估计未见对象 pose

输入:RGB-D + 3D model + object mask

简述:分别提取局部几何描述和视觉 foundation features,并把图像特征提升到观测点云;融合后的模型—场景对应通过 RANSAC 等鲁棒注册恢复 SE(3),在七个 BOP 核心数据集上验证 zero-shot 泛化。

ECCV 2024 Poster 领域应用 详情页已完成

FAFA: Frequency-Aware Flow-Aided Self-Supervision for Underwater Object Pose Estimation

Jingyi Tang · Gu Wang · Zeyu Chen · Shengquan Li · Xiu Li · Xiangyang Ji

underwater roboticsself-supervisionoptical flowfrequency augmentationsim-to-real

设定:合成训练后自监督适配真实水下视频,估计 UUV 操作目标的实例级 6D pose

输入:RGB video + 3D model

简述:通过 frequency-aware augmentation 缩小合成与真实水下图像的外观差异,并利用相邻帧 optical flow 构造时序自监督信号;目标是在缺少真实 pose 标注时提升浑浊、偏色和散射环境中的 UUV 对象位姿。

5 papers

关节物体、柔性工具与联合重建

把刚体 pose 扩展到部件状态、柔性器械、立体重建与对象中心 NeRF,联合恢复姿态、形状和结构。

ECCV 2024 Poster 方法论文 详情页已完成

U-COPE: Taking a Further Step to Universal 9D Category-level Object Pose Estimation

Li Zhang · Weiqing Meng · Yan Zhong · Bin Kong · Mingliang Xu · Jianming Du · Xue Wang · Rujing Wang · Liu Liu

category-level9D posearticulated objectspoint pair featurepart voting

设定:以统一模型同时处理刚体与关节类别,恢复对象或部件的旋转、平移与尺寸

输入:RGB-D / point cloud

简述:以 per-part point-pair features、部件 voting 与关节约束统一刚体和可动物体的 9D category-level pose;重点不是为每个关节类别单独设计网络,而是让同一表示覆盖对象级与部件级状态。

ECCV 2024 Poster 领域应用 详情页已完成

Shape-guided Configuration-aware Learning for Endoscopic-image-based Pose Estimation of Flexible Robotic Instruments

Yiyao Ma · Kai Chen · Hon-Sing Tong · Ruofeng Wei · Yui-Lun Ng · Ka-Wai Kwok · Qi Dou

surgical roboticsflexible instrumentendoscopyshape priorconfiguration

设定:从单幅内窥镜图像估计柔性机器人器械的外部朝向与弯曲构型

输入:endoscopic RGB

简述:以器械形状先验引导图像特征,并显式学习 orientation 与 bending configuration 的耦合关系;通过可变形形状细化将传统刚体 pose 扩展到连续弯曲工具状态,面向狭窄术野中的机器人感知。

ECCV 2024 Oral + Poster 方法论文 详情页已完成

OP-Align: Object-level and Part-level Alignment for Self-supervised Category-level Articulated Object Pose Estimation

Yuchen Che · Ryo Furukawa · Asako Kanezaki

articulated objectscategory-levelself-supervisedpoint cloudpart alignment

设定:从单帧部分点云联合估计类别级可动物体的对象级 pose 与各部件 pose

输入:point cloud

简述:以规范空间中的整体 alignment 和 part alignment 互相约束,在无需真实 pose 标签的条件下学习关节对象状态;同时输出 object-level 与 part-level pose,并通过新真实基准检验从合成训练到现实观测的泛化。

ECCV 2024 Poster 方法论文 详情页已完成

SUP-NeRF: A Streamlined Unification of Pose Estimation and NeRF for Monocular 3D Object Reconstruction

Yuliang Guo · Abhinav Kumar · Cheng Zhao · Ruoyu Wang · Xinyu Huang · Liu Ren

monocular 3Dobject poseNeRFautonomous drivingcross-dataset

设定:从驾驶视频联合优化类别对象的尺寸、6D pose 与对象中心 NeRF 重建

输入:monocular RGB video

简述:SUP-NeRF 将对象尺寸估计与 pose refinement 解耦以缓解尺度—深度歧义,并以 projected-box state 完成三次 feed-forward pose 更新后接入 object-centric NeRF。nuScenes 为 7.01° / 0.68m,KITTI zero-shot 为 6.79° / 1.06m;50 次 NeRF 后优化不改善 pose。

ECCV 2024 Poster 方法论文 详情页已完成

Category-level Object Detection, Pose Estimation and Reconstruction from Stereo Images

Chuanrui Zhang · Yonggen Ling · Minglei Lu · Minghan Qin · Haoqian Wang

stereo visioncategory-levelpose estimationreconstructiontransparent objects

设定:对漫反射、镜面、透明及混合材质日常对象,联合检测、类别级 pose 与形状重建

输入:stereo RGB

简述:CODERS 以隐式 stereo matching 融合双目特征与 3D 位置,再由统一 decoder 端到端完成检测、pose 和 reconstruction;避免单目尺度歧义与 RGB-D 对透明/高反光表面的深度失效,并在 TOD 与机器人操作实验中验证 sim-to-real。

4 papers

大词汇数据、跟踪与系统

通过类别长尾数据集、真实杂乱视频、通用 pose tracking 和实时 CAD 对齐推动规模化评测与部署。

ECCV 2024 Poster 数据与基准 详情页已完成

Omni6D: Large-Vocabulary 3D Object Dataset for Category-Level 6D Object Pose Estimation

Mengchen Zhang · Tong Wu · Tai Wang · Tengfei Wang · Ziwei Liu · Dahua Lin

large vocabularycategory-levelRGB-Dsymmetry-aware metricdataset

设定:在长尾类别与大规模实例上评测 category-level 6D pose,而非只覆盖少数桌面类

输入:RGB-D

简述:发布覆盖 166 个类别、4,688 个实例和超过 80 万幅 RGB-D 观测的大词汇数据集,并设计 symmetry-aware pose metric;其核心价值是揭示小类别基准上难以观察的长尾泛化和跨类别失效。

ECCV 2024 Poster 数据与基准 详情页已完成

PACE: Pose Annotations in Cluttered Environments

Yang You · Kai Xiong · Zhening Yang · Zhengxiang Huang · Junwei Zhou · Ruoxi Shi · Zhou Fang · Adam Harley · Leonidas Guibas · Cewu Lu

real videoclutterpose trackingarticulated objectsdataset

设定:在真实杂乱视频中评测刚体与关节对象的 6D pose estimation 和 tracking

输入:RGB-D video

简述:PACE 含 300 段视频、55K 帧、258K 条 pose 标注,覆盖 238 个对象与 43 个类别;数据同时包含刚体和关节物体,面向 clutter 下的逐帧估计与跨帧跟踪,而非静态摆拍。

ECCV 2024 Poster 数据与基准 详情页已完成

Omni6DPose: A Benchmark and Model for Universal 6D Object Pose Estimation and Tracking

Jiyao Zhang · Weiyao Huang · Bo Peng · Mingdong Wu · Fei Hu · Zijian Chen · Bo Zhao · Hao Dong

universal posepose trackingdiffusionsynthetic databenchmark

设定:跨大量类别与实例统一评测 6D pose estimation 和 tracking,并覆盖真实与合成规模化数据

输入:RGB-D / video

简述:构建 149 类的 ROPE(332K 真实图像、1.5M 余标注、581 个实例)与 SOPE(475K 合成图像、5M 余标注、4,162 个实例),并以 diffusion-based GenPose++ 统一处理 category-level 6D pose estimation 与 tracking。

ECCV 2024 Poster 方法论文 详情页已完成

FastCAD: Real-Time CAD Retrieval and Alignment from Scans and Videos

Florian Langer · Jihong Ju · Georgi Dikov · Gerhard Reitmayr · Mohsen Ghafoorian

CAD retrieval9DoF alignmentRGB-D scanreal-timeScan2CAD

设定:从室内 RGB-D 扫描或视频中同时检索对象 CAD,并恢复尺度、旋转和平移对齐

输入:RGB-D scan / video + CAD database

简述:以共享特征同时完成 CAD retrieval 和 upright 9DoF alignment,避免先检索再离线优化;Scan 输入以 50 ms 达 61.7% alignment,视频管线以 10 FPS 达 48.2%。29.6% reconstruction accuracy 对应与 Vid2CAD 相同的受限检索池,开放库主配置为 24.7%。

Scope, Sources & Deduplication

统计口径、来源与去重

收录标准:ECCV 2024 正式论文中,主要输出为实例级 / 类别级 object 6D 或 9D pose、object pose tracking、直接服务 pose 的表示与对应学习、面向 pose 的数据基准,或与 object pose 紧耦合的部件状态、形状和对象中心重建。

未计入:人体、手部与头部 pose,纯 grasp pose,只有 3D detection 而不恢复对象朝向的方法,以及只把既有 pose 当作下游输入的系统。Harnessing Text-to-Image、Graph-Based CAPE 与 SCAPE 在 MP-100 上研究的是 2D 类别无关关键点;6DGS 输出相机相对 3DGS 场景的位姿;SpaRP 估计稀疏对象图像间的相机相对位姿,因此均不计入核心 object pose 统计。

边界规则:SUP-NeRF 虽联合 NeRF 重建,但其网络显式估计并评测车辆对象 pose,故纳入;FastCAD 同时完成 CAD retrieval 与 9DoF object alignment,纳入系统组。仅做通用点云 / NeRF 注册、没有对象 pose 任务和对象级评测的工作不纳入。

去重规则:同一论文的 arXiv、项目页和 ECCV 正式版本只计一次,以 ECCV 正式版本为归属;若未来出现实质扩展的期刊版,将建立“会议版—期刊扩展版”关系,不重复计入 ECCV 2024 数量。

主要来源:ECCV 2024 官方完整目录、官方 Oral 日程、ECVA Open Access 论文档案及作者公开项目材料。中文简述、任务分类和趋势判断为本站编辑整理。