01 · Foundation Correspondence
基础模型首先改变的是匹配证据
FoundPose 用 DINOv2 完成模板检索与 2D–3D 对应,FreeZe 融合视觉与局部几何描述,GS-Pose 把 2D 语义特征提升到对象 3D 表面;三者都保留显式几何求解。
ECCV 2024 · Paper Collection
ECCV 2024 的 object pose 研究出现了两种同时发生的扩张:一边用 foundation features、免训练匹配和自监督域适配降低对象与真实标注依赖;另一边把 pose 从少数刚体类别扩展到大词汇、关节与柔性对象、视频跟踪,以及 pose—shape—reconstruction 联合状态。
16
核心收录论文
2
官方 Oral
4
未见物体与跨域泛化
4
数据与基准论文
本站对 ECCV 2024 官方虚拟论文目录中的 2,387 条唯一论文记录进行了标题级全量筛选,再逐篇核验近邻候选的摘要、任务输出和实验对象,最终纳入 16 篇。
查看 ECCV 2024 官方论文目录 →Collection in One Sentence
FoundPose、FreeZe 与 GS-Pose 表明,基础模型特征真正进入 6D pose 的方式不是直接回归 SE(3),而是改善模板检索、局部对应和 3D 语义表示,再交给可解释的几何求解器。
Omni6D、OmniNOCS、Omni6DPose 与 PACE 则扩大类别、实例和动态场景;U-COPE、OP-Align、柔性手术器械、CODERS 与 SUP-NeRF 进一步把输出从单个刚体 pose 扩展为部件、形状和重建状态。
Research Trends
趋势按技术变化与后续影响归纳;一篇论文可以具有多种属性,但在数量统计中只按主要贡献归入一组。
01 · Foundation Correspondence
FoundPose 用 DINOv2 完成模板检索与 2D–3D 对应,FreeZe 融合视觉与局部几何描述,GS-Pose 把 2D 语义特征提升到对象 3D 表面;三者都保留显式几何求解。
02 · Vocabulary Scaling
Omni6D 覆盖 166 类,OmniNOCS 同时扩展室内外 NOCS,Omni6DPose 联合真实与合成大规模数据;规模增长也暴露长尾类别、对称性和跨类别迁移问题。
03 · Beyond Rigid Pose
U-COPE 与 OP-Align 恢复对象和部件状态,柔性器械论文预测连续弯曲构型,CODERS 与 SUP-NeRF 联合 pose、形状和重建,使状态表示更贴近机器人真实操作对象。
04 · Dynamic & Domain Shift
PACE 与 Omni6DPose 把 tracking 纳入基准,RKHSPose 和 FAFA 用无标签真实数据适配,CODERS 用双目处理透明与高反光材质,FastCAD 把检索和对齐推进到约 10 FPS。
Data Statistics
16 篇论文按主要贡献互斥分类;跨方向技术由标签、趋势和简述补充。
以不确定形状、几何—语义对应和大规模 NOCS 监督,处理类别内形变、尺度与跨类别泛化。
利用基础模型特征、几何描述子、自监督适配和免训练匹配,减少真实 pose 标注与对象级训练。
把刚体 pose 扩展到部件状态、柔性器械、立体重建与对象中心 NeRF,联合恢复姿态、形状和结构。
通过类别长尾数据集、真实杂乱视频、通用 pose tracking 和实时 CAD 对齐推动规模化评测与部署。
9 / 16
未见泛化与关节 / 重建两组占 56.3%,显示“减少对象先验”和“扩大输出状态”是两条并行主线。
4 篇
以数据与基准为主贡献,分别推动大词汇 NOCS / 6D pose、真实杂乱视频和 universal tracking。
2 篇
OP-Align 与 OmniNOCS 出现在 ECCV 2024 官方 Oral 日程;其余收录论文均核验为 Poster。
Recommended Reading
“官方 Oral”来自 ECCV 2024 正式日程;其他推荐是本站依据方法代表性、数据价值和可复现分析价值做出的编辑选择。
把基础模型的 2D 语义特征提升到对象 3D 表面,并与局部几何共同参与对应匹配,是“语义基础模型 + 几何求解”的清晰范例。
官方 Oral它把 NOCS 从少数桌面类别扩展到室内外大词汇对象,同时提供统一模型与新评测,是 ECCV 2024 该方向两篇官方 Oral 之一。
优先阅读用 DINOv2 中间层特征串起模板检索、局部匹配和 2D–3D 几何求解,方法结构清楚,也直接代表 2024 年 unseen-object pose 的基础特征路线。
泛化代表将几何局部描述子和视觉基础模型特征统一到 3D 点对应,再用经典鲁棒配准求解,提供一条几乎不依赖任务训练的可解释基线。
官方 Oral它用对象级和部件级双重对齐组织无姿态标签学习,并建立真实关节物体评测,是 ECCV 2024 该方向两篇官方 Oral 之一。
数据代表166 类、4,688 个实例与超过 80 万幅观测显著扩大了类别级 6D pose 的词汇规模,并把对称性纳入统一评测。
数据代表300 段真实视频、238 个对象和 25.8 万条姿态标注把动态杂乱、遮挡和关节状态纳入同一长期评测。
系统代表ROPE、SOPE 与 GenPose++ 把通用对象范围、动态跟踪和生成式 pose 推断放在同一套数据—模型体系中。
Paper List
每张卡片给出任务设定、输入模态、发表类型和经摘要核验的中文简述;详情页完成前连接 ECVA 正式论文页,完成后自动切换为站内精读入口。
3 papers
以不确定形状、几何—语义对应和大规模 NOCS 监督,处理类别内形变、尺度与跨类别泛化。
Ruida Zhang · Ziqin Huang · Gu Wang · Chenyangguang Zhang · Yan Di · Xingxing Zuo · Jiwen Tang · Xiangyang Ji
设定:单幅 RGB 下联合恢复类别级旋转、平移与尺寸,并显式建模实例形状的不确定性
输入:RGB-D + CAD model
简述:不把类别形状压缩成单一确定模板,而以 Laplacian mixture 表达 shape distribution;网络从图像证据估计形状与对应关系,再通过尺度无关的几何求解恢复 pose 和尺寸,重点缓解类别内变化与尺度—深度耦合。
Pengyuan Wang · Takuya Ikeda · Robert Lee · Koichi Nishiwaki
设定:只用合成几何监督训练,在未见真实实例上完成类别级 pose 估计
输入:RGB-D / point cloud
简述:将预训练视觉模型的 2D patch 特征投影为带语义的 3D 点云,再与几何描述联合匹配合成部分观测;训练不依赖真实 pose 标注或精调,在 NOCS、Wild6D 与 SUN RGB-D 上检验从合成对象到真实未见实例的迁移。
Akshay Krishnan · Abhijit Kundu · Kevis Maninis · James Hays · Matthew Brown
设定:以 2D 检测框为提示,对室内外广泛类别预测 NOCS、实例 mask、3D pose 与形状
输入:RGB + 2D boxes
简述:建立带单目 NOCS、对象 mask 和 3D bounding box 标注的大规模统一数据集,类别数约为既有 NOCS 数据的 20 倍、实例数约为 200 倍;NOCSformer 从 2D 框提示预测跨类别 NOCS、mask 和 pose。
4 papers
利用基础模型特征、几何描述子、自监督适配和免训练匹配,减少真实 pose 标注与对象级训练。
Yangzheng Wu · Michael Alan Greenspan
设定:由有标签合成域迁移到无标签真实域,以伪关键点自监督实例级 6DoF pose
输入:RGB
简述:把源域模型在真实图像上的预测组织为 pseudo-keypoints,并在再生核希尔伯特空间中约束跨域结构,降低噪声伪标签的破坏;在 LINEMOD、LM-O、YCB-V 及多项 BOP 数据上评估自监督 sim-to-real。
Evin Pınar Örnek · Yann Labbé · Bugra Tekin · Lingni Ma · Cem Keskin · Christian Forster · Tomas Hodan
设定:给定查询 RGB、对象 mask 与 CAD 模型,无需为目标对象训练即可估计 6D pose
输入:RGB + CAD model + object mask
简述:离线渲染 CAD 模板并提取 DINOv2 patch descriptors,以视觉词袋检索相近视角,再建立查询图像到模型表面的 2D–3D 对应并求解 pose;可选 refinement 进一步提升精度,面向 BOP 未见对象设定。
Andrea Caraffa · Davide Boscaini · Amir Hamza · Fabio Poiesi
设定:给定 RGB-D 观测、对象 mask 与 3D 模型,完全免训练地估计未见对象 pose
输入:RGB-D + 3D model + object mask
简述:分别提取局部几何描述和视觉 foundation features,并把图像特征提升到观测点云;融合后的模型—场景对应通过 RANSAC 等鲁棒注册恢复 SE(3),在七个 BOP 核心数据集上验证 zero-shot 泛化。
Jingyi Tang · Gu Wang · Zeyu Chen · Shengquan Li · Xiu Li · Xiangyang Ji
设定:合成训练后自监督适配真实水下视频,估计 UUV 操作目标的实例级 6D pose
输入:RGB video + 3D model
简述:通过 frequency-aware augmentation 缩小合成与真实水下图像的外观差异,并利用相邻帧 optical flow 构造时序自监督信号;目标是在缺少真实 pose 标注时提升浑浊、偏色和散射环境中的 UUV 对象位姿。
5 papers
把刚体 pose 扩展到部件状态、柔性器械、立体重建与对象中心 NeRF,联合恢复姿态、形状和结构。
Li Zhang · Weiqing Meng · Yan Zhong · Bin Kong · Mingliang Xu · Jianming Du · Xue Wang · Rujing Wang · Liu Liu
设定:以统一模型同时处理刚体与关节类别,恢复对象或部件的旋转、平移与尺寸
输入:RGB-D / point cloud
简述:以 per-part point-pair features、部件 voting 与关节约束统一刚体和可动物体的 9D category-level pose;重点不是为每个关节类别单独设计网络,而是让同一表示覆盖对象级与部件级状态。
Yiyao Ma · Kai Chen · Hon-Sing Tong · Ruofeng Wei · Yui-Lun Ng · Ka-Wai Kwok · Qi Dou
设定:从单幅内窥镜图像估计柔性机器人器械的外部朝向与弯曲构型
输入:endoscopic RGB
简述:以器械形状先验引导图像特征,并显式学习 orientation 与 bending configuration 的耦合关系;通过可变形形状细化将传统刚体 pose 扩展到连续弯曲工具状态,面向狭窄术野中的机器人感知。
Yuchen Che · Ryo Furukawa · Asako Kanezaki
设定:从单帧部分点云联合估计类别级可动物体的对象级 pose 与各部件 pose
输入:point cloud
简述:以规范空间中的整体 alignment 和 part alignment 互相约束,在无需真实 pose 标签的条件下学习关节对象状态;同时输出 object-level 与 part-level pose,并通过新真实基准检验从合成训练到现实观测的泛化。
Yuliang Guo · Abhinav Kumar · Cheng Zhao · Ruoyu Wang · Xinyu Huang · Liu Ren
设定:从驾驶视频联合优化类别对象的尺寸、6D pose 与对象中心 NeRF 重建
输入:monocular RGB video
简述:SUP-NeRF 将对象尺寸估计与 pose refinement 解耦以缓解尺度—深度歧义,并以 projected-box state 完成三次 feed-forward pose 更新后接入 object-centric NeRF。nuScenes 为 7.01° / 0.68m,KITTI zero-shot 为 6.79° / 1.06m;50 次 NeRF 后优化不改善 pose。
Chuanrui Zhang · Yonggen Ling · Minglei Lu · Minghan Qin · Haoqian Wang
设定:对漫反射、镜面、透明及混合材质日常对象,联合检测、类别级 pose 与形状重建
输入:stereo RGB
简述:CODERS 以隐式 stereo matching 融合双目特征与 3D 位置,再由统一 decoder 端到端完成检测、pose 和 reconstruction;避免单目尺度歧义与 RGB-D 对透明/高反光表面的深度失效,并在 TOD 与机器人操作实验中验证 sim-to-real。
4 papers
通过类别长尾数据集、真实杂乱视频、通用 pose tracking 和实时 CAD 对齐推动规模化评测与部署。
Mengchen Zhang · Tong Wu · Tai Wang · Tengfei Wang · Ziwei Liu · Dahua Lin
设定:在长尾类别与大规模实例上评测 category-level 6D pose,而非只覆盖少数桌面类
输入:RGB-D
简述:发布覆盖 166 个类别、4,688 个实例和超过 80 万幅 RGB-D 观测的大词汇数据集,并设计 symmetry-aware pose metric;其核心价值是揭示小类别基准上难以观察的长尾泛化和跨类别失效。
Yang You · Kai Xiong · Zhening Yang · Zhengxiang Huang · Junwei Zhou · Ruoxi Shi · Zhou Fang · Adam Harley · Leonidas Guibas · Cewu Lu
设定:在真实杂乱视频中评测刚体与关节对象的 6D pose estimation 和 tracking
输入:RGB-D video
简述:PACE 含 300 段视频、55K 帧、258K 条 pose 标注,覆盖 238 个对象与 43 个类别;数据同时包含刚体和关节物体,面向 clutter 下的逐帧估计与跨帧跟踪,而非静态摆拍。
Jiyao Zhang · Weiyao Huang · Bo Peng · Mingdong Wu · Fei Hu · Zijian Chen · Bo Zhao · Hao Dong
设定:跨大量类别与实例统一评测 6D pose estimation 和 tracking,并覆盖真实与合成规模化数据
输入:RGB-D / video
简述:构建 149 类的 ROPE(332K 真实图像、1.5M 余标注、581 个实例)与 SOPE(475K 合成图像、5M 余标注、4,162 个实例),并以 diffusion-based GenPose++ 统一处理 category-level 6D pose estimation 与 tracking。
Florian Langer · Jihong Ju · Georgi Dikov · Gerhard Reitmayr · Mohsen Ghafoorian
设定:从室内 RGB-D 扫描或视频中同时检索对象 CAD,并恢复尺度、旋转和平移对齐
输入:RGB-D scan / video + CAD database
简述:以共享特征同时完成 CAD retrieval 和 upright 9DoF alignment,避免先检索再离线优化;Scan 输入以 50 ms 达 61.7% alignment,视频管线以 10 FPS 达 48.2%。29.6% reconstruction accuracy 对应与 Vid2CAD 相同的受限检索池,开放库主配置为 24.7%。
Scope, Sources & Deduplication
收录标准:ECCV 2024 正式论文中,主要输出为实例级 / 类别级 object 6D 或 9D pose、object pose tracking、直接服务 pose 的表示与对应学习、面向 pose 的数据基准,或与 object pose 紧耦合的部件状态、形状和对象中心重建。
未计入:人体、手部与头部 pose,纯 grasp pose,只有 3D detection 而不恢复对象朝向的方法,以及只把既有 pose 当作下游输入的系统。Harnessing Text-to-Image、Graph-Based CAPE 与 SCAPE 在 MP-100 上研究的是 2D 类别无关关键点;6DGS 输出相机相对 3DGS 场景的位姿;SpaRP 估计稀疏对象图像间的相机相对位姿,因此均不计入核心 object pose 统计。
边界规则:SUP-NeRF 虽联合 NeRF 重建,但其网络显式估计并评测车辆对象 pose,故纳入;FastCAD 同时完成 CAD retrieval 与 9DoF object alignment,纳入系统组。仅做通用点云 / NeRF 注册、没有对象 pose 任务和对象级评测的工作不纳入。
去重规则:同一论文的 arXiv、项目页和 ECCV 正式版本只计一次,以 ECCV 正式版本为归属;若未来出现实质扩展的期刊版,将建立“会议版—期刊扩展版”关系,不重复计入 ECCV 2024 数量。
主要来源:ECCV 2024 官方完整目录、官方 Oral 日程、ECVA Open Access 论文档案及作者公开项目材料。中文简述、任务分类和趋势判断为本站编辑整理。