01 · Few-shot Pose
新对象接入从“有 CAD”转向“有少量参考图”
Cas6D 用候选检索和级联 feature volume 处理大 pose gap,LocPoseNet 则补上 unseen-object pipeline 中常被忽略的目标位置先验。两者都把少样本条件当作系统默认值。
3DV 2024 · Paper Collection
3DV 2024 处在对象 pose 从“已知 CAD、单帧求解”向更开放设定迁移的节点:少量 RGB 参考开始替代精确模型,NeRF 与 3D Gaussians 成为可求位姿的对象表示,姿态也进一步进入稀疏视角建模、物理跟踪和手物交互。
12
专题收录论文
5
直接 6D / CAD pose
7
视角对齐与对象状态
4 + 1
收录范围 Oral + Spotlight
3DV 官方日程列出 156 篇论文,其中 21 篇 Oral、26 篇 Spotlight。本站以 object pose 为核心,保留直接 6DoF / CAD pose、对象中心的 sparse-view alignment,以及明确恢复 rigid / articulated object state 的论文;纯 camera localization、人体 pose、通用 registration 和仅做 3D detection 的工作不收录。
Collection in One Sentence
Cas6D、LocPoseNet 与 NeRF-Feat 分别从少样本 coarse-to-fine search、未见对象位置先验和神经场特征对应降低 object onboarding 成本;YOLO-6D-Pose 与 HOC-Search 则分别代表端到端实时回归和扫描场景中的联合模型—姿态检索。
FORGE、RelPose++ 和 LFM-3D 把对象 pose 的前置问题推进到稀疏视角对齐;ContactArt、NCRF、物理跟踪与 Dynamic 3D Gaussians 进一步说明,真实对象状态往往还包含接触、关节、速度、摩擦或稠密时变运动。
Research Trends
以下归纳来自本站严格筛选的 12 篇论文,围绕任务条件和输出变量整理,不代表 3DV 2024 的完整研究分布。
01 · Few-shot Pose
Cas6D 用候选检索和级联 feature volume 处理大 pose gap,LocPoseNet 则补上 unseen-object pipeline 中常被忽略的目标位置先验。两者都把少样本条件当作系统默认值。
02 · Neural Object Model
NeRF-Feat 从 NeRF 学习 view-consistent 3D features 并建立 2D–3D 对应;Dynamic 3D Gaussians 则让持久 Gaussian 直接携带随时间变化的 6DoF state。
03 · Pose for Reconstruction
RelPose++ 通过多视图 attention 消解对称歧义,FORGE 让重建特征与 relative pose 相互促进,LFM-3D 则以估计的 3D signal 改善宽基线匹配和 relative posing。
04 · Physical Interaction
ContactArt 用结构与接触先验约束 articulated object pose;NCRF 联合优化接触、姿态与渲染;物理跟踪则在 EKF 中同时估计 orientation、velocity 和 friction。
Data Statistics
按每篇论文的主要输出变量互斥归类;标签继续保留跨方向属性。
直接估计实例级 6DoF pose,或在扫描场景中联合检索 CAD 模型与对象姿态。
从稀疏、宽基线对象图像中恢复相对相机姿态,为新对象建模提供统一参考系。
将对象姿态扩展到时序轨迹、物理属性、稠密 6DoF motion 或 articulated hand-object state。
统计解读:5 篇是最严格的直接 object pose / CAD-pose retrieval 核心;3 篇以对象中心的相机 pose 或 matching 为输出,为少视图对象重建建立参考系;另 4 篇扩展至 rigid / articulated / dense dynamic state,不宜与 BOP-style 指标直接混排。
Presentation Mix
4
Oral
1
Spotlight
7
Poster
Recommended Reading
推荐依据问题覆盖与路线代表性筛选;Oral / Spotlight 仅表示 3DV 官方安排,不等同于本站评价。
最能代表 2024 年“低成本接入新对象”的直接 pose 路线:检测、候选初始化与 coarse-to-fine refinement 被串成完整少样本系统。
将 NeRF 从外观重建器改造成 pose reference frame 和特征监督源,清楚展示神经场如何服务对应匹配而非只做 novel-view synthesis。
将模型识别与姿态搜索视为一个联合工程问题,并用分层检索近似昂贵的 render-and-compare exhaustive search。
把 pose 与 shape 放入互相促进的闭环:视角对齐支持融合,而重建出的 3D 特征又反过来稳固跨视图相关。
本专题直接对象 pose 论文中唯一的 Oral:把部件结构分布和接触区域生成作为跨 sim-to-real 的 3D interaction prior。
它不输出单个对象框架下的刚体 pose,而把 6DoF tracking 推广成所有持久 Gaussian 元素的时变状态,是 3DGS 动态表示的早期代表。
Paper List
每张卡片给出任务边界、输入模态和中文简述;点击论文标题或“阅读详情”进入站内粗读与精读,官方 OpenReview 入口继续保留用于核验原文。
5 papers
直接估计实例级 6DoF pose,或在扫描场景中联合检索 CAD 模型与对象姿态。
Panwang Pan · Zhiwen Fan · Brandon Yushan Feng · Peihao Wang · Chenxin Li · Zhangyang Wang
设定:仅有少量参考图像、无 CAD 模型时,对新对象做实例级 6DoF pose estimation
输入:few-shot reference RGB + query RGB
简述:Cas6D 先以自监督 ViT 抑制极少参考下的目标误检,再检索 top-K pose candidates,并通过多尺度 warped feature volume 和逐级收窄的 pose bins 细化结果;论文在 32-shot 设定下于 LINEMOD 和 GenMOP 上分别报告相对 OnePose++ / Gen6D 的 Proj-5 提升。
Shishir Reddy Vutukur · Heike Brock · Benjamin Busam · Tolga Birdal · Andreas Hutter · Slobodan Ilic
设定:没有精确 CAD、仅有弱标注对象视图时,学习可用于 6D pose 的隐式对象模型
输入:weakly labeled RGB object views + query RGB
简述:NeRF-Feat 先用 NeRF 隐式学习对象几何,再以对比学习联合 CNN 获得兼顾视角不变性和对称性的特征;推理时由查询图像特征与 NeRF 中的 3D 特征建立对应,并在神经场参考系内求解 pose,评测覆盖 LM、LM-Occlusion 与 T-LESS。
Chen Zhao · Yinlin Hu · Mathieu Salzmann
设定:测试对象来自未见类别,且 query 中没有 ground-truth object location
输入:reference templates + query RGB
简述:LocPoseNet 针对 unseen-object pose 中常被默认已知的目标位置,提出分布式 reference kernels 与多尺度相关计算,并用解耦的 scale-aware / scale-robust 特征预测平移相关参数;论文还构建合成数据以单独评估多种位置噪声。
Debapriya Maji · Soyeb N Nagori · Manu Mathew · Deepak Poddar
设定:单张 RGB 中一次前向同时检测多个已知对象并直接回归其 6D pose
输入:single monocular RGB image
简述:YOLO-6D-Pose 在 YOLOX 上联合输出对象类别、位置与姿态,通过 pose 参数化、专用损失和 6D augmentation 取消 keypoint、PnP 与 refinement 等后处理;其定位是以端到端单阶段结构换取更短的多对象推理链。
Stefan Ainetter · Sinisa Stekovic · Friedrich Fraundorfer · Vincent Lepetit
设定:移动 RGB-D 相机扫描的场景中,给定近似 3D box 联合检索对象类别、CAD 与 pose
输入:RGB-D scan + CAD database + approximate 3D box
简述:HOC-Search 比较多种 CAD–scan 相似度后选择深度与 mask 的 render-and-compare 目标,再以组织类别、模型和姿态的搜索树配合类 Monte Carlo Tree Search 算法加速联合检索;论文报告相对穷举约 10×–120× 的加速。
3 papers
从稀疏、宽基线对象图像中恢复相对相机姿态,为新对象建模提供统一参考系。
Arjun Karpur · Guilherme Mendeleh Perrotta · Ricardo Martin-Brualla · Howard Zhou · Andre Araujo
设定:同一对象的宽基线图像之间共视区域很小,需要建立可用于 relative pose 的局部对应
输入:object-centric RGB image pairs + estimated 3D signals
简述:LFM-3D 将 normalized object coordinates 或 monocular depth 编码为低维 3D positional signal,注入图神经网络 matcher;它的 pose 不是 BOP 式 object-to-camera 输出,但改进的匹配可显著提升 in-the-wild 对象图像对的 relative posing。
Hanwen Jiang · Zhenyu Jiang · Kristen Grauman · Yuke Zhu
设定:未知物体类别、未知相机姿态时,从约五张图像联合恢复视角和对象形状
输入:five sparse RGB object views
简述:FORGE 逐视图预测 3D features,以跨视图相关估计 relative camera poses,再把对齐后的特征融合成 neural radiance field;它无需 3D shape ground truth,并展示了对未见类别和野外对象图像的泛化。
Amy Lin · Jason Y. Zhang · Deva Ramanan · Shubham Tulsiani
设定:2–8 张对象图像中存在对称与弱纹理,需要恢复全组相机的 6D pose
输入:2–8 sparse RGB object views
简述:RelPose++ 在 pairwise relative rotation distribution 的基础上,以 attention 联合推理多张图像来消解单对图像中的对称歧义,并新增与 rotation ambiguity 解耦的 translation prediction;输出可直接作为稀疏视图对象重建的前处理。
4 papers
将对象姿态扩展到时序轨迹、物理属性、稠密 6DoF motion 或 articulated hand-object state。
Zehao Zhu · Jiashun Wang · Yuzhe Qin · Deqing Sun · Varun Jampani · Xiaolong Wang
设定:真实手物图像中联合估计手 pose、可动物体部件 pose 与接触状态
输入:RGB hand-object observations + simulated interaction priors
简述:ContactArt 以 iPhone 驱动的 visual teleoperation 在物理仿真器中采集带 object pose 与 contact 标注的数据,再学习描述部件排列的判别器和生成接触区域的 diffusion model,用这些先验共同约束真实图像中的 hand 与 articulated-object pose estimation。
Zhongqun Zhang · Jifei Song · Eduardo Pérez-Pellitero · Yiren Zhou · Hyung Jin Chang · Ales Leonardis
设定:稀疏视频中的手物互遮挡同时损害交互重建和 pose 精度
输入:sparse multi-view hand-object videos
简述:NCRF 联合学习 contact optimization field、hand-object radiance field 和 observation-to-canonical motion field,使接触、姿态与外观互相约束;在 HO3D 和 DexYCB 上同时评估 novel-view rendering 与 pose estimation accuracy。
Rama Krishna Prasad Kandukuri · Michael Strecke · Joerg Stueckler
设定:滑动与碰撞场景中,跟踪刚体姿态并同时估计速度和摩擦系数
输入:RGB-D video + mesh-based object shapes
简述:方法把可微物理仿真器作为 Extended Kalman Filter 的状态转移模型,在接触和摩擦约束下联合滤波对象 position、orientation、velocity 与 friction coefficient;相比仅依赖视觉观测的逐帧 tracking,它显式要求轨迹满足物理可行性。
Jonathon Luiten · Georgios Kopanas · Bastian Leibe · Deva Ramanan
设定:多相机、多时刻观测中联合重建动态场景并跟踪所有稠密场景元素
输入:multi-view, multi-timestep RGB images
简述:Dynamic 3D Gaussians 让 Gaussian 的颜色、透明度和形状跨时间持久,而位置与方向随时间变化;在局部刚性正则下,通过动态 novel-view reconstruction 自然得到稠密 6DoF trajectories,可支持非刚体重建与 tracking。
Scope & Sources
收录标准:3DV 2024 正式论文中,直接输出 object 6DoF pose、CAD model + pose、object-centric relative camera pose,或将 rigid / articulated object pose 与 motion 作为明确状态变量的工作。LFM-3D、FORGE 与 RelPose++ 单列为“对象视角对齐”,避免被误读为标准 object-to-camera pose。
未计入:纯 camera localization / SLAM / SfM、通用 two-view geometry、3D detection、点云 registration、人体 pose、动作生成,以及仅把 object pose 当作已知输入的手物渲染或交互合成论文。Dynamic 3D Gaussians 属于稠密元素 6DoF tracking,不与刚体对象 benchmark 混排。
主要来源:3DV 2024 官方论文目录、目录加载的 官方日程 CSV 及其链接的 OpenReview 论文页。中文摘要、分类和趋势归纳为本站编辑整理,不替代原论文。