01 · Reusable Descriptors
预训练视觉特征开始服务零样本几何
ZS6D 不为 pose 任务微调 ViT,而是直接用其 descriptor 做模板视角检索与局部 correspondence;这条路线把泛化来源从 synthetic pose training 转向可复用视觉表征。
ICRA 2024 · Paper Collection
ICRA 2024 的核心变化,是让 object pose 逐步摆脱对象专属训练和静态单帧假设:预训练视觉特征支撑 novel-object 匹配,NeRF / NGP 变成可查询的对象三维模型,主动视觉、视频与事件流则把位姿估计延伸到机器人运动过程。
14
严格收录论文
3
NeRF / NGP 路线
3
视频 / 事件跟踪
2
事件相机论文
本页以 ICRA 2024 正式 proceedings 为底表,严格筛选直接估计 object 6D pose、category-level pose / size、对象跟踪或任务相关 cross-pose 的 14 篇论文。会议于 2024 年 5 月 13–17 日在日本横滨举行。
Collection in One Sentence
ZS6D、DMSR 与 FAP-Net 分别从预训练 descriptor、尺度解耦和隐式三维感知切入,说明“少训练、少传感器”并不等于放弃几何,而是把几何约束放到 correspondence、metric scale 与 pose solver 中。
IFFNeRF、NeRF + Feature Matching 与 Fit-NGP 把 neural field 变成 pose estimation 的三维接口;RGBManip、MOTPose、EDOPT 和 event model tracking 则进一步追问:机器人能否通过移动和时间证据,持续获得更可靠的 pose。
Research Trends
趋势来自本站严格筛选的 14 篇核心论文,按问题设定和技术路线归纳,不代表 ICRA 官方主题分类。
01 · Reusable Descriptors
ZS6D 不为 pose 任务微调 ViT,而是直接用其 descriptor 做模板视角检索与局部 correspondence;这条路线把泛化来源从 synthetic pose training 转向可复用视觉表征。
02 · Monocular 3D
DMSR 将 metric scale 与 correspondence 解耦,FAP-Net 以 geometry supervision 做 coarse-to-fine 3D perception;二者都没有把 RGB-only 简化成纯回归,而是显式补回求 pose 所需的三维结构。
03 · Neural Fields for Pose
IFFNeRF 学习查询图像与 NeRF rays 的对应,NeRF + Feature Matching 用渲染 depth 将 2D matches 抬升为 PnP 输入,Fit-NGP 则直接把 CAD 模型拟合进 density field。
04 · Pose over Time
RGBManip 主动选择机械臂视角,MOTPose 用 cross-attention 融合视频历史,EDOPT 与 model-based event tracking 则利用异步事件在快速运动和运动模糊条件下维持高频 pose 更新。
Data Statistics
每篇论文按主要贡献互斥归类,交叉属性保留在卡片标签中。
用预训练视觉特征、单目几何、尺度解耦与自监督学习,减少目标对象专属标注、渲染和深度传感器依赖。
把 NeRF / NGP 从新视图合成器转成对象 pose 的可查询三维模型,并让机器人运动主动补充单目观测。
面向料箱堆叠、透明物体、微小金属件和 sim-to-real,强调完整感知—定位—操作系统而非单一 benchmark。
从单帧估计扩展到视频多对象融合、事件流高速跟踪,以及由少量示范学习对象间多模态目标位姿。
统计解读:低先验泛化与神经场 / 主动感知共 8 篇,占严格核心集的一半以上;同时出现两篇事件相机对象跟踪论文,说明 ICRA 2024 的关注点已从“单张图像上是否估得准”扩展到“机器人运动时是否还能实时、连续地估得住”。
Recommended Reading
严格核心集没有对应 ICRA 2024 官方 Best Paper Finalist 标签;以下推荐依据路线代表性、方法完整度和机器人落地价值。
它较早展示了预训练 ViT descriptor 本身已具备可用于 novel-object template matching 与局部 correspondence 的几何泛化能力。
阅读全文与精读 →
它没有让错误的单目尺度直接污染刚体变换,而是把 pose correspondence 与类别级 metric scale 分支显式解耦。
阅读全文与精读 →
FAP-Net 把 RGB 中缺失的三维性拆成“几何监督粗感知 + pose/size 约束细化”,并报告 42 FPS,兼顾方法逻辑与部署速度。
阅读全文与精读 →
它把 NeRF 表面采样成带颜色的参数化 rays,再以 attention 匹配查询图像,避开 iNeRF 对近邻初值和迭代 photometric optimization 的依赖。
阅读全文与精读 →
它把 NeRF 渲染深度与现成 image matcher 组合成 2D–3D correspondence,让几百步 photometric optimization 变成一次 RANSAC-PnP。
阅读全文与精读 →
Fit-NGP 展示了神经场不只是对象表示,也可成为高精度模型拟合空间;对螺母、螺栓等小型反光件达到约毫米级定位。
阅读全文与精读 →
它把“为了看清 pose 应该移动到哪里”与“怎样尽快完成操作”交给同一策略权衡,pose 不再只是操作前一次性估计。
阅读全文与精读 →
它代表 2024 年仍很重要的另一条工业路线:不追求完全零样本,而是把每个工件的数据生产与标注彻底自动化,并直接做 sim-to-real。
阅读全文与精读 →
它用 motion interpolation 预测 brightness increment image,把异步事件与 3D model projection 直接对齐,并同时验证透视和鱼眼相机。
阅读全文与精读 →
MOTPose 不是在单帧 pose 后加平滑器,而是在对象 embedding 与 pose parameters 两个层面用 cross-attention 聚合历史证据。
阅读全文与精读 →
它明确建模“杯子可以挂在多个挂钩”这类多峰目标,不再让 cross-pose 网络把多个有效放置模式平均成一个无效 pose。
阅读全文与精读 →
EDOPT 把 event rate 变化、实时模板生成和 pose hypothesis 更新分离开来,实现超过 300 Hz 的 event-only 6DoF tracking。
阅读全文与精读 →
Paper List
每张卡片给出任务边界、输入模态和中文简述,并连接本站粗读与精读详情页;原论文入口保留为补充来源。
4 papers
用预训练视觉特征、单目几何、尺度解耦与自监督学习,减少目标对象专属标注、渲染和深度传感器依赖。
Philipp Ausserlechner · David Haberger · Stefan Thalhammer · Jean-Baptiste Weibel · Markus Vincze
设定:不做 pose-specific fine-tuning,对训练未见 CAD 对象估计实例级 6D pose
输入:RGB scene + CAD-rendered templates
简述:ZS6D 用预训练 Vision Transformer 提取查询图像与 CAD 渲染模板的视觉描述子,先完成模板级视角匹配,再由局部匹配建立 2D–3D correspondence,并通过 RANSAC-PnP 求 pose;在 LM-O、YCB-V 与 T-LESS 上无需任务专属微调。
Jiaxin Wei · Xibin Song · Weizhe Liu · Laurent Kneip · Hongdong Li · Pan Ji
设定:单张 RGB 中,对类内未见实例恢复 6D pose 与 metric size
输入:monocular RGB
简述:DMSR 以预训练单目几何估计器提供局部三维线索、筛选可靠 2D–3D correspondence,同时用独立分支根据类别统计恢复 metric scale,最后以 RANSAC-PnP 求 pose;设计直接针对 RGB-only 类别级任务的尺度歧义。
Jia Li · Li Jin · Xibin Song · Yeheng Chen · Nan Li · Xueying Qin
设定:用单目 RGB 隐式感知 3D 几何并实时估计类别级 pose / size
输入:monocular RGB
简述:Feature Auxiliary Perception Network 先借助 geometry supervision 学习粗三维特征,再以 pose 与 size constraints 细化表征;论文在 REAL275 上报告 10°10cm 提升 14.7 个百分点、IoU50 提升 11.4 个百分点,并保持实时推理。
Fengjun Mu · Shixiang Sun · Rui Huang · Chaobin Zou · Wenjiang Li · Huayi Zhan · Hong Cheng
设定:减少真实 6D pose 密集标注,并让初始估计与 refinement 联合学习
输入:RGB / RGB-D object observation
简述:论文围绕自监督 pose representation 与 refinement coupling 设计联合损失,使初始预测和后续细化不再作为两个彼此割裂的训练目标;其主要价值是降低工业对象 6D 标注依赖,而非测试时完全无对象先验。
4 papers
把 NeRF / NGP 从新视图合成器转成对象 pose 的可查询三维模型,并让机器人运动主动补充单目观测。
Matteo Bortolon · Theodore Tsesmelis · Stuart James · Fabio Poiesi · Alessio Del Bue
设定:给定对象 NeRF,从任意单张查询图像直接恢复相机—对象 6DoF pose
输入:single RGB + object NeRF
简述:IFFNeRF 通过 Metropolis-Hastings 从 NeRF 采样表面点并投射 rays,用学习式 attention 在查询图像与 ray bundle 之间建立 correspondence,再以 least-squares 求 pose;作者报告 34 FPS,且相对 iNeRF 显著降低角度和位移误差。
Ronghan Chen · Yang Cong · Yu Ren
设定:用少量多视角图像快速建立对象 NeRF,再对新图像实时估计 pose
输入:single RGB + object NeRF
简述:方法从一个初始视角渲染 RGB / depth,以 LoFTR 等 matcher 建立查询图与渲染图的 2D–2D matches,再由 NeRF depth 抬升为 2D–3D correspondence;3D consistency mining 和遮挡采样进一步过滤伪几何,论文报告约 90 倍加速与 6 FPS。
Marwan Taher · Ignacio Alzugaray · Andrew J. Davison
设定:机器人从零扫描场景,在重建 density field 中定位多个已知微小对象
输入:wrist RGB video + known 3D models
简述:系统用腕载单目相机主动扫描场景,以高效 Neural Graphics Primitives 重建 density field,再将已知对象模型直接拟合到该场;完整流程能自动检测和估计多个对象,面向小型、反光工业零件报告约 1 mm 量级精度。
Boshi An · Yiran Geng · Kai Chen · Xiaoqi Li · Qi Dou · Hao Dong
设定:没有深度传感器时,在机械臂运动中主动收集多视角并完成操作
输入:eye-in-hand monocular RGB
简述:RGBManip 让夹爪上的单目相机随机械臂主动获得多视角观测,以图像估计对象 6D pose;强化学习策略同时优化感知视角、位姿精度和操作时间,在仿真与真实系统中验证 image-only manipulation。
2 papers
面向料箱堆叠、透明物体、微小金属件和 sim-to-real,强调完整感知—定位—操作系统而非单一 benchmark。
Franklin Kenghagho Kenfack · Michael Neumann · Patrick Mania · Michael Beetz
设定:在透明物体和贫弱传感观测下,以可解释物理世界模型识别并估计 pose
输入:poor / partial sensor observations + symbolic physical knowledge
简述:NaivPhys4RP 不依赖大规模训练数据,而通过认知模拟构建满足常识、因果与物理约束的可能世界,用白盒推理解释当前观测并恢复透明对象身份与 6D pose;其关注点是可解释、安全的 perception,而非标准 BOP 排名。
Boyoung Kim · Junhong Min
设定:只用仿真训练,在真实随机料箱中检测并估计目标工件 6D pose
输入:RGB-D / point cloud + CAD-based simulation
简述:方法通过 physics simulator 与目标 CAD 自动生成料箱堆叠、实例分割和 pose annotations,只用 synthetic data 训练定位系统并部署到真实随机 bin-picking;核心评价应同时看真实 pose 精度、域差距和下游抓取成功。
4 papers
从单帧估计扩展到视频多对象融合、事件流高速跟踪,以及由少量示范学习对象间多模态目标位姿。
Yufan Kang · Guillaume Caron · Ryoichi Ishikawa · Adrien Escande · Kevin Chappellet · Ryusuke Sagawa · Takeshi Oishi
设定:相机高速运动时,直接从异步事件流持续对齐已知 3D 对象模型
输入:event stream + object 3D model
简述:方法构造新的事件表示,并根据对象运动插值预测 brightness increments,再将其与 3D 模型投影直接配准;实验关注 tracking duration 与高速鲁棒性,在相机速度达到约 2 m/s 时仍能工作。
Arul Selvam Periyasamy · Sven Behnke
设定:动态、遮挡的料箱视频中联合检测并估计多个对象 6D pose
输入:RGB video sequence
简述:模型接收视频序列,在一次前向中联合检测所有对象并估计 pose;temporal fusion modules 跨时间聚合 object embeddings 与 object parameters,在 SynPick 和 YCB-Video 上同时改善检测与位姿精度。
Jenny Wang · Octavian Donca · David Held
设定:从 10–20 个示范学习同一任务的多个有效对象间相对 pose
输入:paired object point clouds + demonstrations
简述:方法扩展 TAX-Pose 的几何关系推理,以空间落地的分布式 demonstration latent space 表达多模态 relative placements;只需 10–20 个、无需人工语义标注的示范,就能在类内不同对象之间生成精确的任务相关 cross-pose。
Arren Glover · Luna Gava · Zhichao Li · Chiara Bartolozzi
设定:只用事件相机,对快速运动的已知刚体执行高频在线 6DoF tracking
输入:asynchronous events + object mesh
简述:EDOPT 用对象 mesh 投影生成 event-compatible templates,维护未来 pose hypotheses,并让跟踪更新适应变化的事件速率;论文称其为首个 event-only 6DoF object pose 方法,精度可接近融合 frame、depth 与 event 的深度网络。
Scope & Sources
收录标准:ICRA 2024 正式 proceedings 中,标题与摘要直接估计 object 6D pose、category-level pose / size、当前对象跟踪状态,或以对象间相对 pose 作为可迁移操作目标的工作。
未计入:grasp pose、人体 / 手部姿态、相机与机器人本体定位、SLAM-first 的联合建图、手术器械与单一农业对象应用,以及只把 object pose 当作输入的操作策略。Distributional Cross-Pose 单列为关系 pose 扩展,避免与标准 BOP 任务混淆。
ViHOPE、ContourPose、SyMFM6D、ROV6D 等相关工作属于 RA-L 期刊论文在 ICRA 现场展示,不混入这 14 篇主会 proceedings 统计;后续更适合放入独立的期刊轨道,避免同一论文因“期刊发表 + 会议展示”被重复计数。
主要来源:ICRA 2024 官方 Program、正式 proceedings 目录、IEEE DOI 元数据、arXiv 与作者公开项目页。中文分类、简述与趋势归纳为本站编辑整理,不替代原论文。