返回会议期刊专题

IROS 2024 · Paper Collection

物体位姿估计论文集

IROS 2024 的 object pose 工作明显围绕机器人可部署性展开:对称与密集堆叠仍是工业主战场,类别级方法开始使用 diffusion 与多视图约束,CAD-free onboarding、功能端 affordance pose 和可控合成数据也逐渐形成完整系统。

12

正式 proceedings 论文

4

工业与对称性

4

类别级与泛化

4

合成 / 跨域标签

本站对 IROS 2024 的 1,581 篇正式 proceedings 论文进行标题级全量筛选,再依据摘要和原文复核任务输出。专题不包含 RA-L / T-RO 现场报告,也排除了只把既有 pose tracker 当作装配控制输入的论文。

查看 IEEE Xplore 正式论文集 →

Collection in One Sentence

从单项指标转向“可部署的完整 pose pipeline”

SD-Net、PS6D 与 ParametricNet++ 把对称、堆叠、反光和 synthetic-to-real 当作默认困难,而不是附加实验;Scalable Industrial Pose 则显式联合网络复杂度与 refinement 成本。

DiffusionNOCS、MV-ROPE 与 Zero123-6D 代表三条泛化路线:预测 canonical distribution、利用视频中的几何一致性、用生成式先验扩展 reference views。NeuSurfEmb 与 PEGASUS 进一步降低新对象建模和数据生产门槛。

Research Trends

2024 年四条研究主线

以下趋势来自本专题严格收录的 12 篇论文,按主要贡献归类,不代表 IROS 全体论文分布。

01 · Symmetry

对称性进入关键点、损失函数和评测协议

SD-Net 直接改变关键点选择和伪标签过滤,PS6D 设计 symmetry-aware rotation loss,DiffusionNOCS 则把多解写进概率生成过程。

02 · Sim-to-Real

合成数据不再只是渲染,而是可控的部署基础设施

PEGASUS 用 3DGS 与物理引擎组合真实扫描对象和环境;DiffusionNOCS 与草莓 pose 论文则分别用多模态生成建模和 domain randomization 缩小真实域差距。

03 · Less Prior

CAD-free、RGB-only 和少参考设定开始形成系统

NeuSurfEmb 用少量真实图像建立对象表示,Zero123-6D 用 diffusion 扩展模板视角,MV-ROPE 从视频估计 metric structure,三者分别削弱 CAD、reference 与 depth 依赖。

04 · Task State

机器人真正需要的状态未必是标准 object frame

ToolEENet 预测工具功能端的 affordance pose,ESO-SLAM 联合估计相机和动态对象状态,说明 pose 正被重新定义为服务任务与时序系统的状态变量。

Data Statistics

研究方向分布

按每篇论文的主要贡献互斥归类;跨方向属性保留在标签中。

工业堆叠、对称与高效估计

4

围绕无纹理、多重对称、密集堆叠和尺寸跨度,改进关键点、点云回归、域适应与姿态 refinement。

类别级、零样本与跨域泛化

4

从 diffusion、NOCS、多视图约束和单目新视图合成出发,降低真实标注与精确深度依赖。

低 CAD 依赖与功能位姿

2

用少量真实图像学习对象表示,或把工具功能端的 affordance pose 作为更贴近操作的输出。

数据生成与动态多对象系统

2

以 3D Gaussian Splatting 生成 BOP-style 数据,或联合优化相机和多个动态对象的状态。

统计解读:工业与类别级两条主线各有 4 篇,占专题的三分之二;但另外 4 篇并非边缘工作,它们补齐了 CAD-free onboarding、功能位姿、数据生成和动态多对象状态,使专题更接近机器人部署的完整生命周期。严格 RGB-only 论文共 5 篇。

Recommended Reading

论文推荐

IROS 不使用 CVPR 式 Highlight 标签;这里的推荐仅依据路线代表性、问题完整度和部署价值。

Paper List

论文罗列与简述

每张卡片给出任务设定、输入模态、中文简述和正式 DOI;详情页制作完成后,卡片入口会切换为站内粗读与精读。

4 papers

工业堆叠、对称与高效估计

围绕无纹理、多重对称、密集堆叠和尺寸跨度,改进关键点、点云回归、域适应与姿态 refinement。

IROS 2024 方法论文 详情页已完成

SD-Net: Symmetric-Aware Keypoint Prediction and Domain Adaptation for 6D Pose Estimation in Bin-Picking Scenarios

Ding-Tao Huang · En-Te Lin · Lipeng Chen · Li-Fu Liu · Long Zeng

bin pickingsymmetry-aware keypointsself-trainingdomain adaptation

设定:合成训练到真实工业堆叠场景,实例级 6D pose

输入:point cloud / depth

简述:以 point-wise keypoint regression 和 Hough voting 为基础,引入对称类别感知的关键点选择、候选过滤与 student–teacher 几何伪标签;论文在 Siléane 上报告 96% AP,并在 Parametric 数据集上提升泛化表现。

IROS 2024 方法论文 详情页已完成

PS6D: Point Cloud Based Symmetry-Aware 6D Object Pose Estimation in Robot Bin-Picking

Yifan Yang · Zhihao Cui · Qianyi Zhang · Jingtai Liu

point cloudmulti-symmetrytwo-stage clusteringindustrial deployment

设定:锈蚀、反光、无纹理且多重对称的工业零件

输入:point cloud

简述:通过注意力引导的多尺度点云特征、对称性感知 rotation loss 和 center-distance-sensitive translation loss 逐点回归实例中心与姿态,再以两阶段聚类完成实例分离和 6D pose;论文报告 F1 与 Recall 的显著提升。

IROS 2024 方法论文 详情页制作中

ParametricNet++: A 6DoF Pose Estimation Network with Sparse Keypoint Recovery for Parametric Shapes in Stacked Scenarios

Yihan Xie · Wei Jie Lv · Xin-Yu Zhang · Yihong Chen · Long Zeng

parametric partssparse keypointsstacked scenetemplate recovery

设定:参数尺寸未知的工业零件在密集堆叠场景中的 6DoF pose

输入:point cloud / depth

简述:把参数化形状视为一个类别,以几何唯一性优化 sparse keypoint 与 keypoint-group 选择,并采用 coarse-to-fine 预测恢复场景关键点和模板关键点;论文报告在 Siléane 与 Parametric 数据集上同时提升学习能力和未见尺寸泛化。

IROS 2024 方法论文 详情页已完成

Scalable Network and Adaptive Refinement Module for 6D Pose Estimation of Diverse Industrial Components

Kun Qian · Mustafa Suphi Erden · Xianwen Kong

EfficientNetfeature pyramidadaptive refinementindustrial components

设定:尺寸跨度较大的工业部件检测、姿态估计与在线 refinement

输入:RGB

简述:使用可缩放 EfficientNet 与增强特征金字塔改善小目标特征,再结合 2D detection 和几何信息进行 adaptive pose refinement;统一缩放超参数控制 backbone 与 refinement 复杂度,并在 LINEMOD、自建光伏部件和并联机器人实验中验证。

4 papers

类别级、零样本与跨域泛化

从 diffusion、NOCS、多视图约束和单目新视图合成出发,降低真实标注与精确深度依赖。

IROS 2024 方法论文 详情页已完成

DiffusionNOCS: Managing Symmetry and Uncertainty in Sim2Real Multi-Modal Category-Level Pose Estimation

Takuya Ikeda · Sergey Zakharov · Tianyi Ko · Muhammad Zubair Irshad · Robert Lee · Katherine Liu · Rares Ambrus · Koichi Nishiwaki

category-leveldiffusionNOCSuncertaintysim-to-real

设定:仅用合成数据训练并迁移到多个真实类别级 pose 数据集

输入:RGB-D / multi-modal

简述:以条件 diffusion 预测用于 partial shape recovery 和 correspondence 的 dense canonical maps,并融合多模态输入增强几何约束;方法仅使用合成数据训练,却在多套真实数据上展示强 sim-to-real 泛化。

IROS 2024 方法论文 详情页已完成

MV-ROPE: Multi-View Constraints for Robust Category-Level Object Pose and Size Estimation

Jiaqi Yang · Yucong Chen · Xiangting Meng · Chenxin Yan · Min Li · Ran Cheng · Lige Liu · Tao Sun · Laurent Kneip

category-levelRGB videodense SLAMpose graphNOCS

设定:移动相机 RGB 视频中缺少高质量传感器深度的类别级 pose + size

输入:RGB video + optional scale cue

简述:先以单目 dense SLAM 和尺度读数估计相机 pose 与 metric depth,再预测 canonical object representation,通过几何注册得到逐视图 object pose,最后在 object-level pose graph 中联合优化;低质量或无深度时优势更明显。

IROS 2024 方法论文 详情页已完成

Zero123-6D: Zero-Shot Novel View Synthesis for RGB Category-Level 6D Pose Estimation

Francesco Di Felice · Alberto Remus · Stefano Gasperini · Benjamin Busam · Lionel Ott · Federico Tombari · Roland Siegwart · Carlo Alberto Avizzano

zero-shotRGB-onlynovel-view synthesisdiffusiononline refinement

设定:少量 RGB reference、无 depth 的零样本类别级 6D pose

输入:RGB

简述:以 Zero-1-to-3 合成额外 reference views,通过特征匹配得到 coarse pose,再使用针对类别内几何差异设计的 online optimization refinement;论文在 CO3D 上验证减少 reference 数据与取消 depth 的可行性。

IROS 2024 方法论文 详情页已完成

Single-Shot 6DoF Pose and 3D Size Estimation for Robotic Strawberry Harvesting

Lun Li · Hamidreza Kasaei

agricultural roboticssynthetic datadomain randomization3D sizereal-time

设定:遮挡与实例形状变化下的草莓 6DoF pose、尺寸和检测

输入:RGB

简述:在 Ignition Gazebo 中自动生成带姿态和尺寸标注的草莓数据,并以 domain randomization 训练单阶段模型;论文报告模拟数据 3D IoU AP 84.77%、最高 60 FPS,并验证对真实遮挡场景的迁移。

2 papers

低 CAD 依赖与功能位姿

用少量真实图像学习对象表示,或把工具功能端的 affordance pose 作为更贴近操作的输出。

IROS 2024 方法论文 详情页已完成

NeuSurfEmb: A Complete Pipeline for Dense Correspondence-Based 6D Object Pose Estimation without CAD Models

Francesco Milano · Jen Jen Chung · Hermann Blum · Roland Siegwart · Lionel Ott

CAD-freeNeuS2SurfEmbfew real imagesdense correspondence

设定:仅有少量真实 RGB 图像、没有精确 CAD 与手工 PBR 管线

输入:reference RGB + query RGB

简述:通过 SfM 与 object-agnostic segmentation 半自动学习 NeuS2 对象表示,利用 novel-view synthesis 和 cut-and-paste 自动生成训练图,再训练 dense-correspondence SurfEmb;在 LM-O 与自采物体上对比 CAD-based 和 CAD-free 方法。

IROS 2024 方法论文 详情页已完成

ToolEENet: Tool Affordance 6D Pose Estimation

Yunlong Wang · Lei Zhang · Yuyang Tu · Hui Zhang · Kaixin Bai · Zhaopeng Chen · Jianwei Zhang

tool affordancetool end-effectordiffusionsymmetry-awareTOOLEE

设定:手遮挡工具本体时,估计真正参与接触的功能端 6D pose

输入:RGB-D

简述:先从 RGB-D 中分割工具 end-effector affordance,再以 diffusion pose estimator 预测类别级功能端位姿,并用 symmetry-aware pose representation 处理多解;同时发布带 affordance segmentation 与使用定义 pose 的 TOOLEE 数据集。

2 papers

数据生成与动态多对象系统

以 3D Gaussian Splatting 生成 BOP-style 数据,或联合优化相机和多个动态对象的状态。

IROS 2024 数据与系统 详情页已完成

PEGASUS: Physically Enhanced Gaussian Splatting Simulation System for 6DoF Object Pose Dataset Generation

Lukas Meyer · Floris Erich · Yusuke Yoshiyasu · Marc Stamminger · Noriaki Ando · Yukiyasu Domae

3D Gaussian Splattingphysics simulationsynthetic dataBOP formatsim-to-real

设定:从真实对象和环境扫描快速组合物理合理的 pose 训练场景

输入:RGB / depth / mask / 6DoF labels

简述:分别扫描环境和对象的 3D Gaussian 表示,利用提取网格与物理引擎生成自然放置,再渲染 RGB、depth、mask、bounding box 与 6DoF pose;论文还发布杯面对象数据并以 pose 网络和真实抓取验证 sim-to-real。

IROS 2024 动态场景扩展 详情页制作中

ESO-SLAM: Tightly-Coupled and Simultaneous Estimation of Self and Multi-Object Pose via Sensor Fusion

Wu Li · Yunzhou Zhang · Yuezhang Lv · Tingting Wang · Sizhan Wang · Guiyuan Wang

dynamic SLAMmulti-object posesensor fusionjoint optimizationKITTI

设定:高动态道路场景中联合估计自车与多个运动物体的 pose

输入:camera + LiDAR / sensor fusion

简述:以多概率融合 tracker 建立 object-level association,用 3D Kalman velocity prior 与 optical-flow decoupling 清除动态点,最后在因子约束中联合 refinement 相机和对象 pose;它属于动态物体状态扩展,不与 BOP-style 刚体实例评测直接混排。

Scope, Sources & Deduplication

统计口径、来源与去重

收录标准:IROS 2024 正式 proceedings 中,主要输出为实例级 / 类别级 object 6D pose、object pose tracking、功能部件 pose,或直接面向 6D pose 的数据生成;ESO-SLAM 作为联合 camera–object pose 的动态扩展单列。

未计入:人体 / 手部 / 机器人本体 pose、相机 localization、纯 grasp pose、3D bounding-box tracking,以及仅消费现成 pose 的操作控制。Insert-One 的主贡献是 visual-force servoing,主动视觉 bin-picking 的主贡献是传感与运动调度,因此未计入核心统计。

去重规则:RA-L、T-RO、T-ASE 论文即使在 IROS 现场报告,仍归入对应期刊,不重复计入 IROS 正式论文数。正式元数据以 IEEE DOI 为准,开放 PDF、项目页与 arXiv 仅作为阅读入口。

主要来源:IEEE Xplore IROS 2024 Proceedings、各论文 DOI、作者开放手稿和项目页。中文摘要、分类与趋势归纳为本站编辑整理。