01 · Symmetry
对称性进入关键点、损失函数和评测协议
SD-Net 直接改变关键点选择和伪标签过滤,PS6D 设计 symmetry-aware rotation loss,DiffusionNOCS 则把多解写进概率生成过程。
IROS 2024 · Paper Collection
IROS 2024 的 object pose 工作明显围绕机器人可部署性展开:对称与密集堆叠仍是工业主战场,类别级方法开始使用 diffusion 与多视图约束,CAD-free onboarding、功能端 affordance pose 和可控合成数据也逐渐形成完整系统。
12
正式 proceedings 论文
4
工业与对称性
4
类别级与泛化
4
合成 / 跨域标签
本站对 IROS 2024 的 1,581 篇正式 proceedings 论文进行标题级全量筛选,再依据摘要和原文复核任务输出。专题不包含 RA-L / T-RO 现场报告,也排除了只把既有 pose tracker 当作装配控制输入的论文。
查看 IEEE Xplore 正式论文集 →Collection in One Sentence
SD-Net、PS6D 与 ParametricNet++ 把对称、堆叠、反光和 synthetic-to-real 当作默认困难,而不是附加实验;Scalable Industrial Pose 则显式联合网络复杂度与 refinement 成本。
DiffusionNOCS、MV-ROPE 与 Zero123-6D 代表三条泛化路线:预测 canonical distribution、利用视频中的几何一致性、用生成式先验扩展 reference views。NeuSurfEmb 与 PEGASUS 进一步降低新对象建模和数据生产门槛。
Research Trends
以下趋势来自本专题严格收录的 12 篇论文,按主要贡献归类,不代表 IROS 全体论文分布。
01 · Symmetry
SD-Net 直接改变关键点选择和伪标签过滤,PS6D 设计 symmetry-aware rotation loss,DiffusionNOCS 则把多解写进概率生成过程。
02 · Sim-to-Real
PEGASUS 用 3DGS 与物理引擎组合真实扫描对象和环境;DiffusionNOCS 与草莓 pose 论文则分别用多模态生成建模和 domain randomization 缩小真实域差距。
03 · Less Prior
NeuSurfEmb 用少量真实图像建立对象表示,Zero123-6D 用 diffusion 扩展模板视角,MV-ROPE 从视频估计 metric structure,三者分别削弱 CAD、reference 与 depth 依赖。
04 · Task State
ToolEENet 预测工具功能端的 affordance pose,ESO-SLAM 联合估计相机和动态对象状态,说明 pose 正被重新定义为服务任务与时序系统的状态变量。
Data Statistics
按每篇论文的主要贡献互斥归类;跨方向属性保留在标签中。
围绕无纹理、多重对称、密集堆叠和尺寸跨度,改进关键点、点云回归、域适应与姿态 refinement。
从 diffusion、NOCS、多视图约束和单目新视图合成出发,降低真实标注与精确深度依赖。
用少量真实图像学习对象表示,或把工具功能端的 affordance pose 作为更贴近操作的输出。
以 3D Gaussian Splatting 生成 BOP-style 数据,或联合优化相机和多个动态对象的状态。
统计解读:工业与类别级两条主线各有 4 篇,占专题的三分之二;但另外 4 篇并非边缘工作,它们补齐了 CAD-free onboarding、功能位姿、数据生成和动态多对象状态,使专题更接近机器人部署的完整生命周期。严格 RGB-only 论文共 5 篇。
Recommended Reading
IROS 不使用 CVPR 式 Highlight 标签;这里的推荐仅依据路线代表性、问题完整度和部署价值。
同时处理对称关键点歧义和 synthetic-to-real domain gap,问题设定与工业 bin-picking 的真实失败模式高度一致。
优先阅读从 symmetry-aware loss 到两阶段聚类再到 91.7% 真实 bin-picking 成功率,完整覆盖算法与部署验证。
类别级代表把 dense canonical map 从确定性回归改为条件 diffusion 分布,直接正面处理类别内形状变化、对称性和多解不确定性。
优先阅读不是简单平均逐帧输出,而是把 scale-aware dense SLAM、canonical prediction 和 object-level pose graph 放进统一多视图系统。
类别级代表较早系统验证 diffusion novel-view synthesis 能否真正增强 pose,而不是停留在对象生成与重建。
低先验代表把对象采集、NeuS2 重建、合成训练图生成和 SurfEmb pose estimator 串成可复用的 CAD-free onboarding pipeline。
优先阅读它提醒我们“整个工具的 object pose”未必是操作所需状态,功能端的 affordance pose 更直接决定接触任务。
数据代表把 3DGS 的真实感与物理引擎的可控标注结合起来,并直接输出 BOP-compatible 训练数据。
Paper List
每张卡片给出任务设定、输入模态、中文简述和正式 DOI;详情页制作完成后,卡片入口会切换为站内粗读与精读。
4 papers
围绕无纹理、多重对称、密集堆叠和尺寸跨度,改进关键点、点云回归、域适应与姿态 refinement。
Ding-Tao Huang · En-Te Lin · Lipeng Chen · Li-Fu Liu · Long Zeng
设定:合成训练到真实工业堆叠场景,实例级 6D pose
输入:point cloud / depth
简述:以 point-wise keypoint regression 和 Hough voting 为基础,引入对称类别感知的关键点选择、候选过滤与 student–teacher 几何伪标签;论文在 Siléane 上报告 96% AP,并在 Parametric 数据集上提升泛化表现。
Yifan Yang · Zhihao Cui · Qianyi Zhang · Jingtai Liu
设定:锈蚀、反光、无纹理且多重对称的工业零件
输入:point cloud
简述:通过注意力引导的多尺度点云特征、对称性感知 rotation loss 和 center-distance-sensitive translation loss 逐点回归实例中心与姿态,再以两阶段聚类完成实例分离和 6D pose;论文报告 F1 与 Recall 的显著提升。
Yihan Xie · Wei Jie Lv · Xin-Yu Zhang · Yihong Chen · Long Zeng
设定:参数尺寸未知的工业零件在密集堆叠场景中的 6DoF pose
输入:point cloud / depth
简述:把参数化形状视为一个类别,以几何唯一性优化 sparse keypoint 与 keypoint-group 选择,并采用 coarse-to-fine 预测恢复场景关键点和模板关键点;论文报告在 Siléane 与 Parametric 数据集上同时提升学习能力和未见尺寸泛化。
Kun Qian · Mustafa Suphi Erden · Xianwen Kong
设定:尺寸跨度较大的工业部件检测、姿态估计与在线 refinement
输入:RGB
简述:使用可缩放 EfficientNet 与增强特征金字塔改善小目标特征,再结合 2D detection 和几何信息进行 adaptive pose refinement;统一缩放超参数控制 backbone 与 refinement 复杂度,并在 LINEMOD、自建光伏部件和并联机器人实验中验证。
4 papers
从 diffusion、NOCS、多视图约束和单目新视图合成出发,降低真实标注与精确深度依赖。
Takuya Ikeda · Sergey Zakharov · Tianyi Ko · Muhammad Zubair Irshad · Robert Lee · Katherine Liu · Rares Ambrus · Koichi Nishiwaki
设定:仅用合成数据训练并迁移到多个真实类别级 pose 数据集
输入:RGB-D / multi-modal
简述:以条件 diffusion 预测用于 partial shape recovery 和 correspondence 的 dense canonical maps,并融合多模态输入增强几何约束;方法仅使用合成数据训练,却在多套真实数据上展示强 sim-to-real 泛化。
Jiaqi Yang · Yucong Chen · Xiangting Meng · Chenxin Yan · Min Li · Ran Cheng · Lige Liu · Tao Sun · Laurent Kneip
设定:移动相机 RGB 视频中缺少高质量传感器深度的类别级 pose + size
输入:RGB video + optional scale cue
简述:先以单目 dense SLAM 和尺度读数估计相机 pose 与 metric depth,再预测 canonical object representation,通过几何注册得到逐视图 object pose,最后在 object-level pose graph 中联合优化;低质量或无深度时优势更明显。
Francesco Di Felice · Alberto Remus · Stefano Gasperini · Benjamin Busam · Lionel Ott · Federico Tombari · Roland Siegwart · Carlo Alberto Avizzano
设定:少量 RGB reference、无 depth 的零样本类别级 6D pose
输入:RGB
简述:以 Zero-1-to-3 合成额外 reference views,通过特征匹配得到 coarse pose,再使用针对类别内几何差异设计的 online optimization refinement;论文在 CO3D 上验证减少 reference 数据与取消 depth 的可行性。
Lun Li · Hamidreza Kasaei
设定:遮挡与实例形状变化下的草莓 6DoF pose、尺寸和检测
输入:RGB
简述:在 Ignition Gazebo 中自动生成带姿态和尺寸标注的草莓数据,并以 domain randomization 训练单阶段模型;论文报告模拟数据 3D IoU AP 84.77%、最高 60 FPS,并验证对真实遮挡场景的迁移。
2 papers
用少量真实图像学习对象表示,或把工具功能端的 affordance pose 作为更贴近操作的输出。
Francesco Milano · Jen Jen Chung · Hermann Blum · Roland Siegwart · Lionel Ott
设定:仅有少量真实 RGB 图像、没有精确 CAD 与手工 PBR 管线
输入:reference RGB + query RGB
简述:通过 SfM 与 object-agnostic segmentation 半自动学习 NeuS2 对象表示,利用 novel-view synthesis 和 cut-and-paste 自动生成训练图,再训练 dense-correspondence SurfEmb;在 LM-O 与自采物体上对比 CAD-based 和 CAD-free 方法。
Yunlong Wang · Lei Zhang · Yuyang Tu · Hui Zhang · Kaixin Bai · Zhaopeng Chen · Jianwei Zhang
设定:手遮挡工具本体时,估计真正参与接触的功能端 6D pose
输入:RGB-D
简述:先从 RGB-D 中分割工具 end-effector affordance,再以 diffusion pose estimator 预测类别级功能端位姿,并用 symmetry-aware pose representation 处理多解;同时发布带 affordance segmentation 与使用定义 pose 的 TOOLEE 数据集。
2 papers
以 3D Gaussian Splatting 生成 BOP-style 数据,或联合优化相机和多个动态对象的状态。
Lukas Meyer · Floris Erich · Yusuke Yoshiyasu · Marc Stamminger · Noriaki Ando · Yukiyasu Domae
设定:从真实对象和环境扫描快速组合物理合理的 pose 训练场景
输入:RGB / depth / mask / 6DoF labels
简述:分别扫描环境和对象的 3D Gaussian 表示,利用提取网格与物理引擎生成自然放置,再渲染 RGB、depth、mask、bounding box 与 6DoF pose;论文还发布杯面对象数据并以 pose 网络和真实抓取验证 sim-to-real。
Wu Li · Yunzhou Zhang · Yuezhang Lv · Tingting Wang · Sizhan Wang · Guiyuan Wang
设定:高动态道路场景中联合估计自车与多个运动物体的 pose
输入:camera + LiDAR / sensor fusion
简述:以多概率融合 tracker 建立 object-level association,用 3D Kalman velocity prior 与 optical-flow decoupling 清除动态点,最后在因子约束中联合 refinement 相机和对象 pose;它属于动态物体状态扩展,不与 BOP-style 刚体实例评测直接混排。
Scope, Sources & Deduplication
收录标准:IROS 2024 正式 proceedings 中,主要输出为实例级 / 类别级 object 6D pose、object pose tracking、功能部件 pose,或直接面向 6D pose 的数据生成;ESO-SLAM 作为联合 camera–object pose 的动态扩展单列。
未计入:人体 / 手部 / 机器人本体 pose、相机 localization、纯 grasp pose、3D bounding-box tracking,以及仅消费现成 pose 的操作控制。Insert-One 的主贡献是 visual-force servoing,主动视觉 bin-picking 的主贡献是传感与运动调度,因此未计入核心统计。
去重规则:RA-L、T-RO、T-ASE 论文即使在 IROS 现场报告,仍归入对应期刊,不重复计入 IROS 正式论文数。正式元数据以 IEEE DOI 为准,开放 PDF、项目页与 arXiv 仅作为阅读入口。
主要来源:IEEE Xplore IROS 2024 Proceedings、各论文 DOI、作者开放手稿和项目页。中文摘要、分类与趋势归纳为本站编辑整理。