返回研究文献库

世界模型 · 2026 · arXiv · CCF 未收录

GeniWorld: A Generalizable Interactive World Model for Robotic Manipulation via Visual Actions

GeniWorld 以 URDF 渲染将数值动作变成与相机对齐的视觉运动条件,驱动 Wan2.2 因果视频模型预测环境响应,支持闭环策略评测与数据合成。论文在 RoboTwin Clean-to-Random 上报告 FVD 20.15、EWMScore 63.54;合成数据使四个真实任务、五种设置的策略总体成功率从 40.8% 提升至 69.0%。它生成未来观测而非动作或物体 pose,依赖机器人模型与相机标定;官方代码尚标注 Coming soon。

研究方向

世界模型

任务层级

不适用(非物体位姿任务)

物体设定

不适用(策略评测)

输入模态

初始 RGB 场景图与历史观测任务语言指令机器人动作序列

关键依赖

机器人 URDF 与正向运动学相机标定与视角对齐机器人运动渲染器Wan2.2-TI2V-5B / 因果 3D VAE配对视频与动作训练数据
完整论文元数据 作者、单位、研究方向、数据集、指标、方法标签和阅读状态 展开
作者
Chenghao Gu, Hanyang Yu, Jingbo Zhang, Haitao Lin, Wenyao Zhang, Jinghe Wang, Hanglei Jin, Shuzhao Xie, Jingyan Jiang, Zhi Wang
作者单位
Shenzhen International Graduate School, Tsinghua University / Tencent Robotics X / The Hong Kong University of Science and Technology / Shenzhen Technology University
会议 / 期刊
预印本 · arXiv · CCF 未收录
研究方向
世界模型
开源状态
未开源 / 未整理
阅读状态
粗读:已生成 精读:已生成
任务设定
不适用(非物体位姿任务) · 不适用(策略评测)
关键依赖
机器人 URDF 与正向运动学相机标定与视角对齐机器人运动渲染器Wan2.2-TI2V-5B / 因果 3D VAE配对视频与动作训练数据

Reading Notes

粗读 / 精读

已生成 src/paper-notes/geniworld/coarse.md

论文粗读笔记

用于快速判断论文定位、问题设定、核心方法、实验结论和是否值得精读。

论文粗读笔记:GeniWorld

1. 基本信息

  • 标题:GeniWorld: A Generalizable Interactive World Model for Robotic Manipulation via Visual Actions
  • 作者:Chenghao Gu、Hanyang Yu、Jingbo Zhang、Haitao Lin、Wenyao Zhang、Jinghe Wang、Hanglei Jin、Shuzhao Xie、Jingyan Jiang、Zhi Wang
  • 机构:清华大学深圳国际研究生院、Tencent Robotics X、香港科技大学、深圳技术大学
  • 年份 / 版本:2026;arXiv v1,提交于 2026-08-06;已核对来源按预印本标注
  • 论文:arXiv:2608.06332 / v1 全文与附录
  • 项目页:GeniWorld
  • 代码状态:截至 2026-09-12,官方项目页标注 Coming soon,未确认实现和权重已公开
  • 阅读模式:粗读

2. 一句话定位

GeniWorld 先用机器人 URDF 和正向运动学把数值动作渲染成与相机画面对齐的“视觉动作”,再让视频世界模型预测物体和环境如何响应,以支持未见场景中的交互、策略评测及训练数据合成。

它是 action-conditioned world model:输入动作,输出未来观测。它既不是直接输出动作的 VLA,也不是输出物体 R,tR,t 的 6D pose estimator;本站将其归入“世界模型”。

方法输入与输出

项目内容(本站整理)
推理输入初始 / 历史 RGB 观测、语言指令,以及外部策略或操作者给出的机器人动作序列。动作经 URDF 与运动学渲染成相机对齐的视觉动作,作为视频模型条件。
最终输出动作执行后的未来 RGB 观测序列;它是正向世界模型,不负责生成数值机器人动作、物体 R,tR,t 或接触力。
必要条件需要机器人几何 / 运动学、渲染器及相机对齐标定;不要求目标物体 CAD、完整场景重建、深度或实例 mask。闭环使用时,由外部策略读取生成画面并继续给动作。

2.1 论文图表导读

下表为本站整理,插图采用作者项目页的原始图像。

图表说明什么阅读重点
Figure 1世界模型如何连接人、策略与合成环境动作由外部策略或操作者提供
Figure 2视觉动作与因果视频模型的训练 / 推理流程渲染机器人运动,不渲染完整场景物理
Figure 3从干净场景训练到随机场景测试关注动作跟随与交互,而不只是画面外观
Table I,本站整理世界模型质量及动作表示消融图像 / 视频质量分数不是机器人成功率
Figure 9 / Table III合成数据对真实策略的收益69.0% 是五种设置的总体成功率,包含标准场景
GeniWorld Figure 1:人类遥操作或机器人策略提供动作,通过 URDF 视觉动作驱动可交互世界模型
原论文 Figure 1:模型在合成场景中响应外部动作,支持策略评测和数据生成。右上为世界模型 OOD 评分,右下为合成数据带来的真实策略收益,两者不是同一指标。来源:作者官方项目页。图片版权归论文作者及出版方所有,本站仅作论文解读展示。

3. 问题设定

维度设定(本站整理)
任务根据当前 / 历史观测和输入动作,生成后续机器人操作画面
输入初始 RGB 场景图、语言指令、机器人动作序列;闭环时持续接收新动作
输出未来 RGB 观测序列,不是物体 pose、关节动作或力接触状态
关键资产机器人 URDF、运动学系统、与真实相机匹配的渲染视角
训练配对的机器人视频与动作,需要训练;使用预训练 Wan 视频模型
CAD / 深度需要机器人的几何与关节结构;不要求目标物体 CAD 或完整场景几何重建,方法未以深度图为必要输入
泛化含义固定场景训练后,在新的外观、物体实例和布局下进行世界模型预测,不等于跨所有机器人零样本迁移

“仅使用有限固定场景数据”不能解读为没有先验。URDF、相机标定和通用视频预训练都在帮助模型;下游数据合成还使用图像编辑模型和人工遥操作。

4. 核心动机

直接把几个关节角或末端位姿数值塞给视频生成器,模型必须同时学习机器人运动学、数值到像素的映射,以及接触引起的环境变化。训练场景较少时,它容易把动作和背景特征绑定,换场景后不再准确跟随动作。

GeniWorld 把已知的运动学交给 URDF 渲染系统:先告诉生成器“机器人具体在哪里、如何移动”,再学习“场景如何随之变化”。这减少了模型需要从少量数据中隐式学会的内容。

5. 方法概览

5.1 数值动作变成空间对齐的视觉条件

动作经正向运动学驱动机器人模型,并从目标相机视角渲染出机器人运动序列。渲染条件隔离机器人结构,不包含目标物体及背景外观。

视觉动作和真实视频通过同一个因果 3D VAE 编码,各有 48 个 latent 通道;将干净动作 latent 与带噪视频 latent 沿通道拼接,形成 96 通道输入。视频骨干采用 Wan2.2-TI2V-5B,仅扩展输入 patch embedding 即可接入这一条件。

GeniWorld Figure 2:视觉动作 latent 与噪声视频 latent 拼接,因果 DiT 训练及带 KV cache 的自回归推理
原论文 Figure 2:左侧为 flow-matching 训练,右侧为动作渲染和自回归闭环生成。动作是干净条件,模型只对观测 latent 加噪并预测。来源:作者官方项目页。图片版权归论文作者及出版方所有,本站仅作论文解读展示。

5.2 自回归生成与闭环反馈

模型按因果历史逐块预测未来画面,使用 KV cache 保存过去信息;生成结果再交给策略或操作者,产生下一段动作。训练从真实历史条件开始,后续引入模型自身生成的历史,减轻训练和闭环滚动预测的差异。

论文报告在 NVIDIA H20 上采用 5 步采样时约 8 Hz 交互推理率。这不等同于真实机械臂底层伺服频率,也不应与数据本身的 24 fps 混淆。

5.3 生成训练数据

先用 GPT-Image、Qwen-Image 等编辑初始场景,改变物体位置、实例或背景;再通过旧动作回放或人类闭环遥操作生成轨迹。后者能够产生新行为,因此不只是给固定动作视频换背景,但也不属于完全无需人工的数据生产。

6. 实验概览

6.1 世界模型:Clean-to-Random

RoboTwin 2.0 共 50 个任务,每任务 45 条 Clean 轨迹训练、5 条测试,即 2250 条训练和 250 条同域测试轨迹。OOD 测试改用 250 条 Random 轨迹,不进行目标域适配。

下表由原文 Table I 本站整理,仅摘录 Clean-to-Random 结果;LPIPS、FID、FVD 越低越好,EWMScore 越高越好。

方法LPIPSFIDFVDEWMScore
Ctrl-World0.28521.6635.8551.47
IRASim0.766174.52191.2646.41
EnerVerse-AC0.75174.5599.1431.28
GeniWorld0.14413.0820.1563.54

同骨干消融中,数值动作、末端轨迹、骨架动作的 OOD FVD 分别为 53.69、45.89、39.88,均高于完整视觉动作的 20.15。证据支持稠密、空间对齐的动作表示比这些替代条件更有效。

指标提醒:附录 B 对 FVD 的特征提取与时间聚合有特定描述,公开代码尚待确认;这些值适合在本文同协议内比较,不宜直接跨论文排榜。

6.2 策略评测:相关,但不是现实的替代证明

作者将相同 π0\pi_0 策略检查点放入 GeniWorld 与真实 Xtrainer 平台,以对应初始画面评估四个任务,观察到世界模型与真实成功率正相关,且对视觉干扰较稳定。人工判断二值成功,VLM 辅助判断交互合理性。

这说明它有成为离线评测器的潜力,但不能推出对任意新策略、新失败模式都能准确预测;没有把“视频看起来合理”直接等同于“真实物理执行成功”。

6.3 数据合成:真实策略 Overall 从 40.8% 到 69.0%

每任务以 25 条真实示教训练下游策略,逐步加入 65 条空间随机化合成轨迹和 65 条多样化合成轨迹。以下为原文 Table III 均值的本站整理,单位 %。

训练数据标准场景空间重排干扰物新实例光照变化Overall
25 Real72.537.533.830.030.040.8
+65 Spatial-Gen76.362.538.842.535.051.0
再 +65 Diverse-Gen80.070.072.570.052.569.0
GeniWorld Figure 9:三种训练数据方案在标准及四种 OOD 设置下的真实机器人成功率
原论文 Figure 9:同时增加空间和场景多样性时收益最大。Overall 为五种设置的平均,包含标准场景;不是仅 OOD 的平均分。来源:作者官方项目页。图片版权归论文作者及出版方所有,本站仅作论文解读展示。

四个任务是 Move Bowl、Fold Towel、Place Mug、Open Drawer。每个任务和设置测试 20 次,共每方案 400 次真实测试;成功要求完成整项任务。40.8% 到 69.0% 是按显示值增加 28.2 个百分点,不是只增加 28.2% 的相对收益。

7. 优缺点

优点

  • 利用明确的机器人运动学先验,减轻视频模型对动作空间和场景外观的纠缠。
  • 从视频质量、策略评测和真实策略提升三方面验证,而非只展示好看的视频。
  • 数据合成不必完整搭建目标物体的物理仿真,但仍支持动作回放与新的交互行为。

缺点 / 风险

  • 依赖机器人 URDF、视角对齐和标定;标定错误的鲁棒性没有系统消融。
  • 渲染精确的机器人姿态,不代表生成器能精确处理碰撞、摩擦、柔性物体或不可见接触。
  • 合成数据同时增加数量和多样性,没有等量新采真实数据的成本对照;人工交互及质量筛选成本仍待明确。
  • 附录未覆盖完整训练配方,代码尚未确认公开,现阶段不能宣称可一键复现。

8. 对我的启发

  • 与 6D 感知的联系:投影几何和标定在这里成为生成模型的条件接口,而非最终 pose 输出。
  • 与 Fast-WAM 的区别:Fast-WAM 学低延迟动作策略;GeniWorld 学动作条件下的环境响应。两者的速度和分数不能直接互比。
  • 值得精读:视觉动作表示、因果分块机制,以及世界模型评价结果与真实行为收益之间的证据链。
  • 可继续研究:使用 pose / contact 约束检测生成错误,或在标定存在不确定性时保持视觉动作条件可靠。这些是研究建议,不是论文已经完成的能力。

Related Papers

相关论文