3D 表示 / 重建 · 2024 · 3DV · CCF 未收录

NCRF: Neural Contact Radiance Fields for Free-Viewpoint Rendering of Hand-Object Interaction

NCRF 联合接触优化场、手物 canonical motion field 与 radiance field，让 contact 和多视图渲染共同修正遮挡下的 hand/object pose。

Paper

研究方向

3D 表示 / 重建

任务层级

Instance-level

物体设定

Seen objects

输入模态

sparse multi-view hand-object videos

关键依赖

known object meshinitial per-frame hand/object posecalibrated camerasper-sequence neural field optimization

完整论文元数据作者、单位、研究方向、数据集、指标、方法标签和阅读状态展开

作者: Zhongqun Zhang, Jifei Song, Eduardo Pérez-Pellitero, Yiren Zhou, Hyung Jin Chang, Aleš Leonardis
作者单位: University of Birmingham / Huawei Noah’s Ark Lab
会议 / 期刊: 会议 · 3DV · CCF 未收录
研究方向: 3D 表示 / 重建
开源状态: 未开源 / 未整理
阅读状态: 粗读：已生成精读：已生成
任务设定: Instance-level · Seen objects
数据集: HO3D DexYCB
评估指标: ADD
方法标签: 实例级位姿估计位姿细化合成数据与基础模型多物体位姿估计
关键依赖: known object meshinitial per-frame hand/object posecalibrated camerasper-sequence neural field optimization

Reading Notes

粗读 / 精读

已生成 src/paper-notes/ncrf-3dv2024/coarse.md

论文粗读笔记

用于快速判断论文定位、问题设定、核心方法、实验结论和是否值得精读。

NCRF 粗读

一句话结论

NCRF 把手物接触、pose refinement 和动态 radiance field 联合优化：接触约束改善遮挡下的手/物姿态，修正后的姿态又让 canonical-space 渲染更锐利，从而避免“先用错误 pose 建 NeRF，再把模糊当外观”的恶性循环。

三个模块

contact optimization field：融合手/物特征，修正刚体物体 pose 和手关节。
hand-object neural radiance field：分别建模手与物体外观。
observation-to-canonical motion field：把每帧动态手物变形映射到 canonical space，并用 mesh-guided ray sampling 减少两者混色。

NCRF 的接触优化场、手物形变场和辐射场流程 — pose correction 与 neural rendering 共享损失联合学习，接触 map 和碰撞 SDF 提供三维约束。来源：原论文 Figure 2；版权归原作者及 3DV 2024 出版方所有，本站仅作学术解读。

结果

HO3D 上，NCRF 相对 HumanNeRF 将 PSNR 从 26.06 提到 29.74；对象 ADD-0.1D 从初始 74.5/ S2 Contact 81.4 提到 89.8。DexYCB 上为 32.16 PSNR、83.2 ADD-0.1D。去掉 rigid pose correction 时 ADD 回落到 74.5，说明渲染增益不是单靠更大 NeRF。

NCRF 在 HO3D 和 DexYCB 上的新视角渲染、消融与渲染指标 — 截图包含 Figure 4 的 HO3D / DexYCB 新视角渲染比较、Figure 5 的模块消融，以及 Table 1 的 PSNR / SSIM / LPIPS 渲染指标。来源：原论文 Figures 4–5、Table 1；版权归原作者及 3DV 2024 出版方所有，本站仅作学术解读。

边界

NCRF 是逐序列优化的交互重建方法，需要对象 mesh、初始手/物 pose 与稀疏多视角视频；它不是一张 RGB 上直接输出未知物体 pose 的实时网络。

已生成 src/paper-notes/ncrf-3dv2024/deep.md

论文精读笔记

用于复现、对比、写 related work 和挖掘后续研究切入点。

NCRF 精读

1. 接触、姿态和渲染为何应联合

手物交互中互遮挡最严重的区域恰好是接触区域。单帧 estimator 的小误差会造成手指穿进物体或悬空；若直接用这些 pose warp 到 canonical space，辐射场会把几何错位吸收到模糊纹理和错误密度中。NCRF 的假设是：接触提供局部几何约束，跨视图 photometric consistency 提供全局外观约束，两者联合可比单独 pose optimizer 更稳。

2. 模块结构

2.1 Contact optimization field

网络在 observation space 融合 hand/object features，预测 hand deformation、rigid object correction 和 joint rotation correction。由修正 pose 计算手物 contact maps，并与目标接触先验比较；SDF penetration loss 惩罚对象顶点进入手内部。

2.2 Canonical radiance field

手是非刚体，物体近似刚体。motion field 将每帧采样点从 observation space 映射到 canonical hand/object coordinates；mesh-guided sampling 只在各自 mesh 邻域采样，降低普通 bounding-box sampling 在接触边界把手颜色写进物体的概率。

NCRF 从接触优化到 canonical radiance field 的详细结构 — 总损失由 NeRF 重建、contact consistency 与 penetration 三部分组成；pose 与渲染不是两个独立阶段。来源：原论文 Figure 2；版权归原作者及 3DV 2024 出版方所有，本站仅作学术解读。

3. 主结果

HO3D novel-view synthesis：

HumanNeRF：26.06 PSNR / 0.9665 SSIM / 40.23 LPIPS*
NCRF：29.74 / 0.9758 / 32.47

DexYCB：从 27.32/0.9719/27.43 提升到 32.16/0.9813/20.37。

pose 方面，HO3D 对象 ADD-0.1D 为 89.8，初始 Hasson et al. 为 74.5，S2 Contact 为 81.4；DexYCB 为 83.2，S2 Contact 为 70.5。HO3D hand MPJPE 8.9 mm 与 S2 Contact 8.7 接近，表明最大提升更多落在 object pose 和联合渲染，而非所有手指标都最好。

NCRF 定性新视角渲染、模块消融与渲染指标 — Figure 4 红圈标出新视角渲染的边界与接触区域差异；Figure 5 展示模块消融；Table 1 报告 PSNR / SSIM / LPIPS 渲染指标。来源：原论文 Figures 4–5、Table 1；版权归原作者及 3DV 2024 出版方所有，本站仅作学术解读。

4. 消融支持什么

去掉 rigid pose correction：MPJPE 10.9、ADD 74.5、穿插体积 5.1；完整模型为 8.9、89.8、3.7。去掉 neural rendering 时 ADD 同样回到 74.5，说明 contact 与多视图外观共同提供 pose 修正信号。

渲染消融中，去掉 pose optimization field 的 PSNR 只有 25.71，低于去掉 mesh-guided sampling 的 28.10 和去掉 non-rigid motion 的 28.81，完整模型 29.74。pose alignment 是渲染质量的主要来源。

NCRF 的 pose correction 与渲染模块消融表 — Table 3–4 显示 pose field 对 ADD 和 PSNR 都是决定性模块；三相机优于一/两相机，但单目仍可运行。来源：原论文 Table 3–4；版权归原作者及 3DV 2024 出版方所有，本站仅作学术解读。

5. 局限

需要对象 mesh、每帧初始 pose 和相机标定，属于 test-time optimization。
单目时要求手和对象在序列中被充分覆盖；否则不可见表面无法恢复。
未显式建模光照变化，颜色/高光可能被写入 radiance field。
每帧先验估计缺少显式 temporal consistency，长序列抖动仍可能传播。
HO3D/DexYCB 以已知日常物体为主，开放类别和可变形对象不在范围。

6. 我的判断

NCRF 最有价值的不是用 NeRF 展示手物视频，而是把渲染误差变成 pose supervision，并用接触约束防止 photometric optimization 走向几何错误的解。它为后来的 Gaussian hand-object tracking 提供了清晰范式：可渲染表示、物理/接触 prior 和 pose correction 应共享状态。