FORGE 精读

1. 任务为什么难

少视图对象重建常假设相机已标定；相机 pose estimation 又会受对称、低纹理和宽基线影响。把两者串联时，前端 pose 小误差会让后端融合产生双影和破碎几何。FORGE 试图用共享 3D feature volume 打破单向误差传播：3D-aware correlation 估 pose，pose 对齐后的特征用于重建，重建 photometric loss 再反向修正 pose。

2. 三维表示与 pose estimator

单图 encoder 生成 2D feature 后，通过视锥提升得到 64³ voxel feature。pose 模块同时使用：

• global feature：看单视图整体外观与视角；
• pairwise correlation：比较两视图三维体素关系。

两路结合比单独使用任一路更稳。第一视图作为 canonical 候选；系统可尝试每一帧作为 canonical，以重建 photometric error 选择最合适参考。

3. 分阶段训练与测试优化

训练分三阶段：先在真值 pose 下学习 voxel encoder/fusion/renderer；再训练 pose estimator；最后联合微调。跨视图一致性损失让不同视图中同一物体区域的 3D features 相近。测试时 FORGE† 是纯前向预测；完整 FORGE 用输入视图 photometric loss 做 1K iterations 的 pose optimization。

这种训练策略避免一开始让随机 pose 和随机重建互相污染，但也意味着复现时各阶段数据、冻结策略和坐标规范必须一致。

4. 结果如何解读

Kubric Test1 seen/unseen instance 上，完整 FORGE rotation error 为 4.0°/4.3°；Test2 novel category 为 8.9°。相较 8-Point Transformer 的 15.0°/15.4°/23.9°，类别外泛化明显更稳。FORGE† 在 Test2 为 13.7°，说明 test-time optimization 带来约 35% 相对下降。

重建方面，真值 pose 的 FORGE* 在 Test2 为 31.17 PSNR；预测 pose + 优化为 25.57。论文称其“接近”真值 pose 路线时应谨慎：视觉结果可用，但仍有约 5.6 dB 差距。

OmniObject3D 上，FORGE 5.35°/0.30、PSNR 26.56；PixelNeRF 在真值 pose 下 PSNR 26.97。它说明联合系统接近强真值-pose baseline，但两者输入条件不同，不能视作直接超越。

5. 消融与限制

额外 3D U-Net 在 seen Test1 提升 PSNR，却使 novel Test2 从 31.17 降到 22.33，论文据此认为更重 3D conv 过拟合训练类别。global+pairwise pose features 在 Test2 为 13.8°/0.31，优于 global 26.2°/0.44 和 pairwise 22.1°/0.42。

主要限制：

• 五张对象中心、静态、同实例图像，不负责检测和前景分割；
• 训练依赖大规模合成多视图与真值相机 pose；
• 预测的是相机组的相对 pose，存在 canonical frame/scale 约定；
• 完整推理约 1.5 分钟，前向 FORGE† 虽快但精度下降；
• 反光、细结构和对称对象仍可能产生错误但 photometric loss 较低的局部最优。

6. 我的判断

FORGE 是“pose for reconstruction”向“pose with reconstruction”转变的代表。最值得复用的是共享三维中间表示和分阶段训练，而不是特定 NeRF renderer。现代 Gaussian/transformer 重建系统也可以沿用这一接口：先预测可对齐 3D features，再让渲染误差成为 pose 的测试时校正信号。