论文精读笔记：PLANTPose

1. 核心判断

PLANTPose 针对农业对象的关键观察是：类别内变化不仅是纹理变化，也不是一个尺度参数就能解释，而是显著的非刚体几何变化。若仍用平均香蕉 mesh 做 render-and-compare，位姿优化会尝试用错误旋转和平移去补偿形状不匹配。论文因此用一个 24D lattice deformation 显式吸收实例形状，再单独估计 6D pose。

方法最值得关注的是“形变与刚体运动的标注解耦”。随机移动 lattice corners 会同时造成弯曲、整体平移和整体旋转；若直接把这些 offset 当 deformation ground truth，网络会把姿态和形变混为一谈。作者用 Umeyama 对齐原始 / 变形网格，移除形变里的刚体分量。后续消融也显示这不是数据预处理小技巧，而是 pose–shape 分解能否成立的关键。

2. 任务边界

给定一个农业对象类别的 base mesh 和单幅 RGB crop，网络预测：

• rotation $R\in SO(3)$；
• translation $t\in\mathbb{R}^3$；
• lattice corner offsets $\delta\in\mathbb{R}^{24}$。

推理阶段不使用 depth，但需要：

• 已知类别及其 base mesh；
• YOLOv11 detection / crop；
• camera intrinsics；
• 针对该类别训练的 PLANTPose network。

它不是任意 CAD 输入的 novel-object pose 方法，也不是通用 deformable registration。论文当前只训练香蕉一个类别，base mesh 作为固定训练先验而非动态网络输入。

3. 数据与方法全流程

3.1 2×2×2 lattice 与 cubic B-spline

基础 mesh 的 bounding box 形成 lattice。8 个角点各有三维 offset $C_{i,j,k}$，因此只需 24 个参数。任意顶点 $p$ 先归一化到 $(u,v,w)\in[0,1]^3$，再由 cubic B-spline basis 加权：

$$\delta_x(u,v,w)=\sum_{i,j,k=0}^{3}W_i(u)W_j(v)W_k(w)C^x_{i,j,k},$$

$y,z$ 分量同理，最终 $p'=p+\delta(u,v,w)$。角点 offset 会扩展 / clamp 到 4×4×4 控制网格，以满足 cubic basis 的边界行为。B-spline 的 $C^2$ 连续性使形变比逐顶点噪声更平滑，也让网络输出固定长度参数。

这种表示适合香蕉式低频弯曲、粗细与整体轮廓变化；它不适合拓扑变化、局部断裂、枝叶结构或需要高频细节的对象。

3.2 用 Umeyama 移除伪姿态

随机 lattice deformation 后，作者用

$$(s,R,t)=\operatorname{Umeyama}(P_{\text{original}},P_{\text{deformed}})$$

估计两点集的最优 similarity transform，固定 $s=1$，再校正 lattice points，使形变标注不携带全局 rotation / translation。否则同一变形既可由 $\delta$ 表达，也可由 $R,t$ 表达，监督不唯一。

这一步同时引出一个隐含条件：base mesh 与变形 mesh 顶点一一对应。真实扫描只在评测时使用 Chamfer / ICP，不直接作为训练 deformation label。

3.3 物理合成与 diffusion texture refinement

BlenderProc 创建带墙面、地板、材质、光照和 distractors 的场景，将变形对象按物理属性掉落并稳定，再围绕 point of interest 采样相机。每个随机形变场景渲染 3 个视角。

传统 PBR 仍难覆盖农业对象的成熟度、斑点和腐烂纹理，因此作者在渲染完成后用 Stable Diffusion inpainting 修改目标对象区域。ControlNet 接收 depth map，目的是保持几何轮廓和 pose；prompt 覆盖 unripe、ripe、rotten 与自然颜色变化。

该设计比直接 text-to-image 更可控，但作者承认，即使有 depth conditioning，少数图像仍会轻微改变对象 6D pose。若 altered image 继续沿用原合成标注，就会产生 label noise。

3.4 网络与损失

输入是对象 crop。small ViT（30.9M parameters，ImageNet-21k pretraining，32×32 patches）后接三个 head：

• rotation head：输出 6D continuous rotation representation，再正交化为 $R$；
• translation head：输出 crop frame 下 3D vector；
• deformation head：输出 24D lattice offsets。

总损失为：

$$\mathcal{L}= \lambda_r\lVert r^{pred}_{6d}-r^{gt}_{6d}\rVert^2+ \lambda_d\lVert\delta^{pred}-\delta^{gt}\rVert^2+ \lambda_p\lVert\operatorname{Proj}(P\mid R,t,\delta)-v^{gt}_{2d}\rVert^2.$$

projection loss 把 shape、rotation 和 translation 的组合结果投影到 2D，与真值 mesh vertices 的 2D 位置比较。推理时将 crop offset / scale 反变换到整图，再用 lattice-deformed 3D points、2D projections 和 camera intrinsics 运行 PnP，得到相机坐标系 translation。

论文描述中 translation head、projection loss 与最终 PnP translation 的关系略显混杂；复现时必须核对网络平移是用于 crop projection 的中间变量，还是直接初始化 PnP。

4. 真实香蕉基准

作者采集：

• 6 根不同形状与成熟阶段的真实香蕉；
• 100 张 RealSense D435 RGB 图；
• 用 iPhone 14 Pro LiDAR 分别扫描每根香蕉；
• 人工标注图像 pose。

由于扫描 mesh 与 base mesh 没有逐顶点对应，shape 采用 Chamfer distance；rotation / translation 误差先通过 ICP 对齐真实扫描与 base mesh 后计算；deformation error 则在移除预测 pose 后单独比较形状。

这一协议能同时衡量 pose 与 shape，但 ICP alignment 会参与真值坐标建立，扫描质量和 ICP 局部最优都会影响误差。数据只有 100 张，论文也没有拆分每根香蕉、遮挡程度与成熟度的统计。

5. 主结果

方法	Chamfer (mm)	Rotation mean / median (°)	Translation mean / median (mm)	Deformation (mm)
MegaPose	90.1	52.4 / 43.6	59.9 / 45.6	29.1
PLANTPose	59.8	32.6 / 23.6	42.5 / 37.9	12.1

相对 MegaPose，PLANTPose 的 Chamfer 降 30.3 mm，平均旋转误差降 19.8°，平均平移误差降 17.4 mm，deformation error 降 17.0 mm。由于对照只有一个且任务设定并不完全等价，这些数字主要证明“对当前香蕉基准，显式形变优于把所有实例塞进平均 mesh”，不能扩展为对通用类别级方法的 SOTA 结论。

图中 PLANTPose 更能跟随弯曲方向和长度变化；MegaPose 的平均 mesh 偏差会连带影响 pose。但部分样本仍存在明显 3D rotation / shape mismatch，平均旋转误差 32.6° 也说明尚未达到精细农业操作所需的高精度。

6. 消融

设置	Chamfer	Rot. mean / med.	Trans. mean / med.	Deform.
Full	59.8	32.6 / 23.6	42.5 / 37.9	12.1
w/o Stable Diffusion	71.5	37.7 / 23.0	48.9 / 48.7	13.9
w/o Umeyama	73.1	36.5 / 26.2	50.3 / 45.8	12.7
w/o Umeyama and SD	89.7	36.1 / 26.7	61.1 / 61.9	26.5

Stable Diffusion 主要改善跨真实纹理泛化；Umeyama 主要阻止 deformation label 吞掉 translation / rotation。单项消融并非所有列都严格变差，例如 w/o SD 的 median rotation 23.0° 略优于 full 的 23.6°，因此“所有指标都由每个模块改善”的说法需要收敛为整体趋势。

7. 局限与复现风险

作者明确指出：

• 当前每个 category 需要独立训练；
• 希望未来把 base CAD 作为动态输入，跨类别适配；
• Stable Diffusion 偶尔会在 depth conditioning 下仍改变 pose。

本站补充：

• 只有香蕉类别、6 个真实实例与 100 张图，无法证明对苹果、番茄、草莓或叶片等结构泛化；
• 训练形变来自低维 B-spline，真实香蕉扫描若含局部凹痕和非均匀细节，表示上限受限；
• 真实 RGB 由 D435 获取，但没有深度输入不等于不需要标定；PnP 仍要求 intrinsics；
• 没有与 NOCS / shape-prior category-level methods 在统一 RGB-only 输入上比较；
• 没有运行时间、检测失败、严重遮挡、树叶背景与机器人抓取测试；
• 真实标注和扫描 protocol 未给出足够细节，尤其是 ICP 坐标对齐与对称 / 朝向定义。

8. 复现检查表

• 固定 base banana mesh、单位、坐标轴和 lattice bounding box；
• 记录 8 corner offsets 的采样范围与 4×4×4 clamp 规则；
• 保存 Umeyama correction 前后 $R,t,\delta$，验证刚体分量被移除；
• 对 diffusion 结果做 image–depth / mask 一致性过滤，丢弃几何改变样本；
• 复现 4,000 scenes × 3 views、物理参数、distractors、光照和 prompts；
• 核对 ViT input size、patch 32、loss weights 与 rotation orthonormalization；
• 明确 crop-frame translation 与最终 PnP translation 的坐标变换；
• 对每个真实实例报告误差，并公开扫描 mesh、intrinsics 与标注协议。

9. 最终评价

PLANTPose 的贡献不只是给农业对象套一个 pose network，而是用低维可解释形变、Umeyama 解耦和 diffusion 纹理增强构成完整数据—模型闭环。其香蕉基准和消融足以证明这条路线在当前单类别上有效；但 32.6° 平均旋转误差、100 张测试图和每类别独立训练也表明它仍是“有说服力的任务原型”，而不是已经可直接部署的通用农业 pose 系统。