论文精读笔记：SurgiPose

1. 核心判断

SurgiPose 试图补上“只有手术视频、没有同步机器人状态”到“可用于 imitation learning 的动作轨迹”之间的缺口。其链路是：

$$\text{monocular video} \rightarrow \text{mask / crop} \rightarrow \{T_{CE,t},\mathbf q_t\}_{t=1}^{T} \rightarrow \Delta \text{actions} \rightarrow \text{ACT policy}.$$

它不是从视频直接生成 action，而是先借助已知器械 URDF 和一个离线训练的关节条件 3D Gaussian model，以 render-and-compare 恢复每帧 end-effector 6D pose 与关节角，再把相邻帧状态转成 relative actions。

论文最有价值的实验不是“渲染结果看起来贴合”，而是同一批 220 / 224 条示范分别用 ground-truth 和 video-estimated kinematics 训练策略。估计监督的策略能完成任务，说明 1 cm 量级轨迹误差没有完全破坏学习；但 70% 对 100%、60% 对 80% 的差距同样真实，不能简单概括成无损替代。

2. 输入、输出和隐藏先验

直接输入

• monocular endoscopic video frames；
• camera intrinsics；
• 目标器械 URDF / 几何结构；
• 能渲染该器械 articulation 的预训练 3D Gaussian model；
• SAM2 segmentation。

输出状态

$$T_{CE,t}\in SE(3), \qquad \mathbf q_t=[q_{\mathrm{pitch}},q_{\mathrm{jaw1}},q_{\mathrm{jaw2}}]^\top.$$

论文只建模 end-effector 部分的三个关节自由度，不恢复整条 PSM 的所有 joint states。绝对位姿是在 camera frame 中表达。

需要警惕的“hardware-free”

方法测试时不读取 robot encoder、stereo depth 或 motion capture，因此对已有单目视频有吸引力。但它不是零先验：

• 需要准确 camera intrinsics；
• 需要工具 URDF；
• 每种工具要在 MuJoCo 中生成合成数据并训练渲染模型；
• 需要首帧两侧 jaws 可见；
• 需要视频中器械持续可见；
• 需要 SAM2 mask 足够稳定。

因此更准确的说法是“不需要同步 robot telemetry 的 model-based video kinematics recovery”，而不是任意视频上的无模型 motion capture。

3. 首帧 324 个候选如何产生

作者把“initial guess”明确定义为视频第一帧的工具 pose。步骤为：

1. 对 SAM2 mask 求中心；
2. 以中心为中点、平行 image plane 建立 3×3 grid；
3. 每个 grid point 生成 36 个 $z$-axis rotations，角度均匀覆盖 $[0,2\pi)$；
4. 得到 $9\times36=324$ hypotheses；
5. 每个候选都用 differentiable renderer refinement；
6. 计算 pixel-averaged rendering loss，选择最低者作为 $T_{CE}^{initial}$。

使用 pixel average 而不是像素 loss 总和，是为了避免“离相机更近、投影像素更多”的候选仅因面积大而受惩罚 / 获益。

该 coarse space 明确没有采样：

• 绕 image $x$ 的旋转；
• 绕 image $y$ 的旋转；
• depth。

作者假定 refiner 能恢复这些变量。优点是候选数可控；风险是单目 depth 本来就是最弱方向，若初始 depth 偏差超出 optimization basin，324 个候选也无法解决。论文没有报告：

• coarse-only 与 coarse + refiner 的 pose error 消融；
• 324 候选对单初值 / 随机候选的成功率；
• 网格尺度和初始 depth 的来源；
• 候选数量—精度—耗时曲线；
• 第一帧每个候选的 refinement iterations。

4. 关节条件 3D Gaussian 工具模型

作者把 dVRK large needle driver 的 URDF 放入 MuJoCo，生成：

• 500 个 canonical tool poses，关节保持 neutral；
• 10,000 个 pose-conditioned configurations，三个关节从无 self-collision 的状态随机采样；
• 每个 configuration 从 12 个随机 camera viewpoints 渲染，随机 azimuth、elevation 和 distance；
• 标签包括关节角、camera extrinsics、camera intrinsics、depth / point clouds 与 rendered images。

按正文直接理解，共有 $500+10{,}000=10{,}500$ 个配置、每个 12 视角，即约 126,000 个视图；但论文没有单列最终 image count、划分和存储规模。

训练遵循三阶段 articulated Gaussian 模型流程：

1. 学 canonical 3D Gaussian representation，重建静态工具；
2. 加 deformation field，表达不同 jaw / pitch configuration 引起的形变；
3. 联合优化 canonical model 与 deformation field。

作者基于公开 3D Gaussian Splatting 实现，在 RTX 4090 上训练 20,000 iterations，并缩短 URDF shaft，让 Gaussian capacity 更集中在像素面积远小于 shaft 的 jaws。

这说明 SurgiPose 的可微表示不是直接 rasterize CAD silhouette，而是一个从合成多视角外观 / 深度学出的 articulated radiance representation。它可能比硬 mesh 更能拟合器械外观，但也引入：

• synthetic-to-real appearance gap；
• 每个新工具重新生成数据 / 训练的成本；
• deformation field 是否物理对应真实关节的可辨识性；
• 3DGS opacity / scale 造成投影“缩小工具”以降低 loss 的风险。

5. Pose 与 joint 的联合可微优化

测试时渲染图 $I_{\mathrm{ren}}$ 与观测 crop $I_{\mathrm{obs}}$ 通过：

$$\mathcal L_{\mathrm{combined}} = \alpha\left(1-\mathrm{SSIM}(I_{\mathrm{ren}},I_{\mathrm{obs}})\right) +(1-\alpha)\|I_{\mathrm{ren}}-I_{\mathrm{obs}}\|_2^2, \qquad \alpha=0.8.$$

SSIM 提供结构 / 局部外观相似性，MSE 保留逐像素约束。与上一篇 dVRK silhouette-calibration 论文不同，SurgiPose 依赖 articulated 3D Gaussian rendered appearance，不只是二值 mask。

优化参数：

• rotation learning rate $\alpha_R=0.3$；
• translation learning rate $\beta=3\times10^{-4}$；
• translation gradient clamp $[-0.02,0.02]$；
• joint learning rate $\gamma=10^{-3}$；
• learning-rate reduction factor 0.5；
• plateau patience 20 epochs；
• 连续 10 iterations 的 loss change 小于 $10^{-7}$ 时 early stop；
• joint angles clamp 到 $[\mathbf q_{\min},\mathbf q_{\max}]$。

论文给出的 rotation 更新近似为：

$$R_{\mathrm{updated}} = R_{\mathrm{current}}\left(I+\alpha_R\nabla R\right),$$

然后强制回到合法 homogeneous transform。正文没有说明具体如何投影回 $SO(3)$，例如 SVD、Gram–Schmidt 还是 quaternion normalization；这是实现上不可忽略的细节。

joint update 为：

$$\mathbf q_{\mathrm{updated}} = \operatorname{clamp}\left( \mathbf q_{\mathrm{current}} -\gamma\nabla_{\mathbf q}\mathcal L, \mathbf q_{\min}, \mathbf q_{\max} \right).$$

约束只能防止超出机械限位，不能消除单目投影中 pose 与 articulation 互相补偿的歧义。

6. 时序追踪策略

第一帧完成 coarse + refinement 后，后续每帧：

1. 使用上一帧 refined pose 作为 initialization；
2. 同时优化 pose 和 joints；
3. 每帧最多 10 iterations；
4. plateau 时 early stop。

它本质上是 frame-to-frame warm-start optimization，没有显式：

• velocity / acceleration motion model；
• Kalman / particle filter；
• optical flow；
• temporal consistency loss；
• re-detection / lost-state recovery；
• occlusion memory。

所以只要工具连续可见、相邻帧运动小，它可以平滑跟随；一旦遮挡、出画或 mask 跳变，错误会传给下一帧。论文也明确把 continuous visibility 和第一帧双 jaw 可见列为限制。

“最多 10 iterations”不能自动等同于 real-time：文中没有 pose extraction 的 seconds/frame、fps、序列长度或 GPU memory。只有 3DGS model training 和 policy training 的硬件 / 时长信息。

7. 从绝对状态到可学习 action

实验使用 dVRK Si：

• PSM + large needle driver；
• ECM endoscope 固定，提供全局 camera frame；
• wrist camera 装在 needle driver 上，为 policy 提供局部视觉；
• pink suture pad 作背景；
• tissue-lifting 用白色 2D pad；
• needle-pickup 用 surgical needle。

SurgiPose 只用 endoscopic monocular video 恢复 kinematics。Wrist camera image 不进入 pose estimator，但在训练和执行 ACT policy 时作为额外视觉输入。

动作采用 SRT 的 hybrid-relative representation：

• translation delta 在 endoscope frame 表达；
• rotation delta 在 current end-effector frame 表达；
• jaw action 单独输出。

相对动作能减弱 da Vinci encoder 绝对状态误差对 policy supervision 的影响。这里存在一个容易忽略的事实：policy 最终不是盲目“回放估计轨迹”，而是图像条件的闭环策略；尤其 needle task 中，作者观察到两种 policy 都利用 wrist camera 做视觉对准。因而 policy success 不只是轨迹标签精度，也受视觉 encoder、ACT action chunking 和 wrist-camera feedback 影响。

8. 数据规模和评价设计

主数据：

• tissue lifting：220 demonstrations；
• needle pickup：224 demonstrations；
• 每条同时保存 video 与 ground-truth kinematics；
• 同一视频经 SurgiPose 得到 estimated kinematics。

对每个任务训练两类 policy：

1. 图像 + ground-truth relative actions；
2. 相同图像 + estimated relative actions。

这样控制了示范内容差异，能较直接测试“替换动作标签”的代价。但论文没有说明 train / validation split、是否所有 444 条示范都用于训练、训练 seeds、action horizon、ACT hyperparameters 和 augmentation。

每类 policy 每项任务只执行 10 trials。成功率的一个样本就是 10 个百分点，因此 100% / 70% 或 80% / 60% 都有很大的二项采样不确定性；论文没有 confidence interval 或多随机种子。

9. 轨迹误差结果

定义：

$$\mathrm{ADE} = \frac1T\sum_{t=1}^{T} \|\hat{\mathbf p}_t-\mathbf p_t\|, \qquad \mathrm{FDE} = \|\hat{\mathbf p}_T-\mathbf p_T\|.$$

结果：

Metric	Tissue lifting	Needle pickup
ADE ↓	9.7 ± 2.8 mm	12.0 ± 2.8 mm
FDE ↓	15.3 ± 4.7 mm	14.4 ± 4.5 mm
Mean $(x,y,z)$	$[-4.64,0.25,6.64]$ mm	$[-6.84,4.20,5.61]$ mm
Std $(x,y,z)$	$[1.27,1.40,3.85]$ mm	$[2.38,1.48,5.84]$ mm

两点解读：

1. Needle pickup 的平均轨迹误差更大，但 tissue lifting 的 final error 略大，提示不同任务的累计误差形态不同。
2. 两任务的 $z$ 偏差都是正且最大，符合单目 scale / perspective ambiguity。

作者给出一个值得重视的失败机制：可微渲染可能偏向把投影工具变小来降低视觉 discrepancy，相当于把工具估得离相机更远。它不是普通零均值噪声，而可能是 loss / representation 引入的系统性 depth bias。

表中 ground truth 来自 robot forward kinematics。dVRK 本身存在 cable-driven encoder error，因此它不是外部 motion-capture 真值；论文用 hybrid-relative action 正是为了减轻这类误差。页面将其称为“记录的 ground-truth kinematics / 论文真值”，不把它提升为物理绝对真值。

10. 模仿学习结果没有“无损”

Policy supervision	Tissue lifting	Needle pickup
Ground-truth kinematics	10/10；25.0 ± 3.9 s	8/10；23.5 ± 5.0 s
Estimated kinematics	7/10；33.0 ± 2.4 s	6/10；22.8 ± 2.9 s

Tissue lifting

• estimated supervision 的绝对成功率下降 30 points；
• 成功 trial 平均多用 8.0 s；
• 常见失败是把 tissue 推远而不是提起，与 depth 偏差一致；
• 失败 trial 被排除在平均耗时之外，因此 33.0 s 不是所有 10 次的统一平均。

Needle pickup

• ground-truth policy 本身也只有 80%，说明任务和训练集存在明显上限；
• estimated policy 为 60%，绝对下降 20 points；
• 两者都使用 wrist view 进行视觉对中，执行表现并非单纯 open-loop replay；
• 训练示范主要是成功轨迹，没有 recovery demonstrations，偏差累积后 policy 不会恢复。

“Comparable”可以支持“估计监督有实用信号、不是完全失效”，但不能支持统计等价。样本只有 10 trials、没有 seed variation，甚至无法判断差距是否稳定。

11. 跨数据集结果的证据等级

SurgRIPE

SurgRIPE 使用 keydot marker 得到 absolute tool pose，再从图像中 inpaint marker；它没有 ground-truth joint angles。SurgiPose 只展示随机帧 silhouette overlay，正文明确称为 qualitative assessment。即使 absolute pose GT 存在，论文也没有报告 translation / rotation error。

Ex vivo cholecystectomy

自采 ex vivo 数据包含 kinematics，工具改为 ProGrasp forceps。Figure 6 展示：

• 蓝色 estimated 与红色 recorded trajectory 的图像投影；
• 三帧 segmented tool 与 rendered silhouette overlay。

仍没有 ADE / FDE / joint-angle error。不同工具需要对应 geometry / URDF 和 articulated Gaussian model，这不是对任意新工具的 zero-shot generalization。论文也没有说明 ProGrasp 的 synthetic training 数量与是否完全沿用 large needle driver 超参数。

因此可以说“流程能在第二种工具和 ex vivo 视觉域运行”，不能说“跨工具定量泛化已验证”。

12. “互联网规模手术学习”还缺什么

论文的动机指向 online surgical videos，但主实验数据来自同步采集的 dVRK Si：

• 相机固定；
• 相机内参已知；
• 工具型号已知；
• URDF 已知；
• 首帧姿态相对受控；
• 图像和 robot kinematics 同步，只是在估计分支中不用 kinematics。

真实公开视频还会遇到：

• 视频压缩、缩放与未知 / 变化 intrinsics；
• 镜头运动、zoom 和 crop；
• 多工具、换工具、器械只露出一部分；
• 烟雾、血液、组织遮挡与强高光；
• 未知 surgical robot model；
• 时间编辑、镜头切换和非连续轨迹；
• 无法确定 metric scale；
• 右 / 左工具和同形对称歧义。

所以当前结果是“受控单目示范恢复的 proof of feasibility”，而不是已经完成 internet-scale harvesting。

13. 复现状态

可获得依赖

• dVRK URDF / model repository；
• SAM2；
• MuJoCo；
• 3D Gaussian Splatting 基础实现；
• ACT、EfficientNet-B3 等公开方法。

论文提供的参数

• 500 canonical + 10,000 articulated configurations；
• 每配置 12 views；
• 3DGS training 20,000 iterations，RTX 4090；
• SSIM weight 0.8；
• rotation lr 0.3；
• translation lr $3\times10^{-4}$；
• translation gradient clamp $[-0.02,0.02]$；
• joint lr $10^{-3}$；
• LR reduction factor 0.5，patience 20；
• loss-change early-stop threshold $10^{-7}$ over 10 iterations；
• later-frame maximum 10 iterations；
• policy training 约 20 h / RTX 4090。

仍缺

• SurgiPose method repository 与 trained checkpoints；
• MuJoCo scene、rendering ranges 与 dataset split；
• exact articulated 3DGS / deformation implementation；
• 3×3 grid spacing、initial depth 和 crop normalization；
• first-frame candidate refinement steps；
• SAM2 prompt / tracking strategy；
• $SO(3)$ re-projection 实现；
• pose extraction runtime；
• ACT config、train split、random seeds；
• 220 / 224 demonstrations 与 ex vivo data；
• per-frame rotation error / joint-angle error；
• failure detection 和 reinitialization。

截至 2026-07-31，作者主页提供论文入口，但未找到公开的 SurgiPose 方法代码、数据或预训练模型。不能把其引用的 dVRK model / 3DGS 基础仓库记作“方法已开源”。

14. 局限

• 每个工具依赖 URDF 与专门训练的 articulated Gaussian model；
• 首帧仅枚举平面位置与绕视轴旋转，没有 coarse depth / $x,y$ rotation；
• 324 候选和首帧 refinement 的耗时未报告；
• 后续 10 iterations 也没有 fps；
• 无显式 temporal loss、motion model、遮挡恢复或 re-detection；
• 要求 continuous visibility；
• 首帧要求两个 jaws 可见；
• 依赖 SAM2 first-frame segmentation；
• 单目 depth 存在系统性正偏差；
• ground-truth kinematics 来自 forward kinematics，不是外部测量；
• 只报告 translation trajectory error，缺 rotation / joint-angle error；
• 主方法没有与其他 monocular articulated pose trackers 做定量对比；
• imitation policy 每项仅 10 trials；
• estimated supervision 成功率低 20–30 points；
• SurgRIPE / ex vivo 泛化只有定性图；
• “online videos” 没有真实互联网数据实验；
• 方法代码和训练数据未公开。

15. 最终评价

SurgiPose 把 6D pose 研究从“每帧姿态误差”推进到一个更有意义的问题：恢复出的运动学是否足以监督机器人 policy。324 候选首帧初始化、关节条件 3DGS 和上一帧 warm start 组成了清楚的 model-based video pipeline；1 cm 左右 ADE 仍能训练出可执行 tissue / needle policies，是值得记录的正结果。

但证据不支持“estimated kinematics 与 ground truth 等价”。成功率仍有 20–30 个百分点差距，单目 depth bias 会直接变成推远组织的动作失败，且跨工具 / 跨数据只做定性展示。更准确的定位是：在已知 dVRK 工具、固定相机和连续可见的受控数据上，SurgiPose证明了“从 RGB 恢复的近似运动学可以成为 imitation learning supervision”；离真正自动采集互联网手术示范，还需要相机自标定、遮挡重定位、metric-depth 约束、跨工具模型和大规模外部真值评测。