论文精读笔记：Direct 3D Model-Based Object Tracking with Event Camera by Motion Interpolation

1. 基本信息

• 作者 / 机构：Yufan Kang 等；CNRS-AIST JRL、东京大学、Inria 等
• 年份 / 会议：2024 / ICRA
• DOI：10.1109/ICRA57147.2024.10611576
• 项目页：Project & Dataset
• 阅读模式：精读

2. 核心问题

事件相机没有传统帧，直接跟踪必须把一段事件转成可与 3D model rendering 比较的表示。高速运动时，同一 3D 边缘在事件窗口内跨过多个像素，若预测图只使用窗口终点 pose，就会与真实累积事件产生系统性形状差异。BIAM 用 motion interpolation 补上这段轨迹。

3. 条件与输出

项目	本文设置
传感器	Prophesee Gen3.1，640×480；透视或鱼眼
对象表示	已知稠密 CAD / scanned mesh 与可渲染亮度
初始化	人工给定第一帧 pose
状态	当前 6DoF pose 与 camera velocity
背景模型	不需要，以 pose-conditioned ROI 排除大部分背景事件

这是一种 frame-to-frame local tracker。目标离开 ROI、初始 pose 错误或长时间完全遮挡时，系统没有全局 re-detection 机制。

4. 方法详解

4.1 为什么使用绝对 brightness increments

事件 $e_k=(u_k,t_k,p_k)$ 在 log brightness 变化越过阈值时触发，$p_k\in\{-1,+1\}$。对象轮廓的 polarity 不只由对象决定，也取决于未知背景是明还是暗；同一灰色物体经过白背景和黑背景时，边缘 polarity 会反转。作者因此在 ROI 中累积

$$\delta I^\*(u)=\left|\sum_{t_k\in T,u_k\in ROI}p_kC\delta(u-u_k)\right|.$$

它牺牲了 polarity sign，却降低了背景外观变化导致的模型失配。ROI 由上一 pose 下的 object rendering bounding box 加 padding 得到；事件数量按 ROI 像素数的 0.15 倍设置，以平衡信噪比和累积模糊。

4.2 由 3D 模型预测事件

对渲染亮度梯度 $\nabla I(u)$，小运动下的亮度增量近似为

$$\delta I(u)\approx |-\nabla I(u)L_u\dot p\,\Delta t|,$$

其中 $L_u$ 是 pixel sensitivity / interaction matrix。论文使用 unified camera model，使同一推导覆盖 perspective 与 omnidirectional lenses。

4.3 Motion interpolation

传统方法只在窗口终点计算模型边缘变化，实际事件却沿整段投影轨迹产生。BIAM 将相邻 pose 的 SE(3) motion 分段，在 $u_m\rightarrow u_{m+1}$ 的中间投影位置上计算 $\delta I(u_i)$，再平均得到预测图 $\delta I^+$。优化目标是观测与预测的归一化 SSD：

$$(\widehat{\Delta p},\widehat{\dot p}) =\arg\min_{\Delta p,\dot p} \left\| \frac{\delta I^+}{\|\delta I^+\|_2} - \frac{\delta I^\*}{\|\delta I^\*\|_2} \right\|^2.$$

该设计不是普通 temporal smoothing，而是让 rendering model 模拟 event accumulation 的成像过程。

5. 数据与结果

自建数据包含大型工业线圈、noodle box、controller、bleach cleanser、cracker box，共 14 条 perspective 与 15 条 omnidirectional sequences，时长 2–20 s。相机由 UR10 或手持移动，速度范围约 0.1–2.0 m/s。线圈有机器人运动学 GT，其余对象主要定性展示。

• BIAM 在全部鱼眼序列上持续跟踪；各序列最大 RMS position / rotation error 为 36.8 mm / 3.87°。
• 快速 trajectory 6–8 中，原 BIA 的 position RMS 达到 227–502 mm，BIAM 降至 12.9–28.0 mm。
• BIA 在快速 trajectory 9–12 失效，而 BIAM 的 trajectory 9 / 10 为 18.7 mm / 1.17° 和 16.3 mm / 1.59°。
• 不使用 absolute increments 时，超过 70% sequences 失败，说明 polarity ambiguity 不是小修补。

5.1 速度数字的口径

论文写到事件窗口对应的更新频率约 351–750 Hz，同时在 computational-cost 段落写出大型线圈每个 event frame 优化约 0.63 s。前者更像事件数据 / 窗口形成速率，后者才是当时实现的 wall-clock solver cost。本站不把“750 Hz”解读为完整 CPU tracker 的实时吞吐。

6. 局限与研究价值

• 定量对象只有线圈，五对象泛化主要是 visualization。
• 依赖人工初值、准确 3D appearance 与相机标定。
• absolute operation 提高稳健性，但丢掉 polarity 的一部分可辨别信息。
• ROI 由旧 pose 给出，跟踪一旦漂移会产生“看不到正确事件”的正反馈。
• 无 detector / relocalizer，和现代 learning-based event pose 方法不是同一设定。

其研究价值在于把 event formation model、camera projection 和 3D alignment 连成白盒优化。后续可加入 uncertainty-aware ROI、GPU differentiable rendering、全局事件特征重定位，以及 learned residual 对模型亮度与真实材质差异做补偿。