17类别级 / 未见对象开放世界神经三维表示具身感知

Extensions & Frontier Problems

前沿不是一个方法名，
而是被重新定义的问题边界

当 CAD、对象身份、刚体、静态场景或被动观测等假设被逐步放松，输出空间、可观测性与评测协议也必须一起改变。本专题教你判断：一项新能力究竟移除了什么，又把成本放到了哪里。

打开能力边界实验室先冻结任务契约

十秒版

先记住八条

01
先写任务 tuple：prior、observation、output、generalization、adaptation、budget。
02
无 CAD ≠ 无先验：参考图像/视频、类别原型和测试时重建都在提供对象信息。
03
9D 常是 pose + size：不是九个旋转自由度；单目 metric scale 需要额外证据。
04
开放词汇还要测“不存在”：只有正样本的 text-conditioned 定位不是完整 open world。
05
基础模型是组件，不是保证：几何一致、metric、校准、实时和安全都要另证。
06
非刚体不能硬塞进一个 SE(3)：部件、关节、形变和时间进入状态定义。
07
多模态增加信息，也增加标定：event、tactile、F/T 与视觉必须时空对齐。
08
最强主张由最弱证据限制：split、prior、预算、失败 denominator 与 task outcome 缺一不可。

01 · Problem Regime Before Method Name

每个前沿主张先回答六个问题：给了什么、看见什么、输出什么、泛化到谁、何时适应、花多少资源

问题边界不同，数值不能直接横比。先验从精确 CAD 到 reference、category、text、none；输出从 SE(3) 扩展到 size、shape、joints、trajectory、belief 与 action。

问题族	允许的先验	输出状态	真正测试的能力
实例级 · 已知对象	精确 CAD / texture / symmetry；对象身份已知或可检测	单个刚体的 metric SE(3)，有时含 score / covariance	BOP model-based、工业定位、已建图对象跟踪
未见实例 · model-based	测试对象训练时未见，但 onboarding 可读 CAD 并渲染/建索引	novel instance 的 metric SE(3)	考察跨对象泛化，不等于无 CAD
未见实例 · model-free	没有 CAD；通常提供参考 RGB/RGB-D 图像或视频并允许有界 onboarding	相对参考对象 frame 的 SE(3)，有时连同 scale / reconstruction	无 CAD 不等于无对象先验，也不等于无接入成本
类别级 6D / 9D	已知类别、训练实例、canonical axes/shape prior；测试是同类新实例	rotation + translation；9D 常再含 3D size	canonical frame 的定义与实例差异本身就是问题
开放词汇 / 开放世界	文本或参考查询；类别集合不封闭，并可能不存在目标	检测/分割 + relative/absolute pose + unknown/abstain	正样本定位好不等于能拒绝未知对象
姿态—形状联合	类别、生成/重建 prior 或多视图 onboarding	pose + metric shape / implicit field / uncertainty	gauge、scale、形状—姿态耦合与算力必须披露
关节 / 形变 / 动态	part graph、joint type、canonical template、deformation model 或时序 prior	root/part poses、joint states、deformation field、trajectory	单个 SE(3) 已不足以描述状态
具身 / task-conditioned	机器人状态、动作空间、task equivalence、安全与成本	belief / action / task-equivalent pose，而非只给唯一矩阵	感知质量由信息收益和任务结果共同定义

A reproducible frontier task is a typed tuple

\mathcal T=\big(\mathcal P_{\mathrm{object}},\ \mathcal O_{\mathrm{sensor}},\ \mathcal Y_{\mathrm{output}},\ \mathcal G_{\mathrm{split}},\ \mathcal A_{\mathrm{adapt}},\ \mathcal B_{\mathrm{resource}},\ \mathcal M_{\mathrm{metric}}\big)

P 是推理前/接入期先验，O 是当前观测，Y 是输出状态，G 是实例/类别边界，A 是允许的适应，B 是时间/算力/采集预算，M 是匹配、对称、失败与统计协议。任何一个字段不同都可能是不同任务。

01

novel / unseen object

测试物理实例未出现在对象专属训练中

不说明 CAD、reference、类别训练或 test-time optimization 是否可用

02

zero-shot

通常表示没有对该测试对象做梯度训练或对象专属微调

可能仍用 CAD 渲染、模板库、reference video、pretrained features 或测试时优化

03

CAD-free / model-free

推理或 benchmark 协议不提供精确 CAD mesh

可能提供参考图像/视频、尺度、深度、对象 mask 或 onboarding 时间

04

category-level

测试实例未见，但类别及其 canonical convention 已知

不是 category-agnostic，也不是 open-set

05

open-vocabulary

目标可由开放文本/跨模态查询指定

不自动保证 6D absolute pose、metric scale、unknown rejection 或任意类别泛化

06

foundation model / feature

复用大规模预训练的通用表示或生成能力

不自动保证坐标一致、metric、calibrated uncertainty、实时性或机器人安全

07

mesh-free / neural representation

定位不依赖显式三角 mesh；用 field、point/feature map 或 splats 表示

representation 仍需采集、坐标 gauge、尺度、存储、初始化和优化

把 hidden prior 记账。预训练语料、detector/mask、CAD render、reference capture、known size、gravity/table plane、calibrated motion、initial pose 和 test-time reconstruction 都会缩小解空间。它们可以合理使用，但必须出现在 contract 与 baseline 中。

Interactive Lab

把术语拆成可计算的任务边界，并亲手验证单目为何无法决定 metric scale

第一栏生成 formal task label；第二栏展示尺度与深度共同缩放时像素严格不变；第三栏按冻结的 headline 检查证据缺口。可通过 ?lab=ambiguity 或 ?lab=evidence 直达。

任务预设

先选能力主张，再逐项改 contract

typed task

Object prior推理前/接入期能看到什么 Observation当前时刻的测量 Output state系统真正承诺恢复的量 Generalization测试对象与训练对象的关系 Adaptation budget测试对象允许多少优化或接入

Formal task label

—

当前 contract 保留的假设放松的假设同一个方法名不能替代这五个字段

Relaxed

相对经典实例级管线

—放松一条假设，通常会引入新的先验或适应成本

Retained / paid

仍依赖什么

—训练类别、参考采集、标定、深度、初始化与算力都应披露

Observability limit

仅凭当前输入不能决定什么

—不可观测量不能靠更大的网络凭空变成测量

Required evidence

—

——

术语防串线 “novel object”只描述实例关系；“CAD-free / model-free”描述资产先验；“zero-shot”描述更新方式；“open-vocabulary”描述查询/类别边界。它们可以组合，但不是同义词。

02 · Category-level Pose, Size & Canonical Space

类别级位姿的第一步不是回归，而是定义“不同实例如何共享一个对象坐标系”

对精确 CAD，object frame 绑定唯一资产；对新实例，canonical axes、origin、scale 与 symmetry 是建模选择。若定义不稳定，网络再准也只是在拟合不一致标签。

Canonical point to metric camera point

\mathbf p_C=\mathbf R\,\operatorname{diag}(\mathbf s)\,\mathbf p_N+\mathbf t,\qquad \mathbf p_N\in\mathcal C_{\mathrm{canonical}}

p_N 可是 NOCS/normalized shape 中的点。s 是 metric dimensions 或轴向尺度；若只允许 uniform scale，则用 sI。这里俗称的 9D 输出常按 rotation 3 + translation 3 + size 3 计数。

Category-level correspondence fitting

\min_{\mathbf R\in\mathrm{SO}(3),\,\mathbf t,\,\mathbf s}\sum_{i\in\mathcal I}w_i\,\rho\!\left(\left\|\mathbf p_{C,i}-\mathbf R\operatorname{diag}(\mathbf s)\mathbf p_{N,i}-\mathbf t\right\|_2^2\right)

需要 metric depth 或其他 metric constraint 才能可靠恢复绝对尺寸；canonical correspondence 的 outlier、补全点与 observed point 应分别记录。

01

Canonical frame

同类别实例共享的原点、轴向、正面与尺度规范

杯把方向、相机镜头方向等可定义 yaw；无语义标志的圆柱仍有连续歧义

02

NOCS / normalized coordinates

把实例表面映射到单位 canonical 空间，建立观测点与类别坐标对应

训练 CAD canonicalization 错误会直接变成 pose label bias

03

Shape prior / prototype

用 mean/prototype、deformation basis、implicit decoder 或检索形状补全不可见部分

completion confidence 与 observed support 必须分开；“补全得像”不等于测到了

04

Pose + size fitting

RGB-D 将相机点与 canonical 点做带尺度对齐，恢复 R、t 与尺寸

统一尺度、各向异性尺寸、bbox convention 和 object origin 要明确

05

Intra-class symmetry

实例可能比类别标签更对称；不同实例的语义轴也可能不可比

使用 instance-aware symmetry / equivalence，不能把整类都套同一离散群

06

Evaluation split

按物理实例、房间/台面、采集 session 和背景分组

同一实例的邻帧、重建 mesh 或参考视频泄漏会把实例记忆伪装成类别泛化

Single-view projective scale family

\pi\!\left(\mathbf K\,\lambda(\mathbf R\mathbf X+\mathbf t)\right)=\pi\!\left(\mathbf K(\mathbf R\mathbf X+\mathbf t)\right),\qquad \lambda>0

若物体形状/尺寸和 camera translation 一起乘 λ，单目像素完全相同。网络可以从训练分布猜常见尺寸，但这仍是 prior；跨类别/域偏移时必须单独验证 metric scale。

6DR + t前提是 object frame 与 metric scale 已定义

9DR + t + size常见 bookkeeping，不代表单一数学群

Pose + shapeR + t + z / field要说明 shape gauge、单位和可见/补全部分

Task quotient[T] / actions只区分会改变下游结果的 modes

前置回看：对称性、歧义与不确定性、位姿评测与误差分析。

03 · Novel Object, CAD-free & Open Vocabulary

对象没在训练里出现，只回答了“泛化到谁”；还没有回答“推理时拿到了什么”

novel-object 系统可以读取测试 CAD，也可以从参考视频建模，或只用单个 anchor。比较前要展开 onboarding、reference、scale、mask、初始化、缓存与 test-time optimization。

01

CAD onboarding

读取 mesh、单位、origin、texture 与 symmetry，离线渲染模板或建立 3D feature index

接入时长、GPU 数、渲染视角、缓存大小与失败对象进入协议

02

Reference onboarding

从短 RGB/RGB-D 视频恢复对象外观、相对相机轨迹、scale 或 neural representation

参考覆盖、背景、手持遮挡、相机标定和 object frame 定义会决定上限

03

Single-anchor matching

用一个或少量参考视图建立跨视角对应，再求 relative pose / scale

大 out-of-plane、背面不可见和重复纹理是结构性盲区

04

Test-time reconstruction

在测试对象上优化 shape/field/pose，用多视图一致性补充无 CAD 场景

属于适应预算；初值、迭代、峰值显存、终止和失败率都要计入

05

Open-vocabulary query

文本/图像查询先定位语义目标，再建立跨视图或 2D–3D 几何

检测、identity association、pose 与 scale 是分开的责任层

06

True no-update inference

测试对象不建立新参数或缓存，直接使用共享网络/特征

仍依赖预训练数据与 task definition；应审计测试对象/类别是否出现在预训练语料

Reference-conditioned relative pose

{}^{C_q}\mathbf T_O={}^{C_q}\mathbf T_{C_r}\,{}^{C_r}\mathbf T_O,\qquad {}^{C_q}\mathbf T_{C_r}={} ^{C_q}\mathbf T_O\left({}^{C_r}\mathbf T_O\right)^{-1}

两帧中同一刚体可给 relative camera/object relation；但 reference 中 O frame 如何定义、是否 metric、是否有重力或 canonical axes，决定它能否变成公开数据集的 absolute pose。

Open-set decision includes non-existence

\hat y=\begin{cases}(\hat m,\hat{\mathbf T},\hat u),&p(\mathrm{target\ present}\mid\mathcal O,q)\ge\tau\\ \varnothing\ \text{or abstain},&\text{otherwise}\end{cases}

q 是文本/图像 query。评测必须包含 absent target、near-semantic distractor、unknown category、重复实例与错误 query；不能在 oracle 告知目标存在后才开始计分。

Model-based unseen未见实例 + 测试 CAD

重点是共享特征、渲染/检索和 bounded CAD onboarding。

Model-free unseen未见实例 + reference capture

重点是无 mesh 的对象接入、frame/scale 建立和跨视角匹配。

Category-level已知类别 + shared canonical prior

重点是类内形状变化与 canonical pose/size。

Open-vocabulary开放 query + open-set decision

重点是语义定位、实例关联、几何与拒识的联合责任。

04 · Foundation Features, Reconstruction & Generative Priors

大模型真正改变的是先验与初始化；几何约束、坐标 gauge 和失败模式并没有消失

通用分割/匹配特征可减少对象专属训练，feed-forward 3D 模型可快速给出几何与相机关系，生成模型可表达多 hypothesis。它们都必须进入可验证的 solver 和协议。

01

Foundation 2D / 3D features

为检测、分割、密集对应、检索和相似度提供可迁移特征

跨视角稳定性、几何精度、物理实例分辨率与 domain shift 需单独验证

02

Feed-forward 3D reconstruction

从图像对/视频直接预测点图、相机关系或场景几何，再对目标求位姿

输出常有 gauge / scale；对象 mask、静态场景与相机运动条件不能省略

03

Generative pose distribution

以 diffusion/flow/energy 生成多种 keypoint、rotation 或 pose hypothesis

生成多个样本不等于 posterior calibrated；mode coverage 与概率质量要验证

04

NeRF / implicit field

连续密度、颜色、SDF 或 feature field 支持 analysis-by-synthesis 和 mesh-free tracking

优化 basin、view-dependent appearance、shape–radiance ambiguity 与 onboarding 成本

05

3D Gaussian Splatting

显式高斯位置、协方差、opacity 与 view-dependent color，便于快速可微渲染

高渲染 FPS 不等于 pose 求解实时；scene gauge、动态更新和对象分离仍是瓶颈

06

Hybrid geometry + learned prior

经典 PnP/Umeyama/ICP/BA 负责物理约束，学习模块负责对应、权重、补全或初始化

必须保留 raw correspondence、solver condition 与独立 residual，避免端到端分数掩盖退化

Learned correspondence, geometric solve

\{(\mathbf x_i,\mathbf X_i,w_i)\}=f_\theta(\mathcal O,\mathcal P),\qquad (\hat{\mathbf R},\hat{\mathbf t})=\operatorname{RobustSolve}\!\left(\{(\mathbf x_i,\mathbf X_i,w_i)\}\right)

foundation feature 可以产生对应和权重，但 PnP/3D alignment 的 rank、inlier、cheirality、symmetry 与 held-out residual 仍需显式检查。

A generated set is not yet a calibrated posterior

\{\mathbf T^{(k)}\}_{k=1}^{K}\sim q_\theta(\mathbf T\mid\mathcal O),\qquad \text{coverage}_\alpha=\Pr\!\left(\mathbf T^\star\in\mathcal C_\alpha(\mathcal O)\right)

要验证 mode recall、set precision、coverage、reliability 与 task risk；漂亮的多样样本不证明 qθ 的概率质量对应真实频率。

Foundation checkpoint 不是测量。

预训练扩大了经验先验，可能提升 detection、mask、correspondence、completion 或 initialization；但 metric scale 来自哪里、相机/对象坐标如何对齐、未知目标何时拒绝、结果如何校准，仍要由数据与协议回答。

05 · NeRF, 3D Gaussian Splatting & Neural Object Maps

神经表示可以替代显式 mesh，却不能替代坐标系、尺度、初始化和观测覆盖

analysis-by-synthesis 把位姿变成可微渲染的逆问题；共同优化表示与相机/对象位姿又接近 neural bundle adjustment。其成败取决于 gauge、basin、遮挡与外观建模。

NeRF volume rendering along a camera ray

\hat{\mathbf C}(\mathbf r)=\int_{t_n}^{t_f}T(t)\,\sigma(\mathbf r(t))\,\mathbf c(\mathbf r(t),\mathbf d)\,dt,\qquad T(t)=\exp\!\left(-\int_{t_n}^{t}\sigma(\mathbf r(s))ds\right)

field 坐标就是地图坐标 gauge。若训练相机只有 up-to-scale，field 与后续 pose 也只有 up-to-scale；view-dependent color 还可能吸收几何误差。

Pose by differentiable rendering inversion

\hat{\boldsymbol\xi}=\arg\min_{\boldsymbol\xi}\sum_{u\in\Omega}w_u\,\rho\!\left(\mathbf I(u)-\mathcal R_\Phi\!\left(u;\exp(\boldsymbol\xi^\wedge)\mathbf T_0\right)\right)

T0、ray sampling、mask/occlusion、lighting mismatch 与 optimizer basin 都决定结果。低 photometric residual 可能来自 appearance flexibility，而不是正确几何。

3D Gaussian alpha compositing

\hat{\mathbf C}(u)=\sum_{i\in\operatorname{sort}(u)}\mathbf c_i\,\alpha_i(u)\prod_{j<i}\big(1-\alpha_j(u)\big)

每个 Gaussian 含 position、covariance、opacity 和 appearance。快速 rasterization 有利于 pose optimization，但 sorting、visibility、object/scene separation、dynamic update 与 metric gauge 仍是系统问题。

Joint representation–pose optimization has gauge freedom

(\Phi^\star,\{\mathbf T_k^\star\})=\arg\min_{\Phi,\{\mathbf T_k\}}\mathcal L_{\mathrm{render}},\qquad (\mathbf S\Phi,\{\mathbf T_k\mathbf S^{-1}\})\ \text{may render equivalently}

必须固定一个世界/对象 frame、尺度或相机基准。否则不同运行得到的坐标数值不可直接比较，object pose 也无法无缝接入机器人 base frame。

Capture

参考覆盖与相机轨迹

视角、距离、光照、背景、遮挡和 motion blur 决定表示可见域。

Onboarding

优化时间 / GPU / memory

把冷启动、失败重建、缓存和 representation 大小纳入资源 envelope。

Localization

初始化、basin 与每帧延迟

区分 render FPS 与端到端 pose FPS；记录 multi-start 与 tracking reset。

Geometry

gauge、scale 与 shape fidelity

用 depth、mesh、landmark 或 robot touch 独立验证，不只看 novel-view PSNR。

系统回看：多视图几何与视觉 SLAM、点云配准、工程实现与排错。

06 · Beyond One Rigid SE(3)

当对象会开合、弯曲、滑移或被手遮挡，先扩展状态，再选择估计器

关节物体需要 kinematic graph；形变需要 canonical material coordinates 与 deformation；动态世界还需要 time、association 和 birth/death。用一个刚体 pose 拟合全局只会把结构误差塞进残差。

世界模型	最小结构	典型状态
Rigid object	一个 body frame 与 SE(3)	T_CO(t)；对称时是等价类 [T]
Category instance	canonical frame + metric dimensions / shape code	R、t、s 或 R、t、z_shape
Articulated object	root frame + part frames + joint graph / limits	T_Croot、{q_j}、{T_Cpart}
Deformable object	canonical material coordinates + deformation field / mesh state	φ_t(x)、latent z_t 或 dense correspondences
Dynamic scene	多对象轨迹、birth/death、occlusion、camera motion 与 time	{T_COi(t)} + association + covariance
Hand–object system	hand kinematics、object pose、contacts、slip 与 affordance	q_hand(t)、T_HO(t)、contact state / wrench
Task-equivalent state	只区分会改变抓取、插入或人机交互结果的自由度	quotient / action set，而非强迫恢复视觉上不可辨的唯一 frame

Articulated part transform through a kinematic chain

{}^{C}\mathbf T_{P_k}={}^{C}\mathbf T_{\mathrm{root}}\prod_{j\in\operatorname{path}(k)}\exp\!\left(\hat{\boldsymbol\xi}_j q_j\right)\,{}^{P_{j^-}}\mathbf T^{0}_{P_j}

还需 joint type/axis/origin/limit、part topology 与 zero configuration。只报告每个 part 的独立 SE(3) 会丢失物理约束，也可能产生互相穿透。

Canonical-to-deformed correspondence

\mathbf x_t=\boldsymbol\phi_t(\mathbf x_0)=\mathbf x_0+\mathbf d_\psi(\mathbf x_0,\mathbf z_t),\qquad \mathbf x_0\in\mathcal C_{\mathrm{material}}

形变场、canonical pose 和相机 pose 可能互相吸收误差。材料对应、可逆性、局部刚性/弹性和拓扑变化需根据对象另建约束。

Dynamic object trajectory on SE(3)

\mathbf T_{k+1}=\mathbf T_k\exp\!\left((\Delta t\,\mathbf v_k+\mathbf w_k)^\wedge\right),\qquad p(\mathbf T_{k+1}\mid\mathbf T_k,\mathbf a_k)

时间戳、rolling shutter、对象/相机运动与机器人动作进入 transition model。tracking 的每帧均值不能替代 loss/recovery、identity switch 与 latency evaluation。

Hand–object relative pose and slip

{}^{H}\mathbf T_O(t)=\left({}^{W}\mathbf T_H(t)\right)^{-1}{}^{W}\mathbf T_O(t),\qquad \Delta\mathbf T_{\mathrm{slip}}={}^H\mathbf T_O(t)^{-1}{}^H\mathbf T_O(t+\Delta t)

手部关节、tactile contact 和 object pose 联合估计可在视觉遮挡时维持 belief；接触改变了观测，也可能真的推动/滑动物体。

07 · Hard Materials, Egocentric & New Modalities

新模态不是简单再拼一个 tensor；它改变了观测方程、时间模型和可见性

透明/镜面挑战传统外观与深度，event 擅长高速变化，tactile 在接触后提供局部几何，egocentric 把手、相机和对象运动耦合。融合前先写各自坐标与时钟。

01

Transparent / specular RGB-D

纹理反射、折射、ToF/structured-light invalid depth 与 multipath

validity/confidence、multi-view、polarization/thermal/active sensing；不能把 hole 当背景

02

Event camera

异步亮度变化、微秒级时间分辨率、高动态范围；没有绝对亮度帧

高速 tracking、blur-free motion cue；需 event–frame/depth/IMU 时钟与外参

03

Tactile sensing

接触后的局部几何、法向、剪切、滑移与力

可在视觉遮挡后缩小 hand–object belief；只能观察已接触区域，且接触本身会改变状态

04

Egocentric multi-view

头戴相机、手、目标与环境共同快速运动并强遮挡

hand–object–camera 联合跟踪、gaze/attention 与长期 identity；人体自遮挡和 rolling shutter 突出

05

Robot proprioception / F/T

关节、TCP、命令、接触 wrench 与 controller state

把 object pose 放入 base/task frame，验证接触事件；依赖 hand-eye/TCP/time calibration

06

Audio / language / scene context

材质、事件、目标语义和任务先验

可缩小 hypothesis 或选动作，但通常不是单独的 metric pose measurement

Event generation model

e_k=(u_k,t_k,p_k),\qquad L(u_k,t_k)-L(u_k,t_k^-)\approx p_k C,\quad p_k\in\{-1,+1\}

事件记录 log-intensity 变化而非绝对亮度。C、timestamp、refractory/noise 与 motion 决定 event likelihood；与 depth/frame/robot state 融合必须使用 acquisition time。

Multimodal belief update with explicit calibration

p(\mathbf x_t\mid\mathcal Z_{1:t})\propto p(\mathbf z_t^{\mathrm{rgb}},\mathbf z_t^{\mathrm{depth}},\mathbf z_t^{\mathrm{event}},\mathbf z_t^{\mathrm{tactile}}\mid\mathbf x_t,\boldsymbol\theta_{\mathrm{cal}})\,p(\mathbf x_t\mid\mathcal Z_{1:t-1})

θcal 包含 intrinsics、extrinsics、time offsets、depth/tactile scale 与 robot kinematics。若把 calibration 当常数，仍应在 uncertainty budget 中传播其误差。

透明 / 镜面

mask 对但 depth hole / ghost

分开评测 detection、valid depth、shape completion 与 pose；不要把 completion 当 sensor truth。

Event

静止时无事件、高速时 frame blur

按速度、illumination、contrast 与 time offset 切片；报告 reconstruction 与 pose 各层延迟。

Tactile

局部接触匹配多个全局表面

保留多峰 global hypotheses；主动换接触点，结合 hand kinematics 和 non-penetration。

Egocentric

手与对象一起遮挡、相机同时运动

联合 camera/hand/object state，单列 identity switch、out-of-view 与 re-entry recovery。

08 · Active, Embodied & Task-aware Pose

当当前观测不足，系统可以改变未来观测；但每个动作都有时间、风险与扰动成本

主动感知把“估计一次”扩展成 belief–action–observation 闭环。最佳下一视角不是看起来最清楚，而是对剩余 pose modes 提供最大任务相关信息且可安全执行。

01

Next-best-view

选相机/机器人视角最大化预期可见性、熵下降或 mode separation

动作可达、碰撞、时间和 motion blur 都是代价

02

Active illumination / sensor choice

切换曝光、光源、polarization、depth 或 event，以改变观测条件

收益来自新测量，不是“同一帧再推理一次”

03

Manipulation for perception

拨动、转动、抓起或轻触物体以暴露表面/接触约束

动作会改变物体状态，belief transition 与安全边界不可忽略

04

Temporal filtering / tracking

用 motion model 和过去观测传播多峰 belief

错误关联和 model drift 会累积；re-detection 与 reset 是协议的一部分

05

Task-aware stopping

当所有剩余 pose modes 对当前动作等价，或风险已低于阈值时停止观测

不需要为视觉 benchmark 追求任务无关的唯一 canonical pose

06

Safe abstention / recovery

当观测不足、未知目标或超出训练支持时输出 no-pose / request-view / human-check

覆盖率—风险曲线和 abstain denominator 比只报成功样本均值更诚实

Bayesian belief update after an action

b_{t+1}(\mathbf x')\propto p(\mathbf z_{t+1}\mid\mathbf x',\mathbf a_t)\int p(\mathbf x'\mid\mathbf x,\mathbf a_t)b_t(\mathbf x)\,d\mathbf x

a 可以是移动相机、抓取/拨动物体、切换光源或请求人工。动作可能改变对象状态，因此不能假设只改变 camera pose。

Task- and cost-aware next action

\mathbf a^\star=\arg\max_{\mathbf a\in\mathcal A_{\mathrm{safe}}}\underbrace{\mathbb E\!\left[H(b_t)-H(b_{t+1})\right]}_{\text{information gain}}-\lambda_c C(\mathbf a)-\lambda_r\,\operatorname{Risk}(\mathbf a)

熵并非唯一目标；若多个视觉 pose 对抓取动作等价，task entropy 更合适。还应比较真实 wall time、path length、collision margin 和观测失败。

Stop when residual uncertainty is task-safe

\operatorname{Stop}\iff \Pr_{\,\mathbf T\sim b_t}\!\left(g(\mathbf T,\mathbf a_{\mathrm{task}})\in\mathcal S_{\mathrm{safe}}\right)\ge 1-\delta\quad\text{or no safe informative action remains}

g 把 pose 映射到 clearance、contact、insertion 或 overlay error。无法满足时输出 abstain/recovery，而不是把 posterior mean 当作确定姿态。

机器人链路：机器人坐标变换与系统标定、机器人抓取与操作。

09 · Claim–Assumption–Evidence Protocol

前沿工作的可信度，不由标题里最强的词决定，而由最弱的协议环节决定

先冻结 headline 能力，再为每条被放松的假设配独立证据。结果不仅要回答“平均准不准”，还要回答失败在哪、是否知道自己不知道、花了多少成本、任务是否更安全。

证据层	必须冻结 / 报告	防止的错误结论
Task contract	先验、观测、输出、实例/类别关系、适应与预算全部冻结	避免用同一“zero-shot”比较不同任务
Split & leakage audit	physical instance / scene / session / reference asset / pretrained corpus 去重	证明泛化不是近邻帧、同 mesh 或网络记忆
Metric & equivalence protocol	单位、scale source、canonical axes、proper symmetry、匹配与阈值	决定 headline 中“pose correct”的含义
Complete denominator	no-detection、abstain、timeout、onboarding failure、unknown target、tracking loss 都计入	防止只在 solver 成功子集上报精度
Resource envelope	onboarding 与每帧 wall time、GPU/CPU、显存/内存、缓存、能耗、reference capture	把隐含计算先验变成可比较成本
Uncertainty & calibration	pose set/distribution、coverage、reliability、risk–coverage 与 OOD/unknown 行为	多 hypothesis 不是天然有概率语义
Robust slices	visibility、symmetry、size、distance、motion、material、light、background、category/instance	均值不能代表 tail failure 或部署边界
Downstream / safety	抓取、插入、跟踪、AR overlay、碰撞、damage 与 recovery outcome	证明几何改进能转化为任务价值
Fair baseline & oracle	相同 mask/detector、数据、budget、refinement 和 post-process；提供 pose/shape/mask oracle	定位增益来自哪一层，而非协议优势
Reproducible artifact	代码、模型、数据 manifest、随机种子、raw predictions、失败样本与版本	支持独立复算、误差切片和未来协议迁移

Complete-system success keeps every failure in the denominator

\operatorname{SuccessRate}=\frac{N_{\mathrm{task\ success}}}{N_{\mathrm{all\ eligible\ trials}}},\quad N_{\mathrm{all}}=N_{\mathrm{success}}+N_{\mathrm{wrong}}+N_{\mathrm{miss}}+N_{\mathrm{abstain}}+N_{\mathrm{timeout}}+N_{\mathrm{onboard\ fail}}

可同时报告 conditional pose accuracy，但不能用它替代端到端覆盖率。open-world 还要加入 absent-target 和 false-positive trials。

Selective risk exposes the abstention trade-off

\operatorname{Coverage}(\tau)=\Pr(s\ge\tau),\qquad \operatorname{Risk}(\tau)=\mathbb E[\ell(\hat{\mathbf T},\mathbf T^\star)\mid s\ge\tau]

画完整 risk–coverage 曲线并按 unknown、material、visibility、motion 切片。score 若未校准，只能用于排序，不能直接解释成成功概率。

Claim card

一句话必须能被证伪

输入、先验、实例关系、输出、适应、预算、真实场景和指标边界完整。

01测试对象、类别、场景与 reference/pretraining 没有泄漏
02canonical frame、scale、symmetry 和 metric source 可复算
03no detection / abstain / timeout / onboarding fail 在 denominator
04真实传感器与 sim-to-real 分开，材料/动态/遮挡有切片
05budget 覆盖 capture、cold onboarding、cache、per-frame 与 reset
06uncertainty 有 coverage / calibration，不只展示 top-K
07baseline 共享 detector/mask/data/compute/refinement 与后处理
08至少一个独立几何证据或下游 task outcome 不与模型同源
09unknown / absent / distractor 与失败恢复有显式测试
10raw predictions、manifest、失败样本和复现环境可追溯

10 · Open Questions & Research Navigation

好的研究问题不是再删一个 benchmark 假设，而是让新增能力在真实系统里可定义、可观测、可校准

下面十个问题连接 3D 视觉、SLAM、机器人抓取、具身智能与多模态感知。它们既是研究方向，也是阅读一篇“前沿”论文时的检查表。

Q01

真正开放的对象接入

如何在极少参考、无 CAD、未知尺度与复杂背景下建立稳定 object frame，同时给出失败证明？

Q02

Canonicalization 的可定义性

类别语义轴由谁定义？面对无前后、形状连续变化或实例特有对称时，是否应输出任务等价类？

Q03

Pose–shape–appearance 解耦

如何区分相机运动、刚体姿态、非刚体形变、材质反射和生成模型幻觉？

Q04

可校准的多峰不确定性

怎样覆盖对称、遮挡与未知对象 modes，并把 coverage 转换为机器人 chance constraint？

Q05

长期与动态世界

对象被抓取、开合、遮挡、再出现后，identity、part state、world map 和 covariance 如何持续一致？

Q06

主动感知的净收益

信息增益是否抵消视角移动、碰撞、延迟、能耗和对场景的扰动？何时应停止？

Q07

跨模态时空标定

event、RGB-D、tactile、F/T 与 robot state 如何在线校准并量化 clock/extrinsic drift？

Q08

真实材料与极端条件

透明、镜面、黑色、微小、柔性、快速运动和严重遮挡能否在真实传感器上稳定处理？

Q09

基础模型的几何诚信

预训练 feature / reconstruction / generation 能否给出 coordinate-consistent、metric、可复现且可拒绝的输出？

Q10

从 benchmark 到安全操作

怎样让公开评测覆盖 task cost、tail risk、abstain、recovery 与硬件事故，而不只追逐均值？

阅读与研究的推荐顺序

01 · Freeze先固定 task tuple 与 baseline防止术语和协议漂移

02 · Observe列出 gauge、symmetry 与不可观测量决定应输出单值、集合还是 action

03 · Build学习先验连接显式几何与 typed artifacts保留 solver evidence 与失败状态

04 · Stress真实传感、unknown、动态和 tail slices报告资源与 complete denominator

05 · Act用 task / safety / recovery 验证价值必要时主动观测或 abstain

类别级、未见对象、神经表示、关节物体与新模态的一手来源展开查看 BOP、NOCS、FoundationPose、SAM-6D、Any6D、ORYON、NeRF/3DGS、ANCSH、Event6D、HOT3D 与 visual–tactile 等原始论文/官方任务

17 / 17

知识体系主干已闭环

从 SE(3)、相机、PnP/配准、数据与评测，到机器人标定、抓取、工程排错，再到开放世界与具身感知。后续可按专题继续补充论文、案例、推导与实验，而不需要改变主框架。