Object
metric mesh、部件身份、proper symmetry group、axis/offset、实例差异
01 · Problem Contract
symmetry 不是只看模型外形就能自动得到的常数。对象实例、观测模态、任务代价与评测容差会改变等价关系;每一层都必须有独立字段和版本。
metric mesh、部件身份、proper symmetry group、axis/offset、实例差异
纹理、文字、材质、波段与照明是否打破 geometry symmetry
当前可见面、遮挡、投影、噪声与各模态 validity 支持哪些 modes
抓取、插装、放置和控制对哪些姿态变化具有相同代价
loss、metric、correctness threshold、confidence 与 calibration split
02 · Five Distinct Layers
最常见的概念错误,是看到两个姿态都合理便统称“对称”。下面五层有不同作用域、不同证据和不同处理位置。
03 · Pose as an Equivalence Class
固定 object frame 后,仍可能有多个从 object 到 camera 的 transform 让全部带语义表面完全重合。它们是同一 pose 的不同 representatives。
标注文件必须落成数值时可选 canonical representative,但它不是比其他 orbit 元素更“真实”。输出时应附 symmetry rule / object version。
把 C₄ yaw 压到 [−45°,45°) 会在 ±45° 处跳变。网络输入微小变化,却可能被要求输出相差 90° 的标签。
理想圆柱绕轴 yaw 是 gauge。指定 yaw=0 只是约定;若观测没有 cue,低方差输出反而是虚假的确定性。
四元数位于 S³,映射到 SO(3) 是 2-to-1。先处理 antipodal equivalence,再叠加对象自身的 symmetry group。
04 · Symmetry Groups & Metadata
离散群、连续群和近似对称需要不同数值处理。尤其当对称轴不经过 object origin 时,旋转必然伴随平移。
| Family | 结构 | Pose orbit | 工程说明 |
|---|---|---|---|
| Trivial {I} | 不对称对象 | 唯一局部代表元 | 仍可能因遮挡、投影或弱证据出现观测多解 |
| Cₙ | 绕一根轴的 n 次离散旋转 | n 个 representatives | 齿轮、方柱;appearance 或任务可将 n 降低 |
| Dₙ proper part | n 次主轴旋转 + n 个垂直半转 | 2n 个 proper rotations | 不要把平面反射矩阵直接塞入 SO(3) |
| T / O / I | 正四面体、立方/八面体、二十面体/十二面体 | 12 / 24 / 60 个 proper rotations | 有限非交换群,不能只用一个 yaw 周期描述 |
| SO(2) | 绕对象固定轴连续旋转 | 一条连续 orbit | 轴向 surface of revolution;roll about axis 是 gauge |
| SO(3) | 理想球体或完全各向同性任务 | 完整 rotation orbit | 姿态中旋转部分不可辨识;位置仍可有意义 |
| 近似 / 部分对称 | 变换后表面很接近但不完全相等 | 由容差与观测分辨率决定 | 必须命名 tolerance、传感器与 task,不能冒充 exact group |
05 · Observation-Conditioned Ambiguity
identifiability 是观测模型与当前 evidence 的性质。更多同分布训练数据不能恢复已经被遮挡、投影坍缩或传感器丢失的信息。
| 来源 | 为什么多解 | 诊断证据 | 处理 |
|---|---|---|---|
| 自遮挡 / 外部遮挡 | 非对称部件不可见,多个姿态渲染出相同可见区域 | visible mask、amodal support、模式间 render residual | 改变视角、跨帧保持模式、输出 top-K |
| 投影与轮廓 | 3D 差异沿视线坍缩;正视、弱透视或近共面结构产生二解 | 多视角 baseline、depth / normal、斜视轮廓 | 增加斜视角、metric depth 或结构先验 |
| 重复部件 / 局部 patch | 局部描述子在周期结构上匹配到多处 | correspondence vote 的 mode 数、部件 identity | group-aware matching、全局验证、RANSAC 多模型 |
| 纹理弱 / 光照变化 | 唯一外观 cue 被模糊、过曝、阴影或低分辨率抹去 | cue visibility、MTF / exposure、appearance ablation | 改善采集或明确使用几何 subgroup |
| 镜面 / 透明 / 深度空洞 | 观测模型不匹配,强度或 depth 不能代表真实表面 | sensor confidence、multi-view consistency、OOD score | 传感器降级、偏振/触觉/轮廓、拒绝输出 |
| 裁剪 / 截断 | 关键部位出画,尺度与中心也互相补偿 | full bbox、truncation、proposal 边界压力测试 | 扩大 ROI、全图上下文、多帧或主动回退 |
| 类别与实例差异 | canonical frame、比例或局部结构在实例间不一致 | instance metadata、shape posterior、scale residual | 联合 shape–scale–pose 分布,不把 label disagreement 当噪声 |
| 标注 / canonical 冲突 | 多个标注者或数据集选择不同 orbit representative | quotient-aware inter-annotator distance | 保存 equivalence set / rule version;训练时 marginalize |
是 → quotient pose;新视角不会打破真正的 symmetry。
否 → view-induced modes;检查遮挡、截断和 validity。
否 → 保留 posterior;不要强迫输出平均姿态。
不同 → acquire / top-K / abstain;相同 → action quotient。
06 · Supervision, Loss & Matching
从参数回归、surface matching、correspondence 到 probability density,所有训练目标都要说明如何处理有限群、连续群、可见歧义与表示双覆盖。
对有限 symmetry representatives 取最小 geodesic / parameter-consistent loss
最近点或显式 symmetry transform 后比较 surface
等价表面点作为同一 target set,或预测 fragment / region 再组合
对等价真值集合求和或积分,而不是只奖励一个代表元
至少一个覆盖真值 orbit,并训练模式 score / diversity
对 posterior 下的 downstream cost 求期望或 worst-case / chance constraint
07 · Interactive Lab
第一个实验改变几何/外观/任务等价定义;第二个观察遮挡怎样给非对称对象制造多峰;第三个比较 top-K、NLL、entropy、epistemic signal 与 calibration。
Interactive · Quotient Pose, Ambiguity & Calibration
Symmetry group
Naïve angle error
Quotient-pose error
Equivalence verdict
Canonicalization risk
Ambiguity type
Supported modes
Observation entropy
Identifiability
Next evidence
Posterior family
Symmetry-aware NLL
Top-K coverage
Calibration proxy
System decision
08 · Pose Distributions
先问 posterior 是单峰小误差、有限远隔 modes,还是连续 symmetry orbit;再选择合适分布族和下游接口。
| 输出 | 表达 | 适用 | 边界 |
|---|---|---|---|
| Point + score | 一个 transform 和未必归一化的分数 | 低延迟、接口简单 | 不表达远隔模式;score 不能直接解释为成功概率 |
| Top-K hypotheses | K 个 transforms、权重与等价去重规则 | 适合 PnP / template / tracking / verifier | 必须报告 K、覆盖率、排序与 downstream 成本 |
| Local mean + 6×6 covariance | 在指定 left/right perturbation、frame 与 tangent point 上的局部椭球 | 单峰、小误差、滤波与优化 | 不能跨越多个远隔 symmetry modes;旋转和平移单位需缩放 |
| Bingham on S³ | antipodal-symmetric quaternion orientation distribution | 天然满足 q/−q;可表达定向轴与各向异性 | 单个 Bingham 仍不等于任意多峰 SE(3) posterior |
| Matrix Fisher on SO(3) | 直接定义在旋转矩阵流形上的指数族 | 坐标无奇异且有局部不确定性结构 | 有限参数族不能覆盖所有复杂 / 连续多峰密度 |
| Mixture / particles | 多个局部分布或带权样本 | 显式保留对称、遮挡和数据关联多峰 | 成分对齐、去重、归一化与计算预算需要协议 |
| Implicit density / flow | 可查询任意 R 或 T 的相对 / 归一化密度 | 表达任意 SO(3) 多峰与高阶结构 | 采样、normalization、训练 measure 和 calibration 更复杂 |
同一模型对遮挡、模糊、低回波样本的 conditional spread
多视角/更好传感器可能减少;重复训练本身不一定减少ensemble / posterior disagreement、density support、OOD stress test
增加相关数据、模型或先验;不能只由单次 softmax entropy 推断object symmetry group 与 quotient orbit
应合并到等价类,不应计成任务风险或错误multi-view / modality likelihood、模式可分性
传播模式、主动感知或拒绝;不要做欧氏平均annotation provenance、round trip、inter-annotator quotient distance
先修数据契约;不能让模型“学会吸收”expected cost、chance constraint、collision / grasp simulation
可能与 pose entropy 相反;必须针对具体任务计算09 · Confidence & Calibration
pose score、detector score、render residual、posterior density 和机器人成功率不是同一个量。校准必须绑定 symmetry-aware correctness event、数据域与版本。
| 工具 | 测什么 / 怎么做 | 报告与限制 |
|---|---|---|
| Correctness event | 先定义 symmetry-aware 阈值事件:例如 MSSD<τ、task success 或 top-K orbit coverage | 不同事件需要不同 calibration;不能复用一个“置信度”覆盖全部主张 |
| Reliability diagram / ECE | 按预测置信度分箱,比较经验正确率;ECE 是带权 bin gap | 报告 binning、样本数与 class / visibility 分层;ECE 单值会隐藏局部失准 |
| NLL / proper scoring | 奖励给正确等价集合的概率质量,并惩罚错误自信 | 有限群可求和;连续群需相对测度 / tolerance 或 quotient density |
| Brier score | 对明确定义的二元成功事件比较 probability 与 outcome | 比只报 accuracy 更能揭示过度自信,但仍依赖事件定义 |
| Coverage / set size | prediction set 或 top-K 是否包含一个等价真值,以及集合大小 | coverage 不能脱离 K、角/表面阈值与 symmetry rule 报告 |
| Risk–coverage / selective pose | 按 confidence 拒绝低可信样本,绘制剩余 coverage 与 risk | 部署门限由失败代价和容量决定;不能只挑最好看的 operating point |
| Temperature scaling | 在 validation 上缩放 logits,通常不改变排序 | 可缓解全局过/欠自信;不能制造缺失模式、修 OOD 或修错误 symmetry metadata |
| Shift / OOD audit | 按实例、场景、遮挡、传感器与时间分层重测 calibration | in-distribution 校准不保证部署域可靠;应保留版本与触发回退 |
每个线上 confidence 字段至少携带
10 · Temporal Inference & Robotics
tracking 要在 quotient space 做 gating,同时保留必要的 mode identity。机器人端再按接触、碰撞、可达性和安全代价决定合并、验证或拒绝哪些模式。
先计算 track prediction 到每个等价 representative 的最小距离,再做 gating;避免同一物理姿态被判为跳变。
为连续显示或控制选择与上一时刻最近的 representative,但同时保留 quotient pose;unwrap 是时序 gauge,不是真值恢复。
被遮挡时不要每帧重置成平均姿态;保留权重模式,等辨识线索出现后再合并或淘汰。
对象/相机运动带来的视差与新可见面能消除 view-induced modes,却不能打破真正的全局几何+外观 symmetry。
EKF / factor graph 的 tangent covariance 必须声明 left/right perturbation、参考 frame、旋转/平移尺度与 relinearization。
object identity、pose mode 与 occlusion state 常耦合;单独锁定错误 identity 后再滤 pose 会得到自信但错误的轨迹。
| 任务 | 视觉事实 | 任务等价 | 决策接口 |
|---|---|---|---|
| 平行夹爪抓取 | 对象可能 C₄ 对称 | 夹爪接触通常只对 180° 等价;碰撞或电缆又可能破坏等价 | 把每个 pose mode 映射到 grasp set,按碰撞和 force closure 合并 action-equivalent modes |
| 吸盘抓圆盘 | 绕法向 yaw 连续不可辨识 | 中心面吸取对 yaw 近似不敏感 | 只估计位置与表面法向,显式标注 yaw gauge;不要伪造一个高精度角度 |
| 插接 / 装配 | 外壳近似轴对称 | 缺口、键槽或引脚让最终 roll 唯一且容差很小 | 任务 symmetry 比视觉 geometry group 更小;主动查看关键特征或触觉搜索 |
| 放置 / 朝向 | 多个姿态都解释当前 RGB-D | 重心、支撑面、标签朝向和可达性给出不同代价 | 对 posterior 中每个模式计算 stable placement / reachability,输出期望风险与安全 fallback |
| 视觉伺服 | canonical representative 可跨 cell 突跳 | 控制器需要连续误差,跳变会造成大动作 | 在 quotient space 求误差并做时序 unwrap;速度限制与模式切换进入状态机 |
| 主动感知 | 两模式只在把手可见性上不同 | 需要在有限时间内降低碰撞 / 抓取风险 | 选能最大化模式间预期观测差异且满足可达/碰撞的下一视角,而非只追求可见像素数 |
11 · Failure Modes & Release Gates
下面的检查覆盖群合法性、metadata、canonical discontinuity、分布表达、confidence 语义与数据泄漏。
| 失败模式 | 表象 | 检测 | 修复 |
|---|---|---|---|
| 把 q/−q 当对象对称 | 任意物体都出现“双峰”标签或四元数 loss 突跳 | 检查 R(q)=R(−q),再独立检查 object symmetry group | 用 |qᵀq̂| 或 rotation geodesic 处理双覆盖 |
| 把反射写成旋转 | det(R)=−1,坐标手性翻转,mesh 看似重合但不在 SO(3) | 对所有 symmetry matrix 断言 RᵀR=I、det(R)=+1 | 只保留 proper rotations;镜像实例另建语义 |
| 轴 offset 丢失 | 绕离原点轴旋转后模型整体漂移 | 对随机表面点验证 S(M)=M 与 t=(I−R)o | 保存完整 4×4 transform 或 axis+point |
| 过度 canonicalize | 边界附近标签/预测在代表元间跳 90° / 180° | 绕 cell boundary 扰动输入,绘制输出连续性 | 训练 marginalize/min-over-group;接口同时输出 orbit rule |
| 平均多个模式 | 两个正确旋转的算术平均落在错误姿态或非旋转矩阵 | 检查 mean 是否位于任何高概率 mode / SO(3) | 输出 mixture / top-K;若求 Fréchet mean 也要说明其决策意义 |
| 错误对称群 | 贴纸、缺口或实例差异被模型/评测忽略 | geometry / appearance / instance / task 四层对照审计 | 版本化 subgroup 与证据;人工审核近似对称 |
| 用 entropy 代替 epistemic | 对称样本被判 OOD,错误尖峰反而被判可靠 | 组合对称、OOD、错误自信、弱证据压力集 | 分别建模 multiplicity、aleatoric、epistemic 与 calibration |
| 只报 oracle top-K | K 内有真值但真实排序送错给机器人 | 同时报 top-1、top-K、NLL、score calibration 与 downstream selection | 训练可比较权重并验证 verifier |
| 单一 covariance 跨多峰 | 滤波椭球穿过低概率区域,更新后收敛到不存在的中间姿态 | 画 posterior mode separation 与 tangent validity radius | 每个 mode 独立 covariance + mixture weight / particles |
| 校准事件不一致 | 用旋转阈值校准的 score 被解释为抓取成功率 | 每个 score 字段登记 target event、threshold、split 和 version | 针对任务事件重新校准,或只报告原始含义 |
| 连续群离散过粗 | metric / NLL 随 symmetry sample count 大幅变化 | 逐步加密并检查表面最大位移和数值收敛 | 解析最小化或按物体直径/阈值选择可证明步长 |
| 评测泄漏 | 用测试集调 temperature、拒绝阈值或 symmetry tolerance | 审计 calibration / validation / test provenance | 冻结 protocol,在独立 calibration split 上拟合 |
Release gate · 输出 pose 和 confidence 之前