论文精读笔记：PACA: Perspective-Aware Cross-Attention Representation for Zero-Shot Scene Rearrangement

1. 基本信息

• 简称：PACA
• 作者：Shutong Jin、Ruiyu Wang、Kuangyi Chen、Florian T. Pokorny
• 机构：KTH Royal Institute of Technology、Graz University of Technology
• 会议：WACV 2025
• 正式论文页：CVF Open Access
• 阅读模式：精读

2. 先给结论

PACA 的核心不是训练一个新的 6D pose network，而是把 Stable Diffusion 的生成过程改造成对象级 perception interface：目标侧在生成理想布局时读取 prompt word 对应的 cross-attention，真实侧通过 DDIM inversion / reconstruction 读取同类 attention；中期 denoising map 提供 object region，末期 map 提供细粒度 feature，两者合并后用于 real–generated object matching、相对变换估计和机器人执行。

论文的证据链可以拆成四层：

1. Goal quality：43 名参与者、559 个评分中，PACA 的三个场景平均评分与两位 human arrangers 处于相近区间；
2. Prompt design：每场景 2,000 张、共 6,000 张生成图中，类别列举 prompt 的 IS / CLIP score 高于精确数量和 top-down 描述；
3. Object matching：450 对 real–generated images 上，联合 cross-attention representation 的平均 accuracy 为 86.72%，DALL·E-Bot 的 Mask R-CNN + CLIP 多阶段流程为 51.35%；
4. Robot execution：三个场景、两个 setting、共 60 次真实实验中，3-DoF / 6-DoF 的平均 success rate 为 68.73% / 65.56%。

但对物体位姿专题而言，必须同时保留四条边界：

• 正文将 object transformation 明确参数化为 $(x,y,z,\theta)$，没有完整 roll / pitch / yaw；
• “6-DoF”主要描述非俯视观察、perspective-controlled goal 与 6-DoF robot system，不等价于标准 $SE(3)$ object pose output；
• execution success 依据对象相对布局是否和目标图一致，允许 absolute position 小幅偏差，且没有 pose GT；
• 最清晰的量化提升是 object matching，而不是 rotation / translation accuracy。

因此 PACA 应当被归为“位姿与对象变换进入生成式机器人闭环”的扩展系统，而不是 BOP / ADD(-S) 意义上的 6D pose 方法。

2.1 证据矩阵

实验	样本	指标	能证明什么	不能证明什么
User study	43 人、559 ratings	1–5 分满意度	生成目标在小规模日常场景中较符合人类偏好	目标几何可执行、对象数准确、对所有用户偏好泛化
Prompt comparison	6,000 generated images	IS、CLIP score	类别 prompt 在本文 SD 设置下更少失真、与文本更一致	精确空间关系更可控
Matching	450 image pairs	object matching accuracy	联合表示显著减少 modular pipeline 的匹配错误	object pose transformation 数值更准
Robot execution	60 trials	relative-layout success	系统可在真实机器人闭环中完成约三分之二任务	完整 SE(3) pose、抓取与放置达到工业精度

3. 问题设定：从“预测 pose”转为“生成目标并求变换”

3.1 Scene rearrangement

初始真实场景记为 $X$，人类偏好的目标场景记为 $X^*$。系统要让 embodied agent 对场景中对象执行变换，使结果接近 $X^*$：

$$X\xrightarrow{\{T_i\}}X^*.$$

传统方法需要训练数据告诉模型什么布局“好看”或“合理”。但 Dining、Fruit、Office 的关系不同，人类偏好也不同；模拟环境中的固定 pattern 又容易产生 sim-to-real gap。

PACA 选择用 web-scale generative model 产生 image goal，再把 image goal 转成对象级动作。这一选择把困难从“学习 goal distribution”转为三个接口问题：

1. 生成图中的对象是否符合 prompt；
2. 生成对象能否和真实对象匹配；
3. 二维目标图能否提供机器人需要的 metric transformation。

3.2 为什么多阶段系统会累积错误

令目标生成器、分割器、编码器和匹配器分别为 $G,S,E,M$。传统路径是：

$$x^{goal}=G(P),\quad \{m_i\}=S(x^{goal}),\quad f_i=E(x^{goal}\odot m_i),\quad \pi=M(\{f_i\},\{f_j^{real}\}).$$

若 $G$ 产生扭曲、重复或额外对象，$S$ 会输出重复 / 错位 crops；$E$ 再把错误 crop 压成 feature，后续无法恢复被裁掉的信息。误差不是独立相加，而是前一阶段改变后一阶段输入分布。

PACA 的思路是：生成器内部本来就有 prompt word 与 spatial token 的 cross-attention，直接把它当成 object segmentation + feature source，减少模型接口。

3.3 Zero-shot 的准确含义

PACA 被称为 training-free / zero-shot，是因为它没有为三类重排场景训练新网络，也不采集 robot demonstrations。系统仍依赖：

• Stable Diffusion 的 web-scale image–text training；
• ControlNet 的条件生成能力；
• Marigold 的单目深度先验；
• DDIM inversion；
• ICP 几何优化；
• RealSense RGB-D 与机器人标定。

所以“zero-shot”描述 task adaptation，不代表无学习先验、无 calibration 或无手工 pipeline。

4. 最重要的口径：PACA 的“6-DoF”到底是什么

4.1 论文中的三个 DoF 语境

1. 3-DoF top-down setting：目标图和真实图都接近俯视，桌面对象主要在平面内平移与旋转；
2. 6-DoF setting：真实相机可处于非俯视 perspective，目标生成需要匹配观察视角并估计 depth；
3. 6-DoF robot arm：UFactory Lite 6 具有六个关节自由度。

这三者都不自动意味着 object pose 是 $SO(3)$ 三轴旋转 + 三维平移。

4.2 正文给出的对象变换

Section 4.5 明确写出：

$$T=(x,y,z,\theta).$$

即三维 translation 和一个 rotation scalar。结合 top-down vacuum grasp 与桌面摆放，$\theta$ 对应平面 orientation / yaw。论文没有报告 $R\in SO(3)$ 的三个独立旋转自由度，也没有说明把任意侧躺对象翻转到完整目标姿态。

Figure 2 的 robot execution 标成 $(R,T)$，结论又使用“6-DoF operations”，但这些宽泛标记不能覆盖方法段更具体的参数化。网站按最具体的数学定义记录任务边界。

4.3 评价也不是 pose benchmark

机器人 success criterion 是：最终对象之间的 relative positions 与 generated goal 对齐，absolute positions 允许 slight variances。论文没有：

• translation error（cm / mm）；
• rotation error（degree）；
• ADD / ADD-S；
• VSD / MSSD / MSPD；
• 6D ground-truth object pose；
• per-object transformation residual。

因此 Table 4 的 65.56% 是任务 success rate，不是 6D pose accuracy。

5. PACA 总体架构

PACA 分四步：

1. 输入 prompt 与真实 RGB-D；
2. 生成 perspective-compatible goal，同时形成目标对象表示；
3. 对真实 RGB 做 inversion / reconstruction，形成真实对象表示并 matching；
4. 借助 depth、ICP 与 robot geometry 执行抓放。

它不是 end-to-end policy，而是 foundation models、attention maps、geometric alignment 和 scripted grasping 的组合系统。

6. Thread A：从 prompt 生成目标

6.1 3-DoF top-down generation

用户 prompt $P$ 由对象 category words 构成，random seed $s$ 用于复现目标。目标图为：

$$x^{goal}=\operatorname{StableDiffusion}(P,s,\beta_{cfg}),$$

classifier-free guidance scale 固定为：

$$\beta_{cfg}=7.5.$$

作者不要求 prompt 写一一对应的冠词和数量，而更倾向：

fork, knife, spoon, plate, table

而不是：

A fork, a knife, a plate, and a spoon, top-down

后文实验证明前者在当前 Stable Diffusion distribution 上的 IS / CLIP score 更高。

6.2 从 top-down 到 perspective-controlled setting

image-goal method 的关键困难是 viewpoint mismatch：真实腕部相机可能斜视桌面，生成器却给俯视目标。PACA 受绘图透视线启发，从真实 RGB 提取 Hough lines：

$$C_h=\operatorname{HoughTransform}(x^{real}).$$

然后用这些 line conditions 控制生成：

$$x^{goal}=\operatorname{ControlNet}(C_h,P,s,\beta_{cfg}).$$

线条能把桌面边、墙角、家具轮廓等 perspective cues 带入 goal image，使生成相机视角更接近真实场景。

6.3 这个控制没有显式恢复相机位姿

论文文字说 Hough lines 用于对齐 goal 与 real scene 的 camera extrinsic matrix，但实现是图像条件生成，没有给出：

• camera intrinsics；
• real / goal extrinsic matrix 数值；
• reprojection error；
• line-to-vanishing-point calibration；
• camera pose ground truth。

因此更严谨的理解是perspective appearance conditioning，而不是传统几何 calibration。若真实场景缺少稳定直线、线条来自对象而非环境，或 ControlNet 忽略部分条件，视角仍可能失配。

7. Thread B：让真实图进入 diffusion 表示空间

7.1 输入与 latent

真实场景 RGB image $x^{real}$ 被处理为 512×512，由 Stable Diffusion encoder $E$ 变成 clean latent：

$$z^{real}_0=E(x^{real}).$$

但普通生成从 noise 出发；若要在相同 denoising timeline 上读取真实图的 cross-attention，需要先找到能重建真实图的 noise latent。

7.2 DDIM inversion

PACA 使用 deterministic DDIM inversion，把 $z^{real}_0$ 从 $t=1$ 反演到 $t=T$ 的 noise $z^{real}_T$。之后再运行标准 denoising 重建真实图，且重建时 CFG scale 设为 0，尽量不让 prompt 改写真实内容。

这个过程提供两样东西：

1. 与目标生成相同 U-Net / timestep 的 hidden process；
2. prompt words 对真实 image regions 的 cross-attention maps。

它不是把真实 RGB 生成为另一张语义图，而是借 inversion 构造一条可读取 attention 的重建轨迹。

7.3 可能的误差

• inversion / reconstruction 不是严格无损；
• Stable Diffusion latent 对细小工业对象和非自然场景的表示可能不足；
• prompt 不包含的真实对象没有 word-specific representation；
• 同义词、复合词和 tokenization 会影响 cross-attention；
• CFG=0 只移除文本 guidance 强度，不保证 reconstruction 和原图像素完全一致。

8. Joint cross-attention representation

8.1 Cross-attention 定义

论文使用：

$$M=\operatorname{Softmax}\left(\frac{QK^T}{\sqrt{d}}\right),$$

其中：

$$Q=W_Q\phi_z(z_t),\qquad K=W_Kp,\qquad V=W_Vp,$$

$p=\psi(P)$ 是 prompt embedding，$M(w,t)$ 表示 object word $w$ 在 timestep $t$ 的 spatial attention map。作者将其上采样 / 表示为 512×512，激活范围 0–1。

8.2 Lossy denoising 的信息层级

作者把 diffusion denoising 类比 progressive decoding：从高噪声到低噪声，先出现大尺度形状和 region，再出现 texture / local features。Figure 4 的 plate / fork 示例中：

• 中期 attention 覆盖整体轮廓；
• 末期 attention 集中于 fork head、plate pattern 等更判别区域。

论文据此定义：

• Conceptual embedding (region)：$t\approx T/2$；
• Perceptual embedding (feature)：$t\approx 1$。

总 denoising steps：

$$T=50.$$

8.3 表示构造

对两张 attention map 分别阈值化：

$$R(w)=\operatorname{Step}(M(w,T/2),\tau_1)+ \operatorname{Step}(M(w,1),\tau_2),$$

其中：

$$\tau_1=0.3,\qquad \tau_2=0.9.$$

较低的 region threshold 保留完整对象区域；较高的 feature threshold 只保留末期最强判别激活，同时减少后续匹配计算。

8.4 “Segmentation + feature encoding”是一种功能解释

$R(w)$ 的两项分别承担 segmentation-like 与 feature-like 作用，但它不是：

• 有像素 GT 训练的 segmentation mask；
• 带高维 appearance vector 的标准 CLIP embedding；
• 有 explicit correspondence supervision 的 dense descriptor；
• 有 instance ID 的 panoptic representation。

它是 thresholded word-conditioned attention support。优势是目标生成和表示天然同步；弱点是依赖 prompt token、阈值和 diffusion model 的注意力可解释性。

9. Object matching 与变换估计

9.1 匹配目标

对每个 prompt word $w$，PACA 在 real / goal representations 之间求：

$$T_{opt}(w)=\arg\min_T \left\|R^{goal}(w)-T(R^{real}(w))\right\|^2.$$

论文使用 ICP 求 relative alignment，并以真实表示初始化。这里的 representation 主要是二维对象区域 / feature support，随后还需要 depth 才能转成机器人动作。

9.2 Goal depth

生成目标只有 RGB，没有 metric depth。PACA 用 Marigold 得到 $D_{est}$，再用真实 RGB-D depth $D_{real}$ 拟合 scale / shift 参数：

$$\mathcal{L}(\vartheta)= \left\|D_{est}(\vartheta)-D_{real}\right\|_2^2.$$

这里 $\vartheta$ 是 depth scaling / shifting parameters，不要和对象 yaw $\theta$ 混淆。单目深度本身只有相对尺度；把 goal depth 与 real depth 对齐能提供大致 placement z，但仍会受生成物体尺寸、透视和形状幻觉影响。

9.3 最终对象变换

正文参数化为：

$$T=(x,y,z,\theta).$$

它对应三维 placement 加平面 orientation。若目标图中餐具侧躺、杯子倾斜或物体需要翻面，当前表示和 top-down vacuum grasp 并未提供完整执行机制。

10. Robot execution

10.1 平台

• UFactory Lite 6；
• wrist-mounted Intel RealSense D405 RGB-D camera；
• vacuum gripper；
• 相机在抓取前位于桌面上方；
• object representation 的几何中心被选作 grasp point；
• 使用 top-down grasp。

机器人本体有 6 个关节自由度，但抓取策略仍是高度结构化的桌面抓放。

10.2 场景

Scene	Objects	主要关系
Dining	knives、forks、spoons、plate	餐具围绕盘子
Fruit	apples、oranges、plate	水果放到 / 靠近盘子
Office	keyboards、mice、mug	办公用品相对排列

这三类任务复用了 DALL·E-Bot 的 everyday tabletop setting，利于 baseline comparison，但对象数量少、工作空间规整，尚不能代表开放世界整理。

10.3 Generated extra objects 如何处理

Stable Diffusion 可能生成 prompt 未指定的物体。PACA 只为 prompt words 构造 representation，因此额外对象没有对应 word map，不进入 robot pipeline。这能减少“多生成一个对象就错误匹配”的问题，但不能解决缺失 prompt object 或同类别数量错误：如果 prompt 需要两个 apples，category token 很难天然分成两个稳定 instance IDs。

11. 实验一：Goal 是否让人满意

11.1 协议

• 43 subjects；
• 559 ratings；
• 1（Very bad）到 5（Very good）；
• 比较 Human 1、Human 2、PACA、Parallel、SG-Bot；
• Dining / Fruit / Office 三个场景。

11.2 结果

Method	Dining	Fruit	Office
Human 1	3.41	4.63	3.55
Human 2	4.34	1.89	3.67
PACA	3.85	4.42	3.49
Parallel	3.05	2.26	1.95
SG-Bot	1.68	—	—

PACA 在 Fruit 上接近 Human 1，在 Dining / Office 位于两位 human 之间或附近。Human 2 的 Fruit 只有 1.89，说明“理想布局”高度主观；PACA 不是对唯一 GT 的精确逼近。

SG-Bot 在 Fruit / Office 因缺少对应训练模型和 simulated objects 不适用，不能把空缺视为 PACA 击败 baseline 的数值证据。

11.3 评价边界

满意度只评价图像布局观感，没有测：

• 是否可抓；
• 是否碰撞；
• 物体是否稳定；
• 真实尺寸是否合理；
• 机器人可达性；
• 个体用户偏好的一致性。

12. 实验二：Prompt 形式

12.1 协议

每个场景生成 2,000 张图，总计 6,000 张。比较 categorical description 与 specific one-to-one description，指标为：

• Inception Score：作者用来反映失真 / 生成质量；
• CLIP Score：image–prompt alignment。

12.2 完整数值

Scene	Prompt	IS	CLIP
Dining	fork, knife, spoon, plate, table	4.08±0.21	31.19
Dining	A fork, a knife, a plate, and a spoon, top-down	3.54±0.24	30.33
Fruit	apple, orange, plate	3.53±0.19	21.54
Fruit	Two apples, and an orange, top-down	2.99±0.15	19.80
Office	keyboard, mouse, mug	3.81±0.20	20.54
Office	A keyboard, a mouse, and a mug, top-down	3.55±0.21	20.32

作者推测 LAION-5B captions 更常以类别描述而非精确 inventory 出现，因此 Stable Diffusion 对 categorical prompts 更熟悉。

12.3 这是一个明确 trade-off

类别 prompt 提高整体生成质量，却降低：

• exact object count；
• one-to-one identity；
• precise spatial relation；
• user personalization。

论文结论也把“对象数量与空间关系控制”列为未来工作。不能只报告 IS / CLIP 提高而忽略控制能力下降。

13. 实验三：Joint representation 的 matching accuracy

13.1 协议

• 每场景 150 对 real–generated images；
• 总计 450 pairs；
• 真实图来自自然照明，物体 texture 有变化；
• 目标图由 Stable Diffusion 以相同类别集合生成；
• 对每对图，统计成功匹配对象数 / 应匹配对象总数，再跨 150 对求和。

Baseline DALL·E-Bot：Mask R-CNN segmentation + CLIP feature encoding。PACA：diffusion cross-attention 的 joint representation。

Method	Dining	Fruit	Office	Average
DALL·E-Bot	42.83%	42.57%	68.66%	51.35%
PACA	83.75%	88.63%	87.78%	86.72%

绝对提升为：

• Dining：+40.92 percentage points；
• Fruit：+46.06 points；
• Office：+19.12 points；
• Average：+35.37 points。

相对 baseline 的平均改善约 68.9%，但这里用 percentage-point difference 更直观。

13.2 为什么 Office baseline 较高

Table 3 没有给严格归因。可能因素包括 keyboard / mouse / mug 的外观与类别差异较大、Mask R-CNN / CLIP 对这些对象更熟悉；这属于合理推测，不能作为论文已验证结论。

13.3 这个实验最有说服力，也最容易被过度外推

它直接针对论文声称的 multi-step error accumulation，三个场景一致改善；但没有消融：

• 只换 segmentation；
• 只换 CLIP feature；
• conceptual map only；
• perceptual map only；
• threshold sensitivity；
• timestep sensitivity；
• SD version / layer aggregation。

所以能证明 joint design 整体有效，不能精确分配每个内部设计的贡献。

14. 实验四：真实机器人执行

14.1 协议

• 3 scenes；
• 3-DoF 与 6-DoF 两种 setting；
• 每场景每 setting 10 个 random object initializations；
• 总计 $3\times2\times10=60$ trials；
• 没有 object pose ground truth；
• success：最终 relative positions 与 goal 对齐，absolute positions 可有轻微偏差。

Setting	Dining	Fruit	Office	Average
3-DoF	61.93%	64.61%	79.67%	68.73%
6-DoF	56.67%	66.67%	73.33%	65.56%

14.2 如何解读差异

• 平均下降 3.17 percentage points，不算巨大；
• Dining / Office 在 6-DoF 下降，Fruit 反而提高；
• 论文主要把 6-DoF 失败归因于 generated goal depth errors；
• 60 trials 规模较小，表格没有置信区间；
• 百分比不是简单的 10 次 trial 整数倍，说明场景 success 统计可能包含对象级 / 多项判定平均；正文没有进一步拆解，不能擅自反推具体成功次数。

14.3 Pipeline 中可能的失败传播

prompt 对数量/关系控制错误
          ↓
生成图对象扭曲或透视不匹配
          ↓
cross-attention region / feature 偏移
          ↓
real–goal matching 或 ICP 偏移
          ↓
Marigold depth scale / shift 错误
          ↓
几何中心不是可抓点 / 质心
          ↓
吸取、移动或放置失败

Table 4 只给最终 success，无法区分每层 contribution。若用于后续研究，应该记录 stage-wise failure labels。

15. 方法的强项

15.1 同一模型桥接生成域和真实域

目标图与真实图外观差异很大。PACA 不要求外部 segmentation / encoder 同时适应两域，而让同一个 Stable Diffusion U-Net 在 generation 和 reconstruction 中提供 word-conditioned attention，形成共享接口。

15.2 语义 context 强

Prompt 直接告诉系统要找 apple、orange、plate。相比 color histogram、局部 keypoint 或 template，category word 可以忽略 real / generated instance 外观差异，实现概念级 cross-domain matching。

15.3 减少模块接口

联合 representation 不表示系统整体简单——它仍有多个 foundation / geometry module——但它确实消除了“对生成图再跑通用 instance segmentation、再裁 patch、再编码”的关键串行接口。

15.4 真实闭环验证

论文没有停在 attention visualization 或 matching benchmark，而是把变换送入 robot，暴露 depth、grasp center 和 goal controllability 的真实限制。

16. 局限与未解决问题

16.1 不完整的 pose 定义

这是本站最重要的收录边界：$(x,y,z,\theta)$ 不是完整 $SE(3)$，且无 pose GT / error metric。不能与 FoundationPose、MegaPose、GDR-Net 等标准 6D pose paper 横向排名。

16.2 生成目标缺少精确约束

Categorical prompt 提高质量，却无法稳定控制：

• 对象数量；
• 左右 / 前后 / 接触关系；
• object identity；
• 可达性与碰撞；
• 物理稳定性；
• 用户个人偏好。

论文建议未来用 energy-based model 改善 goal control。

16.3 Perspective control 是弱几何条件

Hough lines 只反映二维线条，不保证 camera extrinsics、object scale 或 principal point 一致。在弯曲桌面、无直线背景、强 clutter、视场很窄或线条被对象遮挡时可能失效。

16.4 Depth 是系统瓶颈

Marigold 只给相对深度；scale / shift alignment 假定估计与真实 depth 之间可用全局仿射修正。生成对象形状和尺度如果与真实对象不同，单一对齐不能恢复局部 metric geometry。

16.5 Grasp planning 很弱

几何中心被当作 vacuum grasp point，但：

• 几何中心可能落在空洞 / 不可吸附区域；
• 不是 center of mass；
• 没有 surface normal / suction seal 检查；
• 没有碰撞和可达性评分；
• 不处理透明、柔性、多孔或重物。

论文结论也指出表示尚未给出 center of mass 等抓取关键信息。

16.6 多实例问题

Word-level attention 天然按 category token 聚合。若场景中有两个 apples 或多个相同餐具，representation 可能形成多个 connected regions，但缺少稳定 instance indexing 与 one-to-one assignment。生成器还可能改变对象数量，使问题更难。

16.7 规模与统计

• 3 个场景；
• 450 image pairs；
• 60 robot trials；
• 无多种 robot / camera；
• 无 confidence interval；
• 无 stage-wise failure counts；
• 无标准 pose benchmark。

结果足以证明可行性，不足以证明大规模可靠性。

16.8 复现材料

论文没有在正文 / CVF 页给出可核验官方代码链接。即使方法“training-free”，要复现仍需协调 SD / ControlNet layer extraction、DDIM inversion、attention aggregation、thresholding、ICP、depth alignment、camera–robot calibration 和 manipulation stack。

17. 复现清单

17.1 Perception / generation

• 固定 Stable Diffusion 版本、scheduler、50 denoising steps；
• CFG 7.5 用于 goal generation；
• CFG 0 用于 real reconstruction；
• 保存 random seed；
• 固定 512×512 real RGB preprocessing；
• 记录抽取的 U-Net layers、heads 和 attention aggregation；
• region timestep $T/2$、feature timestep 1；
• thresholds 0.3 / 0.9；
• 明确 tokenization，例如复数、复合词和同义词；
• 记录 Hough transform 参数与 ControlNet checkpoint。

17.2 Matching / geometry

• 从 $R^{real}(w)$ 初始化每个对象；
• 明确 connected-component / instance separation；
• 记录 ICP source / target points、distance threshold、iterations；
• 固定 Marigold 版本；
• 说明 scale / shift 拟合使用哪些 pixels；
• 处理无深度、反光和遮挡区域；
• 将 image coordinate 转到 camera / robot frame；
• 验证单位与坐标系方向。

17.3 Robot

• Lite 6 与 D405 外参标定；
• vacuum tool center point；
• top-down approach / retract height；
• workspace safety margin；
• grasp center 是否落在 mask 内有效 depth；
• 放置碰撞检查；
• 失败恢复策略；
• 每次 trial 保存 prompt、seed、goal、attention maps、depth、ICP transform 和执行日志。

17.4 评价改进

除论文 success rate 外，建议增加：

• object matching precision / recall 与 Hungarian assignment；
• mask IoU；
• camera-view / vanishing-point error；
• depth AbsRel / RMSE（若可获得合成或标定 GT）；
• planar translation / yaw error；
• 完整 $SE(3)$ error（若扩展 roll / pitch）；
• grasp success、place success、layout success 分层；
• stage-wise failure taxonomy；
• 多随机种子 confidence interval。

18. 可改进方向

以下是根据论文局限提出的延伸，不是原文已完成工作。

18.1 从 Hough lines 转向显式 camera conditioning

用已标定 camera intrinsics / extrinsics、depth edge 或 scene geometry 直接控制生成视角，避免只靠二维线条间接约束 perspective。可将目标相机参数编码为 ControlNet / adapter condition，并以 reprojection consistency 评价。

18.2 先生成 scene graph，再生成图像

由语言或 energy model 先产生可验证的 object graph：节点包含 category / count，边包含 left-of、inside、near、aligned 等关系；再条件生成 image goal。这样可以在生成前检查数量和物理约束。

18.3 Instance-aware attention decomposition

对同一 category 的多个 connected regions 建立实例 proposals，再用 geometry、depth 与 assignment 约束 one-to-one matching；避免一个 token map 混合多个 apples / forks。

18.4 把 depth 纳入 representation

论文未来工作也提出将 depth estimation 集成到 representation construction。可以让 cross-attention maps 与 metric RGB-D point cloud 对齐，在真实侧建立 3D object support；目标侧则用生成式 multiview / depth uncertainty，避免把单目 depth 当确定值。

18.5 完整 SE(3) 与 grasp-aware goal

若要真正进入 6D object pose 专题核心集合，需要：

• 输出 $R\in SO(3)$ 与 $t\in\mathbb{R}^3$；
• 能处理侧躺 / 翻转对象；
• 报告 symmetry-aware pose metrics；
• goal 中包含可抓表面、重心、稳定支撑和碰撞；
• 用多视图 / 3D goal representation 代替单张 image goal。

19. 与物体位姿估计研究地图的关系

PACA 的位置可画成：

语言 prompt
    ↓
Stable Diffusion 生成目标图 + 对象 cross-attention
    ↓
真实 RGB-D 的 DDIM inversion / reconstruction
    ↓
real–goal 对象匹配
    ↓
ICP + depth alignment 求 (x,y,z,θ)
    ↓
机器人抓放与相对布局评价

它与核心 6D pose 的交集是：

• 需要 object-level correspondence；
• 需要 relative transformation；
• 需要 RGB-D 与几何对齐；
• 变换进入机器人动作。

差异是：

• 目标来自生成图而非真实参考 / CAD；
• 主输出是 rearranged scene；
• 旋转只有 $\theta$；
• 没有 pose GT 和标准 metric。

因此扩展收录既能展示 pose 的下游价值，也不会污染标准 pose 论文统计。

20. 精读结论

PACA 展示了一个有启发性的 foundation-model interface：diffusion cross-attention 不只用于解释生成图，还可以在目标生成和真实图重建两个方向上形成同构对象表示，从而减少 segmentation–crop–encoder 的多阶段错误。450 对图像上的 86.72% vs 51.35% 是该设计最强、最直接的证据。

机器人闭环进一步证明方法不只是 attention demo，但 68.73% / 65.56% 的任务成功率也显示生成数量 / 空间控制、单目深度、抓取中心和小样本可靠性仍是瓶颈。

最准确的结论是：

PACA 是一个 zero-shot image-goal scene rearrangement pipeline，利用 perspective-conditioned generation 和 joint cross-attention representation 完成对象匹配与 $(x,y,z,\theta)$ 变换，并在真实机器人上达到约三分之二相对布局成功率；它不是完整 $SE(3)$ object pose estimator，也没有提供标准 6D pose accuracy。

对后续研究而言，下一步不是继续扩大“6-DoF”术语，而是把 camera geometry、instance count、metric depth、full rotation、grasp affordance 和 stage-wise uncertainty真正纳入统一表示与评价。