ProM-Pose：基于RGB-D数据的语言引导零样本9自由度物体姿态估计方法，结合生成式3D先验 作者：李宇晨（Yuchen Li）、秦凯（Kai Qin）、吴海涛（Haitao Wu）与曲向军（Xiangjun Qu）

《Electronics》：ProM-Pose: Language-Guided Zero-Shot 9-DoF Object Pose Estimation from RGB-D with Generative 3D Priors Yuchen Li, Kai Qin, Haitao Wu and Xiangjun Qu

　　**摘要**
物体姿态估计对于机器人操控、自动驾驶和增强现实至关重要。然而，从RGB-D观测数据中恢复完整的9自由度（9-DoF）状态（旋转、平移和各向异性的3D缩放）对于之前未见过的物体来说仍然具有挑战性。现有的方法要么依赖于特定的CAD模型，要么依赖于预设的类别边界，要么在观测数据稀疏时会出现尺度不确定性。我们提出了ProM-Pose，这是一个统一的跨模态时间感知框架，用于零样本9自由度物体姿态估计。通过整合语言条件下的生成式3D形状先验作为规范的几何参考、一种用于空间感知融合的不对称跨模态注意力机制，以及一种结合时间精细化的解码策略，ProM-Pose能够在不依赖特定类别的姿态先验或实例级CAD监督的情况下，构建出度量一致且语义上有根据的表示。在CAMERA25和REAL275基准测试上的大量实验表明，ProM-Pose的性能与基于类别的方法相当或更优秀：在CAMERA25上，5°、2厘米的条件下mAP为75.0%，10°、5厘米的条件下为90.5%；在REAL275上，5°、2厘米的条件下mAP为42.2%，10°、5厘米的条件下为76.0%。在实际物流场景中的定性结果进一步验证了其在遮挡和光照变化条件下的时间稳定性和鲁棒性。ProM-Pose有效地在统一的框架内结合了语义基础和度量几何推理，使得在开放词汇表条件下对之前未见过的物体进行稳定且尺度感知的9自由度姿态估计成为可能。

**1. 引言**
随着具身AI和智能机器人系统的快速发展，使自主平台能够感知和与之前未见过的环境交互已成为一项关键技术要求。物体姿态估计为机器人抓取[1,2,3,4]、自动驾驶[5]和增强现实[6]提供了必要的空间理解。在实际应用中，不仅要恢复物体姿态，还要恢复物理上一致的物体尺度，这对于安全操控、避免碰撞以及在数字和物理交互任务中进行可靠的度量推理至关重要。然而，由于光照变化、遮挡以及需要泛化到之前未见过的物体，从现实世界的RGB-D观测数据中可靠地估计完整的9自由度状态仍然具有挑战性。现有方法主要在实例级别[7,8,9,10,11,12,13]操作，依赖于精确的CAD模型或特定实例的监督来恢复物体姿态。尽管这些方法在受控环境下能够达到高精度，但其应用范围本质上限制在预先扫描的物体和固定库存上。为了克服这一限制，基于类别的方法[14,15,16,17,18,19]旨在学习跨物体类别的共享几何表示，从而实现类别内的泛化。然而，这些方法仍然受到预定义的类别分类法的限制，并且当面对显著的类别内尺度变化或明显的几何多样性时，性能通常会下降。如图1所示，这两种范式都不足以处理物体身份事先未知或超出预定义语义边界的场景。为了应对数据稀缺和跨域泛化瓶颈，基于深度学习的智能方法已被广泛采用并在各个工程领域取得了良好的结果。例如，先进的迁移学习和领域适应技术，如条件分布引导的对抗性迁移学习网络[20]、自适应融合的领域循环变分生成对抗网络[21]和动态协作对抗领域适应网络[22]，已经在有效地弥合领域差异和在未标记或数据稀少条件下合成鲁棒特征方面取得了显著成功。从这些跨域成功中获得的灵感，基于视觉的姿态估计方法也采用了领域适应和泛化策略来处理未见过的环境，并弥合合成到现实世界的差距。已经提出了许多跨域和领域转换流程[23,24,25,26,27]来对齐特征分布或在合成渲染和真实世界场景之间转换图像风格，试图将姿态估计器泛化到未标注的目标领域。

**2. 相关工作**
2.1. 几何驱动的姿态估计
早期的物体姿态估计研究主要依赖于显式的几何建模和已知的3D物体表示。经典的实例级方法[7,8,9,10,11,12,13,45]通常学习图像观测和3D模型坐标之间的对应关系，然后使用PnP[46]或ICP[47]进行几何细化。这些方法在标准基准测试上取得了很高的精度[45,48]，但它们对特定实例的CAD模型和密集注释的依赖限制了其在开放世界环境中的可扩展性。为了减少对精确实例模板的依赖，基于类别的方法[14,15,16,17,18,19,49,50,51]学习了跨物体类别的共享几何表示，从而实现了类别内的泛化。然而，这些方法仍然受到预定义的类别分类法的限制，并且在面对显著的类别内尺度变化或明显的几何多样性时性能通常会下降。如图1所示，这两种范式都无法充分处理物体身份事先未知或超出预定义语义边界的情况。

2.2. 生成式先验和模型自由的姿态估计
为了进一步减少对CAD模型的依赖，最近的工作探索了从稀疏观测数据或生成式先验构建物体表示的方法。OnePose、OnePose++和OVE6D[28,29,31,32,33]利用稀疏参考视图或可转移的特征嵌入来估计未见过的物体的姿态。尽管它们提高了灵活性，但它们的性能仍然对参考视图的质量和视图稀疏度敏感。最近在生成式3D建模方面的进展引入了自动生成的几何先验。HIPPo[52]结合了基于扩散的图像到网格的生成和测量引导的优化，InstantPose[53]利用大型重构模型进行单视图3D形状恢复，Any6D[54]通过渲染和比较策略联合优化姿态和大小。这些工作表明，生成式形状先验可以在零样本场景中替代手动创建的CAD模型。然而，现有的零样本解决方案在处理完整的9自由度状态时仍然面临重大挑战。一方面，许多无模型方法（例如FoundationPose[35]）通过强制帧间一致性来提高鲁棒性，但它们通常假设物体大小已知或尺度各向同性，这限制了它们处理具有复杂纵横比的未知物体的能力。另一方面，Diff9D[36]将基于扩散的建模扩展到9自由度预测，但仍然从封闭集训练数据中学习姿态分布，这导致其在泛化到开放词汇表未见过的类别时遇到困难。相比之下，ProM-Pose明确地将各向异性尺度作为一类变量进行建模。通过与语言引导的生成式先验、度量深度约束和时间一致性建模的结合，ProM-Pose克服了FoundationPose等方法在处理开放词汇表未见过的物体时的局限性，实现了更准确和更鲁棒的开放世界9自由度姿态估计。

2.3. 基于语言的开放词汇表姿态估计
早期的基于语言的条件感知方法[55,56,57,58,59]主要在2D层面操作，根据文本描述通过边界框或分割掩码定位目标物体，而不需要显式的3D几何或尺度建模。随着大规模视觉-语言模型[38,39]的出现，最近的工作探索了语言引导的空间理解。Text2Loc[40]和CityLoc[41]在场景级别实现了文本驱动的相机定位，而语言引导的操控方法[42]结合了语义基础和类别级别的姿态估计。SoFar[60]进一步在开放词汇表条件下引入了语义方向预测。然而，这些方法主要关注语义推理，对完整物体姿态和各向异性尺度的建模有限。更近期的开放词汇表姿态流程[43,44]结合了基于语言的检测和下游的几何对齐，实现了文本指定的物体选择。开放世界视觉框架[61,62]进一步增强了基于语言的目标检索。然而，语义信息通常应用在全局物体级别，而几何配准是独立进行的，这导致在混乱场景下难以进行可靠的空间感知和时间稳定的9自由度推理。提出的ProM-Pose框架通过将语言先验、生成式3D几何结构以及基于深度和时间的约束整合在一个统一的框架内，来解决这一不足。总体而言，现有研究通常分别从几何建模、生成式先验或语言grounding的角度来处理对象姿态估计，缺乏一个能够将这些互补信息源联合起来用于复杂9自由度（9-DoF）任务的统一框架。几何驱动的方法提供了结构一致性，但缺乏稳定的语义指导；生成方法提供了形状先验，但对尺度的处理往往有限；而视觉-语言管道主要强调目标检索，而不是度量上一致的3D姿态恢复。因此，在开放词汇条件下实现语义可控、几何一致且尺度意识强的零样本9-DoF姿态估计仍然探索不足，特别是由于旋转各向异性尺度之间的歧义。提出的ProM-Pose框架通过整合语言条件下的生成式3D形状先验、基于深度和时间的约束，以及一个在统一框架内连接语义grounding和度量几何推理的系统级设计，来解决这一问题。

3. 方法
3.1. 概述
提出的框架概述如图2所示。给定一个长度为N的连续多模态观察序列??1:?? ={????}????=1，其中???? ={???,????,??}，??? ∈???×??×3和???? ∈???×??分别表示时间步t的RGB图像和对齐的深度图，??表示目标对象O的文本语义描述，并在整个序列中保持不变，相机内参矩阵??是已知的。训练期间观察到的对象类别与推理时的目标对象类别严格不同。在这种开放集泛化设置下，我们的目标是估计目标对象相对于相机坐标系的九个自由度（9-DoF）姿态：^??1:?? ={^????}????=1，^???? ={^????,^????,^????}，其中^???? ∈??????(3)表示旋转，^???? ∈?3表示平移，^???? ∈?3表示各向异性的3D尺度。我们的方法不学习实例或类别特定的姿态先验，而是旨在在跨模态条件下获得类别无关的几何推理。所有视觉-语言编码器都使用预训练的固定权重来提供稳定的语义和感知表示，而跨模态融合和解码模块则被训练以实现对于之前未见过的对象的几何感知和类别独立的姿态估计。我们框架的完整逐步算法过程总结在算法1中。

算法1 ProM-Pose：零样本9-DoF对象姿态估计
需要的输入：
RGB-D序列 ??1:?? ={???,????}????=1，文本提示 ??，相机内参 K，窗口大小 n
确保的输出：
9-DoF姿态 ^??1:?? ={^????,^????,^????}????=1
1:????????????? ←?????(??)
2:????????? ←GeneratePrior?(?1,??)
3:???????????? ←?????(?????????)
? 提取规范先验几何结构
4: 对于 ?? =1 到 N 执行：
5: ???? ←?????(?????)
6: ?????? ←BackProject?(??????,??)
7: ???????????? ←?????(??????)
8: ???????????? ←?????(Normalize?(??????))
9: ???? ←Proj???(????????????) ⊕Proj???(????????????) ⊕Proj???(?????????????)
10: ???? ←ACA?(??=????,??=????,??=????)
11: {??????,??????,??????} ←PoseTokenExtract?(????,??????,????????????)
12: ???? ←?????? ⊕?????? ⊕??????
13: 结束循环
14: 对于 ?? =1 到 N 执行：
15: ??1:?? ←??????????????(??1:??+??1:??)
16: {^????,^????} ←MLP??????(CrossAttn?(??1:??,????????????))
17: ^???? ←MLP???(??1:??)
18: ?geo=1?????∑??=1
? 保持度量围界的各向异性尺度解码

图2. ProM-Pose的整个流程。在每个时间步骤中，以对象为中心的RGB-D观察被编码为视觉和几何令牌，同时文本提示提供语义指导。从第一帧生成的规范几何先验补充了度量深度观察。提出的非对称跨模态注意机制选择性地将多模态证据聚合到融合特征????中。从质心、主要方向和范围描述符初始化的几何感知查询提取与姿态相关的旋转、平移和各向异性尺度的令牌。这些令牌通过时间建模进一步细化，并解码为一致的9-DoF姿态序列。

3.2. 视觉和文本编码
我们首先使用开放词汇对象检测器Grounded-SAM 2 [61,63,64] 和文本提示??来定位目标区域。检测器输出一个2D边界框和一个分割掩码，我们使用这些来裁剪输入为以对象为中心的RGB图像?????和一个清晰的深度图??????。这有效地抑制了背景杂乱，使模型专注于与对象相关的外观和几何线索。我们采用DINOv2 [65] 作为视觉编码器????来提取多尺度空间特征???? =?????(?????)。同时，BERT [66] 作为文本编码器????将??编码为令牌级语义表示??text =????text?(??)。与CLIP风格的方法[38,62]不同，后者对齐全局嵌入，这种设计强调空间意识和局部对应关系，为后续融合提供了稳定的语义锚点。

3.3. 深度和几何编码
给定相机内参??，我们将??????反向投影到一个度量3D点云??????中，以提供物理基础：
??????={?????(??,??)=???????(??,??)????1?[??,??,1]?} （1）
其中（??,??）表示像素坐标。为了将旋转推理与度量依赖的尺度和平移分开，我们引入了一种双重的几何编码策略。具体来说，度量几何??????保留了平移和尺度估计所需的绝对空间测量，而规范几何提供了在不同对象距离和大小下稳定的旋转预测的视图不变形状线索。为了获得适用于旋转推理的形状导向表示，我们通过将??????居中并将其规范化为一个单位轴对齐的边界框来构建一个规范化的点云版本???????。此外，我们使用基于扩散的生成器Hunyuan3D [67] 根据??和?????生成一个对象级网格???。生成的网格仅用作结构规范参考，不提供度量尺度或实例特定的几何监督。我们从生成的网格中采样一个点云，并同样将其规范化为一个规范化的先验点云?????。然后我们采用Point Transformer [68] 作为共享的几何编码器????来提取三个互补的特征流：
??met??=?????(??????)，??can??=?????(ˉ??????)，??can??=?????(ˉ????） （2）
其中??????表示观察到的度量点云，?????表示其规范化版本，?????表示生成的规范先验。编码器????在所有三个输入上共享权重。这种解耦的编码明确地将度量基础（??met??）与以形状为中心的推理（??can??,??can??）分开。

3.4. 非对称跨模态注意机制
为了构建具有语义感知和几何一致性的表示，我们引入了一个如图3所示的非对称跨模态注意（ACA）模块。该模块将视觉令牌????视为查询，使用文本和几何特征作为键和值。通过将注意固定在视觉令牌上，模型选择性地检索与观察到的对象相对应的空间位置的语义和几何证据，避免无序的特征混合。

3.5. 姿态令牌提取
为了从????中提取紧凑的姿态相关表示，我们采用图4所示的基于查询的聚合策略。图4. 姿态令牌提取概览。来自??????的几何线索形成????，而度量特征??met??被平均池化为??met??。得到的描述符调节可学习的姿态查询，这些查询关注融合令牌????以产生{??????,??????,??????}。我们首先通过从??????提取一个轻量级描述符????来进行几何信息初始化。我们抑制深度分布[??5,??95]百分位数范围内的深度异常值，并通过主成分分析（PCA）计算协方差Σ??得到质心????和主要方向????，以及由轴对齐的边界框定义的粗略对象范围????：
????=1∣??????∣?∑??∈????????,Σ??=1∣??????∣?∑??∈??????(???????)?(???????)?，
????=????⊕vec?(????)⊕????。 （6）
其中????表示PCA主要方向，vec2( ·)表示向量化。为了保持细粒度的度量几何，我们通过全局平均池化来聚合??met??以获得??met??。然后我们定义两个专门的描述符：?????? =????用于旋转以避免度量偏差，以及????????? =???? ⊕??met??用于平移和尺度。这些描述符调节可学习的查询嵌入??(0) * 以产生几何条件下的姿态查询??? *。这里，??(0) * 表示可学习的查询嵌入，??met??是通过全局平均池化获得的。最终姿态令牌{??????,??????,??????}是通过在??? * 和????之间的交叉注意获得的。
?????=??(0)??+MLP???(??????)，?????=??(0)??+MLP???(?????????)，?????=??(0)??+MLP???(?????????）。
（7）
其中Attn2( ·)表示标准的交叉注意操作符。

3.6. 解耦的姿态解码和时间细化
为了解决方向和尺度之间的内在耦合，我们实现了一种度量-规范解耦策略，根据它们的几何依赖性分离姿态组件。具体来说，旋转令牌??????基于视图不变的规范线索（??circ????????,??circ????????）进行定位，而平移和尺度令牌（??????,??????）利用绝对度量测量??mc????????来确保物理一致性。为了进一步减少帧间抖动和部分可观测性，这些专门的姿态令牌被聚合并通过共享的时间变换器??temp进行建模，以模拟跨帧的几何一致性（图5）。图5. 解耦的姿态解码和时间细化架构。对于每一帧，旋转、平移和尺度姿态令牌被聚合并排列到一个带有位置编码的滑动时间窗口中。共享的时间变换器??temp模拟跨帧的几何一致性并产生时间细化特征??1:??。然后9-DoF估计被分解为两个特定任务的头部：（1）一个旋转-平移头部，它通过交叉注意将共享特征条件化为规范先验形状令牌??来稳定方向和平移估计；（2）一个各向异性尺度头部，它直接从时间特征预测度量尺度而无需先验条件。这种解耦设计能够在保持无偏度量尺度推断的同时，实现稳定的结构对齐。对于每一帧t，我们将姿态令牌聚合为一个每帧表示???? =?????? ⊕?????? ⊕??????。给定一个n帧的滑动时间窗口，我们结合可学习的位置编码??1:??来保持时间顺序，得到细化特征：
??1:??=??temp?(??1:??+??1:??） （9）
其中??1:??作为所有下游任务共享的一致的几何表示。我们将9-DoF估计分解为两个专门的头部。旋转-平移头部将共享特征??1:??条件化为规范先验形状令牌??（来自??can??），以稳定方向对齐。这确保了估计的旋转和平移基于稳定的结构参考：
{^????,^????}=MLP??????(??head??????(??1:??,??)) （10）
相比之下，各向异性尺度头部仅基于共享的时间特征??1:??操作，无需先验条件。这确保了尺度^????完全从度量观察中推断出来，以避免来自生成先验的偏差：
^????=MLP???(??head??2(??1:??)) （11）
这种特定在时间建模方面，我们将滑动窗口长度设置为?? =16，这是在长期一致性和计算效率之间取得平衡的一个值。我们评估了8到24帧范围内的时间窗口长度。较短的窗口会削弱多视图几何一致性并增加帧间的抖动，而较长的窗口虽然能略微提高准确性，但会引入额外的内存开销。基于这一分析，我们选择?? =16，因为它在时间鲁棒性和计算效率之间提供了良好的折中。该模型使用Adam优化器[70]进行端到端训练，共20个周期，优化器参数设置为??1 =0.9, ??2 =0.999。我们采用余弦退火调度器[71]，初始学习率为1 ×10?4，并以5 ×10?4的权重衰减率逐渐降至1 ×10?5。为了增强对类别无关估计的鲁棒性，我们应用了在线数据增强技术，包括对RGB图像进行随机颜色抖动和对深度投影点云进行随机点dropout（最高20%）。此外，我们评估了不同的损失-权重组合，参数为??geo ∈{1,3,5,10,15}和??temp ∈{0.1,0.3,0.5,0.7,1.0}。我们发现，过小的几何权重会导致结构约束不足和各向异性尺度估计不稳定，而过大的权重则会过度限制优化过程并减缓收敛速度。时间权重控制了抖动抑制和运动响应性之间的平衡：较小的时间权重无法保证时间一致性，而较大的时间权重则会导致运动过度平滑。根据这些观察结果，我们选择了配置（??geo,??temp）=(10.0,0.5），因为它在几何准确性和时间稳定性之间实现了最佳平衡。我们进一步观察到，在这一配置附近一个合理的范围内，模型性能稳定，表明所提出的框架并不依赖于精心调整的损失权重。

对于每个序列，我们使用Hunyuan3D-Shape-v2-1 [67]根据第一帧的RGB图像和文本提示生成一个规范网格。我们从网格表面均匀采样???? =5000个点来形成规范先验ˉ????。观测到的点云??????是根据已知的内部参数??从深度图中得到的，并通过最远点采样（FPS）降采样到2048个点，以确保均匀的空间覆盖。在基于PCA的特征提取过程中，我们通过将深度异常值剪切在[5%,95%]百分位数范围内来使用稳健的协方差估计方法。

所有实验都在单独的NVIDIA L40 GPU（48GB RAM）（NVIDIA公司，加利福尼亚州圣克拉拉）上进行。整个数据集的训练过程大约需要10小时。在推理时，我们的框架能够达到12 FPS的帧率。需要注意的是，Hunyuan3D [67]生成的网格仅在每个序列中执行一次，因此不会成为连续跟踪阶段的瓶颈。

4.2. 数据集
我们在两个公开的RGB-D基准数据集CAMERA25 [49]和REAL275 [49]上评估ProM-Pose，以及一个自收集的实际世界数据集LogiScan。
CAMERA25 [49]是一个广泛使用的大规模合成RGB-D数据集，包含六个对象类别，并带有实例级别的9自由度（9-DoF）注释。我们使用基本类别名称（例如‘bottle’、‘can’、‘camera’）作为主要锚点来构建文本提示??。遵循标准协议，我们在训练期间仅使用CAMERA25的训练/验证集，并仅在CAMERA25的测试集上进行评估，以确保训练和测试实例之间没有重叠。
REAL275 [49]是一个补充CAMERA25的实际世界RGB-D数据集，涵盖相同的六个对象类别，用于评估实际环境中的跨实例泛化能力。与合成评估类似，我们使用类别名称作为主要锚点进行定量基准测试。在推理过程中，该框架还通过处理描述性短语（如‘brown open laptop’）展示了其开放词汇表的灵活性。在我们的零样本设置中，我们不在REAL275上进行训练，而仅在官方提供的2754张测试图像上进行评估。
LogiScan是一个在实际物流和仓库场景中使用Azure Kinect传感器（微软公司，华盛顿州雷德蒙德）收集的实际世界RGB-D数据集，如图6所示。它包括托盘、纸板箱和形状不规则的包裹，以及各种堆叠方式、遮挡和光照变化。我们对原始RGB-D序列进行深度到颜色的对齐和中心视场裁剪，并相应地更新相机内部参数，以确保像素级的对应性和几何一致性[72]。对于这个数据集，我们使用详细的描述性短语（例如‘Yellow Wooden Pallet’和‘Industrial Wooden Pallet’）来构建文本提示??。由于在这种设置下为大型或严重遮挡的对象获取准确的9自由度真实标签是不切实际的，我们主要使用LogiScan进行定性评估，以评估鲁棒性、时间稳定性和尺度一致性。

4.3. 评估指标
遵循广泛采用的评估方案[14,15,36,49]，为了定量评估姿态估计性能，我们使用两种类型的指标：3D交并比（IoU3D）和??°,?? cm。具体来说，IoU3D和??°,?? cm阈值的平均精度（mAP%）被报告为最终评估结果。
我们计算预测的9自由度定向边界框与真实边界框之间的IoU3D：
IoU3D=??(??pred∩??gt)??(??pred∪??gt), (18)
其中??pred和??gt分别表示预测和真实的3D边界框，??(·)表示体积，∩和∪表示交集和并集。当IoU3D超过给定阈值时，样本被认为是正确的。我们报告了0.5和0.75阈值下的准确性，分别表示为3D50和3D75。
??°, ?? cm指标认为只有当旋转误差Δ??和平移误差Δ??分别在??°和?? cm范围内时，预测的姿态才是正确的。给定预测姿态(^????,^????)和真实姿态(????,????)，误差和总体准确性定义为
Δ????=arccos?? ? ? ??Tr^(^??????????)?1/2?? ? ? ??,Δ????=∥^?????????∥2 (19)
Accuracy=1/N∑??=1∩(Δ????其中arccos?(·)表示用于计算角度距离的反余弦函数；Tr^(·)是矩阵对角元素之和的迹运算符；∥·∥2表示两个向量之间的欧几里得距离（L2范数）；cm是平移误差的单位；N是样本总数；?(·)是 indicatore 函数，如果条件满足则输出1，否则输出0。与大多数之前的工作类似，我们使用5°, 2 cm、5°, 5 cm、10°, 2 cm和10°, 5 cm作为评估阈值。

4.4. 定量结果
我们将ProM-Pose与几种代表性的方法进行比较，包括基于形状先验的方法SPD [15]和SGPA [50]、由变换器引导的形状重建方法STG6D [51]、基于9自由度扩散的模型Diff9D [36]，以及开放词汇表的6D姿态估计方法Horyon [44]。对于CAMERA25的训练，所有方法仅使用合成数据。对于REAL275，一些基线方法采用混合数据策略，每批随机从REAL275和CAMERA25中选择图像，比例为1:3。Diff9D、Horyon和我们的ProM-Pose在严格的零样本设置下进行评估，仅使用合成数据进行训练，以展示其泛化能力。为了确保统计上的鲁棒性，ProM-Pose的所有REAL275结果都是在三次独立运行上的平均值，每次运行使用不同的随机种子，并报告平均值和标准差。定量结果总结在表1中。表1显示了在CAMERA25和REAL275数据集上的定量比较。性能使用平均精度（mAP%）在不同的3D IoU阈值和??°??? cm姿态误差指标上进行评估。我们的ProM-Pose在零样本设置下取得了最先进的结果，显示出比现有方法更强的泛化能力。粗体值表示最佳性能。在合成的CAMERA25基准测试中，ProM-Pose在3D IoU和严格姿态指标上都取得了最先进或竞争性的性能。特别是，我们的方法在????????50和????????75等高精度阈值下展示了强大的估计能力，同时始终优于基于形状先验的基线SPD和SGPA。值得注意的是，尽管STG6D依赖于序列建模，ProM-Pose仍然与之保持高度竞争力。

4.5. 定性评估
4.5.1. 在公共基准测试上的结果
图7展示了在CAMERA25和REAL275上的定性姿态估计结果。尽管背景杂乱且有部分遮挡，ProM-Pose仍生成了紧密对齐的3D边界框，展示了稳定的几何对齐和跨视点的姿态估计一致性。图7显示了CAMERA25（上排）和REAL275（下排）的定性姿态估计结果。真实的3D边界框用红色表示，ProM-Pose的预测结果用绿色表示。图8展示了在REAL275上基于文本提示的开放词汇表9自由度姿态估计结果。即使在外观变化和遮挡的情况下，ProM-Pose也能一致地定位目标对象并恢复几何上一致的姿态，验证了语言条件生成先验和跨模态融合的有效性。图8显示了REAL275上的开放词汇表9自由度姿态估计结果。查询图像被加深以突出预测的对象姿态。为了进一步分析在不同容忍度下的鲁棒性，图9报告了在IoU、旋转和平移阈值上的平均精度曲线。ProM-Pose在REAL275上始终保持比SGPA更高的精度，特别是在更严格的条件下，表明了更好的几何对齐和跨域泛化能力。

4.5.2. 工业实际世界验证
我们还在使用Azure Kinect传感器在物流和仓库环境中收集的LogiScan数据集上评估了ProM-Pose。如图10所示，在正常光照条件下，模型在连续帧间保持了一致的3D对齐。图10显示了在正常光照条件下的LogiScan定性结果。目标对象在帧间被一致地定位。在具有挑战性的光照条件下（图11），ProM-Pose在大多数帧中仍然保持鲁棒性。只有在光照严重下降和可见度受限的情况下才会出现失败。图11显示了在低光照条件下的失败案例。最后一帧显示了由于极端可见度下降导致的失败情况。

4.6. 推理效率
为了确保公平比较，我们在相同的硬件平台上使用单个NVIDIA L40 GPU在REAL275评估设置下评估ProM-Pose和Diff9D。ProM-Pose的帧率约为12 FPS，而Diff9N在使用官方实现和默认推理配置时的运行速度约为18 FPS。尽管帧率较低，但ProM-Pose在严格姿态指标下取得了显著更高的准确性，并通过确定性的单次前向传递产生了稳定的预测。与基于扩散的迭代推理相比，所提出的方法保持了始终如一的延迟，并避免了采样引起的可变性。未来的改进可能会结合高效的注意力机制，如FlashAttention [73]。

4.7. 消融研究
我们在REAL275数据集上进行了系统的消融实验，以分析ProM-Pose中每个组件的贡献。消融结果来自单次代表性运行（接近平均性能的种子），而主要的REAL275结果是在三次运行上的平均值（平均值±标准差）。定量结果总结在表2中，该表展示了REAL275上的消融研究，以检查ProM-Pose中每个组件的贡献。表2显示了REAL275上的消融结果。Gen3D：生成式3D先验，ACA：非对称跨模态注意力模块，MCD：度量-规范解耦策略，TempC：时间一致性模块，?geo：几何一致性损失。?表示相应的组件被使用。移除生成式3D先验（Gen3D）在严格姿态阈值下导致最显著的性能下降，尤其是在5°, 2 cm指标下。这一观察表明，语言条件下的规范先验为未见对象提供了必要的结构指导。没有这个先验，旋转估计更容易受到部分观察和类别级别歧义的影响。
度量-规范解耦策略（MCD）和时间一致性建模（TempC）也有显著贡献。消除MCD可以减少翻译和各向异性尺度误差，从而证实将度量依赖的推理与规范形状表示分离能够缓解优化冲突。同样，移除时间模块会导致所有评估指标的性能一致下降，这表明多帧聚合有效地抑制了帧间抖动，并在遮挡和噪声深度测量下提高了鲁棒性。非对称跨模态注意力（ACA）和几何一致性损失?geo进一步提供了互补的改进。用对称融合替换ACA会削弱语义-几何对齐，突显了空间编码跨模态交互的好处。同时，消除?geo特别会影响IoU75，表明其在强制细粒度3D对齐和稳定各向异性尺度估计中的作用。总体而言，每个模块都对9自由度（9-DoF）估计过程的不同方面做出了贡献，包括语义基础、度量尺度分离、时间稳定性和几何一致性。它们的组合效应使得在开放词汇场景中能够实现稳定且准确的零样本姿态估计。

5. 讨论
我们的结果显示，在零样本条件下，ProM-Pose在CAMERA25和REAL275上的表现具有竞争力。ProM-Pose的核心创新不在于单个模块的新颖性，而在于它们战略性的整合，以解决开放世界环境中的9自由度估计问题。通过使用语言条件下的生成先验来锚定系统，并通过时间度量约束对其进行优化，我们提供了一种比Diff9D [36]这样的类别依赖模型和FoundationPose [35]这样的尺度受限框架更为稳健的替代方案。然而，仍然存在一些未解决的问题。首先，生成先验的质量取决于底层的扩散模型，对于高度不规则或结构复杂的物体可能会失效。其次，该框架在缺乏纹理的区域表现较差，因为视觉特征的区分度会降低。第三，在REAL275上的跨域性能（5°，2厘米时为38.2%）仍低于合成结果，表明在严格阈值下存在持续的模拟到真实的差距。主要限制包括：依赖RGB-D的有限部署范围、固定时间窗口无法处理长时间遮挡、一次性生成先验容易受到初始帧质量的影响，以及较慢的推理速度（12 FPS）限制了实时应用。未来的工作应优先考虑单目RGB扩展、自适应多假设先验选择和加速策略。

6. 结论
本文提出了ProM-Pose，这是一个统一的跨模态时间感知框架，用于从RGB-D观测数据中进行零样本9自由度物体姿态估计。通过整合语言条件下的生成3D形状先验作为规范几何参考、非对称跨模态注意力机制以实现空间感知的融合，以及结合时间细化的解码策略，ProM-Pose提供了一个超越预定义类别边界和当前最先进基础中各向同性尺度假设限制的9自由度建模的新系统级解决方案。在CAMERA25和REAL275基准测试上的广泛实验证明，我们的方法与最先进的类别级方法相比具有竞争力的性能，尤其是在严格的姿态阈值下。对现实世界物流场景的定性评估进一步验证了其在遮挡和光照变化下的时间稳定性和鲁棒性。这项工作从结构角度形式化了零样本9自由度姿态估计问题，将其概念化为一个多模态约束满足问题。具体来说，我们展示了语义指导、几何一致性和尺度可观测性是本质上相互关联的，而不是独立可优化的组件。语言不仅仅是一个辅助线索，而是一个在开放词汇条件下限制几何解空间的假设选择器。几何一致性提供了稳定度量推理所需的物理基础，而时间变化通过解决旋转和各向异性尺度之间的内在耦合提高了尺度可观测性。从这个角度来看，可靠的9自由度感知来自于语义选择和度量约束之间的协调交互，而不是来自孤立的架构模块。我们认为这种统一的形式为开放世界空间感知提供了一个原则性的方向，在这个方向上，语义开放性和度量可靠性必须共存。未来的工作将集中在将框架扩展到单目RGB设置、集成自适应先验优化机制以及加速实时机器人应用的推理速度上。