TOFusion：基于文本引导且具备对象感知能力的红外与可见光图像融合技术

《Pattern Recognition》：TOFusion: Text-guided and Object-aware Infrared and Visible Image Fusion

点云三维姿态估计中提出结构感知表征学习框架SARL，通过几何引导注意力模块GGA增强局部几何特征，结合频域增强Transformer FEPT抑制噪声干扰，在复杂场景下显著提升姿态估计精度。

　　

Kefan Chen | Yong Wang | Xin Du | Mengyuan Liu

重庆理工大学人工智能学院，重庆，401135，中国

摘要

当前基于点云的3D人体姿态估计研究在有效建模内在点关联和细粒度局部几何结构方面面临显著挑战。在全局坐标系中，微妙的关节运动常常被抑制，尤其是在噪声干扰下，这阻碍了准确的特征提取。为了解决这些限制，我们提出了结构感知表示学习（SARL）这一新颖框架，它增强了局部区分性和全局鲁棒性。为了进行详细的局部建模，我们引入了一个即插即用的几何引导注意力（GGA）模块，该模块为人体多个区域建立了专用的局部坐标系。通过几何引导的变换，GGA放大了微妙的姿态变化，使得细粒度局部特征的提取更加准确，显著增强了结构关联建模。然而，过度细粒度的点云感知可能会放大非人类和背景噪声点的影响。为了解决这个问题，我们进一步提出了频率增强点变换器（FEPT），该变换器结合了基于离散余弦变换（DCT）的频域调制，选择性地增强低频人体配置信号，同时抑制高频噪声，实现了噪声鲁棒性与全局-局部特征的深度融合。在Sloper4D和Human-M3数据集上的广泛实验表明，SARL的性能始终优于现有方法。代码可在以下链接获取：https://github.com/chenchouchou123/SARL

引言

3D人体姿态估计是从图像、深度图和点云等3D输入数据中精确定位人体骨骼关键点或关节的技术过程。这项技术已成为虚拟现实（VR）[1]、增强现实（AR）[3]、[4]、[5]、运动分析[6]、[7]、健康监测[8]、[9]、3D人体网格恢复[10]、[11]以及人机交互[12]等领域的关键组成部分，是理解和模拟人体动态[13]、[14]的重要工具。然而，随着现实世界应用的复杂性增加，遮挡、姿态多样性以及身体细节信息的丢失等问题继续影响姿态估计的准确性。

虽然基于2D到3D的转换和RGB的方法[15]、[16]、[17]、[18]、[19]、[20]、[21]、[22]、[23]在单视图3D姿态估计方面取得了显著进展，但它们仍然难以处理遮挡、视角变化和复杂的照明条件。相比之下，点云数据直接捕捉了3D空间的几何结构，减少了深度歧义，并提供了更准确的空间和深度信息。在本文中，我们专注于利用点云数据作为输入，旨在构建一个更加鲁棒和准确的3D人体姿态估计框架。

在点云建模中，早期的方法如PointNet和PointNet++ [24]、[25]、[26]主要基于多层感知器（MLP）架构，并通过局部特征学习和层次特征聚合在不规则和稀疏的点云数据上取得了良好的性能。随着Transformer [27]架构的引入，研究逐渐转向建模全局依赖性。一些方法[10]、[28]、[29]通过结合自注意力机制和迭代优化策略增强了整体姿态结构的建模能力。然而，这些方法难以有效处理点云数据中的固有噪声，导致在复杂和噪声环境中性能受限。

在复杂的噪声环境中，基于点云的姿态估计研究仍面临重大限制，主要在于无法全面捕捉点云内的内在关联，从而难以有效描述其细粒度的局部几何结构。此外，我们观察到，在全局坐标系下，人体关节的微妙运动表示常常被抑制，特别是在噪声干扰的影响下，这些细微变化难以准确捕捉和提取，导致模型在复杂环境中的泛化能力受限。为了解决这些问题，我们系统地研究了不同3D坐标系下点云的表示形式[30]、[31]以及频域特征调制在特征提取过程中的影响。我们提出了一种新颖的模型，即结构感知表示学习（SARL）。在这个架构中，为了捕捉详细信息，我们设计了一个即插即用的几何引导注意力模块（GGA），为人体的多个局部区域（如关节和肢体部分）建立专用坐标系。通过有针对性的几何变换，它增强了微妙姿态的表示能力，并指导模型从复杂的点云中准确提取细粒度特征，从而显著提高了局部结构相关性的捕捉能力。值得注意的是，虽然几何增强局部坐标系（GEL）为局部点云提供了更强的几何感知，使我们能够利用GEL衍生的几何特征来指导模型进行有效的特征提取，但在局部特征提取过程中对点云进行过度细粒度的处理会忽略非人类点的噪声影响。因此，我们引入了频率增强点变换器（FEPT）。在传统空间域特征提取的基础上，我们创新性地引入了离散余弦变换（DCT）并设计了参数化的频域过滤策略。通过放大低频人体配置信号并抑制高频干扰，该策略实现了频谱选择性去噪，使模型构建出噪声鲁棒的全局姿态骨架，并实现了噪声鲁棒性与全局-局部特征的深度融合。为了证明其有效性，我们在最新的基于点云的3D人体姿态估计模型以及点云对象分类和分割任务上进行了实验。实验结果表明，结合GGA和FEPT模块显著提高了性能。

具体来说，GGA首先通过最远点采样（FPS）选择关键点，并使用K最近邻（KNN）为每个关键点构建局部邻域。然后通过计算邻域内相对位移的协方差来恢复主导的局部方向，构建几何增强局部坐标系（GEL），并将邻近点投影到这个局部坐标系中，从而明确增强了关节周围的微妙姿态线索和局部几何区分性，防止它们在全球坐标系下被噪声和全局尺度效应掩盖，如图1所示。对于特征建模，几何引导注意力模块进一步引入了局部表示构建和聚合的集成机制：我们共同编码关键点坐标嵌入、基于GEL的几何表示和相对位移表示，将它们连接起来形成边缘特征输入，并采用EdgeConv风格的映射来明确建模“中心-邻居”关系。然后我们融合几何特征和边缘特征，并采用几何注意力加权的邻域聚合，根据几何一致性自适应选择更可靠的邻居贡献，生成更抗噪声且对细粒度细节更敏感的关键点级局部特征。作为即插即用模块，GGA可以无缝集成到各种点云任务中，为后续的全局建模提供高质量的局部结构先验。

在全球特征提取阶段，我们提出了频率增强点变换器（FEPT）。FEPT采用U形架构[32]进行多尺度建模，并将每个核心单元统一为FEBlock。与仅依赖空间域注意力的传统点云变换器不同，FEBlock使用分组向量注意力（GVA）[28]作为结构化空间聚合的骨干，并额外引入了一个轻量级的频率增强分支，将频谱建模紧密嵌入到点云特征流中，以实现频谱选择性的噪声和异常值抑制。具体来说，FEBlock首先利用GVA的分组机制在空间域中进行分组聚合，产生具有内在分组通道组织的特征。这种分组表示随后直接作为输入传递到频谱增强阶段，在每个组内沿通道维度应用离散余弦变换（DCT）[33]，将点云特征分解为不同频率带的结构成分。我们进一步设计了一种参数化的分段带通过滤策略，放大与人体形状/骨架先验相对应的高频线索，同时抑制高频噪声和局部干扰，并通过平滑过渡避免频谱振铃伪影。过滤后的特征通过逆变换映射回空间域，实现可控的频谱信息注入空间特征。最后，采用自适应门控融合来动态调节增强强度，使模型在保持空间区分性的同时实现频谱选择性去噪，从而学习更稳定的点云表示并增强全局结构感知。

总结来说，我们的主要贡献如下：

•

我们提出了结构感知表示学习（SARL），用于在具有显著噪声和干扰的复杂场景中进行基于点云的人体姿态估计。从表示的角度出发，我们系统地描述了点云在不同坐标系下的表示方式，并将几何先验和频谱调制纳入网络骨干。这使得模型能够在保持对整体人体结构的稳定感知的同时，精确关注关键区域的细粒度细节。

•

我们引入了两个关键模块来增强特征表示。第一个是几何引导注意力模块（GGA），它通过几何增强的局部坐标系和边缘关系建模来增强关节邻域中的区分性结构线索，用于细粒度局部建模。第二个是频率增强点变换器（FEPT），用于鲁棒的全局建模，它通过基于DCT的频率选择性增强和自适应门控融合来增强空间域注意力，实现噪声和异常值的频谱抑制和更稳定的特征学习。

•

我们在公共基准数据集Sloper4D [34]和Human-M3 [35]上进行了广泛的实验，结果表明SARL在复杂场景下的姿态估计准确性和鲁棒性方面始终优于现有方法。

部分摘录

基于LiDar点云的3D人体姿态估计

近年来，基于LiDAR的3D人体姿态估计（3D HPE）因其深度感知能力和适用于户外场景而受到越来越多的关注。随着标注点云数据集的日益丰富，直接操作点云的端到端方法应运而生。LPFormer [36]仅使用LiDAR点云和3D注释进行姿态估计，显示出集成到多任务LiDAR感知框架中的强大潜力。LiDARCap [37]

方法

在具有严重噪声和背景干扰的复杂基于点云的人体姿态估计场景中，我们观察到现有方法通常面临两个根本性挑战。一方面，局部结构建模通常是在全局坐标系下进行的，其中关节邻域内的细粒度几何变化容易受到全局尺度差异的影响，难以形成稳定和具有区分性的局部表示。

数据集和指标

Sloper4D [34]于2023年发布，旨在推进复杂户外场景中3D人体姿态估计的研究，重点关注大型城市环境中的人体-环境交互。它包括15个人体运动序列，覆盖了超过7公里的运动轨迹，数据类型包括LiDAR点云、RGB图像和视频。真实数据是从集成有LiDAR和摄像头的头戴设备中以第一人称视角记录的。

结论和未来工作

本文提出了SARL，这是一种新颖的3D点云人体姿态估计架构，旨在有效应对复杂噪声环境带来的挑战。通过结合用于局部特征提取的几何引导注意力（GGA）模块和用于全局特征建模的频率增强点变换器（FEPT），SARL解决了传统方法中的关键问题，如局部几何特征表示不足和对噪声的敏感性。即插即用的GGA

CRediT作者贡献声明

Kefan Chen：撰写——原始草稿、可视化、验证、方法论、概念化。Yong Wang：撰写——审阅与编辑、监督、资源管理、项目管理。Xin Du：撰写——审阅与编辑、可视化、验证、概念化。Mengyuan Liu：撰写——审阅与编辑、监督、项目管理、资金获取。

利益冲突声明

Mengyuan Liu报告获得了国家自然科学基金（编号62473007）的财政支持。Mengyuan Liu还获得了深圳市科技创新优秀青年学者基金（编号RCYX20231211090248064）的财政支持。如果还有其他作者，他们声明没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作得到了国家自然科学基金（编号62473007）和深圳市科技创新优秀青年学者基金（编号RCYX20231211090248064）的支持。