EchoURL：面向超声传感无监督表示学习的双通路信号处理融合方法

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：EchoURL: Dual-Pathway Signal Processing Fusion for Unsupervised Representation Learning in Ultrasound Sensing

　　

EchoURL融合DFS和CIR用于无监督超声感知学习。基于物理一致性的配对视图避免了有害的信号增强。双路径对比学习捕获互补动态特征。该方法提升了超声感知任务中的标注效率。

**引言**

近年来，随着移动和可穿戴设备的普及以及先进音频硬件的发展，高质量的超声信号已可轻松获取，用于各种感知应用[1]。超声感知因此成为一种极具前景的人机交互技术。它通常发射高频声学探测信号，并分析由人体或周围物体反射的回波，以推断运动和动作模式[2]。早期研究主要通过分析波形幅度和相位的变化来识别简单的手势[3]和手部动作[4]。随着先进的信号处理技术的发展，研究者进一步提取了超声回波中更具信息量的特征表示，包括多普勒频移、通道脉冲响应和到达角等，这些特征能够更明确地描述信号变化与人体运动之间的空间关系[5]。此外，结合这些特征表示与深度学习模型，基于学习的超声感知系统实现了更精细的应用，例如手势识别[2,6,7]、手部运动追踪[8,9]以及人体生命体征监测[10,11]。

尽管取得了上述进展，现有的基于学习的超声感知系统仍然主要依赖于有监督的数据驱动流水线[12]。如图1(a)所示，现有方法通常采用单路径信号处理流水线提取与任务相关的特征，并使用人工标注的数据训练深度模型。在这些方法中，实现高精度和高鲁棒性通常需要跨多种用户和环境的大规模标注数据集。然而，与直观的图像或视频不同，超声回波无法被人工标注者直接解读，且在没有专业知识的情况下难以推断其语义含义[13]。此外，可靠的标注通常需要额外的同步机制，例如视频记录或外部参考设备，以将超声信号与真实的运动活动对齐[14,15]。因此，收集大量高质量的超声标注数据既昂贵又耗时，且难以规模化，这已成为限制超声感知系统开发和泛化的主要瓶颈。

大规模标注超声数据集的收集困难自然促使研究者利用无标签数据进行模型训练。然而，现有的大多数无监督表示学习方法是为计算机视觉和自然语言处理而设计的[16]。对比学习是其中的代表性方法，在计算机视觉领域增长迅速，通常通过裁剪、掩码或抖动等变换来构建正样本对[17,18]。然而，这些策略并不直接适用于超声感知。与视觉数据不同，超声回波是物理信号观测，其时间结构、频率动态和多径特征紧密受底层运动过程和声学传播环境的约束。因此，直接应用常规增强可能违反信号的物理一致性，扭曲与运动相关的模式，导致模型走捷径学习而非学习具有物理意义的表示[19,20]。

除了基于增强的多视图学习外，近期研究还探索了从自然对齐的观测中构建多个视图，例如不同模态或传感器[21]。受此多视图学习范式的启发，现有的超声感知研究探索了两个方向：与互补感知模态的多模态融合，以及在超声系统内部构建多个视图的自监督表示学习。现有的跨模态有监督方法将超声信号与额外的感知模态（如惯性或视觉信息）结合，用于姿态估计[22]和手势识别[23,24]等任务。尽管这些方法受益于跨模态的互补信息，但需要额外的感知设备和跨模态同步。与此同时，一些研究在专用的超声感知配置中构建了多个视图。UltraCLR[19]利用双调制超声信号改进手势表示学习，而MoGL[20]将来自多个通道的信号作为不同视图，并应用对比学习进行声学表示学习。然而，这些方法依赖于特定的感知配置，限制了其向更多样化场景的泛化能力。

为了克服上述限制，我们提出了EchoURL，一个利用从同一超声感知事件中提取的互补信号表示之间内在一致性进行无监督超声感知表示学习的框架。如图1(b)所示，EchoURL采用两条信号处理路径从同一事件导出两种互补表示，即多普勒频移（DFS）和通道脉冲响应（CIR）。DFS和CIR以不同的信号处理域编码相同的底层运动事件，使它们能够自然地作为物理一致的正样本对。EchoURL通过不同的信号处理路径从同一超声事件导出互补视图，并将其作为正样本对进行无监督预训练，从而在无需依赖面向图像的增强、额外传感器或专用感知配置的情况下，保留了超声信号的物理有意义结构。

尽管DFS和CIR构成了自然对齐的正样本对，但它们在本质上不同的表示空间中编码了互补的物理线索：DFS强调运动引起的微多普勒特征和时间速度动态，而CIR则表征延迟演化、距离变化和多径传播。直接对齐这些异质表示可能导致不稳定或有偏的优化。因此，EchoURL采用路径特定的编码器和表示特定的翻译器，在将两个视图投影到共享潜在空间的同时保留视图特定的结构，并结合双向跨表示预测器以促进跨视图交互。此外，引入了对称对比目标以平衡两个对齐方向，而路径特定的记忆库则在当前小批次之外提供了多样化的跨视图负样本。

如图1(b)所示，无监督预训练之后，学到的双路径编码器可直接用作通用超声表示或特征骨干网络，仅需在有限标注数据上训练轻量级分类器。我们在三个具有代表性的下游任务上评估了EchoURL，包括数字书写识别、数字书写者身份识别和手势识别，以评估其判别能力和可迁移性。结果一致验证了所提框架的有效性。EchoURL在所有标注比例下均优于MoCo风格的基线和有监督学习基线，在低标注比例情况下优势尤为明显。此外，当从无标签数字书写预训练迁移到不同的手势识别数据集时，EchoURL仍然保持显著的性能提升，展现出强大的跨任务和跨环境泛化能力。

主要贡献总结如下：

- 我们提出了EchoURL，一个无监督超声感知表示学习框架，利用双路径信号处理从同一事件导出配对视图，能够在无标签数据上进行对比预训练，而无需依赖手工设计的增强方法。
- 我们设计了一种双路径对比学习架构，以解决DFS和CIR互补但又异质的特性，从而实现稳定的跨视图对齐和有效的知识迁移。
- 我们在三个代表性下游任务上进行了广泛的评估，涵盖多种标注比例和迁移设置。结果表明EchoURL在各种标注比例下均持续优于MoCo风格的基线方法和有监督基线，尤其在低标注场景下。

**DFS和CIR用于对比学习**

我们首先介绍一种典型的超声感知场景。然后展示双路径信号处理以推导DFS和CIR。最后解释DFS和CIR作为互补视图用于对比学习。

**系统概览**

我们提出EchoURL，一个无监督超声感知表示学习框架，利用双路径信号处理视图之间的内在对应关系从无标签数据中学习可迁移的嵌入。如图3所示，给定一组无标签超声录音，EchoURL首先通过双路径信号处理前端将每个原始波形转换为两种互补表示，即DFS和CIR。这些配对视图随后被输入……

**实验设置**

本节介绍用于评估所提EchoURL框架的实验配置。

**相关工作**

本节对三个相关研究领域进行回顾：超声感知、多模态与跨模态学习、多视图对比学习以及复杂非线性建模的机器学习方法。

**局限性与未来工作**

声学感知系统的性能本质上依赖于接收信号的质量。在当前主动超声感知设置中，大部分常见的环境声学干扰，如人声，主要集中在可听频率范围内，并在超声处理前通过高通滤波器衰减。此外，发射的探测信号工作在高频不可听频段，减少了与普通可听噪声的重叠。静态反射体……

**结论**

本文提出了EchoURL，一个利用双路径信号处理从无标签数据进行对比预训练的无监督超声感知表示学习框架。通过联合利用从同一超声感知事件推导出的DFS和CIR表示，EchoURL超越了传统的单路径有监督范式，实现了具有物理依据的正样本对构建，用于超声表示学习。为应对互补但又……

**CRediT作者贡献声明**

Bingzhi Wang：撰写—审阅与编辑，撰写—初稿，验证，监督，软件，资源，方法论，调查研究，形式化分析，数据管理，概念构思。Jiajun Yu：软件，数据管理。Dengke Zhong：数据管理。Qiao Huang：撰写—审阅与编辑，监督。Jie Yang：撰写—审阅与编辑，监督，资源，项目管理，概念构思。

**利益冲突声明**

作者声明不存在已知的可能影响本文所述工作的竞争性经济利益或个人关系。

Bingzhi Wang | Jiajun Yu | Dengke Zhong | Qiao Huang | Jie Yang