UCros-rPPGNet：基于抗噪学习、可靠性感知融合与跨谱转换的无监督跨模态 rPPG 估计

《Expert Systems with Applications》：UCros-rPPGNet: Unsupervised Cross-Modal rPPG Estimation via Noise-Resistant Learning, Reliability-Aware Fusion, and Cross-Spectral Translation

　　

## 摘要

无监督远程光电容积脉搏波（rPPG）估计旨在不依赖真实标签的情况下，从面部视频中提取生理信号。尽管单模态无监督方法通常依赖RGB模态，但在动态光照和运动条件下，其性能往往会下降。本文提出UCros-rPPGNet，一个完全无监督的跨模态框架，协同利用RGB和近红外（NIR）模态。为确保鲁棒估计，我们引入了三种集成策略：（1）抗噪学习，通过噪声学习器将生理特征与环境伪影解耦；（2）可靠性感知的可学习融合，利用不确定性估计器根据信号质量动态加权各模态的贡献；（3）跨光谱翻译，采用双向适配器在推理过程中即使缺少某一模态也能保持运算的连续性。此外，我们建立了DG-CMrPPG，一个专门设计用于评估在多样领域偏移和干扰下跨模态rPPG性能的新基准协议。大量实验表明，UCros-rPPGNet不仅优于现有的无监督方法，还在多个具有挑战性的场景中超越了有监督方法，证明了跨模态翻译和融合在无标签生理感知中的有效性。

## 引言

远程光电容积脉搏波（rPPG）已成为一种非侵入且便捷的生理信号监测方案，例如心率（HR），通过检测心血管活动引起的微妙皮肤颜色变化来实现。尽管有监督估计方法已取得了显著的准确率，但其性能高度依赖于大规模带有同步真实生理标签的数据集的可用性（例如ECG或接触式PPG）。在许多实际应用中，这类标签难以获取甚至无法获取，这促使了无监督rPPG方法的发展，这些方法可以直接从未标记的视频数据中学习。

然而，当前的无监督框架主要依赖RGB光谱，极易受环境变化影响。如图1（a）所示，可见光传感器在低光条件下性能下降，且容易受到非均匀光照和阴影的影响。相比之下，如图1（b）所示的近红外（NIR）成像在极端光照条件下具有更好的鲁棒性，但与RGB相比，对运动伪影更为敏感，例如驾驶场景中遇到的情况。因此，依赖单一模态，无论是RGB还是NIR，仍然是实现跨多样环境鲁棒生理感知的瓶颈。尽管近期的多模态方法已经探索了跨光谱集成，但它们主要采用有监督范式，而无监督跨模态学习的潜力在很大程度上仍未被探索。

然而，无监督多模态rPPG估计引入了超出有监督设置和单模态设置所遇挑战的问题。第一个挑战是缺乏真实监督。没有标记的生理信号，无监督模型可能会过拟合到特定领域的噪声，或学习到在统计上显著但在生理上无关的特征。因此，很难确保提取的特征表示真正捕捉到了潜在的脉搏信号，而非环境伪影。第二个挑战在于模态特定的噪声特征。RGB和NIR模态表现出不同的脆弱性：RGB传感器对光照变化和阴影高度敏感，而NIR成像更容易受到运动引起的干扰。因此，有效利用这两种模态需要将异质的噪声源与共享的生理信号解耦。第三个挑战是动态模态不可靠性。环境变化可能会暂时降低某一模态的质量。如果不妥善处理，这种不可靠的模态可能会污染融合过程，导致模型优先考虑受损数据，最终降低估计精度。第四个挑战是在模态缺失情况下的推理。在实际部署中，传感器故障或硬件限制可能使测试时仅有单一模态可用。这要求模型即使在训练期间建立的多种模态协同部分不可用时，仍能保持可靠的性能。

为解决这些挑战，我们提出UCros-rPPGNet，一个统一的无监督框架，旨在协同利用RGB和NIR模态的互补优势，如图1（c）所示。UCros-rPPGNet通过三种策略缓解无标签感知的固有不稳定性：第一，抗噪特征学习。我们引入了噪声学习器（NL）来显式建模环境干扰。通过鼓励特征提取器将周期性生理信号与非生理噪声解耦，网络在各种领域和传感器条件下学习到稳定和鲁棒的特征表示。第二，可靠性感知的可学习融合。由于模态可靠性随环境条件变化，我们引入了不确定性估计器（U）来预测空间可靠性掩码。该机制通过优先处理高质量生理区域同时抑制受损特征，实现了对RGB和NIR流的自适应加权。第三，跨光谱翻译。为支持在模态缺失场景下的推理，我们引入了跨光谱适配器，从可用模态合成光谱特征，使模型即使在推理期间某一传感器不可用时仍能保持鲁棒性能。

此外，我们引入了DG-CMrPPG，一个用于严格评估无监督跨模态rPPG估计的新基准协议。该基准整合了三个公共数据集，并包含具有重大领域偏移和多样噪声条件的域内和跨域测试设置。大量实验表明，UCros-rPPGNet不仅优于现有的无监督单模态方法，还与最先进的有监督多模态方法相比达到了具有竞争力的性能。

我们的贡献总结如下：

- 我们提出UCros-rPPGNet，一个完全无监督的跨模态rPPG框架，能够在不需要任何真实生理标签的情况下实现鲁棒的心率估计。据我们所知，这是首项通过RGB和NIR模态的协同作用探索无监督rPPG估计的工作。
- 我们引入了抗噪学习和基于不确定性的融合来提高特征提取的稳定性，明确解决了模态特定噪声和实际感知环境中遇到的动态不可靠性问题。
- 我们开发了跨光谱适配器，通过在RGB-NIR光谱间翻译潜在特征来支持模态缺失场景下的推理，以确保运算连续性。
- 我们建立了DG-CMrPPG基准，提供了标准化协议和多样化评估设置，用于评估跨模态rPPG方法的鲁棒性和泛化能力。

## 相关工作片段

### 有监督rPPG估计

早期的rPPG方法依赖手工设计特征从皮肤反射中分离脉搏信号。随着深度学习的兴起，有监督方法通过利用时空网络将视频序列映射到生理信号，显著推动了该领域的发展。更近期的最先进方法已转向基于Transformer的模型。

### 概述与问题定义

UCros-rPPGNet的目标是通过利用跨模态输入的互补特性，以完全无监督的方式从面部视频中估计rPPG信号和对应的心率（HR）。给定一组配对的面部视频片段??={??????, ??????}（??∈?），其中??????和??????分别表示主体??的RGB和NIR模态，我们的目标是估计融合后的rPPG信号??????，而不依赖任何真实生理标签。如图2所示，该……

## 网络架构

图8和表1展示了UCros-rPPGNet的详细架构，包括rPPG特征提取器（FR和FI）、噪声学习器（NL）、双向适配器（A）和不确定性估计器（U）。首先，rPPG特征提取器（FR, FI）和rPPG估计器（ER, EI, EU）构建于Sun & Li (2022)提出的骨干网络之上。接下来，噪声学习器（NL）和双向适配器（A）采用3D卷积层来捕捉时空依赖关系，而……

## 结论

本文提出UCros-rPPGNet，一个解决无监督跨模态rPPG估计核心挑战的新型框架。为克服真实标签缺失的问题，我们设计了一个骨干网络，在空间、时间和光谱维度上强制保持心率一致性。在实际干扰下的鲁棒性通过抗噪学习策略实现，该策略将生理特征与环境伪影解耦，并由可靠性感知融合加以补充……

## CRediT作者贡献声明

Pei-Kai Huang：概念化、方法论、形式分析、论文撰写——原稿、论文撰写——审阅与编辑、指导、项目管理、资金获取。

Ya-Ting Chan：方法论、软件、验证、可视化。

Kuan-Wen Chen：方法论、软件、验证、可视化。

Yen-Chun Chou：软件、验证。

Shih-Yu Yang：软件、验证。

Jhih-Wei Jhao：软件、验证。

Wen-Pin Chen：软件、验证。

Jun-Ren Chen：软件、验证。

Chiou-Ting：……

## 利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

Chiou-Ting Hsu报告获得了国家科学及技术委员会的资金支持。

Pei-Kai Huang报告获得了中国国家自然科学基金的资金支持。

如果有其他作者，他们声明没有已知的竞争性财务利益或个人关系可能影响本文的研究成果。

Pei-Kai Huang|Ya-Ting Chan|Kuan-Wen Chen|Yen-Chun Chou|Shih-Yu Yang|Jhih-Wei Jhao|Wen-Pin Chen|Jun-Ren Chen|Chiou-Ting Hsu