rPPG-TFCL：用于实现稳健远程生理测量的时频一致性学习方法

《Knowledge-Based Systems》：rPPG-TFCL: Time–Frequency Consistency Learning for Robust Remote Physiological Measurement

非接触式光电容积描记（rPPG）通过捕捉面部皮肤颜色变化估计生理信号，但现有方法缺乏时间方向性和波形保真性。本文提出rPPG-TFCL框架，结合时间反转一致性策略（TRCS）和分层时空Transformer（HSTT）嵌入离散小波变换（DWT），实现多分辨率特征提取和光谱一致性约束，显著提升生理信号建模和波形重建精度。

　　远程光体积描记法（rPPG）是一种利用面部视频中微小皮肤颜色变化，实现对生理信号非接触式估计的技术。该方法在医疗健康监测、心理评估、生物识别等领域展现出广阔的应用前景。然而，现有的rPPG框架在保持两个关键生理信号特性方面存在不足：时间方向性和波形保真度。时间方向性反映了收缩期与舒张期的非对称性，而波形保真度则是心血管监测可靠性的基础。为了克服这些挑战，本文提出了一种统一的时间-频率一致性学习框架，称为rPPG-TFCL，该框架在架构设计和正则化策略中引入了基于生理学的先验知识。

在时间方向性方面，本文提出了一种时间反转一致性策略（TRCS），通过强制模型在正向和反向视频序列之间保持预测的对称性，从而使模型与心血管动态的内在可逆性保持一致。这意味着，当输入的视频被时间反转时，模型预测的rPPG波形应呈现镜像对称的结构。然而，现有方法往往在正向和反向视频输入下生成相似的输出，表明其过度依赖于静态的节律模板，未能捕捉到生理信号的可逆动态。这不仅削弱了生理上的合理性，也影响了模型的可解释性和泛化能力。

在频率方向上，本文设计了一种分层时空Transformer（HSTT），将离散小波变换（DWT）嵌入到多尺度注意力机制中，从而实现低频与高频成分的分离。这种方法使模型能够在不同时间与频率分辨率下捕捉到微妙的血流动力学波动，提高了对生理信号的敏感度。同时，本文还引入了一种基于Top-K谱能对齐的频率域一致性约束，通过强制预测波形与真实波形在谱分布上的对齐，增强了模型对真实心脏节律的保真度，从而提升了信号的稳定性与可靠性。

rPPG-TFCL框架的核心在于时间与频率域的一致性约束。通过引入TRCS和HSTT，该框架不仅能够有效捕捉生理信号的时间方向性，还能在频率域上实现更精确的特征提取。这种双重约束策略使得模型在面对复杂环境和干扰因素时，仍能保持较高的预测精度和稳定性。此外，本文还提出了一种时间反转一致性损失函数，用于量化预测结果的可逆性，进一步优化了模型在时间方向上的表现。

在实验部分，本文在三个公开的rPPG数据集（UBFC-rPPG、PURE和MMPD）上进行了广泛的评估，结果表明，rPPG-TFCL在周期性建模和高保真波形重构方面均优于现有方法。这些实验验证了该框架在提升rPPG信号估计性能方面的有效性。同时，通过可视化手段，本文展示了rPPG-TFCL在注意力定位和波形预测方面的表现，与RhythmFormer等基线方法进行了对比分析。结果表明，rPPG-TFCL在不同心脏相位下的注意力分布更加精准，能够更好地捕捉到与血流动力学相关的细节。

此外，本文还对相关研究进行了综述，涵盖了远程生理信号估计和小波变换卷积等领域的进展。在传统方法中，研究者主要依赖于手工设计的先验知识，如面部反射建模和颜色空间投影，来提取周期性成分。然而，这些方法在面对光照变化、运动伪影和压缩噪声等干扰时，往往表现出较高的不稳定性，影响了波形估计的准确性。为了提升模型的鲁棒性和泛化能力，研究者随后引入了基于卷积神经网络（CNN）的数据驱动方法，使得模型能够同时学习空间和短期时间特征。近年来，研究者又尝试使用基于Transformer的架构和结构化序列模型，如Mamba，来捕捉长距离时间依赖关系，从而增强周期性建模能力。

尽管这些方法在一定程度上提升了rPPG信号估计的性能，但它们仍然未能充分考虑时间方向性和波形保真度这两个关键因素。时间方向性是生理信号的重要特征，其反映了收缩期与舒张期的非对称性。而波形保真度则是心血管监测可靠性的基础，特别是在临床诊断和健康评估中，波形的细节特征如波形斜率、拐点和谐波波动对于准确分析至关重要。然而，现有方法在面对运动、闪烁和压缩伪影等干扰时，往往难以有效分离生理信号与这些干扰因素，导致周期性受损、波形失真以及生理解释能力下降。

本文提出的rPPG-TFCL框架通过引入时间-频率一致性约束，弥补了这些不足。在时间域，TRCS通过强制模型在正向和反向视频序列之间保持预测的对称性，从而增强了模型对生理信号时间方向性的捕捉能力。这种策略不仅提升了模型对血流动力学动态的建模精度，还减少了对静态节律模板的依赖，使模型能够更好地适应不同场景下的变化。在频率域，HSTT通过将DWT嵌入到多尺度注意力机制中，实现了对低频与高频成分的分离，使得模型能够在不同频率分辨率下捕捉到更细致的血流动力学特征。同时，通过Top-K谱能对齐的频率域一致性约束，模型能够更精确地对齐预测波形与真实波形的谱分布，从而增强了波形的保真度。

在实际应用中，rPPG-TFCL框架展现出良好的性能和广泛的适用性。它不仅能够处理光照变化、运动伪影和压缩噪声等干扰因素，还能在复杂环境下保持较高的预测稳定性。此外，该框架的模块化设计使其具备良好的可扩展性，能够适应不同应用场景的需求。例如，在心律失常筛查、老年护理、心理健康评估和生物识别等应用中，rPPG-TFCL都能够提供更可靠和更精准的生理信号估计。

本文的研究成果对于推动rPPG技术在医疗健康领域的应用具有重要意义。通过引入时间-频率一致性学习框架，不仅提升了模型的预测性能，还增强了其对生理信号的解释能力。这为未来在更复杂环境下的生理信号估计提供了新的思路和方法。同时，本文的研究也为进一步优化rPPG技术，提升其在实际应用中的可靠性提供了理论支持和技术基础。

在实验部分，本文使用了NVIDIA A800 GPU进行计算，并基于PyTorch框架实现了所有方法。实验结果表明，rPPG-TFCL在三个数据集上的表现均优于现有方法，特别是在周期性建模和波形重构方面。这些结果进一步验证了rPPG-TFCL在提升rPPG信号估计性能方面的有效性。此外，通过可视化手段，本文展示了rPPG-TFCL在注意力定位和波形预测方面的表现，与RhythmFormer等基线方法进行了对比分析。结果表明，rPPG-TFCL在不同心脏相位下的注意力分布更加精准，能够更好地捕捉到与血流动力学相关的细节。

综上所述，本文提出的rPPG-TFCL框架在提升rPPG信号估计性能方面取得了显著进展。通过引入时间-频率一致性学习策略，不仅增强了模型对时间方向性和波形保真度的捕捉能力，还提升了其在复杂环境下的鲁棒性和泛化能力。这些改进使得rPPG-TFCL能够更广泛地应用于医疗健康监测、心理评估、生物识别等领域，为未来的生理信号估计研究提供了新的方向和方法。