面向AR设备的轻量化远程光电容积描记框架：实时生理监测新突破

《IEEE Open Journal on Immersive Displays》：Lightweight rPPG Framework for Real-Time Physiological Monitoring on AR Devices

本文针对当前rPPG方法在动态环境中面临的精度-效率权衡难题，提出了一种基于多尺度Vision Transformer的rPPGViT框架。研究团队通过设计级联跨尺度注意力(CCA)和滑动窗口时序注意力(SWTA)机制，实现了面部视频中血流节律信号的高精度重建，同时开发了轻量化重参数化变体Light-rPPGViT。实验表明，该模型在UBFC和MMPD数据集上分别达到0.27 BPM和0.65 BPM的MAE，相关系数ρ=0.99，计算成本降低65%以上，为AR穿戴设备实现高精度、低功耗生理监测提供了可行方案。

　　

在心理健康评估和干预过程中，临床医生越来越依赖客观连续的生理指标来补充主观报告，以期捕捉真实动态的情绪和压力状态。与传统问卷评估相比，非接触式多模态生理监测可以在不干扰受试者的情况下无间断获取心率信号，从而揭示自主神经活动的细微变化。然而，在动态环境中稳定获取非接触生理信号仍面临巨大挑战——面部皮肤反射的光学信号极易受到光照变化、头部运动和细微表情的干扰。当部署在增强现实(AR)平台上时，这些困难更因有限的计算资源、严格的功耗约束和狭窄视角而加剧。

为解决这一难题，山东大学陈丹阳团队在《IEEE Open Journal on Immersive Displays》上发表了一项创新研究，提出了专门为AR设备设计的实时节能生理监测框架rPPGViT。该研究通过多尺度Vision Transformer架构，在复杂光照和自然运动条件下实现了精确的血流节律信号重建。

关键技术方法包括：采用Haar级联分类器进行面部感兴趣区域(ROI)检测和时序差分预处理；设计级联跨尺度注意力(CCA)模块实现多频率特征分解；开发滑动窗口时序注意力(SWTA)机制捕捉局部周期性节律；通过结构重参数化和时序自适应移位注意力(TASA)实现模型轻量化。研究使用UBFC(42名受试者)和MMPD(33名受试者)两个公开数据集进行验证。

模型架构设计

rPPGViT的核心创新在于将生理约束融入网络设计。血流容积脉冲(BVP)信号表现为血红蛋白周期性吸光变化引起的低频色度调制，而光照波动和面部运动则主要占据高频空间频率或非周期性时序模式。研究团队通过卷积编码器提取局部空间特征后，CCA模块允许相邻分辨率级别的特征交互，构建与血红蛋白吸收特性对齐的多频率表示。SWTA机制则将自注意力计算限制在局部时间窗口内，强制实施与心脏周期准周期性一致的生理先验。

轻量化优化策略

为满足AR设备的边缘部署需求，Light-rPPGViT通过结构等价性概念将多分支CCA重构为单路径卷积核，利用重参数化技术将训练阶段的多分支融合等效为推理时的单次卷积操作。TASA模块用可学习的通道移位和自适应加权替代显式注意力矩阵，以线性可学习偏移实现更高的效率和稳定性。结合部分卷积(PConv)和压缩激励(SE)模块的通道稀疏化策略，仅对血流敏感通道进行卷积计算，显著降低计算复杂度。

实验结果分析

在UBFC数据集上的测试结果显示，rPPGViT实现了0.27 BPM的MAE、0.30 BPM的RMSE和0.99的Pearson相关系数，显著优于TSCAN、PhysNet、DeepPhys等基线模型。轻量化版本Light-rPPGViT在保持0.98相关系数的同时，将参数数量降至0.70M，FLOPs减少至6.93G。在更具挑战性的MMPD数据集上，rPPGViT在复杂光照和头部运动条件下仍保持0.99的相关系数，证明其优异的跨领域泛化能力。

计算效率评估

模型复杂度分析表明，rPPGViT仅需1.12M参数和20.12G FLOPs，单帧推理延迟为40毫秒。Light-rPPGViT进一步将延迟降至34毫秒(约25 fps处理速度)，与PhysFormer相比，FLOPs减少87%，延迟降低65%。在搭载高通骁龙XR2平台的AR原型机上实测显示，轻量化模型仅使系统功耗增加0.16W，证实了其在移动AR设备上持续监测的可行性。

这项研究通过多尺度时空建模与轻量化重参数化的有机结合，成功解决了rPPG技术在AR应用中的精度-效率权衡难题。rPPGViT凭借CCA和SWTA模块实现高保真全局表征，Light-rPPGViT通过TASA机制和结构重参数化确保在资源受限平台上的实时运行。实验结果表明，该框架在重建精度、计算效率和鲁棒性之间达到了良好平衡，为穿戴式AR系统中的沉浸式生理评估和情绪监测奠定了实用基础。未来工作将拓展至呼吸频率、血氧饱和度等多模态生理参数估计，结合跨领域自适应和个性化校准进一步提升泛化能力，推动实时非接触生理监测在沉浸式环境中的广泛应用。