生物特征迁移：基于RRKD框架的心电图辅助提升PPG-based个体识别技术

《Knowledge-Based Systems》：Biometric Traits Transferring: RRKD framework for ECG-assisted enhancement of PPG-based Individual Identification

　　•引入了一种被视为心电图信号的新模态，用以传递丰富且具有区分度的知识。•设计了一种跨模态知识蒸馏框架RRKD，旨在高效地从心电图模态和光电容积脉搏波模态之间传递知识。•所提出的RRKD框架在两个数据集上的未知个体识别任务中取得了最先进性能。•通过可视化RRKD的注意力图，我们发现心电图模态通过增强光电容积脉搏波信号的周期性响应来提升识别性能。引言生物特征识别[1]是一种利用个体特征进行识别的新技术。如今，生物特征识别技术已被广泛应用于建筑控制、边境管控等访问控制系统之中。根据不同的模态，生物特征识别还可以分为基于物理特征的方法和基于行为特征的方法。前者如指纹[2]、虹膜[3]和面部[4]识别，是通过提取个体的物理特征来实现，且在实际应用中得到广泛使用。然而，随着伪造技术的发展，这些方法很容易被欺骗。具体而言，深度伪造技术[5]被用来生成假脸，可能被用于欺骗面部识别系统[6]。此外，伪造的隐形眼镜也可用于生成合成虹膜以欺骗生物特征识别系统[7]。后者包括步态[8,9]、说话者特征[10]、眼动[11]等，是通过个体的行为特征来进行识别的。例如，步态识别是通过从视频中提取受试者的周期性步态特征来识别个体。与指纹、虹膜及面部识别相比，步态识别可以从更远的距离捕捉人类的特征。不过，这类技术容易受到受试者穿着及周围环境的影响，这可能会给步态识别系统带来挑战并导致性能下降。近年来，一类基于生理信号的新型生物特征识别方法出现了，这类方法从人类的心脏、大脑等部位提取生物特征。例如，研究人员利用脑电图[12,[17], [18], [19]]来分析大脑活动，利用心电图[[13], [14], [15]]以及光电容积脉搏波[16]来记录心血管活动。由于生理信号反映了个体的内在信息，因此较难被上述技术模仿。与脑电图和心电图相比，光电容积脉搏波由于采用较为简单的采集方法，尤其是通过常规血氧仪设备，具有更高的易用性。这一固有的采集优势大大拓展了其在各种实际应用中的应用可能性。光电容积脉搏波技术中一个尤为值得注意的进展是其通过远程光电容积脉搏波[rPPG]技术[20]实现非接触式测量，该技术利用基于摄像头的系统。这种非接触式监测方式在持续健康监测系统中展现了巨大的临床实用价值。其应用实例包括无创心脏功能评估[21]和血压监测方案[22]，使得rPPG成为临床环境和日常健康监测场景中的多功能工具。至于基于光电容积脉搏波的个体识别，可将其分为验证任务和识别任务两大类。前者可视为二元分类任务，重点在于“这是目标个体吗”。这项任务的首项研究由[23]提出，他们建议设计手工特征来识别个体。最近，PBGAN[24]提出利用生成对抗网络在验证任务中生成合成光电容积脉搏波信号，并在多个数据集上取得了良好效果。后者则属于多类分类任务，重点在于“谁是谁”。因此，泛化能力是识别任务面临的最大挑战。具体而言，用于识别任务的模型需能够在已知和未知场景下识别人类。在早期基于光电容积脉搏波的识别研究中，人们提取手工特征[25]，并在小规模数据集上取得了良好结果。与此同时，越来越多的人工神经网络架构[[26], [27], [28]]被用作分类器。然而，由于手工特征的泛化能力有限，这些方法在大规模数据集上的表现不佳。最近，有一种端到端的深度神经网络[29]被提出，它直接将光电容积脉搏波信号作为输入来识别个体。由于卷积层在特征提取方面的出色表现，它在大规模数据集上也取得了理想的结果。尽管基于光电容积脉搏波的个体识别方法取得了显著进展，但与现有的基于视觉的生物特征识别系统，如指纹、虹膜和面部识别技术相比，其性能指标仍不尽如人意。这种性能差异主要源于信息密度的根本差异，而信息密度又与数据采集过程中的空间分辨率限制密切相关。光电容积脉搏波信号采集所使用的相对简单的传感器配置，其空间分辨率天然低于基于视觉的方法。解决这些低信息密度问题的一个重要障碍在于，传统优化方法，如架构改进或神经网络容量提升，对这些方法效果有限。这一根本限制促使人们探索多模态学习范式，作为一种提高输入信息密度的潜在解决方案[52]。不过，多模态方法在实际应用中也存在自身的实施难题。在训练和推理阶段都需要多种模态输入，这就带来了诸多实际约束，包括较高的数据采集成本和参与者招募困难。这些操作障碍可能限制多模态解决方案在实际应用中的广泛采用。为解决这一问题，跨模态知识蒸馏可能是一种可行的解决方案，该方法在训练阶段利用多模态信息，而在推理阶段仅使用单一模态信息。具体而言，可以引入一个在更具区分度模态上训练的教师模型，以及一个在区分度较低模态上训练的学生模型。在学生模型的训练阶段，会运用多种模态信息来迫使学生模型从教师模型那里学习知识，而在推理阶段则仅使用区分度较低的模态信息。在说话者识别领域，Jin等人[30]提出利用面部表示通过跨模态知识蒸馏来引导语音表示，从而使模型在多种模态上训练，但在单一模态上进行测试。他们在多个数据集上报告了良好的结果。然而，不同模态（面部和语音）在潜在空间中的差异可能会导致性能下降。这一研究启发了我们：1）可以研究一种比光电容积脉搏波信号具有更高区分度表示的模态，且与该模态与光电容积脉搏波信号之间的领域差异适中，以此作为教师模型来指导光电容积脉搏波信号的学习。2）需要研究一种对齐方法来消除不同模态之间的差异。首先，由于光电容积脉搏波信号反映的是心血管活动，引入来自人类心脏的模态可能会更为合适。基于这一假设，心电图信号可能是一种合适的模态。这类信号同样反映心血管活动，这意味着心电图信号与光电容积脉搏波信号之间的领域差异通常较小[31]。例如，Lu等人[32]证明了光电容积脉搏波与心电图在心跳间隔测量方面具有高度相关性，这一特性可用于心率变异性分析。此外，这类特性也被用于无袖带血压测量[33]。更重要的是，心电图信号的采集通常需要更多电极，这说明心电图信号的空间分辨率高于光电容积脉搏波信号。因此，心电图信号可能具有比光电容积脉搏波信号更高的区分度表示。其次，跨模态场景中的领域对齐面临着独特挑战，需要复杂的解决方案。迁移学习方法通过选择性冻结浅层网络层，同时对更深层的架构组件进行微调，已在源域和目标域之间的表示分布映射方面展现出显著效果[53,54]。这类方法在解决单模态场景下的数据稀缺问题方面具有很大潜力。然而，由于不同信号类型本身的物理特性所导致的固有模态差异，跨模态应用又增加了复杂性。严格的模态分布对齐反而可能导致性能大幅下降。在迁移学习方案中，通常会保持浅层层级的冻结状态，而这可能会无意中限制强大学生模型的发展。在这种情况下，替代的方法包括实施辅助任务，比如在心电图和光电容积脉搏波信号之间进行相互模态角色交换[55,56]。这些方法为提升教师模型和学生模型的性能提供了可能路径。不过，这类策略性实施通常会增加额外的计算复杂度和架构设计难度。如前所述，一种简单的方法是使用对比学习，该方法通过发现负样本和正样本之间的差异，使潜在空间中的表示更具兼容性。受上述讨论的启发，我们提出了一种新的跨模态知识蒸馏方法，该方法将心电图表示中的知识传递给光电容积脉搏波信号。首先，我们设计了分别以心电图模态和光电容积脉搏波模态作为输入的教师网络和学生模型。然后，利用结合对比学习的跨模态知识蒸馏框架，迫使学生模型从教师模型那里学习知识。本工作的贡献如下：•据我们所知，我们是首个利用心电图信号来引导光电容积脉搏波信号学习具有区分度知识的团队。•我们提出了一种新颖的跨模态知识蒸馏方法，使得光电容积脉搏波信号能够从心电图表示中学习与关系和响应相关的知识，而无需考虑模态差异。•我们在包含341名个体的大规模数据库上进行了全面实验，测试了在已知个体和未知个体识别任务中的性能。据我们所知，这是迄今为止用于此项任务的最大规模数据集。•我们对学生模型的注意力进行了可视化分析，结果表明心电图信号能够增强光电容积脉搏波信号的周期性响应。章节片段单模态知识蒸馏单模态知识蒸馏（UKD）是一种基于迁移学习的模型压缩方法，通过训练一个小型、轻量级的模型来模仿一个预先训练好的大型模型。这种训练模式可被称为“教师-学生”模式，其中大型模型可视为教师，小型模型则为学生。UKD方法的抽象概念最早于2006年[34]被提出，随后在2015年由Hinton等人进一步推广[35]。在知识蒸馏过程中，方法论符号说明。给定一个教师模型T和一个学生模型S，我们用Tf和Sf分别表示T和S的特征提取器，Tcls和Scls则表示T和S的预测器，Ps和Pt分别是Tf和Sf的输出表示，zs和zt则是Tcls和Scls的输出逻辑值。图2展示了所提出的RRKD框架的流程。实验设置数据集。在实验中，我们使用了两个数据集来评估所提框架的性能，具体信息如下：•MIMIC数据集。该数据集包含了重症监护室数千名患者的光电容积脉搏波信号、心电图信号以及相应的血压数据。然而，心电图和光电容积脉搏波信号并不稳定，容易受到生理活动、电磁环境等因素的影响。因此，需要通过对信号进行预处理来确保其稳定性。结论为提高光电容积脉搏波表示的密度，本文提出了一种用于基于光电容积脉搏波的个体识别任务的CMKD框架RRKD。我们通过4种不同的学生模型架构在数据集内部进行了全面实验，以评估RRKD的性能。此外，为了进一步研究所提RRKD的泛化能力，我们还进行了跨数据集测试。实验结果表明，RRKD在两类任务中均取得了最先进的性能。CRediT作者贡献声明魏立宁：撰写——初稿、可视化、概念构建、方法论、研究。陈汉杰：数据整理、资源获取、撰写——审阅与编辑、验证。吕良毅：撰写——审阅与编辑、验证。张远婷：数据整理、资源获取。王军：资金筹集。利益冲突声明作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。致谢本研究得到了浙江省精英计划（编号2023C01042）的支持，同时部分资金也来自香港心脑血管健康工程中心（COCHE）的InnoHK项目。魏立宁|陈汉杰|吕良毅|张远婷|王军