基于多模态预训练与结构化表示学习的开放集心电图身份认证

《Engineering Applications of Artificial Intelligence》：Open-set electrocardiogram identity authentication via multi-modal pretraining and structured representation learning

　　摘要：心电图（ECG）信号具有独特的特性，因此成为用于身份认证的极具潜力的生物特征参数。正因如此，ECG认证在近年来受到了越来越多的关注。然而，现有的大多数方法主要致力于在封闭集场景下提高认证精度，而针对开放集场景所面临的挑战的研究则相对较少。在现实应用中，身份认证系统常常会遇到大量未见过的数据，这可能导致安全漏洞和性能下降。为了解决这一问题，我们提出了一种强大的ECG身份认证系统，即使在开放集场景下也能保持高性能。为提升编码器对特定区域ECG特征的敏感度，我们设计了一种多模态预训练框架，将ECG信号与基于关键特征的文本描述相匹配。在微调过程中，我们采用了自我约束中心学习与互点学习方法来约束特征分布，确保编码后的表示具有清晰的分类边界。我们的方法在存在开放集样本的情况下，仍能实现99.83%的认证精度，且误识率低至5.39%。此外，在不同的开放集比例下，该方法都表现出出色的稳定性，开放集分类率始终保持在95%以上。

引言：随着信息技术的快速发展，传统的基于密码的认证方法逐渐暴露出诸多漏洞，这就迫切需要采用更安全、更可靠的生物特征技术。心电图（ECG）信号能够捕捉心脏在整个心动周期中的电活动，而每个人的生理特征都具有独特性。正是由于这些固有的个体差异，ECG信号近年来作为身份认证的生物特征参数受到了越来越多的关注。与面部识别和指纹识别等成熟的生物特征技术相比，ECG认证在安全性和抗伪造性方面具有明显优势。ECG信号固有的个体差异性和时间变化性使其极难被复制或伪造，因此使其成为一种可靠的身份认证生物特征参数。此外，随着可穿戴设备和远程医疗系统的广泛应用，ECG信号可以轻松采集，这为移动身份认证、智能医疗以及物联网安全等实际应用带来了巨大的潜力。因此，ECG身份认证为构建更安全、更便捷的身份验证机制提供了重要的技术基础。

在早期关于ECG身份认证的研究中，人们开始利用关键特征来确定可用于身份区分的形态学特征。这类特征通常包括ECG波形上标准医学关键点之间的时间间隔，如P波、Q波、R波、S波和T波。除了这些关键特征外，人们还研究了各种非关键特征，例如主成分、小波系数以及自相关系数等。身份认证通常是通过比较提取出的特征表示与已注册的身份模板之间的相似度来实现的，以此判断它们是否属于同一个人。

随着深度学习技术的飞速发展，基于分类的身份识别方法近年来得到了广泛应用。借助卷积神经网络训练框架，这类方法能够让模型参数掌握不同身份类别的分布规律，从而使网络具备较高的识别能力，能够准确判断输入样本的身份标签。与此同时，也有研究采用图神经网络来解决验证问题，还有研究分别运用Transformer和Mamba架构来进行ECG异常分类。这些努力进一步拓展了深度学习方法在ECG信号分析中的应用范围。

近期，多模态学习的快速进展为信号分析领域带来了新的研究方向。有研究者提出了基于对比语言-图像预训练的框架，通过同时建模ECG信号及其对应的临床文本来实现疾病诊断。诊断报告所提供的补充信息能够提升信号编码器从ECG信号中提取与类别相关的表示的能力。相比之下，ECG身份认证很少利用文本信息。然而，引入能够语义化描述信号显著特征的文本，有望进一步提升ECG编码器的表示能力。两种模态之间共享的语义一致性能够引导ECG表示向有助于身份区分的区域发展，从而提升身份验证的性能。

在现实应用中，开放集生物特征识别相比封闭集场景而言，既更具挑战性，也属于更为通用的任务。在封闭集场景下，验证时每个输入都会被分配到最接近的已注册身份，即便该输入并非已注册用户。而开放集生物特征系统则需要在保证已注册用户高识别准确率的同时，有效拒绝未知个体。因此，为ECG身份认证赋予开放集处理能力对于其实际应用至关重要。有研究者最早指出了开放集条件下ECG身份认证系统稳定性存在的问题。在此基础上，本研究对更广泛的开放集数据进行了全面的鲁棒性评估。

鉴于上述问题，我们提出了基于多模态预训练和结构化表示学习的ECG身份认证方法。将这种方法应用于开放集场景会面临两个核心挑战：一是如何从ECG信号中学习出更具区分度的身份表示；二是如何在不依赖外部数据的情况下可靠地区分未知样本。为了解决这些问题，我们的框架包含三个核心模块：首先，我们利用ECG信号及其关键特征生成的文本报告，在文本语义引导下对ECG编码器进行预训练；其次，我们采用了自我约束中心学习与互点学习方法，大幅压缩类内子空间，从而形成更具分离性的类间决策边界；最后，我们运用互点学习方法，根据有限的样本来建模开放集数据的分布，有效约束未知身份的特征空间。本文的贡献如下：首先，我们提出了一种新的表示学习框架，通过在预训练模型上进行微调，提升了特征的区分度，为ECG身份认证提供了更清晰的决策边界；其次，我们设计了严谨的开放集处理方案，在微调过程中仅使用少量受试者样本，使模型能够在准确识别已注册身份的同时有效拒绝未知用户，且不会影响封闭集场景下的性能；最后，我们对所提出的方法在多个公共数据集上进行了全面评估，并通过跨数据集实验验证了其在不同数据采集设备条件下的泛化能力。

本文的其余部分结构如下：第2节介绍相关研究工作；第3节详细阐述所提出的方法；第4节呈现实验结果及相应分析；第5节讨论本文的局限性；最后，第6节总结全文，指出所提方法的局限性以及未来改进的方向。

相关研究：第2.1节回顾了ECG身份认证的两种主要方法，第2.2节介绍了开放集识别的概念与核心方法，第2.3节阐述了原型学习的概念与发展进展，第2.4节则探讨了封闭集和开放集场景下ECG认证的发展趋势与主要动向。

方法：本节重点介绍我们在开放集场景下的ECG身份认证方法。首先我们对问题进行正式定义，随后详细说明我们所提出的方法，该方法包含三个关键组成部分：多模态预训练、自我约束中心学习以及互点学习。整个工作流程如图1所示。

数据集：这些数据集被用于预训练和微调阶段。在多模态预训练阶段，我们使用了MIMIC-ECG数据集，该数据集包含800,035对信号-文本数据对，每段信号的采样率为500 Hz，记录时长为10秒。由于计算限制，我们选取了100,000个高质量样本作为训练数据。原始文本被替换为基于ECG信号关键特征的文本描述。在微调阶段……

局限性：尽管所提出的方法在ECG开放集身份认证方面取得了良好的性能，但仍存在一些局限性。首先，在开放集样本数量庞大的情况下，虽然该方法仍优于现有基准方法，但过高的误识率可能会影响对未知身份的识别，这说明还需要进一步优化，以平衡开放集场景下的泛化能力和识别拒真能力。其次，实际的ECG采集会面临多种复杂的现实环境条件……

结论与未来工作：本文提出了一种专为开放集场景设计的新型ECG身份认证方法。该方法已在不同比例的开放集数据下接受了严格评估。在我们的框架中，预训练阶段会将ECG信号与其对应的关键特征相关联，引导信号编码器聚焦于QRS波群。对于后续的身份认证任务，我们采用了结构化表示学习方法。在开放集场景下，我们运用……

CRediT作者贡献声明：董明宇：写作——审阅与编辑、写作——初稿撰写、可视化、验证、监督、软件、项目管理、方法论、研究。赵志东：写作——审阅与编辑、写作——初稿撰写、监督。张业飞：监督、概念构思。王浩：软件、资源协调。邓彦军：项目管理、方法论、形式化分析。张贤飞：验证、资金获取。

资金支持情况：本研究部分得到了浙江省自然科学基金的支持，项目编号分别为LQ24F010011、LDT23F01015F01和LDT23F01012F01；部分得到了浙江省省属高校基本科研业务费的支持，项目编号为GK259909299001-021；部分得到了浙江省敏感数据安全与保密治理重点实验室的支持，项目编号为2024E10048；还有部分得到了浙江省重点研发计划项目的支持，项目编号为……

利益冲突声明：作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

董明宇|赵志东|张业飞|王浩|邓彦军|张贤飞
中国浙江杭州310018，杭州电子科技大学网络空间学院