用于新冠病毒疾病分类的四头注意力融合深度学习模型

《Biomaterials and Biosystems》：Quad head attention fused Deep learning model for Coronavirus Disease-19 classification

【字体：大中小】 时间：2026年06月15日 来源：Biomaterials and Biosystems CS7.9

编辑推荐：

　　Vanshika Rastogi|Shanthi M|Anand R印度班加罗尔东点工程科技学院人工智能与数据科学系摘要近期，由SARS-CoV-2感染引发的新型冠状病毒疾病（COVID-19）病情严重程度差异较大，且会引发严重的呼吸系统症状，导致较高的死亡率。因此，早期诊断和分

Vanshika Rastogi|Shanthi M|Anand R

印度班加罗尔东点工程科技学院人工智能与数据科学系

摘要

近期，由SARS-CoV-2感染引发的新型冠状病毒疾病（COVID-19）病情严重程度差异较大，且会引发严重的呼吸系统症状，导致较高的死亡率。因此，早期诊断和分类对于控制疾病传播及降低死亡率至关重要。目前大多数研究都尝试运用深度学习模型来诊断COVID-19，以获得较好的检测效果。尽管取得了不错的成果，但由于存在噪声、类别不平衡等问题，这些深度学习方法仍可能出现较大的偏差，且难以捕捉影响分类性能的关键特征。为此，本研究提出了一种融合四头注意力机制、深度信念网络和长短期记忆网络的模型（QHDBTM），用于更有效地对COVID-19进行分类。为生成合成数据样本，该研究采用了基于优化生成对抗网络的数据平衡技术，这种技术能够模拟少数类数据的分布特征，从而提升模型的泛化能力。具体而言，四头注意力机制利用不同注意力机制的优势，有效捕捉有用的特征，使得该模型在COVID-19分类任务中表现出色。此外，所提出的模型通过引入多层受限玻尔兹曼机的深度信念网络，能够对复杂数据构建深度层次化的表示结构。实验结果表明，使用该模型结合各类特征后，在COVID-19症状数据库上训练90%的数据时，模型的精确度为97.835%，召回率为97.813%，F1分数为97.824%。

引言

为了提高分类准确性，人们借助深度学习模型来开发COVID-19分类模型。由于循环神经网络和长短期记忆网络在处理序列数据方面表现优异，因此被广泛应用于COVID-19的诊断与分类工作中。在本研究中，通过LSTM和DBN网络分析患者提供的COVID-19数据，以准确判断病情严重程度。与其他传统方法相比，这两种模型在预测患者的症状及各项生理指标方面展现出极高的有效性。最初，为了解决梯度消失问题，人们采用了带有高级门控记忆单元的LSTM来处理序列形式的COVID-19数据。为了进一步提升COVID-19分类的准确性，人们还使用了具有多隐藏层结构的深度信念网络，因其复杂的结构而具备强大的特征学习能力，可用于最终的决策制定。具体而言，所提出的方法采用了四头注意力机制，通过整合不同注意力机制的优势，抑制无关特征，同时聚焦于输入数据中的重要特征。此外，这些先进机制的结合提升了模型的特征表达能力，进而提高了COVID-19分类的性能。

严重急性呼吸综合征冠状病毒2型（SARS-CoV-2）是导致COVID-19疫情的病原体，这一疫情引发了全球范围内的重大健康危机[1]。COVID-19的常见症状包括器官衰竭、急性呼吸道疾病、干咳、头痛、肌痛、呼吸困难、疲劳以及持续高烧[2]、[3]。超声检查、计算机断层扫描、胸部X光以及血液检测等都是用于诊断COVID-19的影像学方法[4]、[5]、[6]。不过，如果在病毒尚未感染肺部时进行这类检查，则其诊断意义不大。此外，这些传统方法不仅耗时较长，还存在较高的误报率[1]。人工智能通过其中的机器学习和深度学习模型，为放射科医生提供了辅助手段，帮助他们更有效地应对这一病毒[7]、[8]。这类人工智能算法作为宝贵的工具，能够利用患者的各种数据，如症状、实验室检测结果及临床特征，来评估疾病的严重程度[9]。尤其是深度学习，凭借其分层架构所带来的自动特征学习功能，彻底改变了疾病的自动化检测方式[10]。不过，深度学习模型需要大量的训练数据才能掌握COVID-19分类的相关知识[11]。

目前常用的深度学习算法，如深度卷积神经网络、深度神经网络以及深度信念网络，都能帮助更准确地诊断COVID-19，同时也能保护放射科医生免受病原体感染。在某些情况下，即便没有大规模数据，也可以通过生成式学习和迁移学习模型来解决这一问题。虽然这些技术提升了检测的准确性，但可用于评估模型性能的测试数据样本仍然有限。这样的评估有助于管理测试数据，却无法实现实时检测。另一方面，当前面临的主要挑战在于模型的泛化能力，即模型能否在面对未见过的输入数据时仍能类似地工作，从而实现COVID-19的实时诊断。尤其是深度学习技术，需要大量样本进行训练和测试，才能降低模型误差。此外，由于存在噪声、类别不平衡问题，以及难以捕捉影响分类性能的关键特征，目前的深度学习算法还存在一定的缺陷，从而导致较大的偏差和较差的泛化性能[14]。

针对现有方法存在的不足，本研究提出了一种融合四头注意力机制、深度信念网络和长短期记忆网络的模型（QHDBTM），用以提升COVID-19的分类性能。具体而言，该模型整合了优化的基于GAN的数据平衡技术、四头注意力机制以及LSTM架构，用于处理序列数据，进而借助深度信念网络实现更精准的分类。该方法的主要贡献如下：

•
四头注意力机制整合了CBAM、多头注意力、交叉注意力以及自注意力四种不同的注意力机制，能够有效捕捉对COVID-19分类有重要意义的特征。
•
在QHDBTM模型中，LSTM能够从高层次的抽象特征中学习，从而提升模型对具有不同症状和进展模式的未知COVID-19病例的泛化能力。
•
此外，深度信念网络凭借其多层架构，能够提取出有区分度的特征，从而提升模型的决策能力。
•
采用优化的基于GAN的数据平衡技术，可以生成高质量、逼真的少数类合成数据，从而让训练数据更具代表性且更加均衡，进而提升模型性能。
•
此外，该模型将LSTM、四头注意力机制与深度信念网络相结合，通过提取有区分度的特征来提升决策能力，进而提高COVID-19分类的泛化性能。

本文的其余结构如下：第2节将介绍近期相关研究及其优缺点；第3节阐述用于精准分类COVID-19的系统模型；第4节详细说明所提出的QHDBTM方法的具体流程；第5节展示实验结果，并与传统模型进行对比分析；第6节则对整个研究进行总结，并指出未来的研究方向。

章节节选

用于精准分类COVID-19的系统模型

COVID-19是一种极具传染性的疾病，因此预防和控制尤为重要。医疗工作者需要先进的诊断方法，目前已有多种策略被用于区分不同严重程度的COVID-19病例。不过，针对不同毒株的病原体，目前的诊断技术尚未达到理想水平。因此，本研究提出了QHDBTM模型，用于更有效地对COVID-19进行分类。图1展示了该模型的结构。

融合四头注意力机制、深度信念网络和长短期记忆网络的模型用于高效分类COVID-19

本研究的核心目标是通过引入四头注意力机制，设计出一种QHDBTM分类模型，从而提升模型对具有不同进展模式和症状的未知COVID-19病例的泛化能力。在初始阶段，这款COVID-19分类模型会从多个医院获取的COVID-19血液检测数据库[30]和COVID-19症状数据库[23]中收集测试数据。

结果与讨论

接下来的部分将利用召回率、精确度以及F1分数等指标，评估QHDBTM模型在COVID-19血液检测数据库和COVID-19症状数据库这两组数据上的性能。性能分析和对比分析是本研究用于验证QHDBTM模型在精准分类COVID-19方面效果的两个重要内容。

分布重叠度量指标

为评估基于优化GAN的数据平衡技术的效果，人们会使用分布重叠度量指标来衡量两个概率密度函数的相似性、差异性或可比性。图9展示了基于最大均值差异指标的分布重叠度量分析结果，这是一种统计指标，用于量化真实数据与GAN生成数据之间的差异。在所提出的QHDBTM方法中，也应用了这种优化后的度量方法。

结论

本研究提出了一种创新的QHDBTM模型，该模型将LSTM-DBN分类器与四头注意力机制相结合，用于COVID-19疾病的分类。该系统还采用了基于优化GAN的数据平衡技术，这使得模型在保持高检测质量的同时，还能在多种场景下具备良好的泛化能力。此外，四头注意力机制能够同时处理数据中的长距离依赖关系和短距离依赖关系。

CRediT作者贡献说明

Vanshika Rastogi： 数据整理工作。Shanthi M： 。Anand R： 。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

摘要

引言