多标签临床文档分类的增强有效卷积注意力网络研究:融入挤压激励 inception 模块

【字体: 时间:2025年05月17日 来源:Scientific Reports 3.8

编辑推荐:

  临床文档分类(CDC)对医疗信息管理至关重要,现有模型在长文档分类中存在不足。研究人员提出 EECAN 模型,融合 SE-Inception 模块与 EAB-CDC 策略,在 MIMIC-III 等数据集上获 99.70% 和 99.80% 的 AUC,为临床系统应用提供可能。

  在医疗信息化浪潮中,海量电子健康记录(EHR)里的临床文档多为非结构化文本,如何高效分类这些包含复杂医学术语、多标签信息的长文档成为难题。现有深度学习模型如卷积神经网络(CNN)、循环神经网络(RNN)及 Transformer 等,在处理长距离依赖、标签不平衡及特征稀疏性等问题时力有不逮,尤其对多标签场景下的细粒度特征捕捉不足,导致分类准确性受限。为突破这些瓶颈,来自印度 Chaitanya Bharathi Institute of Technology 等机构的研究人员开展了相关研究,其成果发表在《Scientific Reports》。
研究团队提出了增强有效卷积注意力网络(EECAN),核心是在原有 EffectiveCAN 模型基础上引入挤压激励 inception(SE-Inception)模块,并结合基于编码器和注意力的临床文档分类策略(EAB-CDC)。SE-Inception 模块通过全局池化和通道权重学习,动态校准特征响应,强化关键特征并抑制噪声;EAB-CDC 则利用求和池化(sum-pooling)和多层注意力机制,提取全局及标签特异性特征。

研究采用 MIMIC-III(包含约 4 万重症患者数据)、MIMIC-III-50(聚焦 50 个高频 ICD-9 代码)、荷兰及法国等多语言临床文档数据集。数据预处理包括分词、去停用词等,未进行词干提取以保留医学术语完整性。模型训练中使用焦点损失(Focal Loss)处理标签长尾分布问题,并通过消融实验验证各模块有效性。

实验结果


  1. 模型性能对比:在 MIMIC-III-full 数据集上,EECAN 采用多层注意力机制时 AUC 达 99.80%,求和池化注意力时 AUC 为 99.70%,均显著优于 CAML、MultiResCNN 等现有模型。在 MIMIC-III-50 数据集上,EECAN 的 AUC 同样领先,验证了其在标签平衡场景的有效性。
  2. 多语言泛化能力:在荷兰和法国数据集上,EECAN 的 F1 分数分别达 0.836 和 0.675,展现出跨语言分类的潜力。
  3. 模块重要性验证:消融实验表明,SE-Inception 模块、多层注意力机制及焦点损失缺一不可。移除 SE-Inception 模块使 AUC 降至 99.20%,无注意力机制时 AUC 为 98.70%,凸显各组件对特征提取和分类性能的关键作用。

结论与讨论


EECAN 通过 SE-Inception 模块与多层注意力机制的协同,有效解决了临床文档分类中的长距离依赖、标签不平衡及特征稀疏性问题,在多标签分类任务中实现了 state-of-the-art 性能。其在 EHR 系统中的潜在应用,如自动化文档标注、辅助临床决策等,可显著提升医疗数据管理效率。尽管研究未与 Transformer 模型直接对比,但其轻量级架构在计算效率上具备优势。未来可进一步探索结合图神经网络(GNN)或生成对抗网络(GAN)增强罕见标签数据,提升模型在极端不平衡场景的鲁棒性,同时融入可解释人工智能(XAI)技术,增强临床医生对模型决策的信任度。该研究为临床自然语言处理(NLP)领域提供了新的技术范式,推动 AI 在医疗文档管理中的实际落地。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号