基于知识的多模态医学图像分类

《Biomedical Signal Processing and Control》:Knowledge-driven multimodal medical image classification

【字体: 大 中 小 】 时间:2026年10月18日 来源:Biomedical Signal Processing and Control 5.7

编辑推荐:

  •一种基于知识的多模态模型整合了医学图像和临床文本。•视觉知识缓存检索病灶特征以解决类别不平衡问题。•文本知识缓存过滤语义描述以指导图像与文本的对齐。•多模态推理器融合缓存以实现稳健的细粒度疾病分类。•在APTOS2019、BUSI、COVID和CT-3 A基准测试中取得了卓越的

  
  • •
    一种基于知识的多模态模型整合了医学图像和临床文本。
  • •
    视觉知识缓存检索病灶特征以解决类别不平衡问题。
  • •
    文本知识缓存过滤语义描述以指导图像与文本的对齐。
  • •
    多模态推理器融合缓存以实现稳健的细粒度疾病分类。
  • •
    在APTOS2019、BUSI、COVID和CT-3 A基准测试中取得了卓越的准确率。

引言

另一种方法借鉴了自注意力机制的灵感,例如Vision Transformer(ViT)模型[1]、[2]、[3],这些模型通过基于注意力的架构有效地建模了全局依赖关系。尽管有所进步,但ViT模型高度依赖于大规模标注的数据集,可能会遗漏临床相关的细粒度信息。多模态学习为解决这些限制提供了一种有前景的策略。Ren等人[4]引入了CLIP[5]模型的疾病感知变体以提高泛化能力。然而,临床文本描述往往高度个性化,导致与图像分类目标的匹配度较低。此外,许多报告的简短性和不完整性导致了语义上的稀疏性。文本语义的稀疏性和变异性在有效融合视觉和文本模态时带来了重大挑战。
首先,少数类别的数据稀缺和类别不平衡常常导致传统模型过度拟合多数类别,从而在代表性不足的类别上表现不佳。其次,医学图像中的噪声和不相关信息常常误导传统模型,使它们关注非诊断区域而非关键病灶区域。第三,分类边界的模糊性对传统的硬分类方法构成了重大挑战,这些方法常常难以在相邻的诊断严重程度之间做出细粒度的区分。
为了解决上述挑战,我们提出了一个基于知识的多模态医学图像分类模型。受到人类通过视觉和语言获取知识的启发,我们的方法结合了特定领域的医学图像和文本(如图1所示),通过视觉知识缓存和文本知识缓存来提高分类性能。具体来说,视觉知识缓存作为一种存储机制,从一组代表性样本中存储和检索关键病灶特征,从而减轻少数类数据的稀缺性并减少模型偏差。同时,文本知识缓存选择与视觉特征紧密对齐的高区分度文本描述(例如,“局部区域的细粒度结构异常”),抑制无关或噪声信息并提高语义对齐。此外,我们设计了一个多模态知识推理器,在分析诊断图像时同时考虑视觉和文本知识。具体而言,它利用视觉知识缓存进行图像到图像的检索,同时使用文本知识缓存进行图像到文本的对齐。这些缓存共同提供了结构化的知识,指导模型的推理,确保分类是由明确的医学知识驱动的,而不仅仅是依赖于数据相关性。通过结合这两种互补策略,推理器实现了更灵活和适应性更强的决策,从而减少了分类边界的模糊性。本工作的主要贡献如下:
  • (1)
    我们引入了一个基于知识的多模态分类模型,该模型结合了视觉知识缓存和文本知识缓存,有效弥合了医学图像和文本信息之间的模态差距。
  • 我们设计了一个视觉知识缓存,以增强对长尾类别的检测,解决与医学成像中的数据稀缺性和病灶多样性相关的挑战,并明确地受到先验知识的指导。
  • (3)
    我们提出了一个文本知识缓存,通过选择信息丰富的描述来改善图像与文本的对齐,并将其与基于CLIP的推理策略相结合,以提高细粒度分类任务的性能,突显了知识在指导推理过程中的作用。

节片段

相关工作

基于CNN和Transformer的方法。在医学图像分析领域,最近的研究强调了深度学习模型在自动疾病分类和诊断方面的巨大潜力。CNN和Transformer以其强大的特征提取和表示学习能力而闻名,在包括病灶检测和疾病分级[6]、[7]、[8]、[9]在内的多种医学成像任务中取得了显著进展。然而,医学图像通常包含噪声

方法

我们提出了一个基于知识的多模态医学图像分类模型,旨在准确实现医学图像分类。与仅依赖数据驱动模式的传统方法不同,我们的模型将结构化知识直接整合到决策过程中,并利用两种互补的知识来源——视觉和文本——提供明确的语义指导。我们的模型包括三个核心组件(见图2):视觉知识缓存、文本

数据集

在我们的研究中,我们使用了三个公开可用的医学数据集APTOS2019、BUSI和COVIDAPTOS2019 APTOS2019 [19]由亚太眼科学会(APTOS)于2019年发起,作为盲症检测挑战赛的一部分

结论

在这项研究中,我们介绍了一个基于知识的多模态分类模型,旨在提高疾病识别能力。该模型的核心是视觉知识缓存,它作为一个记忆系统,从精心挑选的代表性样本池中保留和检索关键病灶特征。与传统模型过度依赖多数类样本不同,我们的方法利用这种机制有效减轻了少数类数据稀缺导致的偏差。

CRediT作者贡献声明

平文豪:撰写——原始草案、验证、方法论、概念化。白志辉:撰写——审稿与编辑、概念化。陶宇波:撰写——审稿与编辑。王美玲:撰写——审稿与编辑。王祖敏:撰写——审稿与编辑。

代码可用性

我们的代码可在https://github.com/Gyou1t/Kdriven获取。

利益冲突声明

作者声明他们没有可能不恰当地影响或偏倚本文所述工作的竞争性财务利益或个人关系。
作者确认他们没有其他需要声明的内容。

致谢

本研究得到了大连大学跨学科研究项目(针对年轻研究员)(资助编号DLUXK-2025-QNYX-015)和辽宁省科学技术联合关键研究与发展计划(2024JH2/102600063)的支持。
平文豪|白志辉|陶宇波|王美玲|王祖敏
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号