基于属性调制的几何对齐注意力机制在语言引导的医学图像分割中的应用

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》:Attribute-Modulated Geometric Alignment Attention for Language-Guided Medical Image Segmentation

【字体: 大 中 小 】 时间:2026年07月26日 来源:TRENDS IN FOOD SCIENCE & TECHNOLOGY 17.4

编辑推荐:

  •一种用于医学图像分割的新型语言引导框架——AmGANet。•IACMA无需配对医学文本即可实现精准分割。•AGA模块将文本空间先验与视觉局部变形相结合。•SSD-Block通过分层锚定与优化来确保语义一致性。引言医学图像分割旨在精确定位查询图像中的目标解剖结构或病变,是临床诊断

  
  • •
    一种用于医学图像分割的新型语言引导框架——AmGANet。
  • •
    IACMA无需配对医学文本即可实现精准分割。
  • •
    AGA模块将文本空间先验与视觉局部变形相结合。
  • •
    SSD-Block通过分层锚定与优化来确保语义一致性。

引言

医学图像分割旨在精确定位查询图像中的目标解剖结构或病变,是临床诊断、疾病评估和治疗规划的基石。基于U-Net架构[1]、[2]以及Transformer模型[3]、[4]、[5]、[6]、[7]的分割方法在各类医学成像任务中取得了显著进展。然而,高质量的医学标注需要专家逐像素操作,这一过程既耗时又费力,限制了可用训练数据的规模,也制约了仅依赖视觉的深度分割模型在复杂临床场景中的性能。
为解决数据匮乏带来的瓶颈,一个有前景的研究方向是实现医学图像与对应报告的多模态联合建模。将专家知识嵌入文本可作为语义先验辅助分割,而多模态融合则有助于挖掘单一模态中隐藏的互补预测信号[8]、[9]。在这种框架下,现有方法通常分别对医学图像和文本进行建模以提取视觉与语义表征,再通过后续的融合或注意力机制建立跨模态关联。例如LViT[10]、LanGuideMedSeg[11]和ViTexNet[12]等模型通过点积融合与跨模态注意力有效提升了特征整合能力。黄等人[13]则通过条件对比学习与跨模态重建实现了细粒度对齐,重点关注关键特征Token以抑制背景噪声。但如图1(a)所示,这些方法普遍假设输入必须是严格配对的图像-文本数据。这一要求使得推理阶段需要高质量的报告,而实际临床中报告往往缺失或结构混乱,从而限制了其临床应用价值。为打破这种依赖,单等人[14]尝试引入检索机制。但如图1(b)所示,这种方法本质上是基于冻结的预训练特征进行的启发式硬检索。由于缺乏针对特定任务的适配,这种“胜者通吃”的策略并非最优解,无法充分利用完整的语义分布,也无法纠正预训练特征空间与下游分割任务之间的领域差异。
对现有语言引导方法[12]、[15]、[16]的进一步分析表明,这些方法未能充分挖掘医学报告中的高价值信息。大多数方法采用浅层融合策略,要么将文本特征直接拼接或注入视觉编码器,要么通过注意力机制聚合相关表征。例如郭等人[15]双向注入注意力概率图,潘等人[16]则构建全局亲和图来优化模态特定的嵌入表示。但这些方法通常将文本视为抽象的语义提示,忽视了对分割至关重要的属性级信息——即关于病变数量和空间位置的明确描述。这类属性为二维空间定位提供了关键线索。若不对这些属性信息进行显式建模,文本就无法作为真正的空间导航信号,只能起到弱监督作用,无法提供稳定的全局几何约束,进而限制了语言引导在精确定位病变方面的效果。从表征角度来看,视觉特征通常是密集、连续且具有空间结构的,而语言特征则是离散、稀疏且高度抽象的。为弥合这一差距,一些研究[11]、[15]、[17]引入了投影模块,将语言表征映射到视觉空间。虽然这种方式降低了模态间的差异,但往往依赖降维或线性重构,不可避免地会损失语义信息,削弱文本的引导作用。另一类研究则利用对比学习来实现跨模态表征的对齐[18]。例如潘等人[19]提出了双对比学习框架,通过同时建模各模态的固有表征及其跨模态语义关联,提升了跨模态语义一致性。尽管这种语义对齐方式有效,但它主要侧重于粗粒度的整体相似性,难以捕捉复杂文本描述中的细粒度线索,也无法区分视觉上相似的局部结构。对于医学图像分割而言,识别此类局部细节的能力对于准确界定病变至关重要。
为应对上述挑战,我们提出了用于语言引导医学图像分割的属性调节几何对齐注意力机制。该框架旨在突破静态图像-文本配对的限制,实现无需报告的结构化语义引导。具体而言,我们不再直接依赖原始的自由格式临床报告,而是构建任务级别的属性库,编码病变数量和空间描述信息。基于这些结构化属性,我们引入了如图1(c)所示的实例感知跨模态适配(IACMA)机制。IACMA能够实现任务感知的视觉适配与图像条件下的文本调制,同时将属性检索分解为数量分支和位置分支。预测出的数量可为选择有效的位置Token提供结构化先验,从而为下游分割实现实例感知且可解释的语义引导。此外,所提出的属性调节几何对齐注意力机制能够将语言属性显式映射为二维空间中的几何线索,从而施加全局结构约束。最后,通过协同语义解码模块,跨模态特征可在像素级别逐步优化,有效弥合语义与视觉之间的差异,实现无需依赖配对报告的稳健分割。本文的主要贡献如下:
(1) 本研究提出了一种全新的属性级语言引导医学图像分割框架。该方法突破了传统静态图像-文本配对的严格限制,实现了文本引导的实例感知动态适配以及病变的显式几何对齐,从根本上解决了多模态分割中文本灵活性与空间几何定位方面的局限性。
(2) 实例感知跨模态适配(IACMA)机制通过任务感知的视觉适配、图像条件下的文本调制以及分离的数量/位置检索,实现了无需报告的结构化属性引导推理。
(3) 与传统融合策略不同,所提出的属性调节几何对齐注意力(AGA)机制将属性级文本先验转化为全局仿射场,并将其与基于图像的局部变形建模相融合,从而缓解了语言引导分割中的几何模糊性与定位偏差问题。
(4) 最后,协同语义解码模块(SSD)架起了语义与视觉之间的模态桥梁。通过分层锚定与双向优化策略,它逐步优化语义与空间特征表征,深入挖掘各独立模态之外的隐含关联。

章节要点

医学视觉-语言模型

由于医学图像的高质量像素级标注高度依赖临床专家,仅基于单模态图像训练的深度学习模型往往存在性能瓶颈。相比之下,医学报告中的文本信息(如病变数量和位置的描述)能为理解及定位关键解剖结构提供重要的语义线索,而这些信息往往难以仅从视觉信号中直接获取。

方法论

本研究提出了一种用于医学图像分割的新型多模态框架,如图2所示。该框架通过协同整合分层视觉Transformer与领域特定的语言先验,在跨模态交互层面重建语言与视觉的协同效应,从而实现对病变区域的精细建模。整个架构包含四个阶段:编码器由2层、4层、8层、2层组成,解码器则由1层、4层、2层、1层构成。

数据集与实验细节

为系统评估所提方法在不同成像模式与临床任务中的有效性及鲁棒性,我们在四种具有代表性的医学图像数据集上进行了实验,包括胸部X光片、肺部CT扫描、乳腺超声图像以及内窥镜结肠图像。
(1) QaTa-COV19 [13]、[38]包含9,258张带有详细医疗记录的COVID-19胸部X光片。遵循RecLMIS [13]的标准,其中5,716张图像用于训练,1,429张用于验证,还有2,113张

结论

本文提出了AmGANet,这是一种无需图像-文本一一对应数据的语言引导型医学图像分割框架。AmGANet不依赖严格配对的图像-文本输入,而是从任务级别库中检索结构化的数量与位置属性,进而指导跨模态适配、几何对齐与语义解码。所提出的IACMA、AGA和SSD模块共同实现了基于图像条件的属性检索、属性调节的空间

CRediT作者贡献说明

蔡杰:写作——初稿撰写、可视化、验证、软件开发、方法设计、概念构思。李海燕:写作——审阅与编辑、可视化、监督、资金筹集。王冠波:可视化、验证、研究探索。史欣:验证、形式化分析、数据整理。余鹏飞:验证、研究探索。周浩:监督、研究探索。刘翔:可视化、验证、监督。

利益冲突声明

作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。
Jie Cai|Haiyan Li|Guanbo Wang|Xin Shi|Pengfei Yu|Hao Zhou|Xiang Liu
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号