《Engineering Applications of Artificial Intelligence》:DawnNet: Domain-augmented multi-weighting network for endometrial histopathological image classification
编辑推荐:
针对跨机构病理图像诊断中存在的领域偏移问题,本文提出DawnNet模型。该模型通过三分支领域增强模块、空间-通道加权注意力模块和样本加权策略,结合混合目标函数优化,有效抑制领域特定特征,提升模型在分布外数据的泛化能力。实验表明,DawnNet在公开数据集上显著优于现有方法,适用于内分布和外分布场景。
Fengjun Zhao|Lin Wu|Yi Li|Xuelei He|Hongyan Du|Yanrong Chen|Xiaowei He|Yuqing Hou
中国陕西省西安市西北大学电子信息学院放射组学与智能感知重点实验室,邮编710069
摘要
组织病理学检查是诊断子宫内膜组织(包括正常子宫内膜、子宫内膜息肉、子宫内膜增生和子宫内膜腺癌)的金标准。然而,腺体与基质比例以及细胞核形态的细微差异使得诊断具有主观性,并依赖于病理学家的专业知识。基于深度学习的计算机辅助诊断系统可以通过自动提取代表性特征来提高诊断效率。然而,当遇到来自不同机构的数据时,这些系统的性能往往会下降——这属于领域迁移问题,违反了训练数据和测试数据之间独立同分布的假设。现有的领域泛化方法并未完全解决这一挑战,因为它们通常忽略了组织病理学解释中至关重要的形态学特征。为了解决这个问题,我们提出了DawnNet,这是一种用于增强子宫内膜组织病理学图像分类的领域增强多权重网络。DawnNet包含一个领域增强模块来提高泛化能力,一个空间-通道加权注意力模块来增强区分性特征同时抑制领域特定特征,一个样本加权模块来减少虚假相关性,以及一个混合目标函数来学习领域不变和与诊断相关的特征。在公开可用的数据集上的实验表明,DawnNet的性能优于现有的最先进方法,无论是在同分布还是异分布情况下都表现出良好的泛化能力。代码可在以下链接获取:
https://github.com/aliy-ali/DawnNet。
引言
子宫内膜癌(EC)是全球女性中第六大常见恶性肿瘤,2022年全球新诊断病例为420,368例,相关死亡病例为97,370例(Bray等人,2022年)。如果能够在早期阶段诊断并及时治疗,局部子宫内膜癌的五年生存率可达到95%。因此,提高诊断准确性对于改善患者预后至关重要。在临床实践中,子宫内膜病变的识别通常依赖于成像技术,如经阴道超声(Jacobs等人,2004年)、宫腔镜检查(Clark等人,2002年)和子宫输卵管造影(Roma Dalfò等人,2004年)。然而,诊断的金标准仍然是对苏木精和伊红(H&E)染色活检组织的组织病理学检查,病理学家通过视觉区分几种主要的病理类型,包括正常子宫内膜(NE)、子宫内膜息肉(EP)、子宫内膜增生(EH)和子宫内膜腺癌(EA)。由于腺体与基质比例、细胞核形态和结构模式的细微差异,这一过程劳动强度大、主观性强且容易受到观察者之间的差异影响。
计算机辅助诊断(CAD)系统已成为辅助子宫内膜病理学分析的有效工具。早期的CAD系统依赖于手工制作的特征——如纹理、颜色直方图和细胞核形态——并结合了传统的分类器(Zygouris等人,2014年;Downing等人,2020年;Neofytou等人,2015年)。随着深度学习(DL)、卷积神经网络(CNN)、集成架构、注意力机制和变换器的快速发展,它们在多中心组织病理学数据集上达到了专家级别的性能(Y. Zhang等人,2021年;Song等人,2021年;Sun等人,2019年;Zhao等人,2022b年;C.W. Wang等人,2025年;Fremond等人,2023年;Zhao等人,2023年)。
尽管取得了这些进展,大多数DL模型仍然假设训练数据和测试数据是独立同分布的(i.i.d.),但实际上这一假设很少得到满足。实际上,不同机构在组织采集、固定、染色和扫描方面的差异会导致领域迁移(OOD)问题,从而降低模型性能(Ben-David等人,2010年)。
领域泛化(DG)旨在通过在源领域训练模型来应对这一挑战,同时确保对未见目标领域的鲁棒泛化。现有的DG方法通常分为数据级方法和表示级方法,前者通过操作训练数据来模拟领域多样性,后者则专注于学习领域不变特征。最近在DG方面的进展通过数据增强、风格扰动和特征规范化等策略,在数据和表示层面提高了模型的鲁棒性(Xie等人,2020年;Zhang等人,2016年;Cubuk等人,2020年;Hendrycks等人,2019年;Kang等人,2022年;Li等人,2018年;Rame等人,2022年;X. Zhang等人,2021年;Tang等人,2021年;Guo等人,2023年)。然而,大多数现有的DG技术最初是为自然图像开发的,在组织病理学领域(尤其是子宫内膜组织病理学图像)中并不适用,因为这些图像中的复杂形态变化不仅仅是染色差异的问题。因此,它们往往无法捕捉到准确分析所需的结构和形态线索,这突显了在这一领域需要定制化方法的需求。
为此,我们提出了DawnNet,这是一种专为子宫内膜组织病理学图像分类设计的领域增强多权重网络。DawnNet包含三个互补的设计:首先,一个三分支领域增强模块在不同领域之间施加一致性,以模拟多样的领域分布;其次,一种多权重策略结合空间-通道注意力和样本级加权来抑制领域特定特征并减少特征之间的依赖性;最后,一个混合目标函数联合优化判别器、加权模块和分类器,引导模型朝向领域不变和与诊断相关的表示。这些设计共同使DawnNet能够在不同领域之间有效泛化并提高诊断可靠性。本文的主要贡献总结如下:
- (1)
我们提出了一个三分支领域增强框架,用于模拟多领域分布并施加一致性约束,从而提高泛化能力。
- (2)
我们开发了一种结合空间-通道注意力和样本级加权的策略,以抑制领域特定特征并减轻特征之间的依赖性,从而捕捉真实的特征-标签相关性。
- (3)
我们定义了一个混合目标函数,通过平衡加权模块的损失、分支一致性和诊断性能来共同优化模型,使DawnNet能够学习到鲁棒且与任务相关的特征。
- (4)
在公开可用的数据集上的实验表明,DawnNet的性能优于现有的最先进方法,无论是在同分布还是异分布情况下。
相关研究
相关工作
在计算病理学中,不同机构之间的染色协议、组织制备程序和扫描设备的差异会导致图像特征(如颜色、纹理和分辨率)的系统性变化。这些领域特定的差异通常会导致在一个机构训练的模型在其他机构使用时性能显著下降。值得注意的是,由此产生的分布不匹配可能导致OOD失败。领域泛化(DG)旨在解决这一问题
方法
如图1所示,DawnNet由四个部分组成:领域增强模块、空间-通道特征加权模块、样本加权模块和混合目标优化模块。给定一批训练样本,领域增强模块通过数据和特征级别的增强生成多领域变体。空间-通道特征加权模块和样本加权模块共同在特征表示中进行多权重处理。最后,混合目标函数
数据集
如图4所示,使用了三个数据集:一个同分布数据集和两个异分布数据集。源数据集由孙等人在郑州大学第三附属医院收集(Zhao等人,2022a),时间跨度为2017年10月至2018年8月,包含3302个数字图像块(640 × 480像素),分为四个类别:正常子宫内膜(NE,1333张图像)、子宫内膜息肉(EP,636张图像)、子宫内膜增生(EH,798张图像)和子宫内膜腺癌(EA,535张图像)
可视化解释性
为了提高异分布和同分布图像的可视化解释性,我们采用了梯度加权类激活映射(Grad-CAM)来可视化不同模型关注的特征图(图6)。
异分布案例(图6的前四行):
- (1)
EA: 上部区域显示了典型的EA特征,而下部区域包含实性肿瘤细胞和平滑的浸润。DawnNet正确地突出了形成菊花状簇的融合腺体结构,这是EA的标志
CRediT作者贡献声明
Fengjun Zhao:撰写——原始草稿,项目管理,方法论,资金获取。Lin Wu:撰写——原始草稿,方法论,数据管理。Yi Li:可视化,验证,软件开发,调查。Xuelei He:正式分析,数据管理,概念化。Hongyan Du:撰写——审稿与编辑,可视化,数据管理。Yanrong Chen:撰写——审稿与编辑,验证,监督,概念化。Xiaowei He:监督,资源管理,项目管理。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
致谢
本研究部分得到了国家自然科学基金(62476218)、陕西省重点研发计划(2024SF-YBXM-321、2025SF-YBXM-380)以及陕西省教育厅青年创新团队项目(22JP087)的支持。