DSGA：用于跨领域少样本胸部 X 光疾病识别的特定领域生成增强

《Information Fusion》：DSGA: Domain-Specific Generative Augmentation for Cross-Domain Few-Shot Chest X-ray Disease Recognition

　　**摘要**胸部X光疾病识别的少样本学习具有挑战性，原因主要有二：自然图像与医学影像之间存在显著领域差异，且目标领域带标签数据极为有限。为应对这一难题，我们提出了领域特异性生成增强（Domain-Specific Generative Augmentation, DSGA），这是一种新颖的跨领域少样本学习框架。该框架在元训练阶段集成基于变换的增强，在元测试阶段引入基于模型的生成增强，以提升领域适应能力。具体而言，在元训练阶段，我们应用领域特异性变换（即灰度转换、对比度增强和高斯模糊）来逐步弥合领域鸿沟并促进跨领域特征学习。在元测试阶段，我们提出一种基于模型的生成增强策略，通过文本提示合成类胸部X光辅助样本，以扩充有限的目标领域支持集。需要指出的是，这些生成样本并非旨在替代经临床标注的真实X光图像，而是提供额外的类条件视觉变化，以缓解目标领域标注数据稀缺的问题。此外，我们提出一种跨领域协同训练策略以对齐源域和目标域，并设计多分支特征对齐机制以增强模型在未见疾病类别上的泛化能力。在ChestX数据集上的实验结果表明，DSGA在5-way 1-shot、5-way 5-shot、5-way 20-shot及5-way 50-shot设置下均表现有效，准确率分别为24.89%±0.66%、28.24%±0.64%、36.12%±0.65%和38.85%±0.68%。我们的工作为领域感知增强提供了一种新范式，为少样本医学图像分类提供了鲁棒解决方案。代码可在以下地址获取：https://github.com/Henkwu/DSGA。**引言**近年来，深度学习模型[1]、[2]、[3]、[4]在医学图像分析领域取得了重大进展，尤其在基于胸部X光图像的疾病预防等任务中表现突出[5]、[6]、[7]。尽管取得了成功，这些模型在胸部X光疾病识别中的应用仍极具挑战性，主要原因有二：医学领域标注数据的极度稀缺，以及自然图像与医学影像之间的显著领域偏移。少样本学习[8]、[9]、[10]旨在处理标注示例有限的任务，在胸部X光疾病识别场景下面临更大挑战。自然图像与医学影像之间的差距体现在纹理、结构和分辨率的显著差异上，使得在自然图像上训练的模型难以适应医学任务[11]、[12]、[13]、[14]、[15]。医学图像的独特特性进一步加大了任务难度，因为传统少样本学习模型通常基于大型领域特定数据集训练，难以迁移至医学领域。特别是，医学影像中标注数据的稀缺阻碍了模型仅凭少量标注样本识别新疾病的能力，限制了标准少样本学习方法在胸部X光疾病分类中的有效性。为应对这一问题，已有方法尝试通过使模型适应医学图像来弥合领域鸿沟。一种广泛采用的方法是传统跨领域少样本学习范式[16]、[17]、[18]。该方法在有限支持集上以基类训练特征编码器，使模型学习跨类泛化能力。然而，当此方法应用于医学图像，尤其是胸部X光时，极易受到领域偏移影响。如图1(a)所示，使用自然图像数据集训练的模型往往难以有效泛化至医学领域。从源域习得的特征表示与目标域对齐不足，导致其在目标域疾病识别任务中表现不佳。虽然这些方法在基础少样本设置中取得了一定成功，但由于自然图像与医学影像之间存在巨大差异，在处理医学数据时通常表现欠佳。为克服上述局限，已有研究者[19]、[20]提出一种更先进的方法，在元训练阶段将目标域的支持集与基类数据结合使用。该方法旨在通过将目标域支持图像与基类数据融合来缩小领域差距，使模型能够利用两个领域的特征进行自适应调整。如图1(b)所示，该方法不应用领域特异性变换，而是直接利用目标域数据增强模型泛化能力。通过引入目标域支持集，模型在学习适应医学领域的同时保留来自基类的知识。然而，尽管该方法改善了源域与目标域之间的特征对齐，其性能仍未达到最优，尤其是在目标域标注数据有限的情况下。该方法可能无法在测试阶段充分捕捉目标数据的潜在结构，从而导致疾病识别准确率不尽理想。针对上述挑战，我们提出了面向跨领域少样本胸部X光疾病识别的领域特异性生成增强（DSGA）框架，如图1(c)所示。遵循标准的N-way K-shot跨领域少样本学习协议，每个元测试片段包含一个带标签的支持集和一个未标注的查询集，其中查询标签仅用于评估。在此协议中，DSGA仅将生成的类胸部X光图像作为辅助支持样本，以丰富类条件视觉变化，而非替代经专家标注的真实胸部X光图像。DSGA基于领域特异性方法构建，明确将增强策略按不同学习阶段分离。在协同训练和情景式元训练阶段，对源域图像应用基于变换的生成增强，通过灰度转换、对比度增强和高斯模糊模拟胸部X光风格的视觉特征并缩小领域差距。在元测试阶段，仅使用基于模型的生成增强来为有限的目标域支持集合成类胸部X光辅助样本。这种分阶段设计增强了目标域适应能力，同时避免将生成样本用作查询图像或替代经专家标注的真实X光图像。此外，我们引入多分支特征对齐机制，使模型通过多个分支在不同抽象层次上提取特征。这种特征对齐对于提升源域与目标域之间特征表示的一致性至关重要，从而进一步增强跨领域泛化能力。通过多分支特征对齐，模型能够更好地捕捉细粒度特征与全局特征，从而在标注数据有限的胸部X光任务中提升性能。再者，在元测试阶段，我们引入一种基于模型的生成增强技术，通过文本提示合成类胸部X光辅助图像。这些生成图像用于为有限支持集提供额外的类条件变化[21]，而非替代经专家标注的真实胸部X光图像。鉴于合成医学图像可能包含伪影、分布偏差或病理信息不完整，DSGA并不仅依赖生成样本。相反，生成增强与跨领域协同训练及多分支特征对齐相结合，以提升对真实目标域查询图像的适应能力。训练阶段的基于变换增强、多分支特征对齐与测试阶段的基于模型生成增强相结合，产生了卓越的特征适应与泛化效果，这是我们大量实验验证的结果。在ChestX数据集上的实验结果表明，DSGA在5-way 1-shot、5-way 5-shot、5-way 20-shot及5-way 50-shot设置下分别达到24.89%±0.66%、28.24%±0.64%、36.12%±0.65%和38.85%±0.68%的准确率。这些结果突显了我们的方法在应对领域偏移和标注数据有限所带来挑战方面的有效性。综上所述，我们的贡献体现在以下三个方面：- 我们提出了领域特异性生成增强（DSGA）框架，结合基于变换的增强、多分支特征对齐和生成模型，以改善跨领域少样本学习中的特征适应与泛化能力。- 我们在元测试阶段引入了一种基于模型的生成增强技术，用于合成类胸部X光辅助图像，增强支持集多样性，从而更好地泛化至ChestX疾病类别的查询样本。- 在ChestX数据集上的实验结果表明，DSGA在比较方法中取得了具有竞争力的性能，并在5-way 1-shot和5-way 20-shot设置下展现出明显优势。本文其余部分组织结构如下：第2节介绍相关工作；第3节详述所提出的DSGA框架；第4节展示实验结果与分析；第5节给出结论并讨论未来工作。**章节片段****相关工作**本节从胸部X光图像识别、少样本学习、跨领域少样本学习和深度生成模型四个方面综述与所提出DSGA框架相关的研究。**方法论**本节介绍面向跨领域少样本胸部X光疾病识别的DSGA框架。如图2所示，DSGA框架将跨领域协同训练与多分支特征对齐相结合，以提升领域适应能力和分类准确率。该框架由三个主要组件构成：跨领域协同训练、多分支元训练特征对齐和多分支元测试特征对齐。其中每一项均……**实验**本节首先描述实验设置，包括基准数据集、实现策略和评估流程的细节。为评估所提方法的有效性，我们与现有方法进行对比分析，并进行消融研究以评估各组件的影响。此外，我们还通过可视化技术探索定性结果，以更深入地洞察模型行为。**结论与未来工作**本文提出了领域特异性生成增强框架，这是一种面向胸部X光疾病识别的跨领域少样本学习框架。DSGA通过在元训练阶段使用基于变换的增强、在元测试阶段使用基于模型的生成增强，来应对领域偏移和标注数据有限所带来的挑战。元训练阶段应用领域特异性变换以弥合领域鸿沟，而元测试阶段则利用生成增强来合成……**CRediT作者贡献声明****Heng Wu（吴恒）：** 撰写——初稿撰写、软件、方法论。**Zijun Zheng（郑子君）：** 撰写——初稿撰写、软件、方法论。**Wansong Wang（王万松）：** 验证、软件。**Laishui Lv（吕来水）：** 撰写——审稿与编辑、方法论。**Dalal Bardou：** 撰写——审稿与编辑。**Gaohang Yu（于高航）：** 撰写——审稿与编辑、方法论、资金获取。Heng Wu | Zijun Zheng | Wansong Wang | Laishui Lv | Dalal Bardou | Gaohang Yu