用于全切片图像分类的协同优化

《Knowledge-Based Systems》：Collaborative Optimization for Whole Slide Image Classification

多实例学习框架COMIL通过协同优化实例表示与包预测，结合实例融合器、跨伪包融合模块和邻居对比学习，提升 histopathology whole slide image 分析的准确性，在CAMELYON16和TCGA-ESCA数据集上较基线方法分别提高1.2%-4.5%的准确率。

　　在医学图像分析领域，特别是针对组织病理学全切片图像（Whole Slide Image, WSI）的分类任务中，有效实例表示和袋预测是实现准确诊断的关键。WSI作为高分辨率数字病理图像，包含了大量细胞和组织的微观信息，是癌症诊断的黄金标准。然而，由于WSI结构复杂，传统的人工显微镜检查方法在处理这些图像时存在效率低下和主观性强的问题。近年来，随着数字扫描技术的发展，WSI的处理与分析逐渐从人工转向自动化，但如何在不依赖细粒度标注的情况下，提高模型对WSI中病理特征的识别能力，仍然是一个重大挑战。

目前，多实例学习（Multi-Instance Learning, MIL）作为一种无需实例级标注的机器学习方法，受到了广泛关注。MIL的核心思想是利用袋级别的标签（如肿瘤或非肿瘤）进行模型训练，而非依赖于每个实例的具体标注。这种学习方式在一定程度上降低了标注成本，但同时也带来了模型训练中的诸多问题。例如，许多现有的MIL方法主要集中在如何生成具有判别性的实例特征，或者如何更准确地预测袋级别的标签，却忽略了这两者之间的协同优化关系。这种割裂的优化策略往往导致模型在处理复杂病理图像时，难以充分捕捉到关键的判别信息，从而影响最终的分类效果。

为了解决这一问题，本文提出了一种名为COMIL的统一框架，旨在通过协同学习的方式，同时增强实例表示和袋预测的能力。COMIL的创新之处在于，它不仅关注如何提取高质量的实例特征，还注重在特征学习与预测任务之间建立紧密的联系，以实现更高效的模型优化。该框架包含三个主要模块：实例融合器（Instance Fuser）、邻近对比学习模块（Neighbor Contrastive Learning, NCL）以及基于Transformer的聚合器（Transformer-based Aggregator）。这些模块相互配合，形成一个闭环优化系统，使模型能够在训练过程中不断改进特征表示的质量，并提高袋预测的准确性。

实例融合器的核心目标是捕捉实例之间的相关性，从而提升特征的判别能力。在WSI中，每个实例可能代表不同的组织区域，这些区域之间存在复杂的相互作用。例如，一个包含癌细胞的区域可能与其他正常组织区域相互影响，形成某种模式。通过引入Transformer架构，并结合类标记（class token）的机制，实例融合器能够更有效地提取每个实例的局部上下文信息，从而形成更具代表性的特征表示。此外，为了进一步提升模型的泛化能力，COMIL还设计了一个跨伪袋融合（Cross-Pseudo-Bag Fusion, CPF）模块，该模块能够从当前和历史伪袋中选择性地融合与预测相关的特征信息，增强伪袋表示的质量。

在特征表示与预测任务的协同优化方面，COMIL引入了邻近对比学习模块（NCL）。该模块通过对比相邻伪袋之间的特征，促使模型学习到更加稳定和具有区分度的表示。在WSI分析中，伪袋的划分往往基于某种相似性或空间关系，因此，伪袋之间的关系可能包含重要的信息。NCL通过对比学习的方式，使模型能够区分具有相似特征但不同标签的伪袋，从而提升特征的判别能力。这种方法不仅有助于减少伪标签带来的偏差，还能增强模型对复杂病理结构的适应能力。

在袋预测方面，COMIL采用基于Transformer的聚合器，将高质量的实例特征整合起来，以生成更可靠的袋级预测结果。传统的MIL方法通常将实例特征进行简单加权或平均，但这种方法可能无法充分捕捉到袋级标签与实例特征之间的复杂关系。COMIL的聚合器则通过自注意力机制，动态地调整不同实例对最终预测结果的贡献权重，从而实现更精确的特征整合。这种动态调整机制能够有效应对WSI中实例数量庞大、特征分布不均等问题，提高模型在复杂场景下的鲁棒性。

COMIL的协同优化策略还体现在其多任务学习框架中。该框架将伪袋级预测、NCL损失以及袋级预测的训练目标统一起来，使得模型在训练过程中能够相互促进、共同优化。这种多任务的协同机制不仅有助于提升模型的整体性能，还能在一定程度上缓解伪标签带来的不确定性问题。通过在训练过程中引入额外的反向传播路径，COMIL能够更全面地利用实例特征与预测任务之间的相互关系，从而提高模型的稳定性和准确性。

为了验证COMIL的有效性，本文在四个基准数据集上进行了广泛的实验。实验结果表明，COMIL在CAMELYON16和TCGA-ESCA数据集上的分类准确率分别比基于伪袋的DTFD方法提高了1.2%和3.3%，比基于袋的ACMIL方法分别提高了4.5%和2.0%。这些结果充分证明了COMIL在WSI分类任务中的优越性。此外，实验还展示了COMIL在处理不同病理类型和复杂组织结构时的泛化能力，表明其在实际应用中具有较大的潜力。

在实际应用中，COMIL的协同优化机制能够显著提升模型的性能。例如，在处理含有小而分散肿瘤的WSI时，传统的MIL方法往往由于伪标签的偏差而难以准确区分肿瘤区域与正常组织。而COMIL通过引入NCL模块，能够有效减少这种偏差，提高模型对复杂病理结构的识别能力。同时，CPF模块的引入使得模型能够更好地利用历史伪袋的信息，进一步增强特征表示的稳定性。这些改进使得COMIL在面对高噪声、高变异性数据时仍能保持较高的预测精度。

此外，COMIL在训练过程中采用了多任务学习的方式，使得模型能够同时优化多个相关任务。这种策略不仅提高了模型的泛化能力，还增强了其对不同数据分布的适应性。在实际应用中，多任务学习能够帮助模型更好地理解病理图像中的各种特征，从而提高诊断的准确性。例如，在处理肺部癌变组织时，模型可以通过同时优化伪袋预测和袋预测任务，更全面地捕捉到癌变区域的特征，提高分类的可靠性。

在方法实现方面，COMIL的结构设计充分考虑了WSI分析的实际需求。例如，实例融合器能够处理大规模的实例数据，确保特征提取的效率和准确性。而NCL模块则通过对比学习的方式，使模型能够在训练过程中不断调整特征表示，以适应不同的病理情况。同时，基于Transformer的聚合器能够动态地整合实例特征，提高袋预测的鲁棒性。这些模块的协同作用，使得COMIL能够在不依赖细粒度标注的情况下，实现对WSI的高效分析和准确分类。

从实验结果来看，COMIL不仅在性能上优于现有方法，还在处理不同类型的WSI时表现出良好的适应性。例如，在处理乳腺癌子型分类任务时，COMIL能够准确区分不同类型的癌变组织，表现出较强的判别能力。而在处理食管癌和肺癌的WSI数据时，COMIL同样能够保持较高的分类准确率，显示出其在不同病理类型上的泛化能力。这些结果表明，COMIL不仅适用于特定的病理分类任务，还能够在更广泛的医学图像分析场景中发挥作用。

在实际应用中，COMIL的协同优化机制能够为医学影像分析提供更高效的解决方案。例如，在病理图像的自动诊断系统中，COMIL可以通过同时优化实例表示和袋预测，减少对人工标注的依赖，提高系统的自动化水平。此外，COMIL的多任务学习框架还能帮助模型更好地理解病理图像中的复杂关系，从而提高诊断的准确性和可靠性。这些优势使得COMIL在临床应用中具有较大的潜力，能够为病理医生提供更精准的辅助诊断工具。

总的来说，COMIL的提出为WSI分类任务提供了一种新的解决方案。通过协同学习的方式，COMIL不仅提升了实例表示的质量，还优化了袋预测的准确性，使得模型能够在不依赖细粒度标注的情况下，实现对复杂病理图像的有效分析。实验结果表明，COMIL在多个基准数据集上的表现优于现有方法，显示出其在实际应用中的优势。未来，COMIL可以进一步拓展到其他医学图像分析任务，如器官分割、疾病预测等，为医学影像处理提供更加全面和高效的工具。