《Medical Image Analysis》:Collaborative instance-level and bag-level multiple instance learning with label disambiguation for whole slide image analysis
编辑推荐:
研究人员提出了一种新颖的CIB-MIL框架,该框架联合并双向集成实例级和包级监督,在WSI聚合和预测过程中实现真正的双向协作(实例改进包和包改进实例)。研究人员设计了一个标签消歧模块,将实例监督视为噪声标签学习问题,并通过优化软伪标签(包括注意力感知加权)来减
研究人员提出了一种新颖的CIB-MIL框架,该框架联合并双向集成实例级和包级监督,在WSI聚合和预测过程中实现真正的双向协作(实例改进包和包改进实例)。研究人员设计了一个标签消歧模块,将实例监督视为噪声标签学习问题,并通过优化软伪标签(包括注意力感知加权)来减少标签噪声,提高实例分类性能。研究人员还开发了一个实例-包协作监督模块,将实例级噪声标签学习机制与包级注意力相结合,同时增强彼此,将MIL转化为互补的多任务设置,从而生成更具信息量的WSI表示并提高可解释性。实验验证方面,研究人员在五个数据集(三个公开、两个内部)上取得了最先进的结果,比较了预训练的图块编码器,通过免疫组织化学(IHC)注意力验证了可解释性,并公开了代码以确保可重复性。
论文解读文章
**研究背景**
病理图像被广泛认为是疾病诊断的金标准,尤其在癌症检测中。近年来数字扫描技术的进步推动了对全切片图像(WSI)分析的兴趣。然而,WSI分析因图像尺寸巨大、包含大量与病理诊断无关的区域而面临挑战,直接应用深度学习模型困难。通常将WSI分割为小图块处理。同时,单张WSI可提取的图块数量庞大,使得细粒度标注耗时费力,因此WSI级标注占主导。为此,现有方法通常将WSI分析视为多实例学习(MIL)问题,采用弱监督学习。在MIL框架中,整张WSI被视为一个“包”,图块视为“实例”。通过不同学习策略聚合实例特征以获得包表示,用于下游预测。尽管已有基础模型提供通用实例级特征提取器,但如何有效组织图块信息和特征以产生综合的WSI表示仍是一个开放问题。
**当前问题与研究动机**
目前存在两种主流深度MIL范式:包级MIL和实例级MIL。包级MIL直接使用WSI标签,避免引入标签噪声,能提取上下文信息和实例间相关性,但必须同时学习信息性实例嵌入和调整其贡献以生成包表示,这可能导致模型仅关注最显著实例,尤其在训练样本有限时。实例级MIL产生更准确的实例表示,但受噪声标签困扰——将WSI标签分配给图块时,大量图块与真实标签无关,严重影响分类器准确性。虽有研究尝试集成两种监督,但均采用单向集成策略(包改进实例或实例改进包),未能实现双向协作。为此,论文提出协作实例级和包级MIL方法(CIB-MIL),实现两种监督的双向交互,共同优化MIL流程。
**主要技术方法(不超过250字)**
研究人员提出的CIB-MIL框架包含两个核心模块:标签消歧模块和实例-包协作监督模块。标签消歧模块将实例监督建模为噪声标签学习问题,利用包级标签生成更准确的实例软伪标签,并引入包级注意力值调整伪标签,减少标签噪声。实例-包协作监督模块利用实例特征改进包级注意力机制,使模型关注信息性实例,同时包级监督反作用于实例伪标签的更新。整体框架将MIL转化为多任务学习,包级监督全局总结WSI,实例级监督局部识别关键相关图块。实验基于五个数据集(三个公开:TCGA-NSCLC、TCGA-RCC、另一个公开;两个内部来源为腾讯内部数据集),比较多种预训练图块编码器。
**研究结果**
- **数据集与指标**:在TCGA-NSCLC(肺癌亚型分类:LUSC vs LUAD)和TCGA-RCC(肾癌亚型分类:KICH、KIRC、KIRP)上,以及两个内部数据集(包括IHC配对数据)上进行评估,采用准确性、AUC等指标。
- **CIB-MIL实现SOTA**:在全部五个数据集上,CIB-MIL均取得最先进结果,超越当前主流MIL方法(如ABMIL、DSMIL等),证明了协作监督的有效性。
- **预训练编码器比较**:对比不同通用预训练模型(如ResNet、ViT、CTransPath等)作为图块特征提取器,发现基础模型选择对最终性能有影响,但CIB-MIL在不同编码器下均表现稳定提升。
- **可解释性验证**:通过收集配对免疫组织化学(IHC)染色图像与WSI,计算注意力图与IHC染色区域的一致性,证明CIB-MIL生成的注意力图能精准定位关键病理区域,具备临床可解释性。
- **消融实验**:分别移除标签消歧模块和实例-包协作模块后,性能显著下降,验证了各模块的必要性。双向协作(实例改进包+包改进实例)优于单向策略。
**讨论与结论**
讨论部分指出,CIB-MIL通过双向协作克服了单方向监督的局限性,标签消歧模块有效抑制实例级噪声,协作监督模块使两个通道互相增强。实验表明该方法对不同数据集和任务(癌症亚型分类、IHC验证)均表现稳健,且具备可解释性。结论原文翻译:在本文中,我们提出了CIB-MIL,一种用于全切片图像分析的新型弱监督多实例学习方法。CIB-MIL开发了一种协作监督方法,综合了实例级和包级监督,有效整合了实例改进包和包改进实例两种方法的优势,同时解决了它们的局限性。所提出的标签消歧模块利用噪声标签学习策略产生更准确的软伪标签以减少标签噪声。实例-包协作监督利用实例通道特征优化包通道的注意力机制,同时包级监督反作用于实例伪标签的更新。在五个数据集上的实验表明,CIB-MIL达到了最先进的结果,并提供了可解释性验证。