基于高度紧凑特征集成学习的组织病理图像分类方法研究

《Scientific Reports》：Histopathology image classification based on ensembles of highly compact features

　　

摘要：本文提出了一种从组织病理图像中提取信息丰富且高度紧凑特征的方法，同时实现高精度分类。由于数据集的规模不断增大以及组织病理扫描图像的庞大尺寸，这类简洁特征具有极高的价值。为满足上述需求，本文提出了从深度神经网络DenseNet-161与ResNet-152的内部层组合，以及源于视觉Transformer的DINO模型中提取特征的新方法，并借助主成分分析（PCA）与邻域成分分析（NCA）构建子空间。该方法生成了PCA/NCA-DenseFeats、PCA/NCA-ResFeats及PCA/NCA-DINO三类新特征，并通过领域训练提取模型进一步提升了其性能。实验结果表明，即使将基线特征的维度缩减数倍，这些特征的分类精度仍保持稳定，这意味着无需使用冗长的表示向量，即使长度缩短数倍的特征仍可在几乎无信息损失的情况下用于分类。此外，本文提出了由误差校正输出码（ECOC）方法协调的多架构分类器集成，该集成利用了三种不同领域微调模型架构（ViT Small、ResNet-152与DenseNet-161）所提取的特征。该方案相较基线可将分类精度提升最高近7个百分点。分类向量仅占用180个float16数值，远小于许多已发表方法，从而降低了特征存储所需内存并实现了更快的分类速度。该方法在BreakHis乳腺癌数据集（40X下达到95.39%，100X下达到92.07%）及Kather结直肠癌数据集（97.1%）上进行了评估，验证了其泛化能力与适用性。

论文解读：基于高度紧凑特征集成学习的组织病理图像分类方法研究

一、研究背景与问题

近年来，基于深度迁移学习与混合特征提取的计算机辅助诊断（CAD）系统在多种临床任务的复杂医学图像分类与分级中展现出显著潜力。随着癌症病例数量的持续增长以及能够解读组织病理切片的专业医师短缺，借助机器学习/人工智能模型辅助临床诊断日益重要。大量现有方法利用卷积网络从组织病理图像中提取特征向量，尽管这些表示比原始图像更为紧凑，但往往仍具有较高维度并可能包含冗余信息。已有研究虽能达到较高精度，但普遍依赖较长的特征向量，部分方法每幅图像的特征维度甚至高达5472维浮点数值。在数据集规模不断扩大的背景下，开发既能保持高分类精度又具有高度紧凑性的图像表示方法，对于降低存储需求、加速计算过程具有重要的实际意义。为此，研究人员旨在大幅减少特征数量，同时保持高分类精度。

二、研究内容与结论

研究人员提出了从组织病理图像中提取信息丰富且高度紧凑特征的新方法，并构建了创新的多架构误差校正输出码（MA-ECOC）集成机制。首先，研究人员对多种深度网络架构进行了领域特定微调，包括DenseNet-161、ResNet-152、ResNet-50、ResNet-18以及采用DINO自监督方法训练的ViT Small模型，利用这些领域训练模型替代原先基于ImageNet预训练的模型进行特征提取。其次，研究人员提出了新的PCA/NCA-DenseFeats特征族，从DenseNet-161网络的连续稠密块输出中提取特征，经最大池化后拼接形成基础特征向量，再经PCA或NCA降维处理。同时，研究人员将PCA/NCA-ResFeats的基础架构从ResNet-50扩展至ResNet-152与ResNet-18，并改进了PCA/NCA-DINO特征的提取方式。最后，研究人员设计了MA-ECOC集成方法，将三种不同架构（ViT Small、ResNet-152、DenseNet-161）领域训练模型提取的60维NCA特征拼接为180维特征向量，通过8个二值分类器结合ECOC编码矩阵进行加权集成分类。实验结果表明，该方法在Kather结直肠癌数据集上达到97.1%的准确率，在BreakHis乳腺癌数据集40X和100X放大倍数下分别达到95.39%和92.07%，相较最佳单一特征变体分别提升了1.66和1.68个百分点，且分类向量仅需180个float16数值，显著优于许多已发表方法。

三、关键技术方法

研究人员主要采用了以下关键技术方法：其一，基于深度神经网络的特征提取，利用DenseNet-161、ResNet系列及ViT Small（DINO）等架构，从网络内部层组合中提取多尺度特征表示；其二，主成分分析（PCA）与邻域成分分析（NCA）两种降维技术，分别以无监督和有监督方式将高维特征压缩至紧凑向量；其三，领域特定微调策略，在组织病理图像数据集上对预训练模型进行全网络微调，包括在Kather（结直肠癌组织病理图像，5000幅150×150像素图像，8个类别）与BreakHis（乳腺癌组织病理图像，9109幅700×460像素图像）数据集上的训练；其四，多架构误差校正输出码（MA-ECOC）集成方法，通过8×8编码矩阵将多分类问题分解为多个二值分类任务，并以3折交叉验证精度作为分类器权重进行加权决策融合。

四、研究结果

1. 1.
   微调与提取模型架构变更

领域特定重训练显著提升了所有数据集的分类性能。研究人员系统比较了不同微调数据来源（同域与跨域）对特征分类精度的影响。

1. 2.
   PCA/NCA-DINO特征

在Kather数据集上，最佳特征变体为NCA-DINO(270)，由领域微调的ViT Small模型提取，准确率达97.1%，较ImageNet预训练基线（95.32%）提升1.78个百分点。跨域测试中，在BreakHis 40X训练的模型提取的NCA-DINO(230)达到94.66%，在100X训练的模型提取的PCA-DINO(270)达到94.52%，分别较基线低0.66和0.8个百分点。在BreakHis 40X上，NCA-DINO(270)达到93.73%，较基线（89.82%）提升近4个百分点；在BreakHis 100X上，PCA-DINO(270)达到89.67%，较基线（85.3%）提升4.37个百分点。值得注意的是，在Kather上微调的模型在BreakHis上性能显著下降约10个百分点，而反向迁移仅损失约1个百分点。

1. 3.
   PCA/NCA-DenseFeats特征

在Kather数据集上，PCA-DenseFeats(200)达到96.02%，较基线（93.72%）提升超过2个百分点。在BreakHis 40X上，NCA-DenseFeats(100)达到92.63%，较基线（87.21%）提升约5个百分点。在BreakHis 100X上，NCA-DenseFeats(60)达到90.39%，为所有测试特征中的最高值，较基线（84.48%）提升约7个百分点。结果表明，从DenseNet-161不同稠密块提取的特征组合能够同时捕获组织病理图像的一般性与特异性特征。

1. 4.
   PCA/NCA-ResFeats特征

在Kather数据集上，ResNet-152提取的NCA-ResFeats(60)达到95.66%，较基线（94.02%）提升超过1.5个百分点。在BreakHis 40X上，PCA-ResFeats(200)达到93.03%，较基线（88.07%）提升明显。在BreakHis 100X上，NCA-ResFeats(60)达到90.29%，较基线（85.01%）提升显著。总体而言，ResNet-152与ResNet-50提取的特征精度相近且前者略优，ResNet-18提取的特征精度最低。网络规模越大，最佳结果越高。

1. 5.
   单一特征变体总结

在Kather数据集上，ViT Small模型（DINO领域微调）提取的特征表现最佳，NCA-DINO(270)达到97.1%。在BreakHis 40X上，同样以ViT Small特征最优，NCA-DINO(270)达到93.73%。在BreakHis 100X上，DenseNet-161特征最优，NCA-DenseFeats(60)达到90.39%。多数特征变体在达到一定分量数后精度趋于稳定，表明特征向量可缩减至约100个分量甚至60个分量而几乎不损失信息。实验中NCA变体在大多数特征组合中优于PCA，表明有监督降维方法能更有效地捕获组织病理特征的结构信息。

1. 6.
   多架构ECOC集成

研究人员将NCA-DINO(60)、NCA-DenseFeats(60)与NCA-ResFeats(60)三种特征拼接为180维向量，通过MA-ECOC集成进行分类。在所有测试数据集上，MA-ECOC结合径向基函数（RBF）核SVM分类器取得最高精度：Kather达97.1%，BreakHis 40X达95.39%，BreakHis 100X达92.07%，较最佳单一特征变体分别提升1.66和1.68个百分点。该集成方法通过ECOC编码矩阵分解多分类问题，增强了系统对个别分类器错误的鲁棒性，同时基于交叉验证性能的加权机制使更可靠的模型在最终决策中发挥更大作用。

五、讨论与结论

研究人员指出，跨域迁移中DINO特征存在明显不对称性：在均匀的Kather图像块上微调的模型在BreakHis上性能下降约10个百分点，而反向迁移仅损失约1个百分点。研究人员推测，对低分辨率图像（Kather）进行上采样限制了DINO算法在单个ViT token层面学习层级组织结构，导致所学表示简化为低层局部纹理与颜色特征。未来计划通过动态插值位置嵌入以适配原始图像分辨率。

研究结论方面，本文提出了提取组织病理图像短而高效的深度表示方法以及创新的MA-ECOC集成机制。首先，研究人员在包含不同组织的组织病理数据集上对模型进行领域微调，替代原先的ImageNet预训练模型用于特征提取，所得特征在分类精度上较此前开发的基线特征提升数个百分点，且无需延长表示向量。其次，提出了新的PCA/NCA-DenseFeats特征族，并发现将PCA/NCA-ResFeats的基础架构从ResNet-50更换为ResNet-152可提取更具信息量的特征。第三，提出了原创的MA-ECOC集成方法，利用不同领域训练网络架构的压缩图像表示丰富最终特征向量，通过基于ECOC的8个加权二值分类器集成进行分类。所提方法在全部测试数据集上均提升了此前的结果：Kather达97.1%，BreakHis 40X达95.39%，BreakHis 100X达92.07%。这些结果在精度与特征向量长度的权衡下可与现有方法有效竞争。研究局限在于仅在固定输入分辨率的图像块层面进行评估，而临床实践常需处理高分辨率全切片图像（WSI），且当前分类流程依赖传统SVM分类器而非端到端架构。未来工作将首先将框架适配至WSI，并探索所提特征在基于内容的图像检索（CBIR）等计算机视觉任务中的应用潜力。