面向妇科恶性肿瘤高精度分类的可解释三流CNN-Transformer-几何融合方法

《Machine Learning with Applications》：Explainable Tri-Stream CNN-Transformer-Geometric Fusion for High-Precision Gynecological Malignancies Classification

　　

摘要

从细胞学和组织病理学图像中对妇科恶性肿瘤进行自动化分类仍然是一个关键但具有挑战性的临床问题。该任务因类间形态相似性、类内异质性和类别不平衡而变得复杂。此外，单流架构可能无法同时捕获细粒度局部形态、长程组织上下文和旋转不变的结构几何信息。本文提出了一种三流深度学习框架，在统一的多流融合架构中集成卷积神经网络（CNN）、DeiT-III编码器和角向-径向分区（ARP）描述子，用于妇科恶性肿瘤识别。CNN路径提取分层结构的局部形态特征，包括细胞核边界、间质纹理和微结构模式。DeiT-III Transformer通过多头自注意力机制对CNN衍生的语义令牌进行操作，捕获空间远端组织区域之间的全局上下文依赖关系。ARP模块通过将图像分解为极坐标扇区并聚合径向环和角向楔形区域的边缘能量分布，生成旋转不变的几何描述子。三个流通过拼接后进行密集投影层融合，并采用L2权重衰减正则化；结合分类交叉熵与焦点损失的复合损失函数解决了训练过程中的类别不平衡问题。超参数配置通过基于状态优化（SBO）实现自动化，这是一种基于群体的元启发式算法，通过模拟层级社会学习，在联合搜索空间中系统优化学习率、焦点损失权重、正则化系数、优化器选择和调度策略。此外，应用灰世界标准差（GWSD）归一化和基于增强的类别平衡作为预处理和数据准备策略。实验在SIPaKMeD、CIVa和Mendeley LBC三个基准数据集上进行，总体分类准确率分别为97.91%、99.74%和99.48%，宏平均F1分数分别为97.89%、99.28%和99.07%。消融实验、鲁棒性分析、统计显著性检验和交叉验证分析共同证明了各架构组件的经验贡献和互补性，而GradCAM和LIME分析表明模型关注与临床相关形态和组织结构模式相关的图像区域。

论文解读文章

**研究背景与问题**

妇科恶性肿瘤（包括宫颈癌、卵巢癌和子宫内膜癌）构成了重大的全球健康负担。其中宫颈癌是全球女性最常见的癌症之一，而卵巢癌因常在晚期才被诊断而与妇科恶性肿瘤中的高死亡率相关。目前，对细胞学和组织病理学标本的显微镜检查仍由训练有素的病理学家执行，是妇科恶性肿瘤筛查和诊断工作流程的核心环节。然而，这种诊断评估高度依赖专家病理学解读和专门的实验室基础设施，观察者间变异会影响诊断一致性，且在资源受限地区难以普及。因此，开发自动化、可靠且可解释的计算病理学方法以支持细胞学和组织病理学筛查具有迫切需求。深度学习已极大改变了计算病理学领域，卷积神经网络（CNN）在提取核形变、染色质模式和腺体边界不规则等局部形态特征方面表现优异；视觉Transformer（ViT）及其数据高效变体则能通过自注意力捕获图像中空间远端位置间的全局信息，这对肿瘤与间质关系以及大范围组织结构扭曲等组织学特征尤为重要。然而，单独使用CNN或Transformer均非完整解决方案：CNN感受野有限难以捕获全局空间信息，而Transformer在少量样本临床场景下直接应用于原始像素块时可能无法有效捕获局部形态信息。此外，妇科图像分析中一个尚未被计算方法充分解决的关键问题是特征表示的几何不变性——细胞学涂片和组织切片的取向常因染色、制片和采集时的组织方向而高度变化，这种取向变异性会降低对旋转敏感的特征表示的鲁棒性。同时，类别不平衡也是妇科病理学中的重要问题，罕见的恶性亚型相对于正常和良性类别样本不足，传统交叉熵训练可能偏向多数类。因此，亟需一种能同时整合局部形态、全局上下文和旋转不变几何信息的统一框架，并配合有效的超参数优化和类别不平衡处理策略。

**研究内容与核心发现**

针对上述问题，研究人员提出了一种三流深度学习框架，在统一的多流融合架构中集成CNN局部形态特征提取、DeiT-III全局上下文特征提取和角向-径向分区（ARP）旋转不变几何特征提取，并采用基于状态优化（SBO）进行超参数自动搜索。框架在SIPaKMeD、CIVa和Mendeley LBC三个公开数据集上取得了97.91%、99.74%和99.48%的总体分类准确率，宏平均F1分数分别为97.89%、99.28%和99.07%。消融实验表明三流互补集成优于单流和双流配置；SBO超参数搜索相比其他优化策略带来统计显著的性能提升；交叉验证和重复运行分析表明性能稳定；GradCAM和LIME可解释性分析显示模型关注与临床相关形态和组织结构模式相关的区域。论文发表在《Machine Learning with Applications》。

**主要关键技术方法**

研究人员采用了以下关键技术方法：（1）三流特征提取架构，包括CNN编码器（滤波通道32→64→128→256，输出特征图14×14×256）提取层级局部形态特征、DeiT-III-Small Transformer（嵌入维度384，6个注意力头，12个编码器块）对CNN衍生的语义令牌进行全局上下文建模、ARP描述子（8个径向分区×12个角向分区，维度96）通过Sobel边缘提取和傅里叶幅度归一化生成旋转不变几何描述子；（2）拼接融合策略，将三维特征向量拼接后经L2正则化密集投影层映射至512维融合隐空间；（3）复合损失函数，结合分类交叉熵与焦点损失（权重0.25，聚焦参数2.0）应对类别不平衡；（4）SBO元启发式超参数优化，以验证集加权F1分数为适应度目标，在包含学习率、焦点损失权重、正则化系数、优化器类型和学习率调度策略的混合类型搜索空间中进行系统搜索；（5）灰世界标准差（GWSD）归一化和基于增强的类别平衡预处理策略。研究使用了SIPaKMeD（4049张单细胞图像，5类）、CIVa（1935张组织学图像，采集自印度旁遮普贾朗达尔地区美国肿瘤研究所（Shrimann医院）57例患者，4类）和Mendeley LBC（963张液基细胞学图像，采集自460例患者，4类）三个公开数据集，以及一个包含4966张宫颈细胞学图像的独立患者级分割数据集（来自三个认可的细胞病理学实验室）用于鲁棒性验证。

**研究结果**

**CIVa数据集性能评估**：Malignant_Cervical_Cancer类召回率100.00%、精确率99.64%；Cervical_Benign_Cysts和Ovarian_Benign_Cysts类精确率、召回率和F1分数均达100.00%；Malignant_Ovarian_Cancers类精确率100.00%、召回率94.74%。宏平均F1分数99.28%，加权平均F1分数99.74%。仅有的错误发生在两个恶性类别之间，而非恶性与良性之间。

**SIPaKMeD数据集性能评估**：Dys类F1分数99.69%为最高，召回率100.00%；Koi类F1分数98.81%，召回率100.00%；Met类F1分数97.16%；Par类F1分数96.15%，召回率较低（94.34%）；Sup类F1分数97.62%。宏平均F1分数97.89%。剩余错误主要集中在Met、Par和Sup类之间。

**Mendeley LBC数据集性能评估**：NILM和SCC类精确率、召回率和F1分数均为100.00%；HSIL类精确率97.06%、召回率100.00%，F1分数98.51%；LSIL类精确率100.00%、召回率95.65%，F1分数97.78%。宏平均F1分数99.07%。

**特征流消融研究**：单流配置中ARP-only平均F1分数最高（0.8957），DeiT-III-only为0.8900，CNN-only为0.8867。双流配置中DeiT-III+ARP最优（0.9568）。完整三流配置平均F1分数0.9875，较最优双流绝对提升约3.07个百分点，证实三流互补性。

**融合策略比较**：简单平均融合平均F1分数0.9283，无权重拼接0.9425，注意力加权融合0.9549，双线性融合0.9622，所提拼接+SBO配置达0.9875，较双线性融合绝对提升2.53个百分点。

**频域ARP消融**：移除傅里叶幅度变换后，CIVa F1从0.9928降至0.9851，Mendeley LBC从0.9907降至0.9836，SIPaKMeD从0.9789降至0.9687，三个数据集均一致下降，证实频域处理对旋转鲁棒性的增量贡献。

**超参数优化策略比较**：SGD平均F1分数最低（0.8981），AdaGrad为0.9184，RMSProp为0.9319，Adam为0.9410，AdamW为0.9482，COLSHADE为0.9553，LSHADE为0.9592，QPSO为0.9644，SBO达0.9875，较最优其他方法QPSO绝对提升约2.31个百分点。

**增量组件分析**：CNN-only平均F1为0.9022，加入ARP后提升至0.9407，再加入DeiT-III（无SBO）为0.9598，三流无SBO为0.9692，三流+SBO达0.9875，SBO带来1.83个百分点绝对提升。

**分类头设计分析**：单密集层无正则化平均F1为0.9084，双密集层无正则化为0.9196，单dropout（p=0.35）为0.9337，双dropout无批归一化为0.9448，所提双密集层+双dropout+批归一化+GELU激活达0.9875，较H1绝对提升约7.91个百分点。

**与深度学习模型比较**：AlexNet平均F1为0.9040，ResNet-50为0.9251，EfficientNet-B4为0.9355，DenseNet-121为0.9415，ViT-B/16为0.9457，MaxViT为0.9545，Swin Transformer为0.9575，ConvNeXt-v2为0.9626，所提框架0.9875，较最优基线ConvNeXt-v2绝对提升2.49个百分点。

**交叉验证分析**：5折分层交叉验证的平均F1分数为0.9835±0.00332，折间范围0.9796–0.9881，变异系数约0.34%，表明折间变异有限，性能在数据划分间保持相对一致。

**统计显著性分析**：与8种对比配置进行Wilcoxon符号秩检验和配对t检验，所有8项配对比较均得p<0.001，证明所观察到的性能差异不太可能仅由运行间随机变异解释。

**超参数敏感性分析**：将学习率扰动至1×10?2和1×10??后平均F1降至0.9551和0.9539；dropout降至0.10和升至0.60分别得0.9536和0.9518；批次大小8和128分别得0.9508和0.9502；权重衰减设为10?2得0.9486。所有扰动配置平均F1均高于0.948，但均低于SBO所选配置的0.9875。

**置信区间与稳定性分析**：10次独立运行中，所提框架平均F1分数最高（0.9875），标准差最低（±0.0016），95%置信区间[0.9864, 0.9886]，且该区间与所有对比配置均不重叠，表明性能优势在不同随机初始化下保持一致。

**独立患者级鲁棒性评估**：在12类、自然不平衡、患者级分割的独立宫颈细胞学数据集上，模型宏平均F1分数0.7953、加权平均F1分数0.8840、准确率0.8793。最高性能异常类别为abnormal_Dyskeratotic（F1=0.9750），正常类别中normal_Superficial_Intermediate最优（F1=0.9419）。与7种基线架构比较，所提框架宏F1较最优基线MaxViT绝对提升0.0272，准确率较最优基线DeiT-III绝对提升0.0201，且是唯一同时实现最高宏召回率（0.8806）并匹配最佳精确率（0.7597）的方法。

**模型可解释性分析**：在SIPaKMeD细胞学图像中，GradCAM激活图对Superficial-Intermediate样本的大而淡染细胞核和致密染色质颗粒区域表现出高强度激活，对Dyskeratotic样本的深染不规则细胞核和深染胞质体区域呈现双焦点激活模式；LIME掩膜识别出的超像素簇与细胞边缘和胞质密度区域对应。在CIVa组织学图像中，GradCAM在宫颈癌样本的实体细胞团块（高核质比、腺体结构丧失区域）和肿瘤侵袭前沿与间质交界处产生最大激活，低激活区域对应间质纤维组织和背景；LIME选中的超像素沿肿瘤-间质界面自然轮廓分布。两种不同原理的解释方法之间的定性一致性表明模型预测与形态学相关区域相关联。

**与最新方法比较**：在SIPaKMeD上，所提模型准确率0.9791、F1分数0.9789，优于Maurya等（0.9580/0.9795）、Mousser等（0.9300）、Sharma等（0.9453）等方法，与最优方法Hemalatha等（0.9813）和Mehedi等（0.9853）具有竞争力；在Mendeley LBC上，准确率0.9948、F1分数0.9907，优于或持平于Kundu和Chattopadhay（0.9907）和Hussain等（0.9888）；在CIVa上，准确率0.9974、F1分数0.9928，较Mahmoudiandehkordi等的0.9810准确率高约1.64个百分点。

**研究结论与意义**

研究人员提出了一个用于妇科细胞学和组织病理学图像自动分类的三流深度学习框架。该框架在统一拼接融合架构中结合CNN局部形态特征提取、DeiT-III全局上下文特征提取和基于ARP的旋转不变几何特征提取，并使用基于状态优化进行训练配置搜索。框架在三个公开基准数据集（SIPaKMeD、CIVa和Mendeley LBC）上分别取得97.91%、99.74%和99.48%的总体分类准确率，三个数据集上的平均F1分数为98.75%，与评估的基线和已有方法相比具有竞争力。消融实验表明移除或减少单个特征流会降低性能，支持其在所提架构中的互补贡献。SBO超参数调优在采用的实验协议下较评估的替代配置取得了统计显著的性能提升。交叉验证和重复运行分析表明在数据折和随机初始化下性能保持稳定。GradCAM和LIME分析显示高亮图像区域与形态学相关的细胞和组织结构具有定性对应关系。该研究的主要贡献在于：提出了三流互补架构以同时捕获局部形态、全局上下文和旋转不变几何信息；应用带傅里叶归一化的ARP作为旋转不变几何描述子流；采用SBO在连续和离散混合超参数空间中进行系统搜索；设计了结合焦点损失和基于增强类别平衡的复合损失函数；以及使用两种可解释性方法对细胞学和组织病理学图像进行全面分析。研究同时指出了若干局限性，包括图像级数据分割与临床患者级分布偏移的差异、固定224×224分辨率无法捕获全切片图像的多尺度信息、SBO的计算资源需求较高、所有实验均局限于回顾性公开数据集而需前瞻性临床验证等。未来工作方向包括将框架扩展至全切片图像处理、整合多模态数据、引入架构级长尾识别技术、建立标准化可解释人工智能评估协议，以及采用联邦学习实现多机构协同开发。