《Journal of Imaging》：Hybrid Decision-Level Fusion of CNN-Based Deep and Handcrafted Features for Colon Cancer Classification
编辑推荐：
近年来，通过混合决策级融合对组织病理学图像进行分类的关注度日益增加，探索数据融合以提高结肠癌分类准确性的挑战变得重要。本研究通过引入多种深度学习（DL）架构（包括EfficientNetB0、DenseNet121、ResNet101V2、NASNetMobi
近年来，通过混合决策级融合对组织病理学图像进行分类的关注度日益增加，探索数据融合以提高结肠癌分类准确性的挑战变得重要。本研究通过引入多种深度学习（DL）架构（包括EfficientNetB0、DenseNet121、ResNet101V2、NASNetMobile、MobileNetV2和VGG16卷积神经网络（CNN））以及随机森林（RF）和直方图梯度提升（HGB）机器学习（ML）算法，结合原始数据集，引入了新元素。所提出的混合决策级融合方法分析了LC25000数据集的结肠组织病理学图像和手工特征（HF），以提高预测性能。从腺癌和良性结肠组织（CC）中提取了熵、基尼指数和回转半径等HF。通过分类深度特征和HF，利用后期融合进行了所提出模型的预测。实验表明，ResNet101V2与RF分类器以及所有HF的组合获得了更高的准确性和一致的性能。实现的性能指标包括准确率94.1%、F1分数94%、马修斯相关系数（MCC）88.3%和曲线下面积（AUC）0.979。为了解释和解读DL模型做出的决策，使用了可解释方法SHapley加法解释（SHAP）和梯度加权类激活映射（Grad-CAM）。
**研究背景与问题**
结肠癌（CC）是全球第二大癌症死因，2020年新增病例超190万，死亡超93万，预计到2040年每年死亡人数将增至160万（增长73%），新病例达320万（增长63%）。组织病理学图像（HI）是诊断CC的金标准，但传统分析依赖病理学家主观判断，效率及一致性有限。现有研究多聚焦于单一深度特征（如CNN输出）或深度与临床特征的融合，常忽略手工特征（HF）——如熵、基尼指数、回转半径等，这些特征能量化像素空间排列模式，反映组织微结构改变。此外，可解释性（XAI）方法在混合决策级融合中的应用不足，导致模型决策透明度低，难以取得临床信任。因此，研究人员旨在通过结合多种预训练CNN、机器学习（ML）算法及手工特征，构建一个混合决策级融合框架，提升CC分类的准确性和可解释性。
**研究内容与结论**
研究人员使用LC25000数据集（含10000张结肠HI：良性5000、腺癌5000），通过感知哈希去除重复图像（移除2张），并对图像进行预处理（调整至224×224像素，应用随机旋转和颜色抖动增强）。提取了三种手工特征：香农熵（SE，衡量纹理复杂度）、基尼指数（GI，评估像素强度分布不均性）和回转半径（RG，描述形状与空间分布）。深度特征来自六种预训练CNN（EfficientNetB0、DenseNet121、ResNet101V2、NASNetMobile、MobileNetV2、VGG16），手工特征由随机森林（RF）和直方图梯度提升（HGB）分类器处理。后期融合（公式4）以权重α=0.5（深度特征与手工特征各占50%贡献）最优，并通过可解释方法SHAP（量化特征重要性）和Grad-CAM（可视化CNN激活区域）验证模型决策。实验采用5折交叉验证，评估指标包括准确率、F1分数、马修斯相关系数（MCC）和曲线下面积（AUC）。结果表明，ResNet101V2与RF及所有手工特征的组合表现最佳：准确率94.1%、F1分数94%、MCC 88.3%、AUC 0.979。与单独CNN相比，混合决策级融合平均提升准确率1.6%、F1分数1.8%、MCC 2.7%、AUC 1.1%。消融实验显示，移除任一手工特征均导致性能下降，其中熵贡献最大，所有特征联合使用效果最优。Grad-CAM热图显示，ResNet101V2能精准聚焦上皮区域，有效识别腺癌标志性特征（如密集核染色质、不规则腺体结构）。
**论文发表在《Journal of Imaging》**，其重要意义在于：首次系统验证了手工特征与深度特征通过后期融合可显著提升CC分类性能，并集成SHAP和Grad-CAM增强了模型可解释性，为病理学家提供可信赖的辅助诊断工具。
**关键技术与方法**（不超过250字）
本研究使用LC25000数据集（结肠组织病理学图像，良性5000张、腺癌5000张，来源于公开仓库）。关键技术包括：①预训练卷积神经网络（CNN）：EfficientNetB0、DenseNet121、ResNet101V2、NASNetMobile、MobileNetV2、VGG16，用于提取深度特征；②手工特征提取：香农熵（SE）、基尼指数（GI）、回转半径（RG），量化图像纹理与空间模式；③机器学习分类器：随机森林（RF）和直方图梯度提升（HGB），用于分类手工特征；④后期融合：以公式P
final = α·P
CNN + (1-α)·P
ML（α=0.5）融合深度与手工特征预测概率；⑤可解释AI：SHAP分析特征贡献，Grad-CAM可视化CNN激活区域；⑥5折分层交叉验证评估。
**研究结果**
- **单独CNN性能**：六种预训练CNN（EfficientNetB0、DenseNet121、ResNet101V2、NASNetMobile、MobileNetV2、VGG16）在LC25000数据集上独立测试，最佳模型ResNet101V2准确率92.8%，F1分数92.7%，MCC 85.6%，AUC 0.968。
- **混合决策级融合性能**：将每种CNN的深度特征与RF或HGB分类器预测的手工特征进行后期融合（α=0.5）。所有组合中，ResNet101V2+RF+全手工特征获得最佳结果：准确率94.1%，F1分数94%，MCC 88.3%，AUC 0.979。与单独CNN相比，平均提升准确率1.6%、F1分数1.8%、MCC 2.7%、AUC 1.1%。
- **消融实验**：通过逐次移除一个或多个手工特征（熵、基尼指数、回转半径及其组合），评估性能下降程度。哑铃图显示，移除所有手工特征导致最大性能下降，熵的移除引起最小下降，基尼指数或双特征移除导致更大下降。鲁棒性指数（RI）显示VGG16最稳定（RI=0.849），DenseNet121依赖最强（RI=0.765）。
- **SHAP分析**：对于RF和HGB分类器，熵被识别为最重要的手工特征，其高值（红色点）对预测贡献更大，与原始小提琴图中熵在良性样本中更分散的趋势一致。
- **Grad-CAM分析**：对同一组织病理学图像，不同CNN的激活图差异显著。ResNet101V2聚焦于含密集深染核及不规则腺体结构的上皮区域，准确识别腺癌特征；EfficientNetB0关注腺体间上皮桥；NASNetMobile激活区域较大但包含背景；DenseNet121激活弥散；MobileNetV2倾向于全局纹理；VGG16呈现碎片化热点，信息量最低。
**结论与讨论**
讨论部分指出，本研究与现有文献（如仅用CNN或混合融合方法）相比，表现相当或更优，且融合手工特征与深度特征的策略在准确性上具有竞争力。但存在三点局限：①仅使用单一公开数据集LC25000；②六种CNN与两种ML的组合计算耗时；③手工特征种类有限。未来研究将扩展至不同病理类型的HI，并整合更多手工特征以进一步提升诊断精度与效率。
**结论翻译**：总结而言，深度学习技术与手工特征的结合是实现良性和腺癌结肠癌准确分类的重要一步。本研究突出了混合决策级在结合ResNet101V2和RF时的有效性，达到了94.1%的准确率。这种混合决策级过程的方法为不同数字病理学分类的未来提供了可信的前景；此外，集成的人工智能系统可以辅助病理学家以更高的效率和信心提供更准确、数据驱动的诊断。所提出的完整流程包括数据提取、使用小提琴图进行预分析、迁移学习的应用、手工特征的分类以及通过XAI方法验证结果，这增强了研究的可信度。未来的研究将集中于不同病理学相关的各种组织病理学图像的分类。此外，这些研究将把大量手工特征整合到深度特征系统中。这种方法旨在进一步细化诊断准确性并提高诊断过程的整体效率。
