基于熵的卷积层选择迁移学习用于脑肿瘤检测

《ARABIAN JOURNAL FOR SCIENCE AND ENGINEERING》:Entropy-Based Convolutional Layer Selection for Transfer Learning in Brain Tumor Detection

【字体: 大 中 小 】 时间:2026年04月11日 来源:ARABIAN JOURNAL FOR SCIENCE AND ENGINEERING 2.9

编辑推荐:

  本研究针对传统迁移学习(TL)在脑肿瘤分类中全微调计算量大、仅微调末层效果不佳等问题,提出基于香农熵的卷积层选择性微调方法,以ResNet18/ResNet34为预训练模型,仅对低熵(信息利用不足)卷积层进行再训练。结果表明,该方法在保持与全微调相当准确率的同时,显著减少可训练参数量(ResNet18降约10%,ResNet34降约18%)并缩短训练/推理时间,为资源受限场景下的医学影像智能诊断提供了高效解决方案。

  
脑部虽体积不大,却是人体最精密的“指挥中心”,掌控着从感官到高级认知的所有功能。一旦这个核心器官出现问题——尤其是被称为“第二大致死病因”的脑肿瘤,人类的生存质量将受到严重威胁。在各类脑肿瘤中,恶性脑瘤如胶质瘤(Glioma)、脑膜瘤(Meningioma)和垂体瘤(Pituitary)不仅侵袭性强,其早期精准识别更是临床诊疗的难点。
面对这一挑战,非侵入式的磁共振成像(MRI)成为了医生们的“透视眼”。然而,海量的MRI图像数据让神经肿瘤科医生的工作负荷日益沉重。此时,人工智能(AI)尤其是深度学习(DL)技术的介入,催生了计算机辅助诊断(CAD)系统,有望实现MRI图像的自动化分析。其中,擅长处理图像的卷积神经网络(CNN)表现尤为亮眼。但在医疗领域,高质量标注数据极其稀缺,从头训练复杂的CNN模型既费时又耗力。于是,迁移学习(Transfer Learning, TL)成为了主流选择——即利用在大规模数据集(如ImageNet)上预训练好的模型,将其知识迁移到脑肿瘤分类任务中。
然而,传统的迁移学习策略陷入了两难境地:要么“全盘照收”地对所有层进行全微调(Full Fine-Tuning),导致计算成本高昂;要么“浅尝辄止”地只微调最后的全连接层(Final Layer Fine-Tuning),往往因调整幅度太小而难以适应新的医学影像特征。有没有一种方法,能够像“精准修剪”一样,只选中那些最有潜力、最需要学习的网络层进行训练,从而实现效率与性能的双赢?
在这篇发表于《ARABIAN JOURNAL FOR SCIENCE AND ENGINEERING》的研究中,科研团队提出了一个新颖的思路:用信息论的“熵”作为尺子,来丈量并挑选需要微调的卷积层。
该研究的核心逻辑在于:图像的香农熵(Shannon Entropy)反映了信息的丰富度。对于一张图,熵值越高,意味着像素灰度分布越均匀,包含的信息越丰富;反之,低熵则可能对应着信息利用不足。将此概念引入深度神经网络,研究者假设:那些输出特征图熵值较低的卷积层,可能尚未充分提取有用信息,正是需要通过微调来“激活”的最佳候选者。
为了验证这一设想,研究团队展开了系统的探索。

关键技术方法简述

研究采用Kaggle脑肿瘤MRI数据集(含胶质瘤、脑膜瘤、垂体瘤、无肿瘤四类,共7023例)及Brisc2025数据集进行验证。技术核心包括:1)基于香农熵公式计算各卷积层输出特征图的平均熵,筛选低于均值的低熵层;2)选用经典残差网络ResNet18/ResNet34作为预训练主干,对比全微调、仅微调末层及所提熵基微调三种策略;3)通过准确率、精确率、召回率、F1分数及混淆矩阵评估性能,并结合Grad-CAM可视化模型聚焦区域,开展噪声鲁棒性与随机化消融实验。

研究结果与发现

1. 熵值分布揭示网络“信息瓶颈”

通过对ResNet18和ResNet34逐层计算特征图熵值,研究者绘制了清晰的熵值变化图谱。结果显示,ResNet18深层卷积层的熵值普遍低于网络平均水平;而更深的ResNet34则呈现出“两头高、中间低”的正弦波动趋势。这直观地表明,在网络的中后段,确实存在着大量信息压缩过重、熵值偏低的层级。这些层被判定为“未充分利用”,从而被选定为熵基微调的优化目标。

2. 性能媲美全微调,参数效率大幅提升

在严格的四分类任务测试中,所提出的熵基微调法展现出了卓越的性能。无论是在Kaggle还是Brisc2025数据集上,该方法取得的准确率、精确度等指标均与全微调策略不相上下,甚至在部分配置下略胜一筹,同时显著优于仅微调末层的传统方法。
更具吸引力的是其效率的提升。统计显示,该方法使ResNet18的可训练参数量从全微调的11,178,564个降至9,944,836个(减少约10%);ResNet34则从21,286,724个降至17,354,500个(减少约18%)。这意味着,研究者用更少的计算资源,换取了同等级别的诊断精度。

3. 可视化与鲁棒性证实方法的可靠性

通过Grad-CAM热力图可视化,研究发现经过熵基微调的模型能更精准地将注意力聚焦于肿瘤实质区域,而非分散至无关背景。进一步的消融实验表明,随机选择微调层无法复现该方法的稳定性能,证明了熵值筛选的策略性价值。此外,即使向输入图像中添加不同强度的高斯噪声,该方法仍能保持稳健的分类能力,显示出良好的抗干扰性。即使在轻量化模型SqueezeNet及混合增强数据集等严苛条件下,该策略依然有效,验证了其广泛的适用性。

结论与展望

综上所述,这项研究成功地将信息论中的熵概念转化为深度学习微调策略的有效工具。基于熵的卷积层选择迁移学习方法,巧妙地解决了脑肿瘤MRI分类中平衡模型性能与计算成本的难题。 它不仅减少了冗余的参数更新,加快了训练速度,更重要的是,它为医学影像分析提供了一种可解释、可量化的层选择依据。
未来,这种“按需微调”的思想不仅限于脑肿瘤分类,还有望拓展至图像着色、去雾等其他复杂视觉任务,并与低秩自适应(LoRA)等先进参数高效微调技术展开对比。在医疗资源分布不均的现实背景下,此类研究为推动高效、精准的人工智能辅助诊断落地,点亮了一盏指路明灯。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号