基于逐步自知识蒸馏的皮肤病变图像分类方法SW-SKD框架研究

本研究针对皮肤病变图像分类中自知识蒸馏方法难以确定有效学习目标的问题，提出SW-SKD框架。研究人员通过特征校正块(FRB)和逻辑校正块(LRB)实现逐步蒸馏，在HAM10000、ISIC2019和Dermnet数据集上验证了方法的优越性，其中ResNet50模型的精确度提升0.8%-1.4%，为皮肤病辅助诊断提供了新思路。

　　

皮肤病变的早期筛查和准确分类对临床治疗至关重要，但专业皮肤科医生数量不足导致误诊率居高不下。虽然卷积神经网络(CNN)在皮肤病辅助诊断中展现出潜力，但复杂模型在移动设备上的部署仍面临挑战。传统知识蒸馏方法存在教师模型预训练困难、师生模型知识鸿沟大等问题，而现有自知识蒸馏方法又难以确定有效的阶段性学习目标。

针对这些瓶颈，江西理工大学江西省多维信息感知与智能控制重点实验室的研究团队在《Scientific Reports》发表了创新性研究成果。该研究提出逐步自知识蒸馏框架SW-SKD，通过特征校正块(FRB)提取网络深层注意力特征作为学习目标，采用逻辑校正块(LRB)调整预测输出最大值以匹配正确索引，实现了从后向前的逐步知识蒸馏。

研究主要采用三个关键技术：1)基于SE模块构建FRB实现通道注意力校正；2)通过LR函数进行逻辑交换校正错误预测；3)结合交叉熵损失、KL散度损失和L₂范数损失的多目标优化策略。实验使用HAM10000、ISIC2019和Dermnet三个公开数据集，以ResNet系列网络为基线模型进行评估。

研究结果显示：

1. 在HAM10000数据集上，ResNet18模型的精确度、召回率和F1分数分别提升7.2%、6.3%和9.4%；

2. 采用ResNet50时，SW-SKD的加权平均精确度比次优方法提高0.8%，召回率提高2.1%；

3. 在ISIC2019数据集上，ResNet101模型的平均精确度和召回率分别提升0.9%和0.7%；

4. 参数量和计算量分析表明，SW-SKD在性能显著提升的同时未明显增加模型复杂度。

该研究的创新性体现在：1)提出阶段性探索学习目标的蒸馏策略；2)通过FRB和LRB模块实现特征和逻辑的双重校正；3)在多个基准数据集上验证了方法的普适性。研究成果为皮肤病计算机辅助诊断系统的轻量化部署提供了有效解决方案，特别适合医疗资源匮乏地区的移动端应用。未来工作可探索该框架在其他医学图像分析任务中的迁移应用潜力。