《Bioengineering》：Explainable Multimodal Deep Learning for Skin Lesion Diagnosis Using Hybrid Adam–GWO
编辑推荐：
早期且准确的皮肤癌诊断对于改善患者预后至关重要，然而当前的深度学习分类器常面临收敛稳定性有限、患者级元数据利用不足以及缺乏可追溯的诊断推理等问题。为克服这些挑战，本研究提出了一种通过混合Adam–灰狼优化（Adam–GWO）策略优化的可解释多模态深度学习框架。
早期且准确的皮肤癌诊断对于改善患者预后至关重要，然而当前的深度学习分类器常面临收敛稳定性有限、患者级元数据利用不足以及缺乏可追溯的诊断推理等问题。为克服这些挑战，本研究提出了一种通过混合Adam–灰狼优化（Adam–GWO）策略优化的可解释多模态深度学习框架。该框架通过特征级融合，将皮肤镜图像表征与结构化患者元数据（年龄、性别、解剖部位）相结合。混合优化器将Adam小批量梯度更新与逐轮次GWO验证引导的群体探索相结合，用于动态特征掩码门控和超参数调优。可解释性通过Grad-CAM++视觉定位图与SHAP元数据特征归因共同实现。为防止数据泄漏，评估采用基于患者和病变标识符的组分层划分（70%训练、15%验证、15%测试），在HAM10000和SIIM–ISIC 2020基准数据集上跨五个固定随机种子进行。在VGG16、ResNet-50、InceptionV3和视觉Transformer（ViT-B/16）骨干网络中，所提出的Adam–GWO策略 consistently 优于基线优化器及替代混合方法。在SIIM–ISIC 2020上，采用Adam–GWO的InceptionV3实现了89.4 ± 0.6%的分类准确率和0.945 ± 0.007的AUC，优于仅图像（87.1%，0.920 AUC）和仅元数据（72.0%，0.776 AUC）基线。在HAM10000上，ViT-B/16实现了94.0 ± 0.5%的准确率和0.973 ± 0.004的AUC。计算分析表明，每轮次训练开销适度增加9.7–10.7%，而嵌入式特征选择将单图像实时推理延迟降低至11.8 ms/图像。总体而言，所提出的框架在预测性能、经验可复现性、计算效率和临床可解释性之间展现了稳健的平衡。
论文解读：可解释多模态深度学习框架结合混合Adam–灰狼优化策略用于皮肤病变诊断
一、研究背景与问题
皮肤癌是全球重大公共卫生挑战，早期精准诊断对提高患者生存率和指导临床干预至关重要。深度学习算法在皮肤镜图像自动分类中展现出显著能力，但将其引入常规临床工作流程仍面临三大障碍：其一，现有系统过度依赖视觉数据，忽视患者元数据（如年龄、性别、解剖部位）的互补价值；其二，优化过程中存在较高的运行间方差，影响模型稳定性与可复现性；其三，现代深度架构的“黑箱”特性缺乏可追溯的诊断推理依据。多模态学习通过融合视觉表征与结构化临床变量可解决信息利用不足问题，可解释人工智能（XAI）技术如Grad-CAM变体和SHAP被用于可视化局部视觉特征与量化特征重要性，但解释在随机优化轨迹中的空间稳定性与保真度尚未得到充分验证。此外，传统梯度优化器（如Adam）易受局部极小值和超参数选择影响，而元启发式群体智能算法（如灰狼优化GWO）在全局搜索和特征子空间发现方面具有优势，但将全局元启发式搜索与局部梯度下降无缝交替用于多模态皮肤病变分类仍属开放研究领域。现有研究虽已分别探索多模态融合、可解释AI和元启发式优化，但三者缺乏统一整合，且多运行实验协议缺乏统计显著性检验支撑。
二、研究内容与意义
研究人员设计、实现并评估了一个可解释多模态框架，将皮肤镜图像与结构化患者元数据通过双流特征级拼接进行融合，采用混合Adam–灰狼优化（Adam–GWO）策略交替执行小批量Adam梯度下降与逐轮次GWO验证引导的群体搜索，实现动态特征掩码门控与自适应超参数调优。该框架在HAM10000和SIIM–ISIC 2020两个基准数据集上，跨越VGG16、ResNet-50、InceptionV3和视觉Transformer（ViT-B/16）四种骨干网络进行系统评估，采用基于患者/病变标识符的组分层划分（70%训练、15%验证、15%测试）和五个固定随机种子以消除数据泄漏并量化运行间方差。研究同时整合Grad-CAM++视觉定位热图与SHAP元数据特征归因，提供双重视觉与定量可解释性。实验结果表明，Adam–GWO策略在准确率、AUC和收敛稳定性方面 consistently 优于基线Adam及其他混合优化器，且计算开销仅适度增加，实现了预测性能、经验可复现性、计算效率与临床可解释性的稳健平衡，为临床决策支持提供了透明且高度可复现的基线。
三、关键技术方法
研究人员采用的主要技术方法包括：双流多模态架构（图像骨干网络提取视觉嵌入，轻量级MLP编码元数据向量，特征级拼接融合）；混合Adam–GWO优化策略（Adam执行小批量梯度更新，GWO群体规模10，逐轮次验证引导的候选特征掩码与超参数搜索，融合系数λ=0.5）；Grad-CAM++视觉定位与SHAP元数据归因的双重可解释性管线；基于患者级分组（SIIM–ISIC 2020按patient_id，HAM10000按lesion_id）的防泄漏数据划分协议。数据集来源：SIIM–ISIC 2020挑战赛数据集（33,126幅图像，来自ISIC档案库）和HAM10000数据集（10,015幅图像，源自Tschandl等人研究）。
四、研究结果
4.1 基线模型性能：在HAM10000上，标准Adam训练的骨干网络准确率超过92%，AUC接近0.97；在ISIC 2020上最佳准确率约88%，AUC为0.931。结果表明骨干架构本身不足以实现一致最优且稳定的性能，优化策略是提升性能的关键因素。
4.2 混合优化（Adam–GWO）效果：在ISIC 2020上，VGG16准确率从86.6%提升至88.8%（AUC 0.911→0.934），InceptionV3从87.9%提升至89.4%（AUC 0.927→0.945），ViT从88.1%提升至89.2%（AUC 0.931→0.943）；在HAM10000上，ViT-B/16达到94.0%准确率和0.973 AUC。五轮独立运行中增益一致且标准差减小，敏感性和特异性同步提升。
4.3 与现代优化算法比较：在InceptionV3骨干和ISIC 2020数据集上，SGD、Adam、AdamW、Lion的准确率分别为86.5%、87.9%、88.2%、88.3%；混合方法PSO–Adam为88.7%、WOA–Adam为88.9%；所提Adam–GWO达到最高89.4%准确率和0.945 AUC，训练时间45秒/轮次，与Adam相比准确率提升1.5个百分点、AUC提升0.018。
4.4 收敛性分析：Adam–GWO在两个数据集上均表现出更平滑、更稳定的验证损失收敛轨迹，振荡减少，最终验证损失更低，表明优化稳定性、鲁棒性和泛化能力增强。计算开销方面，每轮次训练时间增加约9.7%，GPU内存从6.2 GB增至6.8 GB。
4.5 消融研究：在ISIC 2020上，完整框架达到89.4%准确率和0.945 AUC；移除任一组件均导致性能下降。仅元数据模型准确率72.0%、AUC 0.776；仅图像模型准确率87.1%、AUC 0.920；多模态融合带来+2.3个百分点准确率和+0.025 AUC的提升，证实元数据提供互补性上下文信息。
五、讨论与结论
讨论部分指出，Adam–GWO通过将Adam的快速梯度适应与GWO的全局搜索相结合，有效防止过拟合局部极小值、自动丢弃低价值特征并动态调整dropout和正则化，从而提升泛化能力。Grad-CAM++与SHAP提供的解释被用作分析模型行为的工具而非临床验证证据，研究未进行正式临床医生一致性研究。结论部分总结：所提出的可解释多模态Adam–GWO框架在HAM10000和SIIM–ISIC 2020两个数据集上、四种骨干网络中 consistently 优于基线优化器，实现了预测性能、计算效率和临床可解释性的平衡，为皮肤病变诊断提供了透明且可复现的临床决策支持基线，但统计显著性检验和前瞻性临床验证仍留待未来工作。
