严重度感知的多任务CNN-Transformer框架用于可解释的糖尿病足溃疡分诊与移动部署

《Frontiers in Artificial Intelligence》：A severity-aware multi-task CNN-transformer framework for explainable diabetic foot ulcer triage and mobile deployment

　　

摘要翻译：
引言：糖尿病足溃疡（diabetic foot ulcer, DFU）图像分类可支持及时临床分诊；然而，许多现有系统提供的严重度粒度有限，依赖单一来源图像数据集，且主要使用像素级解释方法。本研究开发了一个七类别、严重度感知的多任务人工智能框架，用于可解释的DFU图像分析及智能手机级部署。方法：该框架结合了域自适应SimCLR预训练、基于U-Net的图像细化、EfficientNet-B0特征提取、轻量级窗口化Transformer融合模块，以及并行分类头和序数严重度回归头。四个公共数据源（DFUC 2020/2021、AZH、Medetec及一个IWGDF对齐的序数存储库）被协调并去重，形成包含24,925张原始图像的分析语料库。评估包括3,739张图像的留出测试集、五折分层交叉验证、留一源测试、一个由临床医生审核的独立前瞻性队列（366张图像）、校准与不确定性分析、基于概念的可解释性评估以及移动设备性能分析。结果：在留出测试集上，该框架达到了95.5%的准确率（95%置信区间，94.7–96.1）和0.953的宏F1分数，而五折交叉验证平均准确率为96.5%±0.3个百分点。外部序数严重度估计得出Spearman相关系数ρ=0.91。在临床医生审核队列中，模型与临床医生严重度一致性的加权Cohen's κ为0.952。模型辅助审查与27.6%的病例中记录的管理意图改变相关，92.6%生成的解释被评为临床有用。在骁龙8 Gen 1设备上，完整设备端推理（包括梯度加权类激活映射和基于概念的解释生成）每张图像需322毫秒。讨论：所提出的框架展示了如何将多源表示学习、多任务严重度建模、不确定性评估、基于概念的可解释性和高效边缘部署集成于一个统一的DFU图像分析AI管道中。研究结果表明其具有高分类性能、强序数严重度一致性、临床可解释的输出以及技术上可行的智能手机级推理。在转化为常规临床决策支持环境之前，需要在不同人群和采集条件下进行进一步的多中心前瞻性验证。

**论文解读：面向可解释糖尿病足溃疡分诊的严重度感知多任务CNN-Transformer框架**

**研究背景与问题**
糖尿病足溃疡（diabetic foot ulcer, DFU）是糖尿病最严重的并发症之一，约19%–34%的糖尿病患者一生中会受到影响，并显著增加非创伤性下肢截肢风险。及时评估溃疡病理和严重度对于选择合适干预措施（如减压、清创、感染管理、血运重建和专科转诊）至关重要。然而，临床中分级一致性受医生间差异、专科资源有限和高患者量影响而难以保证。深度学习为可重复的DFU评估提供了可能，但现有系统存在若干局限：多数模型仅使用单一数据源，严重度标签未跨数据集对齐，正常皮肤或无溃疡样本代表性不足，解释方法多局限于像素级显著性，且缺乏正式的外部验证与移动端部署评估。因此，本研究旨在开发一个七类别、严重度感知的多任务人工智能框架，整合多源数据、自监督预训练、轻量级CNN-Transformer混合架构、概念级可解释性、不确定性量化及移动部署能力，以解决上述碎片化问题。

**研究内容与结论**
研究人员整合了DFUC 2020/2021、AZH、Medetec及一个IWGDF对齐的序数存储库四个公共数据源，通过来源追踪、标签协调、去重和分割后增强，构建了包含24,925张原始图像的分析语料库，并定义了七类别分类法（无溃疡/健康足部皮肤、正常、异常、感染轻度、感染重度、缺血轻度、缺血重度）及0–3序数严重度目标。所提出的框架结合了域自适应SimCLR预训练、U-Net图像细化、EfficientNet-B0特征提取、轻量级窗口化Transformer融合块，以及并行分类和序数回归头。在3,739张留出测试集上，框架达到95.5%准确率（95%CI: 94.7–96.1）和0.953宏F1；五折交叉验证平均准确率为96.5%±0.3个百分点。外部序数严重度估计的Spearman相关系数为0.91。在366张图像的前瞻性临床医生审核队列中，模型与临床医生严重度一致性加权Cohen's κ为0.952，模型辅助审查改变27.6%病例的记录管理意图，92.6%解释被评为临床有用。完整设备端推理（含Grad-CAM和TCAV）在骁龙8 Gen 1设备上每张图像需322毫秒。该研究发表于《Frontiers in Artificial Intelligence》，其意义在于首次将多源表示学习、多任务严重度建模、不确定性评估、概念可解释性和移动部署集成于统一DFU分析管道，为临床决策支持提供了可行方案。

**主要技术方法**
研究人员采用了域自适应SimCLR对比预训练（在未标记训练语料上100轮，NT-Xent损失）初始化EfficientNet-B0骨干；U-Net细化器（SSIM+L1损失）增强图像质量；轻量级Swin风格窗口自注意力融合块结合SimCLR潜在嵌入；多任务头包括焦点损失（γ=1.0, α=0.5）的分类分支和Huber损失的序数回归分支，任务权重λ优化为0.6。样本来源包括DFUC 2020/2021、AZH、Medetec和Kaggle IWGDF分级集，其中600张序数存储库图像中100张贡献健康皮肤类，500张仅用于外部验证。消融研究证明各组件渐进提升性能，完整模型验证准确率97.2%，严重度MAE为0.14。统计评估使用五折分层交叉验证、留一源测试、置换检验、引导置信区间及配对t检验。

**研究结果**
- **数据集构成与分割**：分析语料库含24,925张原始图像，分为训练19,940张（80%）、验证1,246张（5%）和留出测试3,739张（15%）。增强后训练池达每类6,000张，总计42,000张。
- **留出内部测试**：准确率0.955（3,569/3,739），宏F1 0.953。多数错误发生于相邻严重度类别（如感染轻度vs重度、缺血轻度vs重度），健康皮肤与严重病理间错误少。
- **五折交叉验证**：在训练+验证分区（21,186张）上平均准确率0.965±0.003，宏F1 0.944±0.006，表明稳定性良好。
- **统计比较与消融**：五折配对t检验显示，完整管道显著优于所有基线（如EfficientNet-B0单任务、Vision Transformer等），p<0.05。消融研究显示SimCLR预训练（+2.5%）、U-Net细化（+1.0%）、Transformer融合（+0.7%）和严重度头（+1.0%）均带来验证准确率增益。
- **判别、误差、鲁棒性与校准**：各类别ROC-AUC均≥0.983；严重度最高假阴性率为缺血重度（10.3%）和感染重度（8.9%），低于预设15%工程筛选阈值。扰动分析（噪声、模糊、亮度变化）下准确率降至0.941；期望校准误差（ECE）为0.032；置换检验p<0.001。
- **严重度回归**：内部测试MAE 0.14，Spearman ρ=0.96；外部序数验证MAE 0.22，ρ=0.91，表明存在一定域偏移。
- **留一源泛化**：外部序数存储库宏F1=0.90，MAE=0.22；AZH宏F1=0.91；DFUC年份间迁移宏F1=0.94（反之0.93），显示跨源泛化有意义但非完美。
- **临床医生前瞻审核**：366张真实世界图像中，模型与临床医生分类一致性Cohen's κ=0.948，序数严重度加权κ=0.952；模型输出改变27.6%病例管理意图；92.6%解释评为临床有用；严重缺血灵敏度最低（0.85）。
- **可解释性与跨分支一致性**：Grad-CAM与病灶掩膜平均IoU为0.72±0.11；注意力聚焦准确率91%；分类与严重度分支归因相关性0.84；TCAV显示可见骨/肌腱暴露和坏死对重度预测关联最强。
- **互操作性与移动部署**：DICOM/HL7交换合规率98.7%，API调用成功率99.9%，服务器吞吐量47张/秒。完整设备端推理（分类+Grad-CAM+TCAV）平均延迟322毫秒/张，应用包大小168MB，满足500毫秒工程目标。

**讨论与结论**
研究表明，多源数据整合、自监督预训练、多任务严重度建模、不确定性评估和概念级可解释性可协同提升DFU图像分析的准确性、泛化性和临床实用性。但相邻严重度类别的假阴性风险仍存在（如缺血重度FNR 10.3%），严重度分支可能通过连续分数标记部分错误，但无法保证安全分诊，因此部署时应包含图像质量检查、不确定性显示、保守转诊规则及明确的“决策支持而非自主诊断”标签。未来需进行多中心前瞻性验证、更大规模和多样化人群评估、纵向结局研究，并继续降低严重类别假阴性率。该框架应被视为可解释的临床决策支持系统，而非替代临床医生判断的自主诊断工具。