基于RGB图像、红外热成像与伤口面积约束加权融合的多模态深度学习用于糖尿病小鼠伤口愈合分期及治疗反应预测

《European Journal of Pharmaceutical Sciences》：Multimodal Deep Learning for Wound Healing Prediction

　　

慢性伤口，尤其是糖尿病足溃疡（diabetic foot ulcers, DFUs），愈合不可预测并造成显著医疗负担。整合互补数据流的多模态深度学习（multimodal deep learning, DL）系统可在小样本研究中可靠评估伤口状态和疗效，从而支持临床前研究。研究人员开发了一种三支神经网络，将红-绿-蓝（red-green-blue, RGB）图像的卷积特征提取、红外热成像（infrared thermography）和伤口面积测量相结合，用于在糖尿病小鼠伤口模型中分类愈合阶段并推断治疗反应。在描述性消融分析（ablation analysis）中，整合RGB和伤口尺寸输入的模型比仅RGB配置获得更高准确率（0.75 vs. 0.70），提示显式尺寸背景提供了有用的互补信息。热图像在愈合早期看起来具有定性信息价值，但后期提供的附加信号有限，可能反映健康小鼠皮肤中细微的炎症梯度或血管生成；这一观察促使研究人员采用约束加权融合（constrained weighted-fusion）策略。在开发阶段比较中，具有可调固定权重（tunable fixed weights）的静态融合（static fusion）取得最高观测性能（在开发测试受试者上准确率约0.85）。Grad-CAM（Gradient-weighted Class Activation Mapping）可视化显示，预测来自生物学相关区域而非图像伪影。未进行受试者级分区（subject-level partitioning）的实验产生了膨胀指标，强调需要按受试者分组以确保可泛化评估。基于KerasTuner超参数调优的嵌套留一组交叉验证（nested Leave-One-Group-Out cross-validation, LOGO）获得平均准确率0.71，估计未见受试者上的性能。所得概念验证（proof-of-concept）模型预测用纳米纤维化纤维素水凝胶（nanofibrillated-cellulose hydrogel）治疗的伤口的治疗反应。结合标准摄影、热摄影与尺寸指标的多模态DL可对伤口愈合进行分期并检测不同治疗轨迹，因而可用于新型伤口治疗的临床前疗效评价。随着更大规模、经临床注释的数据集，该方法也可应用于临床环境。

研究背景方面，慢性伤口被定义为未能按有序、及时修复过程愈合的损伤，构成持续且昂贵的全球健康问题。全球慢性伤口影响0.15%–0.22%个体，其中约6.3%为糖尿病足溃疡（DFUs），糖尿病患者终生风险为15%–34%。其临床后果严重：超过一半DFUs发生感染，约20%中重度病例进展至截肢，DFU患者五年死亡率是糖尿病无溃疡个体的两倍。当前伤口管理仍以经验性为主，临床人员需在多种敷料、局部药物和辅助装置间权衡，并常依赖视觉检查和试错判断治疗反应；若伤口在指南规定的4周再评估截断点仍无显著进展，常触发昂贵的高级治疗序列，而许多选择缺乏比较证据。这种决策周期使患者暴露于可预防感染、生活质量下降和资源使用增加，因此需要客观、可扩展的决策支持工具。深度学习（DL）已被用于客观伤口评估，早期卷积神经网络（convolutional neural networks, CNNs）实现DFUs的自动分割和分类，近期研究纳入患者元数据、电子健康记录文本或灌注图以提高诊断准确率。多模态设计尤其有吸引力：通过融合互补输入，如用于组织外观的颜色图像、用于炎症或灌注的红外热成像，以及伤口面积等定量指标，模型可近似专家临床人员的整体评估；医学影像比较综述显示多模态架构较单模态对应物在预测准确率上提高4–10个百分点。为在严格受控条件下证明完全多模态方法的可行性，研究人员采用体内糖尿病小鼠全层伤口模型，以两种纳米纤维化纤维素（nanofibrillated cellulose, NFC）水凝胶配方治疗，并与生理盐水对照比较；NFC是一种可持续、符合ISO 13485的生物材料，已在皮肤移植供区敷料等临床应用中显示获益。每个伤口以高分辨率RGB照片、配准热图像和序列平面面积测量记录，提供三个信息流且混杂变异最小。该概念验证研究为多模态DL监测临床前伤口愈合轨迹奠定基础；其原则也可用于临床环境开发适合人类伤口评估的DL模型，但鉴于小鼠与人类伤口愈合机制不同，将小鼠训练模型直接转化至人类可能不可行。研究假设整合RGB图像、热图像和伤口面积测量的多模态DL模型可通过术后日（postoperative day, POD）预测量化糖尿病小鼠模型中的伤口愈合进展；在该框架中，POD作为愈合状态的替代标志，预测POD高于真实标签提示恢复快于预期，低于真实标签提示愈合延迟。采用POD预测是因为实验环境中成像日间隔相对较长且伤口检查具有离散性。研究目标是评估RGB图像、热图像和伤口面积测量的多模态整合能否支持基于POD的伤口阶段预测和治疗反应方向性评估，并建立伤口护理多模态人工智能（AI）的概念验证框架，揭示常见陷阱和未来开发最佳实践。

研究人员开展的研究为：构建三支多模态CNN，分别处理RGB图像、热图像和伤口面积标量，经并行分支和晚期融合进入分类头；以对照伤口训练Healing Scale Model（HSM，愈合尺度模型）学习自然愈合轨迹，并将治疗伤口与学习到的对照时间线比较以判断治疗反应；采用受试者级嵌套LOGO交叉验证和KerasTuner超参数调优，结合Grad-CAM解释。研究结论为：多模态DL框架可对临床前伤口愈合进展和治疗反应进行客观、方向性评估，RGB提供最强预测信号，尺寸特征增加结构背景，热数据具早期定性相关性但需约束加权以避免后期噪声；严格的受试者级验证和生物学审视支持预测反映真实愈合动态而非表面图像线索。其意义在于以探索性临床前动物研究典型受试者数量建立功能性HSM工作流，支持动物实验3R原则（replacement, reduction, refinement），并为再生医学中可解释多模态DL提供可重复、可转移的范式。

关键技术方法概括（不超过250字）：研究采用9只SKH1裸鼠（Crl:SKH1-Hrhr, SPF, Charles River）糖尿病全层伤口模型，设NFC水凝胶不含/含二糖赋形剂及0.9% NaCl对照；每鼠两个背侧伤口；POD 0、2、5、6、8、10、12、14采集RGB照片、热成像和卡尺面积；图像转JPEG、标准化224×224、几何/光度增强；受试者级嵌套LOGO，内层KerasTuner贝叶斯优化，外层留一鼠测试；三支CNN晚期融合，Grad-CAM可解释性。动物研究由Made Consulting Oy合作开展，许可证ESAVI-25539-2024。

研究结果如下。3.1 The Healing Scale Model learned the natural wound-healing trajectory and established a baseline for fusion strategy evaluation：研究人员仅用对照伤口训练HSM，六类为POD 0、2、5、6、8、10，排除第12和14天因愈合在第10天后进入平台期；以Mouse 9B为开发阶段测试，concatenation-fusion HSM准确率约0.73、精确率约0.77、召回率约0.73、F1约0.72，称为base-HSM；结论为对照训练HSM捕获足够POD相关愈合阶段信息，可支持模态贡献的描述性分析。3.2 Ablation analysis identified RGB data yielding dominant features：通过关闭分支的消融实验，RGB+尺寸准确率0.75，高于仅RGB的0.70和仅尺寸约0.17；RGB+热成像约0.73，高于仅RGB但不及RGB+尺寸；三模态约0.73，未超过RGB+尺寸；热成像在无感染、炎症变异小且愈合进展中热对比丧失的条件下增量预测贡献有限且后期不稳定；结论为各模态效用不等，促使采用约束加权融合。3.3 Constrained weighted fusion improved development-stage performance compared with concatenation and attention-based fusion：在Mouse 9B上，attention-HSM准确率约0.48、F1约0.38，劣于base-HSM；约束静态融合weighted-HSM准确率约0.83–0.85，精确率/召回率/F1约0.83，典型权重α_RGB约0.7、α_Size约0.6、α_Thermal约0.4；混淆矩阵显示weighted-HSM更集中对角线并减少跨日散射，保留5?6混淆；结论为引导性有界融合适用于该临床前设置。3.4 Nested LOGO CV highlighted between-subject variability as the dominant generalization challenge：通过嵌套LOGO对所有小鼠评估，外层每鼠轮流作为未见测试组、内层调参；外层测试准确率0.38–0.92、F1 0.30–0.91，平均准确率约0.71（SD 0.16）、F1约0.67（SD 0.19）；内层最佳平均验证准确率约0.70（SD 0.05）；平均绝对误差（MAE）平均0.76天（SD 0.54），多数低于一个类别间隔；闭合线性R²>0.90者准确率>0.70，Mouse 5A的R²=0.98且准确率/F1最高，Mouse 2B准确率0.38、F1 0.30，尽管R²=0.83，因其第2–5天快速闭合；内层与外层准确率负相关（Pearson r=?0.67；Spearman ρ=?0.51）；归一化线性回归显示含二糖NFC水凝胶相较不含二糖者平均愈合率提高20.2%，原文指出需更多样本以获得更确定结论；结论为受试者间异质性主导泛化，内折指标可高估泛化。3.5 Case-level inspection shows many classification errors reflect POD label mismatch rather than nonsensical focus：通过比较Mouse 2B与Mouse 3A的混淆矩阵和代表性RGB图像，Mouse 2B第2–5天快速闭合后5–10天外观相似，模型将5–10天预测晚于真值但相对外观合理；Mouse 3A渐进且阶段可分辨，第5天预测准确；结合同一CNN架构的Grad-CAM解释，良好愈合预测聚焦伤口床、上皮化边缘和热热点，差愈合预测强调较大开放区和热梯度；结论为许多错误反映POD标签与生物阶段不匹配而非无意义焦点。3.6 The HSM-based predictions of treatment response were in line with visual judgement：最终对照训练HSM应用于排除的治療伤口，属同队列控制到治疗转移而非受试者独立验证；使用第2–8天数据，预测POD高于真实≥2天为responding well，≤真实为responding poorly，2天阈值基于MAE 0.76±0.54；代表性权重α_RGB约0.8、α_Size约0.6、α_Thermal约0.2，训练50 epochs、batch size 64、学习率约2.17×10^?4；Day 2呈中性、Day 5–8分歧上升；Well responder如Mouse 2B更先进（面积更小、热差异弱），Poor responder如Mouse 4B保留开放床和强热信号；结论为反应方向与临床印象一致，支持HSM作为临床前生物材料开发和配方评估的定量工具。3.7 Implications, limitations, and future directions：讨论认为受试者级分割是避免泄漏和膨胀指标的必要条件；嵌套LOGO内均值约0.70而外层0.38–0.92，说明受试者间异质性主导不确定性；MAE与准确率并用可把误差联系到两天类别间隔；POD标签作为阶段替代存在结构局限，快速闭合者合理阶段排序可被计为误分类；建议采用Wagner或UT grades或捕获感染、灌注、肉芽质量的生物复合标签以减少不匹配并可能提高热分支贡献；小样本异质限制外层泛化和注意力方法；未来更大、多站点、更丰富标签数据可学习时间动态和更稳健融合，并支持迁移学习；数据增强有价值但增强图像不应视为独立生物样本，未来应优先限制在训练折；生物学审视对可解释和可信决策必要；框架不依赖特定设备，但小鼠到人直接转化不可行，需先评估替代POD标签的价值。

讨论部分总结：作者强调受试者级验证、MAE与准确率并用、生物学锚定标签和约束融合对临床前多模态DL的重要性；框架可客观情境化治疗伤口并给出方向性“responding well/poorly”，Grad-CAM提供透明视觉理由，支持配方开发或医疗器械研究，但需更大规模、适当标签数据以从相对时间走向生物锚定分期和最终治疗选择支持。研究结论翻译：本研究建立了一个概念验证多模态深度学习框架，整合RGB、热成像和伤口尺寸数据，以客观评估临床前伤口研究中的伤口愈合进展和治疗反应。借助数据增强和多模态建模，研究人员在探索性临床前动物研究典型受试者数量下建立了功能性HSM工作流程，支持动物实验中的3R原则。嵌套LOGO分析进一步显示性能在不同动物间存在差异，强调在确保未来验证研究足够统计功效的同时从每个受试者中提取最大信息的重要性。在三种模态中，RGB影像通过捕捉愈合生物学核心的颜色、纹理和形态线索提供最强预测信号；尺寸特征增加结构背景，热数据显示早期阶段定性相关性但需约束加权以避免引入后期噪声；最终模态权重和消融趋势表明，在本数据集中RGB图像和伤口尺寸指标携带最一致信息，而热图像提供更有限且阶段依赖性支持，说明平衡模态融合可实现有生理依据的治疗疗效评估。严格的受试者级交叉验证和生物学审视确认模型预测反映真实愈合动态而非表面图像线索；Grad-CAM图强调伤口床和上皮边缘关注，支持可解释性和生物学相关决策；同时，基于POD的标签成为愈合阶段的限制性替代，闭合速率的受试者间变异偶尔惩罚原本合理的预测，未来伤口DL模型应纳入生物学或临床锚定的分期系统（如肉芽、灌注、感染状态）以更好表示愈合状态并实现转化可信度。除证明方法学稳健性外，本工作为再生医学中可解释多模态DL引入可推广范式，将系统数据增强、生物学引导验证和约束模态融合统一为可重复工作流，适合下一代决策支持开发，并为多模态、可解释临床前DL模型提供可转移模板，将基于图像的预测与其旨在补充的生理推理联系起来。