用于自动化痤疮诊断的多模态深度学习框架：检测、病灶定位、分类和严重程度评估

《Biomedical Signal Processing and Control》：Multimodal deep learning framework for automated acne diagnosis: detection, lesion localization, classification, and severity assessment

　　

摘要
痤疮是最常见的皮肤病之一，然而用于其诊断的自动化且经临床验证的系统仍然有限。本研究提出了一种多模态深度学习（DL）框架，用于综合痤疮分析，该框架将基于图像的检测结果、病灶定位、亚型分类和严重程度评估与结构化的患者信息相结合。该框架由四个模块组成：(i) 使用 ResNet-18 进行痤疮存在检测，(ii) 使用 Swin Transformer 编码器进行炎症性与非炎症性分类，(iii) 使用 EfficientNet-B3 并辅以亚型特定的二元分类器进行七类病灶亚型分析，以及 (iv) 使用单次查看第五版（You Only Look Once Version 5, YOLOv5）进行病灶定位和区域严重程度分级。
为支持模型开发，实施了一个由皮肤科医生监督的半自动标注流程，结合手动标注、模型辅助边界框生成和集成验证，构建了一个多样化且临床可靠的数据集。在测试数据集上，模型实现了高性能，痤疮检测准确率为 97.98%，炎症性与非炎症性分类准确率为 96.86%，七类病灶亚型分类准确率为 95.04%。完整系统的整体准确率达到 96.14%。
病灶定位模块实现了空间感知的严重程度评分，而结构化患者数据的整合（包括 70% 的图像输入和 30% 的患者病史）提高了模棱两可病例中的诊断可靠性。消融分析进一步表明，模块（M1–M4）的渐进式整合通过优先考虑空间验证而非原始统计准确率，增强了临床严谨性和诊断可靠性。据我们所知，这是首批将病灶级视觉分析与患者上下文信息相结合以实现自动化痤疮管理的多模态框架之一。提出的框架显示出强大的临床部署和远程皮肤病学应用潜力，提供了一种可扩展、可解释且以患者为中心的工具，用于皮肤科决策支持。

引言
寻常痤疮（acne vulgaris），通常称为痤疮，被认定为第八大广泛传播的皮肤病，影响全球各地人群 [1]。它是一种毛囊皮脂腺单位的慢性疾病，其特征是形成各种类型的病灶，包括粉刺（黑头和白头）、丘疹、脓疱、结节、囊肿和炎症后疤痕。这些痤疮病灶通常出现在面部、胸部和背部。出现在颈部的病灶通常被归类为痤疮变异型，或可能由外用皮质类固醇或机械摩擦等外部因素诱发 [2]。这些病灶显著影响身体外观和心理健康。虽然痤疮主要在青春期开始 [3]，但它可持续至成年期。它不仅仅是一个美观问题，也是造成巨大心理压力来源，常导致焦虑、自尊心低下，甚至临床抑郁症。痤疮的有效管理需要准确识别病灶类型和严重程度。表 1 提供了痤疮病灶主要类型的总结。
痤疮的发生是多因素引起的，涉及四个主要病理机制：皮脂过度产生、导管角化过度、痤疮丙酸杆菌（Cutibacterium acnes， formerly Propionibacterium acnes）定植以及炎症 [10]。激素失衡（如怀孕或青春期期间），特别是雄激素，在皮脂腺过度活跃中起着重要作用。这些是使皮肤油腻的油腺，从而增加了患痤疮的机会。其他促成因素包括压力、遗传、使用致粉刺性护肤品、环境污染和某些药物。此外，来自头盔、衣领或手机等物品对皮肤的机械摩擦或压力也可能引发爆发性痤疮 [11]。图 1 概述了导致痤疮发展的生物、环境和生活方式因素。
痤疮被广泛分为炎症性和非炎症性类型 [13]。非炎症性痤疮包括黑头（开放性粉刺）和白头（闭合性粉刺），而炎症性痤疮涉及更严重的病灶，如丘疹、脓疱、结节、囊肿和疤痕。痤疮的严重程度和亚型决定治疗方案，并且在个体间差异很大。
痤疮的全球负担巨大。它影响美国约 5000 万人 [14]，成年女性患病率为 12% [15]。在青少年中，患病率范围为 35% 至超过 90% [16]。在全球范围内，约 9.4% 的人口观察到痤疮 [17]，全球受影响个体超过 6.5 亿人。根据全球疾病负担（GBD）研究，2021 年痤疮导致了 513 万伤残损失寿命年（YLDs），尽管它不致命，但突显了其严重的心理影响。在印度，痤疮在年轻人中非常普遍，临床实践中经常遇到炎症性病灶和痤疮后疤痕 [18]。尽管其普遍存在，但痤疮的诊断和分级仍然高度主观，严重依赖皮肤科医生的专业知识。平均而言，患者等待皮肤科预约超过 32 天 [19]，延误了关键干预。此外，痤疮病灶的多标签和重叠性质降低了手动分类的可靠性，给及时有效的护理带来了挑战。而且，如果发生任何误诊，可能会导致严重程度恶化、并发症增加和治疗成本上升。
为了解决这些临床和计算挑战，我们提出了一种临床知情的人工智能（AI）驱动的多模态框架，该框架整合了图像分析（病灶照片）和文本患者信息（症状、人口统计学和临床笔记），以实现准确的多标签痤疮诊断和严重程度评估。现有的基于 AI 的痤疮分析方法主要关注单任务图像分类或严重程度分级，通常忽略了细粒度的病灶分类、空间病灶定位和患者上下文信息。此外，许多系统仅依赖图像输入，未纳入患者病史，这限制了它们的临床可解释性和实际适用性。提出的系统通过提高诊断准确性、减少主观性并实现可扩展的皮肤病筛查来解决这些局限性。特别是，它旨在支持早期检测，减少诊断延迟，并扩大皮肤病评估的可及性，特别是在资源受限和远程医疗环境中。
提出的多模态框架利用 YOLOv5 进行痤疮病灶检测 [20]，专用的病灶分类器进行亚型识别，以及结合卷积神经网络（CNNs）[21] 与 Swin Transformers [22] 的混合确认模型，以增强特征表示和分类鲁棒性。此外，引入了一个多模态界面，将图像派生特征与患者报告的文本输入融合，实现上下文感知和个性化的痤疮评估。该框架在一个经过精心策划的数据集上进行训练，该数据集由开源和临床来源的皮肤病图像组成，注释经专家皮肤科医生交叉验证，以确保诊断可靠性和临床相关性。论文主要贡献：
1. 端到端模块化诊断流水线：一个四阶段 DL 框架，复制皮肤科医生的推理过程：痤疮检测 → 炎症性/非炎症性分类 → 病灶亚型识别 → 带有区域严重程度分级的病灶定位。与传统的单阶段模型相比，这种结构化流水线提高了可解释性和临床一致性。
2. 皮肤科医生监督的半自动标注框架：一种可复现的标注策略，结合专家手动标注与使用 YOLOv5 和集成验证进行模型辅助边界框生成。此工作流能够在多样化的痤疮数据集上高效生成密集、高质量的真值注释。
3. 混合多类别和亚型特定分类架构：一个主要的七类 EfficientNet-B3 分类器，辅以七个亚型特定的二元分类器，以减少类间相似性并可靠地检测共存的病灶类型。
4. 空间感知严重程度评估：使用 YOLOv5 进行病灶定位，实现区域病灶计数和亚型加权严重程度估计，产生临床可解释的痤疮严重程度分级（1–4 级）。
5. 带有患者上下文的多模态融合：整合基于图像的特征表示与结构化患者信息（包括饮食、药物史、激素因素和皮肤类型），实现与皮肤病决策制定一致的上下文感知痤疮评估。
6. 纵向监测和比较分析：一个交互式界面，能够跟踪痤疮进展的时间序列，便于治疗监测和远程患者管理。
7. 高质量经皮肤科医生验证的数据集：一个策划密集注释的数据集，源自公开和临床来源，经认证皮肤科医生验证。该数据集捕捉了多样化的病灶类型和肤色，解决了现有痤疮数据集中的常见局限性，并支持稳健的模型开发。
总体而言，这项工作提出了一种可扩展、智能且以患者为中心的自动化痤疮分析框架，弥合了临床皮肤病学和 AI 驱动决策支持之间的差距。通过整合病灶检测、多模态分析和纵向监测，提出的系统支持准确诊断、治疗评估和可及的皮肤病筛查，从而将专门的皮肤病护理扩展到服务不足和偏远人群。

章节片段
文献综述
人工智能和深度学习的近期发展显著推动了自动化皮肤病图像分析，使系统能够检测痤疮病灶、分类病灶类型以及从面部图像估计严重程度。在过去十年中，该领域的研究已从传统图像处理技术演变为用于临床决策支持的复杂 DL 框架。早期研究主要依赖于手工制作的图像特征和经典机器学习
方法论
本节讨论了通过 DL 模型用于痤疮检测、分类和严重程度分级的系统方法。该架构旨在支持基于区域的标注、多标签分类和严重程度评估，同时通过混合界面纳入用户上下文。图 2 说明了提出的痤疮分类框架。提出的痤疮分类框架由多阶段流水线组成，包括数据预处理，
结果
本节重点介绍了提出的多阶段痤疮分类流水线的性能评估。每个模型 M1-M4 均使用标准分类指标进行评估，包括准确率、精确率、召回率和 F1 分数 [47]。流水线中每个组件的详细性能如下所述。
讨论
本研究证明，痤疮作为一种临床异质且依赖上下文的情况，可以使用模块化、多阶段的 DL 框架而非单个单体模型进行有效分析。通过模拟皮肤科医生的顺序推理过程，提出的流水线在保持可解释性和临床相关性的同时实现了高诊断准确率。M1（痤疮存在检测）达到了 97.98% 的准确率，为下游分析建立了可靠的基础
结论
本研究提出了一种临床知情的多模态 DL 框架，用于自动化痤疮诊断和严重程度评估。模块化流水线顺序整合了痤疮检测、炎症性与非炎症性分类、七亚型识别、病灶定位和区域特定严重程度分级，紧密模拟了皮肤科医生的诊断推理。实验结果表明各模块均具有高性能。
该框架有效地解决了几个关键
CRediT 作者贡献声明
Rachna Singh: 资源，项目管理，资金获取，概念化。Atman Jadon: 资源，项目管理，调查，资金获取，概念化。Rupinder Kaur: 验证，调查，数据整理，概念化。Glory Nicholson Parmar: 验证，数据整理，概念化。Akash Biswas: 软件，方法论，数据整理，概念化。Harsh Saxena: 写作 – 审查与编辑，软件，方法论，数据整理，
生成式人工智能及人工智能辅助技术使用声明
在准备本工作的过程中，作者使用了 ChatGPT 4o 以提高可读性和语言质量。在使用该工具/服务后，作者根据需要审查和编辑了内容，并对出版物的内容承担全部责任
资助
本工作由 Superceuticals Private Limited 提供基础设施资源和助学金资助。
利益冲突声明
作者声明，他们没有任何已知的可能影响本文报告工作的竞争性财务利益或个人关系。
致谢
作者感谢印度教育部（MoE）资助本项目（17-11/2015-PN-1），该项目属于设计创新中心（DIC）下的“医疗器械与修复技术”子主题。此外，作者感谢印度科学技术部（DST）的科技基础设施改进基金（FIST）资助（SR/FST/ET-I/2021/878），该资助促进了配备 Nvlink SXM 的高端 GPU 服务器的访问。
Rachna Singh|Atman Jadon|Rupinder Kaur|Glory Nicholson Parmar|Akash Biswas|Harsh Saxena|Khushal Nagal|Dhriti Kakkar|Harleen Kaur|Prashant Jindal|Mamta Juneja