《Biomedical Signal Processing and Control》：Simultaneous psoriasis severity classification and lesion segmentation using a hierarchical multi-task deep learning framework
编辑推荐：
摘要银屑病是一种慢性炎症性皮肤病，影响着全球数百万人。最近，各种深度学习方法被引入用于分类银屑病的严重程度和分割受影响的区域。实际评估需要同时执行多种视觉任务，包括疾病检测和病变严重程度评估。我们提出了一种多任务网络，并结合了层次特征融合注意力模块（HFF-AM），该模块从层次化
摘要
银屑病是一种慢性炎症性皮肤病，影响着全球数百万人。最近，各种深度学习方法被引入用于分类银屑病的严重程度和分割受影响的区域。实际评估需要同时执行多种视觉任务，包括疾病检测和病变严重程度评估。我们提出了一种多任务网络，并结合了层次特征融合注意力模块（HFF-AM），该模块从层次化层中提取和整合了疾病的局部和全局特征。为了增加疾病的多样性，我们生成了带有掩膜的疾病图像，并同时执行了三项任务——严重程度分类、疾病分割以及使用有限的疾病信息重建掩膜区域。我们研究了这三项任务之间的相互关系，从而提出了多损失聚合设计。在对单任务和多任务的最先进方法进行比较分析时，所提出的方法在分类和分割方面表现出更优的性能。此外，在基于分割任务对分类和重建任务进行组合以确定最终平均损失值的场景中，所提出的方法也取得了最佳性能。这一表现通过81.5%的严重程度分类准确率、0.938的疾病分割Dice相似系数值和0.034的重建损失值得以证明。这些结果表明，所提出的MTAN在所有三项任务上的性能都与相应的单任务模型相当。尽管疾病信息有限，所提出的方法仍显示出强大的病变特征提取能力，从而促进了分类和分割任务的顺利进行。所提出的方法适用于评估具有类似银屑病特征的各类皮肤疾病。
引言
银屑病是一种慢性炎症性自身免疫性皮肤病，其全球患病率超过3%。银屑病的特征包括红斑和银白色鳞屑，这些症状会根据病情的严重程度而出现[1]。在临床实践中，银屑病面积严重程度指数（PASI）通常被用作病变评估的金标准。PASI评分评估红斑、厚度、鳞屑和面积的严重程度，评分范围从0到4，并用于临床研究和试验中确定治疗效果[2]。像PASI这样的临床指标不仅对于评估疾病的当前状态很重要，也是临床医生诊断疾病和在整个治疗过程中确定适当治疗的关键标准。因此，这些指标的准确性和精确性非常重要。然而，使用临床指标进行疾病评估依赖于临床医生的主观视觉检查以及他们的专业知识和技能；因此，实现定量评估比较困难。这导致了临床医生之间的评估结果偏差[3]。
最近，开展了各种基于深度学习的疾病评估研究，以量化临床指标并提高诊断准确性[4]。检测银屑病患者的细微视觉变化非常重要。因此，已经使用传统的计算机视觉算法和深度卷积网络技术进行了疾病图像分析研究。最初，提出了各种分割研究，以根据疾病的严重程度准确检测其形状和大小[5]。在银屑病中，由于病变的改善和恶化的周期性，疾病的边界并不明确。此外，获取的疾病图像可能受到各种环境噪声的影响，包括由身体曲率引起的阴影和反射。尽管存在这些挑战，实现精确的疾病检测对于提高疾病评估的准确性至关重要。一项关于银屑病分割的研究提出了一种深度学习模型，能够在含有噪声的图像中分割出各种受影响的区域[6]。语义分割被用来区分背景、健康皮肤和受疾病影响的区域[7]。此外，对于具有多种混合病变特征的银屑病，准确的严重程度评估对于精确诊断和治疗计划至关重要。许多研究已经量化了PASI评分用于银屑病的分类。通过卷积神经网络（CNN）模型对病变严重程度进行了分类，这些模型涉及评估与银屑病病变相关的各种特征，包括红斑、鳞屑、厚度和面积。临床医生的评估结果与CNN模型的评估结果进行比较分析后显示，基于CNN的评估结果具有更高的稳定性和优越性[8]、[9]。此外，还提出了一种用于银屑病严重程度分类的孪生模型，以计算出现在身体多个区域的疾病的综合PASI评分[10]。其他研究则专注于银屑病和其他皮肤疾病的检测和分类[11]、[12]。
目前，基于深度学习的银屑病分析研究主要集中在单一视觉任务上，如分类或分割。然而，在现实世界的临床环境中，临床医生会同时进行疾病形状的分割和病变严重程度的分类。因此，最近的研究提出了多任务学习（MTL）方法，以实现多项任务的并行执行，从而进行全面的疾病评估。设计用于在X光或MRI图像中同时进行疾病分割和分类的多任务框架提出了方法，通过利用共享特征骨干和建立两项任务之间的互连来提高整体性能[13]、[14]、[15]、[16]、[17]、[18]。许多研究提出了各种方法来增强共享编码器的特征或通过增加额外任务（如边缘提取[19]、[20]、[21]）来提高模型的整体性能。关于银屑病的MTL研究同时分类了红斑、鳞屑和厚度的严重程度[22]。然而，很少有研究在统一的多任务框架内同时解决病变定位和严重程度评估问题，同时考虑了银屑病分析中的层次特征交互和任务关系。
在医学领域，目前主要采用了各种以编码器为中心的MTL模型架构。编码器作为骨干模型，在视觉识别领域表现出良好的性能。随后，将编码器与特定于任务的解码器集成在一起。MTL模型的整体性能依赖于骨干模型的一般表示学习能力，因为编码器的特征作为特定于任务的解码器的输入。多任务注意力网络（MTANs）代表了一种以编码器为中心的方法，它集成了自注意力模块。这种注意力模块设计得非常紧凑，从而缓解了与整个模型相关的可扩展性问题。可以开发一个模块来集中处理通道或空间特征，以增强共享特征。然而，在MTL过程中，任务之间可能会出现负迁移问题。为了解决这个问题，必须开发包含模型架构并分析任务之间互连的训练框架。本研究提出了一种专门为银屑病评估设计的MTAN，考虑了这些方面。
1.所提出的MTAN旨在通过集成编码器、自注意力模块和层次特征融合注意力模块（HFF-AM）来提高多任务性能。该模块旨在利用编码器的层次特征有效地提取和融合局部和全局病变表示。HFF-AMs的互连架构有助于高效提取与疾病相关的特征。
2.我们创建了带有掩膜的银屑病图像，以增加疾病表示的多样性。所提出的MTAN通过预测这些图像中的掩膜区域来增强疾病表示。此外，它还可以利用有限的疾病信息提高训练效率，并有助于减少噪声，解决由身体曲率引起的阴影或反射等问题。
3.我们执行了重建作为辅助任务，以改善疾病表示并调整学习速度，以减轻在同时学习严重程度分类和疾病分割时可能出现的负迁移问题。此外，我们引入了多损失聚合策略，研究了任务之间的相互关系，并基于这些分析改进了所提出的MTAN的性能。
章节片段
数据集
本实验使用了从韩国大学古罗医院皮肤科收集的银屑病图像。参与研究的机构有韩国大学古罗医院和顺天乡大学，他们根据赫尔辛基宣言和ICH-GCP标准以及所有适用的规定进行了这项研究（批准编号：2020GR0019, 202001-BM-005）。在获得44名参与者的书面知情同意后，我们获取了不包括头部、手部和脚趾甲的疾病图像。
所提出的多任务注意力网络的结果
为了提高银屑病评估的准确性和精确性，我们提出了一种能够同时执行严重程度分类、疾病分割和掩膜区域重建的MTAN。为了评估所提出的MTAN的有效性，我们在只训练了三项任务中的两项以及同时训练所有三项任务的情景下对其性能进行了评估。此外，我们还比较和分析了STL模型的性能，其中每项任务
讨论与结论
银屑病是一种慢性皮肤病，在发病后数个月内表现出改善和恶化的周期模式。在临床实践中，临床医生使用PASI评分进行主观视觉评估，以评估病情并比较治疗前后的结果。最近的研究集中在使用深度学习方法对疾病严重程度进行分类和疾病分割上，这两者都是评估中的关键步骤
CRediT作者贡献声明
Cho-I Moon： 写作——原始草稿、软件、方法论。Yoo Sang Baek： 写作——审稿与编辑、方法论、数据整理。Onseok Lee： 写作——审稿与编辑、监督、项目管理、资金获取、概念化。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
致谢
本工作得到了顺天乡大学研究基金（ BK21 FOUR（支持卓越研究型大学）（5199990914048）和MSIT资助）（RS-2025-24532986）的支持。
Cho-I Moon|Yoo Sang Baek|Onseok Lee
