基于类内交互的双分支协同校正框架，用于公平性皮肤病变分析

《Neurocomputing》：Intra-class interaction-based co-correcting dual-branch framework for fair skin lesion analysis

　　摘要
深度神经网络在自动化皮肤科诊断中取得了优异的性能，但它们可能会学习到与年龄、性别和肤色等敏感属性之间的虚假相关性。在皮肤科数据集中，这种相关性尤其成问题，因为这些敏感属性在人群中的分布不平衡可能导致不同子群体的性能差异。尽管现有的偏见缓解方法旨在提高公平性，但它们往往抑制了与疾病相关的判别特征，从而降低了预测性能。因此，一个有效的公平意识方法不仅应该减少敏感属性的偏见，还应保留具有临床相关性的类别区分表示。为了解决这个问题，我们提出了一种公平意识的双分支协同校正框架，该框架通过控制样本交互显式地改进特征学习。这种方法的主要理念是，来自同一疾病类别但不同敏感群体的样本应该共享与类别相关的信息，同时避免过度依赖特定于群体的视觉线索。据此，我们引入了一种基于补丁混合的类内、组内和组间样本交互策略。这种策略通过结合敏感群体内部和之间的特定于偏见的和类别一致性的视觉模式来生成多样化的特征表示。我们还提出了一种协同校正的双分支设置，其中两个网络头从特定于偏见的图像块中学习并在训练过程中相互校正。这种相互校正鼓励了跨分支的公平知识转移，并减少了预测过程中的子群体特定偏见。我们在两个公开可用的皮肤科数据集上评估了所提出的框架，这些数据集代表了不同的敏感属性和成像模式。在Fitzpatrick-17k数据集上，所提出的方法的平均F分数为53.40%，比ME-FairPrune提高了1.15个百分点，比最近的2024年方法提高了1.00-1.40个百分点，同时保持了0.20个百分点的子群体F分数差距。在ISIC-2019数据集上，所提出的方法的平均F分数为74.83%，比ME-FairPrune和SCP-FairPrune提高了1.23个百分点，并且子群体F分数差距为0.14个百分点，这显著低于FairQuantize。广泛的定量和定性实验表明，所提出的方法改善了公平性与性能之间的权衡。与现有和最近的最新偏见缓解方法相比，我们的方法在公平的皮肤病变分析方面实现了竞争性的预测性能和平衡的子群体级性能。

引言
深度神经网络（DNN）已广泛应用于各种任务中，如机器人技术、面部识别、情感识别和医疗保健[1][2][3]。利用它们强大的数据学习能力，DNN能够高效捕获训练数据的分布和统计特性，并学习特定于任务的特征。然而，在特征学习过程中，DNN可能会无意中学习到与性别、年龄和肤色等敏感属性之间的虚假相关性，以提高对特定数据子群体的准确性。这可能导致对其他人口群体的歧视，并导致性能偏差。例如，由于CelebA数据集中的种族偏见[4]，研究人员观察到网络在预测面部属性时对女性群体的表现更好[5][6]。同样，在皮肤科领域，基于肤色或色调的偏见已在公共数据集中的皮肤疾病分类中被发现[7][8]。
计算机辅助诊断（CAD）系统通常使用DNN构建，也容易受到数据偏见的影响。Larrazabal等人[9]证明，X射线CAD系统表现出性别偏见，并在不同亚群体之间存在差异。这些数据偏见问题对人工智能（AI）模型在现实世界应用中的大规模部署构成了严重挑战，特别是在医疗保健领域，其中偏见预测可能导致不同人口子群体之间的诊断支持不平等。因此，除了提高整体预测性能外，开发能够减少子群体差异并支持多样人群体可靠决策的公平AI解决方案也非常重要。这些挑战促使人们开发出公平可靠的AI系统的偏见缓解技术。
研究人员正在积极开发从数据集中提取特征时减轻偏见的方法，以应对上述挑战[10][11][12]。通常使用基于对抗性训练的方法[13][14][15][16][17]来去除偏见，这些方法在主要分类任务之外添加了一个额外的网络。这个额外任务旨在预测受保护/敏感/偏见的属性，并在模型训练期间遵循最小-最大策略。总体目标是在最大化主要分类任务的同时，最小化额外对抗分支/网络对受保护属性的预测。模型通过对抗性训练学习到减少偏见的特征，以获得公平的数据表示。然而，Wang等人[18]证明，即使在对抗性设置中去除敏感属性后，现有特征仍可能包含偏见的影响。此外，在模型学习过程中去除受保护属性特征可能会损害训练模型的预测性能[18]。研究人员[19][20][21]还通过解释来探索公平性，这需要领域信息来用细粒度的特征级注释训练模型。这使得模型能够过滤掉与偏见相关的特征。然而，在追求公平性的同时，这些方法也可能忽略有用的预测信息，从而导致性能下降。
尽管这些方法解决了偏见缓解的不同方面，但仍存在一些重要差距。首先，许多现有方法主要集中在抑制与偏见相关的特征上，但它们并没有明确鼓励同一类别内不同偏见群体之间的有用特征共享。这在皮肤科领域很重要，因为同一疾病类别的样本在不同肤色或其他敏感群体中的表现可能不同。其次，现有方法通常以牺牲预测性能为代价来提高公平性，因为它们在去除偏见时会削弱临床相关的类别区分信息。第三，常用的基于补丁的方法如CutMix[22]、Cutout[23]、Mixup[24]和Copy-Paste[25]主要是作为增强策略提出的，可以改善实例分割、分类和图像 captions等任务中的模型性能，但它们并不是专门为减轻敏感群体之间的偏见而设计的。因此，尽管公平性问题在机器学习应用中具有普遍性，但本研究主要关注皮肤病变分析的偏见缓解，其中给定的疾病类型可能在不同敏感群体中有所不同。
为了解决这些问题，我们开发了一种新的方法来改善偏见群体之间的公平性与性能之间的权衡。我们的方法引入了一种新的方法，即“类内组内”和“类内组间”样本交互（称为“类内交互”），该方法利用提出的补丁混合策略通过视觉特征的多样性来增强模型在偏见群体间的鲁棒性。当所提出的方法使用与输入图像偏见群体相同的补丁时，我们称之为“类内组内”交互。另一方面，当所提出的方法使用与输入图像偏见群体不同的补丁时，我们称之为“类内组间”交互。需要注意的是，所提出的类内交互不会改变输入数据的类别标签，因为补丁混合是在同一类别的样本内部进行的。
尽管CutMix与我们的方法类似，但我们的方法在方法论上有几个显著的区别。CutMix通常从不同类别中选择数据样本，生成的图像包含来自不同类别的补丁，导致增强图像具有不同的类别标签，即补丁类别标签和原始图像类别标签的加权组合。相比之下，所提出的补丁混合策略在同一类别内进行样本交互，并使用偏见群体信息来控制交互是“组内”还是“组间”。因此，结果数据样本的类别标签保持不变，而视觉表示在偏见群体间变得更加多样化。此外，与主要针对整体准确性的标准基于补丁的增强方法不同，所提出的策略专为偏见缓解而设计，旨在改善公平性与性能之间的权衡。
此外，我们提出了一种新颖的协同校正双分支架构，以确保通过网络头部之间的相互校正实现公平的知识转移。在这个框架中，两个网络头从所提出的补丁混合策略生成的偏见感知补丁混合样本中学习，并共享多样化的知识表示。这种相互校正有助于减少子群体特定的偏见，并支持跨偏见群体的公平表示学习。因此，所提出的方法通过保留类别区分信息、促进跨偏见群体的特征多样化以及通过相互校正提高公平性，同时不降低预测性能，解决了现有偏见缓解方法的局限性。我们总结我们的方法论贡献如下：
- 我们提出了一种基于类内组内和类内组间样本交互的新偏见缓解方法。所提出的交互策略在保留输入样本的原始类别标签的同时，引入了视觉特征的多样性。
- 我们引入了一种保类别的补丁混合策略，用于公平感知学习。与标准的CutMix风格增强不同，所提出的策略在同一类别的样本之间进行补丁混合，并明确使用偏见群体信息来支持公平的表示学习。
- 我们提出了一种协同校正双分支框架，其中两个网络头学习互补的偏见感知表示，并相互校正以减少子群体特定的偏见。
- 我们使用两个皮肤科数据集Fitzpatrick-17k[7]和ISIC-2019[26][27]来验证所提出方法的普遍性和有效性，并表明所提出的方法与现有的和最近的最新偏见缓解方法相比，实现了公平性与性能之间的竞争性权衡。
本文的其余部分组织如下：第2节介绍了相关工作，第3节描述了所提出的方法。第4节介绍了实验设置、消融研究和定量及定性结果。第5节讨论了主要发现、局限性和未来方向。最后，第6节总结了本文。

相关工作
机器学习（ML）模型中的公平性问题最近已成为一个活跃的研究领域，旨在解决偏见问题并使AI模型的大规模部署成为可能。偏见问题已经多次被强调，特别是在ML模型被用于自动化各种应用中的决策时，如面部识别[28]、审前保释决定[29]和智能医疗保健[30]。在医疗保健领域，数据偏见主要是由于问题表述中的不公平造成的。
考虑一个包含图像的数据集，其中表示第i张图像，表示其类别标签，表示其敏感属性或偏见群体。数据集包含n个类别，以及两个敏感群体，分别表示群体0（公平/男性）和群体1（深色/女性）。我们的目标是学习一个公平的分类器，能够在减少偏见群体之间的性能差异的同时准确预测类别标签（表1）。

提出的方法
所提出的方法包括两个主要部分：

数据集
我们使用两个公开可用的皮肤科数据集来评估我们的方法，即Fitzpatrick-17k[7]和ISIC-2019[26][27]。这些数据集的详细信息如下：
Fitzpatrick-17k数据集：该数据集包含大约16,577张皮肤疾病的临床图像。每张图像包括皮肤疾病的类别及其对应的肤色标签，使用Fitzpatrick刻度从1到6来确定。该刻度从最轻到最重对皮肤类型进行评分，1表示最轻，6表示最重。

讨论
我们的实验结果表明，所提出的框架在两个皮肤科数据集上都提供了公平性与性能之间的竞争性权衡。观察到的性能可以归因于所提出的补丁混合策略和协同校正双分支架构的互补作用。补丁混合策略通过允许同一疾病类别的样本在敏感群体内部和之间进行交互，同时保留它们的原始类别标签，从而增加了视觉多样性。

结论和未来方向
我们提出了一种基于类内组内和类内组间样本交互的新偏见缓解方法，该方法利用所提出的补丁混合策略。所提出的策略在输入数据级别操作，以增加视觉多样性并改善跨偏见群体的特征表示。所提出的方法简单、可广泛应用于深度学习模型，并且易于实现，因为它不需要对主干架构进行修改。

作者贡献声明
Anshul Pundhir：撰写——原始草稿、可视化、验证、软件、方法论、调查、资金获取、正式分析、数据 curation、概念化。
Balasubramanian Raman：撰写——审阅与编辑、验证、监督、资源、项目管理、调查。
Pravendra Singh：撰写——审阅与编辑、可视化、验证、监督、项目管理、方法论、调查、正式分析、概念化。

利益冲突声明
作者声明以下可能的财务利益/个人关系，这些可能被视为潜在的利益冲突：
Anshul Pundhir、Balasubramanian Raman、Pravendra Singh在IIT Roorkee拥有待批次的专利。如果还有其他作者参与，他们声明自己没有已知的、可能影响本文所述工作的利益冲突或个人关系。

致谢
本研究得到了印度理工学院鲁尔基分校（IIT Roorkee）和印度大学资助委员会（University Grants Commission, UGC）的资助，项目编号为190510040512。我们还要感谢国家超级计算计划（National Supercomputing Mission, NSM）为印度理工学院鲁尔基分校提供的“PARAM Ganga”计算资源，该计划由C-DAC实施，并得到了印度电子与信息技术部（Ministry of Electronics and Information Technology, MeitY）和科学技术部（Department of Science and Technology, DST）的支持。

Anshul Pundhir在印度理工学院鲁尔基分校的计算机科学与工程系获得了博士学位。他目前是美国弗吉尼亚大学的博士后研究员。他的学士和硕士学位毕业于印度阿格拉的Dayalbagh教育学院。他的研究兴趣包括医学图像分析、生物医学成像、机器学习和深度学习。他曾获得DORA IITR的认可和研究支持。

Anshul Pundhir | Balasubramanian Raman | Pravendra Singh