利用推拉自编码器进行逐类增量学习，用于胸部X光诊断

《Computers in Biology and Medicine》：Class-incremental learning using push-pull autoencoder for chest X-ray diagnosis

类增量学习框架PPAE通过分离异常特异性与非特异性特征，结合对比学习和示例选择算法，有效缓解灾难性遗忘，在NIHChestXray14、CheXpert和MIMIC-CXR数据集上验证，F1和AUROC分别提升3%和4%。

　　在医学影像分析领域，随着新的疾病种类或影像技术不断涌现，传统的深度学习模型面临着一系列挑战。特别是在胸片诊断中，现有模型在处理新疾病类别时，往往会出现“灾难性遗忘”（catastrophic forgetting）的问题，即在学习新类别时，模型会丢失对之前学习过的疾病的诊断能力。这一问题不仅影响了模型的实用性，还限制了其在临床环境中的广泛应用。因此，开发一种能够有效应对灾难性遗忘的类增量学习（Class-Incremental Learning, CIL）框架，对于提高胸片诊断的连续性和准确性具有重要意义。

类增量学习的核心目标是让模型在不依赖过去数据的情况下，逐步适应新的类别。这一能力在医学影像分析中尤为重要，因为医学影像数据的获取和标注通常需要大量的时间和资源。此外，医疗诊断需要模型在面对多种疾病时，保持一致的准确性和稳定性。因此，如何在模型不断更新的过程中，既保留对已有疾病的诊断能力，又能有效地学习新疾病，是当前研究的重要方向。

在胸片诊断中，由于不同的疾病可能具有相似的影像特征，传统的深度学习模型在处理这些数据时，往往难以区分不同类别的关键特征。例如，某些肺部疾病可能在影像上表现出类似的阴影或纹理，而这些特征可能并不特定于某一类疾病。这种情况下，模型容易将不同疾病混淆，从而影响诊断的准确性。因此，设计一种能够有效提取和区分这些特征的学习框架，是解决灾难性遗忘问题的关键。

本文提出了一种全新的类增量学习框架，专门针对胸片诊断任务进行了优化。该框架的核心思想是，通过分离异常性特定（abnormality-specific）和异常性通用（abnormality-agnostic）信息，来提升模型对疾病特征的理解能力。异常性通用信息指的是那些在不同疾病中普遍存在的特征，而异常性特定信息则是每个疾病独有的特征。通过合理利用这两种信息，模型可以在学习新疾病的同时，避免对已有疾病的遗忘。

为了实现这一目标，我们设计了一种名为“Push-Pull Autoencoder”（PPAE）的新型自编码器结构。PPAE采用双潜在空间（dual latent space）表示方法，分别用于提取异常性通用和异常性特定信息。具体而言，PPAE的“pull”分支负责将具有相同类别的数据点在潜在空间中拉近，以确保模型能够识别和理解疾病之间的共性特征。而“push”分支则负责将不同类别的数据点在潜在空间中推远，以增强模型对疾病独特特征的识别能力。这种双分支结构使得模型在处理胸片数据时，能够更有效地区分不同疾病，同时保留对已有疾病的诊断能力。

在训练过程中，PPAE采用了双重目标，以平衡模型对新旧类别的学习。对于新引入的疾病类别，模型通过“pull”分支将其与已有类别在潜在空间中拉近，从而促进知识的迁移和保留。同时，通过“push”分支，模型确保新类别与已有类别在潜在空间中保持一定的距离，以避免混淆。这种设计不仅提高了模型的泛化能力，还增强了其在面对新类别时的适应性。

此外，为了减少对过去数据的依赖，我们引入了一种核心集生成算法（coreset generation algorithm）。该算法通过选择具有代表性的样本，来构建一个高效且准确的训练集。核心集生成算法的核心思想是，通过对每个类别中的数据点进行概率评估，选择那些概率较高的样本作为代表。这种方法可以有效减少模型在学习新类别时所需的数据量，同时保持对已有类别的诊断能力。在实际应用中，这种方法能够显著降低模型的训练成本，提高其在实际临床环境中的实用性。

在实验方面，我们对三个公开可用的胸片数据集进行了测试：NIHChestXray14（简称NIH）、CheXpert（简称CXP）和MIMIC-CXR（简称MCXR）。这些数据集涵盖了多种疾病，包括肺部感染、肺炎、肿瘤等。通过在这些数据集上进行实验，我们验证了PPAE在类增量学习任务中的有效性。实验结果显示，PPAE在多个数据集上实现了显著的性能提升，特别是在F1分数和AUROC指标上，分别提高了3%和4%。这些结果表明，PPAE在胸片诊断任务中具有良好的鲁棒性和适应性。

在模型设计方面，PPAE的双分支结构不仅提高了模型的特征提取能力，还增强了其在处理新旧类别时的表现。通过分离异常性通用和异常性特定信息，PPAE能够更有效地学习疾病之间的共性特征，同时保留对疾病独特特征的识别能力。这种设计使得模型在面对新的疾病类别时，能够快速适应，而不会影响对已有疾病的诊断能力。此外，PPAE的训练过程采用了双重目标，使得模型在学习新类别时，能够保持对已有类别的稳定表现。

在实际应用中，PPAE能够有效应对灾难性遗忘问题，从而提高胸片诊断的连续性和准确性。这一框架的引入，不仅为医学影像分析提供了一种新的解决方案，还为深度学习模型在实际临床环境中的应用提供了新的思路。通过结合对比学习和核心集生成算法，PPAE能够在不依赖过去数据的情况下，逐步适应新的疾病类别，同时保持对已有类别的诊断能力。这种设计不仅提高了模型的效率，还增强了其在实际应用中的实用性。

此外，PPAE的双分支结构还能够有效应对医学影像数据中的复杂性和细微性。由于医学影像数据往往包含大量噪声和不确定性，传统的深度学习模型在处理这些数据时，容易受到干扰。而PPAE通过分离异常性通用和异常性特定信息，能够更有效地提取关键特征，从而提高模型的鲁棒性。这种设计使得模型在面对复杂的医学影像数据时，能够保持较高的诊断准确率。

在实际应用中，PPAE的训练过程不仅考虑了新旧类别的平衡，还通过核心集生成算法减少了模型的训练成本。这种方法使得模型在面对新的疾病类别时，能够快速适应，而不会影响对已有类别的诊断能力。此外，PPAE的双分支结构还能够有效应对医学影像数据中的类别不平衡问题，使得模型在处理不同疾病时，能够保持较高的准确性和稳定性。

总的来说，PPAE作为一种新型的类增量学习框架，能够有效应对灾难性遗忘问题，提高胸片诊断的准确性。通过分离异常性通用和异常性特定信息，PPAE能够在不依赖过去数据的情况下，逐步适应新的疾病类别，同时保持对已有类别的诊断能力。这种设计不仅提高了模型的效率，还增强了其在实际临床环境中的实用性。实验结果进一步验证了PPAE在多个胸片数据集上的有效性，表明其在类增量学习任务中具有良好的应用前景。