面向少样本组织病理学图像分类的正向视觉语言噪声学习

《Neurocomputing》：Learning positive vision-language noise for few-shot histopathology image classification

　　

摘要视觉 - 语言模型在医学图像分析方面显示出巨大的潜力，但由于标注有限、领域偏移以及全参数微调的高成本，将其适应于组织病理学图像分类仍然具有挑战性。在本文中，受正激励噪声理论启发，我们提出了 HiPN，一种基于正视觉 - 语言噪声学习的小样本组织病理学图像分类框架。HiPN 不更新预训练图像和文本编码器，而是冻结主干网络并学习一个轻量级噪声生成器，用于基于 VLM 的小样本分类产生正视觉 - 语言噪声。生成器学习条件噪声分布，并通过小样本分类损失进行优化，从而在保留预训练模型语义知识的同时实现样本特定适应。我们在四个医学图像数据集上评估了 HiPN，分别使用 CLIP 和 PLIP 主干网络在不同小样本设置下。实验结果表明，HiPN 在准确率和宏观-F1 方面始终优于零样本基线、线性探测、适配器和 CoOp。在 CLIP 主干网络上，HiPN 将 LC-LUNG 上的 16 样本准确率从线性探测的 83.42% 提高到 91.56%，将 SkinCancer 上的准确率从 56.34% 提高到 70.76%。消融实验进一步证明了所提出噪声生成器的有效性，可视化结果显示出学习的噪声集中在具有诊断意义的区域。这些结果表明，正视觉 - 语言噪声为小样本组织病理学图像分类提供了一一种有效且可解释的参数高效适应策略。引言组织病理学图像分类和理解已成为深度学习兴起后的一个热门话题 [1]，特别是当基于 Transformer 的 [2], [3] 大模型显著提高了语言和视觉任务的性能时。随着 CLIP [4]、SigLIP [5]、LLaVA [6]、Qwen [7] 和 Janus [8] 等视觉 - 语言模型（VLMs）的出现和发展，近期研究人员越来越关注利用 VLMs 进行组织病理学图像分类和理解。例如，BiomedCLIP [9] 和 PLIP [10] 受 CLIP 启发预训练了视觉 - 语言对齐模型。CONCH [11] 和 MUSK [12] 预训练了具有视觉问答（VQA）能力的多模态模型。正如 [9] 所指出的，组织病理学图像（甚至所有生物医学图像）实际上是典型的多模态数据，通常包含图像（视觉）和生物医学报告（语言）。VLMs 被广泛应用的核心原因是其强大的语言处理和模态对齐能力。特别是，强大的文本编码器可以精确处理长报告并提取其语义，这显著促进了模型对组织病理学图像的理解。这种视觉 - 语言范式对组织病理学特别有吸引力，因为病理诊断自然建立在视觉形态和医学语言之上。一方面，显微图像包含丰富的细胞模式、组织结构、染色特征和病变边界。另一方面，诊断报告、类别名称和组织描述提供了高层语义知识，可以指导识别过程。因此，VLMs 提供了一种将局部病理证据与文本诊断概念联系起来的有前景的方法，这在目标任务只有有限标注图像时尤为有用。然而，众所周知，由于数据隐私，许多组织病理学图像不可公开获取。这是与主流 VLMs 相比生物医学通用模型的主要挑战。因此，为组织病理学模型设计有效且高效的微调算法，将预训练模型迁移到私有组织病理学数据，至关重要。小样本设置进一步放大了这一挑战。不同的医院、扫描仪、染色协议和组织制备程序可能会引入显著的领域偏移，即使是相同的诊断类别。同时，组织病理学类别通常表现出细微的类间差异和巨大的类内变化，使得仅从少量标注样本中估计决策边界变得困难。由于高质量标注通常需要专家病理学家，为每个私有数据集收集足够的标签既昂贵又耗时。因此，直接微调大型 VLM 的所有参数很容易过拟合小训练集，并破坏预训练期间学到的有用跨模态知识。现有的参数高效微调方法 [13], [14], [15], [16] 通过仅更新少量任务特定参数，部分缓解了这个问题。然而，其中大多数学习的是在所有样本间共享的确定性提示、适配器或低秩更新。这种确定性适应对于组织病理学图像可能是不够的，因为同一类别的不同样本可以呈现多样的形态外观。此外，这些方法通常不明确建模样本级不确定性，也不学习可以增强判别性视觉 - 文本对齐的任务相关扰动。虽然一些微调方法（如 LoRA [13], [16], Adapter [14], [15] 和提示微调 [17], [18], [19]）已被应用于 VLMs，但近期研究表明，基于噪声的微调方法 [20], [21] 在自然图像的小样本分类上优于其他方法，且在一个更可解释的理论框架（即正激励噪声 [22]）下。PiNI [20] 表明，不同类型的噪声生成器（包括 MLP、CNN 和 Transformer）即使只向 CLIP 输入极少样本也能增强 CLIP，MuNG [21] 将其扩展到 LLaVA [6] 和 Qwen [7] 等现代多模态大语言模型。因此，将基于噪声的微调方法扩展到组织病理学视觉 - 语言模型是一个有前景的方向。与传统认为噪声只是有害破坏的观点不同，正激励噪声认为当噪声减少目标任务的不确定性时是有用的。对于预训练 VLM，这种噪声可以理解为潜在视觉和文本表示的轻量级校正。与其强制整个主干网络向小目标数据集移动，不如让可学习的噪声生成器产生样本特定扰动，使图像表示更兼容正确的文本原型。这提供了一种灵活的适应机制，与组织病理学图像的高变异性相匹配。主要关注点之一是噪声注入是否会导致误诊，这是一个自然的问题。如前作 [20], [21] 所示，噪声只能注入到中间层的潜在空间，这意味着视觉输入不受影响。更重要的是，将正噪声添加到提示（即语言模态）可能更强大，如 COOP [19]，这可被视为医学报告的精炼。在医疗应用中，这种设计很重要，因为原始组织病理学图像不应被任意更改。通过将噪声注入潜在视觉 - 语言空间，模型在不改变可观察图像内容的情况下执行参数高效适应。此外，噪声不是从固定分布中随机采样的，而是从小样本分类目标中学习的，因此它被鼓励强调任务相关证据。这使得正噪声更接近于自适应表示精炼，而不是图像级破坏。在本文中，我们为组织病理学视觉 - 语言模型设计了一种基于正激励噪声的有效微调方法。主要贡献如下：•我们提出了 HiPN，一种基于正激励噪声的用于 VLMs 小样本组织病理学图像分类的微调框架。HiPN 冻结预训练图像和文本编码器，并学习一个轻量级噪声生成器，以参数高效的方式适应跨模态分类过程。•我们通过学习视觉和文本表示上的条件噪声分布，为组织病理学 VLMs 实例化视觉 - 语言正噪声。生成的噪声可以注入 VLM 潜在空间，并通过小样本分类目标进行优化，从而在不改变原始图像内容的情况下实现任务有益适应。•我们在四个医学图像数据集上进行了综合实验，使用 CLIP 和 PLIP 主干网络。例如，与 CLIP 主干网络上的线性探测相比，HiPN 将 LC-LUNG 上的 16 样本准确率从 83.42% 提高到 91.56%，将 SkinCancer 上的准确率从 56.34% 提高到 70.76%，绝对增益分别为 8.14% 和 14.42%。HiPN 还将 LC-LUNG 上的 16 样本宏观-F1 从 83.17% 提高到 91.61%，将 SkinCancer 上的宏观-F1 从 49.98% 提高到 63.68%，进一步验证了其有效性。章节片段组织病理学图像的视觉 - 语言模型传统的组织病理学图像分类 [23], [24] 仅使用视觉信息（例如，全幻灯片图像（WSIs）和局部补丁），但未能利用丰富的医学报告。这些方法可以从苏木精 - 伊红染色图像中学习有用的形态模式，但它们的监督通常限制为离散类别标签 [23], [24]。然而，在临床实践 [23], [24] 中，病理图像很少脱离语言进行解释。诊断类别，概述受自然图像上正激励噪声学习模型 [20], [21] 的启发，我们提出了一种基于正视觉 - 语言噪声学习的小样本组织病理学图像分类模型（HiPN）。整个框架如图 1 所示。特别是，所提出的 HiPN 包括一个预训练 VLM，由图像编码器和文本编码器组成，以及一个轻量级噪声生成器，旨在学习正噪声。对于每个输入图像，生成器预测一个噪声数据集我们在四个覆盖不同器官、染色协议和视觉粒度的医学图像分类数据集上评估了 HiPN。SICAP-MIL [38] 包含标注有临床相关 Gleason 相关类别的前列腺组织病理学图像。NCT-CRC [39] 是一个结直肠组织学基准，包含从苏木精 - 伊红染色图像中收集的多种组织类型。LC-LUNG [40] 包含肺和结肠组织病理学图像，用于评估模型是否可迁移结论本文提出了 HiPN，一种基于正视觉 - 语言噪声学习的小样本组织病理学图像分类方法。HiPN 没有全参数微调预训练视觉 - 语言模型，而是冻结图像编码器、文本编码器和 logit 尺度，并学习一个轻量级噪声生成器以产生对任务有益的扰动。生成的噪声被注入视觉 - 语言分类过程，并通过最小化小样本分类损失进行优化，从而实现...CRediT 作者贡献声明孟雅：写作 – 初稿，软件，项目管理，方法论，概念化。郭华：写作 – 审阅与编辑，验证，数据整理。李明文：写作 – 审阅与编辑，验证。刘晓梅：写作 – 审阅与编辑，资源。利益竞争声明作者声明他们没有已知的竞争性经济利益或个人关系，可能会影响本论文报告的工作。孟雅|郭华|李明文|刘晓梅中国陕西省西安市 712038 陕西省人民医院