CED：基于CLIP的熵动力学方法，用于在恶劣视觉条件下实现鲁棒的测试时适应

《Pattern Recognition》：CED: CLIP-Guided Entropy Dynamics for Robust Test-Time Adaptation in Harsh Visual Conditions

Test-Time Adaptation通过熵最小化提升模型鲁棒性，但过度自信导致模型坍塌。本文揭示其根本原因在于"挤压效应"，并提出CED框架：引入冻结的CLIP模型提供语义信号，结合轨迹感知正则化约束参数更新，有效缓解挤压效应。实验表明CED在CIFAR、ImageNet等数据集上显著优于基线方法。

　　

王丽文|董兴波|赖彦龙|蒲斌|刘钊|林琪卡|金哲

安徽大学医学成像先进技术国际联合研究中心，中国安徽省合肥市230093

摘要

测试时适应（TTA）旨在提高模型对未见数据分布变化的鲁棒性，尤其是在存在图像损坏、运动模糊和低质量成像等恶劣视觉条件下的鲁棒性。现有方法依赖于自监督信号，如熵最小化，但这些方法容易产生过度自信的预测，最终导致模型崩溃。尽管最近的一些方法试图通过修改梯度来缓解这一问题，但其根本原因仍不甚明了。为了深入理解熵最小化引起的模型崩溃的内在机制，本文从学习动态的角度对这一过程进行了分析。我们发现熵最小化过程中存在一种“挤压效应”，并将其确定为模型过度自信预测的根本原因。基于这一发现，我们提出了一种新的适应框架，称为CED（CLIP引导的熵动态）。首先，我们引入了一个冻结的CLIP模型作为外部语义信号来对抗“挤压效应”，从而确保对熵的无偏估计。其次，受系统控制理论的启发，我们提出了轨迹感知正则化（TAR）来确保模型在适应过程中不会偏离其原始的鲁棒状态。在损坏的图像和视频基准数据集（例如CIFAR-10-C、ImageNet-C、Mini Kinetics-C）上的广泛实验表明，CED在恶劣视觉条件下的性能显著优于现有方法，验证了其作为鲁棒视觉适应统一解决方案的有效性。我们的工作强调了利用基础模型（如CLIP）在具有挑战性的环境中稳定和增强测试时适应的潜力。

引言

深度学习模型在遇到与训练数据分布不同的测试数据时，通常会表现出显著的性能下降，特别是在图像损坏、运动模糊或极端天气等恶劣视觉条件下。测试时适应（TTA）是一种关键的解决这一问题的方法，它允许模型仅使用未标记的测试数据在线进行适应。TTA研究中的一个重要方向是利用自监督目标，例如Tent [1]，该方法率先提出了模型预测熵的最小化。这种方法假设一个校准良好的模型应该对其预测有信心。当模型的输出概率接近one-hot向量时，较低的熵被解释为样本可靠性的指标。基于这一原理，一系列方法改进了基于熵的策略以提高适应稳定性。早期的扩展，如EATA [2] 和 SAR [3]，侧重于过滤不可靠的样本以防止模型崩溃。随后，MEMO [4] 和 RMT [5] 等方法结合了增强一致性来进一步验证低熵预测。最近的研究，包括CertainTTA [6]、CETA [7]、UniEnt [8] 和 MoTTA [9]，证明了复杂的加权或选择机制的有效性，有效地优先考虑高置信度样本以指导鲁棒适应。

正如 [1]、[10] 所指出的，熵最小化的理由在于模型通常对它们高度自信预测的样本更为准确。自然的延伸是鼓励模型提高对测试样本的信心。

然而，在严重的分布变化下，这一假设会失效：随着错误的增加，模型往往对其错误的预测仍然保持高度自信，这种现象称为过度自信。如图1(a)所示，我们通过在对数概率计算之前应用标签平滑进行了一个简单的实验 [11]。具体来说，原始的one-hot标签 y_k 被转换为平滑标签 $y_{LS}^{\prime }$，使用以下公式：$y_{LS}^{\prime }=(1?\alpha )y_k+\frac{\alpha }{K}$这里，y_k 是真实标签，对于正确类别为1，否则为0。超参数 α 控制平滑的程度，K 表示类别的总数。这种操作通过将一小部分概率质量 α 均匀分配到所有 K 类别中，从而抑制模型做出过度自信的预测。这一结果表明，如果没有额外的正则化（例如标签平滑），熵最小化可能会强化这些错误但自信的预测，从而增加适应过程中的崩溃风险，尤其是在视觉质量下降的环境中。

为了减轻熵最小化中的过度自信，最近的研究探索了置信度正则化策略。DeYO [12] 提出了一种改进的置信度度量，而COME [13] 根据其关联的不确定性重新权重了熵。然而，关于过度自信如何在适应过程中导致模型退化的根本机制仍缺乏分析。

最近在大语言模型（LLMs）方面的研究 [14] 发现了一种相关的故障模式，称为“挤压效应”，并通过学习动态的视角对其进行了分析。在本文中，我们将这一分析框架扩展到TTA设置中。我们展示了在熵最小化中观察到的过度自信是“挤压效应”的直接结果，其中适应过程不成比例地放大了最高概率的对数几率，同时抑制了其他几率。这一见解解释了为什么仅依赖模型自身的信心本质上是不稳定的，并且最终可能导致模型崩溃，特别是在视觉条件具有挑战性的情况下。为了实证验证这一机制，我们在图1(b)中可视化了适应过程中对数几率值的演变。轨迹显示，当模型适应错误的伪标签时，优化目标强制放大了这个错误的主导对数几率。至关重要的是，由于softmax约束，这种放大机制抑制了所有其他类别的对数几率，包括真实标签。这一观察证实，在噪声存在的情况下，“挤压效应”会积极地边缘化正确类别，使错误变得不可逆。

为了解决这一限制，我们提出了一种新的TTA框架，用于在恶劣条件下实现可靠的适应。我们没有依赖模型可能带有偏见的信心，而是引入了一个来自冻结基础模型的外部、语义上基于的信号来规范适应并减轻“挤压效应”。具体来说，我们利用CLIP的视觉-语言知识提供了一个稳定的语义指导。此外，我们提出了一种轨迹感知正则化机制，受控制理论的启发，以限制模型偏离其预训练状态，从而保持泛化能力并减少灾难性遗忘。

总之，我们的主要贡献包括：

•

我们将学习动态分析扩展到TTA设置中，表明熵最小化中的过度自信源于“挤压效应”，该效应放大了主导对数几率，同时抑制了其他几率。

•

我们提出了CLIP引导的熵动态，引入了一个来自基础模型的外部语义信号来规范适应并对抗“挤压效应”，以及一个轨迹感知正则化项来限制参数更新相对于预训练模型状态。

•

我们在损坏的图像和视频基准数据集（CIFAR10-C、CIFAR100-C、ImageNet-C、Mini Kinetics-C、Mini SSV2-C）上进行了广泛的实证验证，表明即使是一个来自基础模型的弱外部信号也可以作为有效的正则化器，在模拟恶劣视觉条件的分布变化下显著提高适应稳定性和准确性。

•

我们验证了我们提出方法的优越性能，强调了它作为在连续和具有挑战性的环境中图像和视频领域鲁棒视觉适应的统一解决方案的能力。

章节片段

带有熵最小化的测试时适应

熵最小化是一种广泛用于处理未标记数据的技术 [1]、[3]、[15]。Tent [1] 的一种开创性方法提出通过最小化测试批量的平均熵来更新预训练模型中BN层的仿射参数 {γ, β}，随后有各种后续方法 [16]、[17] 也采用了这种方法。此外，MEMO [4] 最小化了不同增强下的平均预测的熵。

为了避免对不可靠和冗余的测试数据过度拟合，EATA [2] 开发了一种

初步：TTA的学习动态

为了正式分析适应过程，我们基于 [14] 提出的学习动态框架。该框架描述了单个梯度下降步骤如何通过将参数更新与输出概率的变化联系起来来影响模型的预测。具体来说，当模型参数从 θ^t 更新到 ${\theta }^{t+1}$ 对测试批量进行更新时，观测值 x_o 的对数概率 log?π 的变化可以通过一阶泰勒展开来近似和分解

数据集和设置

图像分类任务：我们在四个基准数据集上评估CED在图像分类中的持续测试时适应能力：CIFAR-10-C、CIFAR100-C和ImageNet-C。这些基准测试评估了模型对输入数据中的损坏和干扰的鲁棒性。

CIFAR10-C 扩展了CIFAR10，包含32×32像素的10个类别的彩色图像。它包括15种不同的损坏类型，每种类型各有五种

结论

本文通过对学习动态的详细分析，揭示了测试时适应（TTA）中的一个关键故障模式——过度自信，并明确将其与“挤压效应”联系起来，我们认为这是基于熵的TTA方法中模型崩溃的根本原因。我们的分析表明，在使用伪标签进行熵最小化时，模型最自信预测的对数几率被不成比例地放大，而所有其他对数几率都被抑制。

未引用的引用

缺少引用：算法1、算法2、图2、图5、表6

CRediT作者贡献声明

王丽文：撰写——原始草稿、软件、方法论、形式分析、概念化。董兴波：撰写——原始草稿、软件、方法论、形式分析、概念化。赖彦龙：撰写——审阅与编辑、监督。蒲斌：撰写——审阅与编辑。刘钊：撰写——审阅与编辑。林琪卡：撰写——审阅与编辑。金哲：撰写——审阅与编辑、监督、概念化。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

这项工作得到了中国国家自然科学基金（编号62306003、62376003）和安徽省自然科学基金（编号2308085MF200）的支持，以及广东人工智能与数字经济实验室（SZ）的开放研究基金（资助编号GML-KF-24-29）的支持。（通讯作者：金哲，电子邮件：[e-mail]）