实例提示与动态适配器结合：城市场景图像分割的持续测试时适应方法

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：Instance Prompt Meets Dynamic Adapter: Continual Test-Time Adaptation for Urban Scene Images Segmentation

　　

摘要：

近年来，为提升已部署模型适应不断变化环境的能力，针对城市场景图像分割的持续测试时间自适应方法得到了初步研究。该方法的目的是让模型在持续适应依次出现的多种不同城市场景图像数据的同时，仍能保持良好的性能。然而，由于缺乏有效的解决方案来应对误差累积和灾难性遗忘问题，现有方法无法达到理想的效果。为此，本文提出了一种基于实例提示和动态适配器的新型持续测试时间自适应方法。其主要创新点包括：（1）提出了一种基于深度任意模型の实例级提示生成器，能够在不同层级提供更精确的提示信息，有效缓解误差累积问题；（2）设计了一个动态适配器模块，其中短期适配器和长期适配器分别学习领域特定知识和领域不变知识，从而快速适应新领域，同时避免灾难性遗忘；（3）设计了一种基于多重预测的不确定性估计策略，进一步优化城市场景图像的持续测试时间自适应性能。通过无人机图像和街景图像分别构建了两种典型的持续测试时间自适应应用场景，即地理区域和天气条件不断变化的场景。大量实验表明，所提出的方法性能明显优于现有方法，性能提升幅度至少为1.8%～2.1%。