《Displays》：A lightweight multi-weather image restoration via conflict-aware prompt learning
编辑推荐：
提出基于冲突感知提示学习的轻量级多天气图像恢复框架CAPNet，通过低秩分解和动态融合缓解多任务优化中的梯度冲突，结合大感受野交互模块增强空间建模，并设计双路径高效注意力模块平衡局部细节与全局语义。在AllWeather等数据集上验证其参数量减少且性能优于现有方法。
陈鹏云|曹宁|江明辉|金卓宇|刘浩|姜晓恒|徐明亮
郑州大学计算机科学与人工智能学院，中国郑州，450001
摘要
现有的恶劣天气图像恢复方法面临两个关键限制。首先，共享参数架构和混合训练策略忽略了不同类型退化在频域特征分布上的本质差异，导致多任务优化过程中出现梯度冲突和目标不一致性问题。其次，这些方法通常需要大量的参数和较高的计算资源，阻碍了实际应用。为了解决这些问题，我们提出了一种基于冲突感知提示学习的轻量级恶劣天气图像恢复框架。该框架主要包括两个组件：冲突感知提示（CAP）模块和大型核提示引导交互（LKPGI）模块。CAP模块利用低秩分解来建模多个天气去除任务之间的潜在相关性，并通过可学习的自适应权重实现动态提示融合，有效减轻了任务间的特征干扰。LKPGI模块利用大感受野卷积增强提示特征与图像表示之间的空间交互和上下文建模，提高了恢复过程中的提示引导效果。此外，我们提出了双路径高效注意力（DPEA）模块作为框架的核心，该模块采用深度-浅层分层设计，分别优化局部细节保留和全局语义关联，从而在保持模型轻量化的同时提升多尺度特征表示能力。实验结果表明，与大多数现有方法相比，我们的方法在多种恶劣天气条件下均实现了更优的恢复性能，并显著减少了参数数量。
引言
雾霾、降雨和降雪等恶劣天气条件会严重损坏室外图像，严重影响基于视觉的系统，如自动驾驶[1]和监控[2]。因此，恶劣天气图像恢复已成为计算机视觉领域的一个重要研究方向。早期的基于物理的方法[3]、[4]、[5]以及后续的深度学习方法（如基于CNN的[6]、[7]、[8]和基于Transformer的模型[9]、[10]、[11]、[12]、[13]在单天气图像恢复方面取得了显著进展[14]、[15]、[16]。然而，这些方法通常依赖于固定的架构，并且需要为每种天气条件分别训练模型，限制了其对混合或动态天气场景的适应性。为了解决这些问题，最近的研究转向了多天气恢复。与单天气恢复方法不同，多天气恢复方法具有更广泛的应用性，它们旨在使用统一的网络架构恢复受多种天气条件影响的图像。现有方法大致可以分为针对特定退化类型的方法[17]、[18]和不受退化类型影响的方法[19]、[20]、[21]、[22]。针对特定退化类型的方法为不同的天气类型使用专用子网络，但仍需要事先了解退化类型；而不受退化类型影响的方法则通过利用共享特征表示或动态路由机制自动适应多种天气条件，实现无需明确退化标签的统一恢复。
然而，不同的天气条件在特征空间中存在显著差异。例如，去雾任务主要依赖于低频结构信息，而去雨和除雪任务则侧重于恢复高频范围内的细节。这种跨任务特征差异给统一模型同时实现所有退化类型的最佳性能带来了挑战。更严重的是，任务目标之间的固有不一致性常常在多任务优化过程中引发梯度冲突，影响训练稳定性并降低恢复性能。最近，提示学习在视觉任务中表现出很强的适应性，并被证明能有效引导模型适应不同任务[23]。受此启发，我们提出了一种基于提示的模块来减轻任务间干扰，并促进多个恢复任务之间的协作优化。此外，许多现有的全能恢复方法侧重于泛化能力，但忽略了部署效率，依赖深度和参数密集的架构，限制了其在资源受限场景中的实用性。
为了解决这些问题，我们提出了CAPNet，这是一个专为恶劣天气条件下的图像恢复设计的轻量级全能框架。它旨在在保持紧凑参数规模和适度计算复杂性的同时，提升多天气图像恢复性能。具体来说，CAPNet包括两个主要组件：冲突感知提示（CAP）模块和大型核提示引导交互（LKPGI）模块。CAP模块使用低秩压缩生成提示向量，并应用隐式融合权重预测器，该预测器以解码器特征为输入，动态为任务提示分配权重，有效缓解了梯度和特征之间的任务间冲突。同时，LKPGI模块通过引入大感受野卷积增强了模型感知复杂空间退化的能力以及提示特征引导的效果。此外，我们还引入了一个名为双路径高效注意力（DPEA）的轻量高效模块，该模块同时应用于编码器和解码器。该模块基于通道缩减注意力（CRA）[24]，采用双路径设计。在浅层，它集成增强型全局-局部卷积（EGBC）以增强纹理细节的建模；在深层，它结合了轻量级局部自注意力（LLSA）以实现高效的上下文建模。通过跨层次的双路径建模，DPEA在保持低参数的同时提升了恶劣天气下的恢复性能。
本工作的主要贡献如下：
- 我们提出了CAPNet，这是一种用于恶劣天气条件下全能图像恢复的轻量级网络。它能够动态适应不同的退化类型，无需事先了解退化类型即可实现跨天气类型的统一恢复。
- 我们引入了冲突感知提示（CAP）模块和大型核提示引导交互（LKPGI）模块。CAP利用低秩压缩和动态融合来减少冲突并引导恢复过程；LKPGI利用大感受野增强上下文交互和基于提示的引导。
- 我们设计了一种结构自适应的双路径高效注意力（DPEA）模块，以参数高效的方式处理不同网络深度下的不同特征需求。
- 实验表明，CAPNet在各种恶劣天气条件下实现了最先进的恢复性能，同时使用的参数数量更少。
部分内容摘要
单天气恢复
早期关于恶劣天气图像恢复的研究主要集中在去除一种类型的天气退化，如雾霾、降雨或降雪。在去雾任务中，传统方法主要使用物理模型或先验知识[3]、[4]、[5]；而深度学习方法[6]、[14]、[25]通过学习退化图像与清晰图像之间的直接映射来提升恢复效果。去雨和除雪任务也呈现出类似的发展趋势。
整体架构
所提出的CAPNet的整体架构如图1所示。它采用分层编码器-解码器架构，并增加了多尺度跳跃连接。编码器-解码器框架使用了我们提出的DPEA模块，从受天气退化的输入图像中提取特征
此外，我们在编码器-解码器架构中采用了权重共享策略，以减少参数冗余。通过在多个阶段重用相同的模块权重，整体数据集
为了确保公平比较，我们的模型在相同的数据集AllWeather[21]上进行训练，该数据集包含来自Snow100K[8]的9000张合成雪景图像、来自Raindrop[26]的1069张真实降雨图像，以及来自Outdoor-Rain[46]的9000张同时包含雾霾和雨迹的合成图像。评估时，我们使用了Test1数据集[26]、[46]、RainDrop测试集[26]和Snow100K-L测试集[8]。
结论
本文提出了一种名为CAPNet的新型轻量级全能框架，用于恶劣天气条件下的图像恢复，该框架引入了冲突感知提示机制。它能有效适应各种天气退化，并在无需事先了解退化类型的情况下缓解多任务之间的冲突。为此，我们设计了两个关键模块：冲突感知提示（CAP）模块和大型核提示引导交互（LKPGI）模块。
CRediT作者贡献声明
陈鹏云：概念化、方法论、项目管理、写作——审稿与编辑。曹宁：方法论、形式分析、初稿写作、审稿与编辑。江明辉：形式分析、软件实现、验证、可视化。金卓宇：结果解释、数据分析、实验设计、验证。刘浩：项目管理、资金获取、写作——审稿与编辑。姜晓恒：
利益冲突声明
作者声明他们没有已知的利益冲突或个人关系可能影响本文的研究结果。
致谢
本研究部分得到了国家自然科学基金（项目编号：62272421、62302462）的支持，部分得到了湖南省杰出青年科学基金（项目编号：2024JJ4044）的支持，以及中国博士后科学基金（项目编号：2023TQ0321）的支持。
