《Expert Systems with Applications》：FAAIR: Feature-Aware Attention Aggregation for Image Restoration
编辑推荐：
图像修复中，传统方法存在区域特征丢失、多尺度学习不足和信息瓶颈问题。本文提出FAAIR模型，通过多尺度特征注意力聚合分支保留重要区域特征，结合高效注意力分层池化模块增强多尺度学习能力，并引入可学习激活函数改善非线性建模。实验表明，FAAIR在低光增强、去雾、除雪和除雨四个任务中均达到SOTA性能，且各模块有效性经消融实验和可视化分析验证。
李佩贤|王鹏|孙明波|吕浩然|王路|岳文强|胡小龙|宋俊峰
电子科学与工程学院，吉林大学光电子集成国家重点实验室，长春，130012，中国
摘要
在现实场景中，恶劣的天气和低光照条件会降低图像质量，从而影响下游任务的准确性，并危及基于感知的系统的安全性和可靠性。尽管图像恢复技术可以缓解图像退化问题，但现有方法存在丢失或忽略重要区域特征、多尺度学习能力不足以及特征提取过程中的信息瓶颈问题。为了解决这些挑战，我们提出了一种基于多尺度特征注意力聚合的图像恢复模型FAAIR（Feature-Aware Attention Aggregation for Image Restoration）。FAAIR模型在每个尺度上集成了一个多尺度特征注意力聚合（MSFAA）分支，以保留特征提取过程中丢失的重要区域特征。此外，还提出了一种高效的基于注意力的分层池化（AHP）模块，以增强模型的多尺度学习能力。此外，还引入了可学习的激活函数来提高模型的非线性建模能力并缓解信息瓶颈问题。实验结果表明，FAAIR在四个代表性图像恢复任务（低光照增强、去雾、去雪和去雨）的13个基准数据集上取得了最先进的性能。消融研究和可视化分析进一步验证了各组件的有效性及所提出改进措施的设计合理性。
章节片段
引言
恶劣的天气条件（如雾霾、降雨和降雪）以及低光照条件会严重降低捕获图像的质量（Xiao, Fu, Liu, Wu, & Zha (2022)），进而影响对象检测、语义分割和场景理解等下游任务的准确性。这会显著危及依赖此类感知算法的系统的安全性和可靠性。图像恢复技术正是为了解决这一问题而开发的。
图像恢复
图像恢复旨在重建已被数字化和退化的图像，为人类感知或下游高级任务（如对象检测（Huang, Peng, & Liao (2019); Li et al. (2023)）和语义分割（Lee, Kim, Kim, & Kwak (2024); Lee, Son, & Kwak (2022)）提供高质量的视觉内容。图像恢复中的一个关键挑战在于在去除退化的同时保留精细的图像细节（Zak & Toutounian (2016)）。卷积神经网络在图像恢复中发挥了重要作用。
整体架构
如图2(a)所示，我们提出的FAAIR图像恢复模型基于改进的U-Net结构，该结构包含带有跳跃连接的编码器-解码器设计。对于输入的退化图像，FAAIR模型首先通过三个多尺度块逐步进行特征提取，每个块包含多个残差卷积模块。我们提出的AHP模块位于最后一个残差卷积模块中。提取的特征随后被重新整形并传递
实验与分析
为了评估我们提出的模型在图像恢复方面的性能，我们首先在四个代表性的图像恢复任务（低光照增强、去雾、去雪和去雨）上进行了实验。我们将FAIR模型的恢复结果与其他最先进模型在13个常用基准数据集上进行了比较。然后，通过消融实验验证了所提出组件和改进措施的有效性，并对其工作原理进行了详细分析。
讨论
本节深入讨论了FAAIR模型，不仅关注其定量结果。我们分析了所提出的模块如何影响特征提取和信息流，研究了模型在不同退化条件下的表现，以及其抑制噪声和降低不确定性的能力。此外，我们还讨论了FAAIR的局限性，并提出了典型的失败案例，以明确其适用范围。
特征提取与信息瓶颈
结论
在这项工作中，我们提出了FAIR图像恢复框架，其模型结构可用于不同的恢复任务。该框架旨在解决基于U-Net的恢复模型面临的三个关键挑战：下采样过程中的任务相关特征丢失、有限的有效多尺度表示能力以及在复杂退化条件下的不足的非线性建模能力。在四个代表性的图像恢复任务（低光照增强等）中，FAIR模型表现出了良好的性能。
CRediT作者贡献声明
李佩贤：撰写 – 原始草稿，撰写 – 审稿与编辑，方法论，概念化。王鹏：资源获取，调查。孙明波：方法论，监督。吕浩然：调查，数据管理。王路：验证。岳文强：可视化，软件开发。胡小龙：概念化，监督，项目管理，撰写 – 审稿与编辑，资金获取。宋俊峰：监督，资金获取。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
