基于频域-空间域交互门控的多尺度特征水下图像增强方法

《Digital Signal Processing》：Underwater Image Enhancement via Frequency–Spatial Interaction Gating for Multi-Scale Features

　　

摘要

水下图像增强需要在恢复局部对比度与保持整体颜色一致性之间找到微妙的平衡，因为各种退化现象往往会导致颜色不均匀以及因散射而造成的细节丢失。虽然频域建模近来受到了关注，但现有方法大多侧重于全局特征表示或被动滤波，缺乏一种能让频域线索主动调节空间重建的机制。在本文中，我们提出了FSINet，这是一种基于频空交互机制的多尺度水下图像增强网络，它将频域信号视为自适应控制线索，而非单纯的特征。我们的FSI单元并非将频域和空间域视为平行处理路径，而是利用复值频率建模，通过频率条件下的门控机制来主动调节空间特征更新。具体而言，复频交互模块会在傅里叶域中进行考虑退化因素的幅值-相位交互，从而生成用于自适应空间调制的频率引导信号。这些信号随后在双尺度上下文聚合模块中被转换为自适应门控参数，实现多尺度上下文的有序频空调制。定性分析以及在不同基准测试上的大量实验表明，这种频空交互范式具有更高的灵活性和稳定性，能够在实际水下应用中实现良好的效率与质量平衡。

引言

随着对海洋勘探以及基于视觉的水下作业需求不断增加，水下图像已成为生态监测和水下检测等应用中的重要信息来源[1]。然而，由于波长相关的衰减、散射以及复杂的照明条件，水下图像常常会出现严重的退化现象，如对比度低、颜色偏色严重以及结构信息丢失。这些退化问题会极大降低图像的可视性，进而影响后续的检测、识别和测量等任务[2]。

现有的方法虽在一定程度上解决了这些问题，但仍存在局限性。传统的基于物理的方法[3]、[4]依赖于简化的成像模型，且对参数估计误差较为敏感，在复杂多变的水下环境中容易产生伪影。而以空间域处理为主的深度学习方法[5]、[6]通常通过卷积运算来优化局部纹理，但由于缺乏明确的全局约束，导致不同区域的增强效果不一致。基于频域的方法[7]则能更直接地呈现全局光照和全局空间频率特征；不过，大多数现有设计都将频率处理视为辅助分支，或依靠傅里叶域特征滤波，使得频率线索仅起到增强特征的作用，而无法主动调节重建过程。

现有双域模型的主要瓶颈在于缺乏从频域统计信息到空间重建控制的直接路径。大多数双域方法采用特征融合的思路，即先独立提取频域特征，再将其与空间特征合并。尽管这样的设计增加了特征的多样性，但频域分支主要起描述性作用，对实际的空间重建过程影响有限。因此，考虑退化因素的频域线索无法直接调控空间分支的增强行为。在水下场景中，直流分量及低频幅值等频域统计信息能够提供关于全局颜色偏色和光照偏差的有用线索，而由散射产生的遮蔽光主要体现在低频成分中，中高频段则更多与细节衰减和传感器噪声相关。与其将这些视为需要融合的普通特征，不如将它们解读为能够影响空间特征更新的自适应调制信号。例如，在水质极为浑浊的情况下，频域可以向空间分支发出信号，使其增强长距离上下文聚合能力，同时抑制不可靠的局部纹理。这种以控制为导向的交互方式与传统的频空融合有本质区别，后者将频率线索视为补充特征，而非自适应重建参数。

为解决这些局限，我们提出了一种频空交互机制，该机制将频域线索视为自适应调制参数，而非简单特征。与传统主要侧重于表示学习的傅里叶域增强方法不同，FSI机制利用频域表示通过协同门控来设定空间更新规则，从而实现考虑退化因素的自适应调制，进而提升方法的稳定性和可解释性。

本文的主要贡献如下：

• 1.
  我们提出了一种频空交互机制，建立了明确的频域到空间域的控制路径，实现了考虑退化因素的空间重建调制，而非传统的特征融合。
• 2.
  我们引入了一种复值频率建模策略，可同时优化实部与虚部的频谱成分，从而实现考虑退化因素的幅值-相位交互，并生成用于自适应空间调制的频率引导信号。
• 3.
  我们设计了一种协同门控框架，可通过频率条件下的参数自适应平衡局部与长距离的空间上下文，提升在多种退化情况下的稳定性。
• 4.
  大量实验表明，与现有的空间域和频域方法相比，所提出的机制在性能上更具竞争力，同时具备更高的灵活性和效率。

章节节选

相关研究

近年来，由于在水下勘探、机器人技术以及基于视觉的检测等领域的重要性，水下图像增强技术受到了越来越多的关注。现有研究大致可分为传统模型驱动方法和基于深度学习的方法两类[8]。从核心建模域的角度来看，基于学习的图像增强方法还可进一步划分为以空间域为主和以频域为主的两种范式，二者在处理图像退化问题的方式上存在差异

方法论

FSINet的核心目标是通过将频域退化线索与空间重建过程明确结合，实现局部对比度提升与整体颜色一致性之间的和谐平衡。我们并未将频率处理视为被动的特征提取环节，而是将其重构为一种能够引导空间特征更新的主动交互机制。

对于一幅尺寸为I_in?∈?[0, 1]^3?×?H?×?W的下水图像，FSINet会学习一个端到端的映射函数F_θ，用于对已退化的图像进行转换

实验分析

为评估FSINet在平衡局部增强效果与全局颜色稳定性方面的表现，我们在多个公开的水下图像基准数据集上进行了大量实验。我们的评估内容包括基于完整参考数据的定量分析、无需参考数据的定量评估、定性视觉对比以及针对下游任务的验证。

讨论

FSINet针对现有双域水下图像增强方法的一个共同缺陷进行了改进，这类方法通常将频率处理作为辅助分支，仅通过特征融合与空间重建发生关联。此类设计虽然提升了特征的多样性，但往往未能在图像恢复过程中充分利用与退化现象相关的频率线索。

我们所提出的频空交互机制则采取了不同的思路，它将

结论

本文介绍了FSINet这一用于水下图像增强的轻量级频空协同网络。与那些将频率处理视为用于特征融合的辅助分支的方法不同，FSINet通过可迁移的频空交互单元，将频域校正与空间上下文更新有机结合。在每个频空交互单元中，通过对实部与虚部进行联合处理，可直接在复数傅里叶域中对图像表示进行优化

资金支持

本研究得到了盐城应用基础研究计划（YCBK2025007）、江苏省研究生科研实践创新计划（SJCX24 2152、SJCX24 2153、SJCX25 2202、SJCX25 2205）、盐城市重点研发计划产业竞争项目（YCBG2024023）以及江苏省产教融合研究计划（FZ20241443、DH20241740）的支持。

作者贡献

所有作者都对本文的构思、设计以及修改工作做出了重要贡献。

利益冲突声明

在本文的发表过程中，不存在任何利益冲突。

Zhiwei Tang|Kaiwei Liu|Feng Zhou|Binghe Sun|Zhihui Li|Zijie Gao|Xianhong Liu|Rugang Wang

中国江苏省盐城市希望大道中路1号，盐城工学院信息工程学院，邮编224501