面向复合退化条件下自主海上导航的退化感知图像增强框架

《Engineering Applications of Artificial Intelligence》：Degradation-aware image enhancement framework for autonomous maritime navigation under compound degradations

　　

摘要

海事视觉感知系统越来越多地依赖光学成像来获取智能船舶在复杂环境中运行所需的场景信息。然而，光学成像的性能在海况恶劣时严重受损，其中雨、雾和低光照常常共存并产生耦合退化。这些退化降低了图像对比度、模糊了结构细节并引入了伪影，从而限制了目标检测、识别和跟踪的可靠性，对航行安全构成重大风险。为缓解这些挑战，本研究提出了一种退化感知的多阶段图像复原框架，具有退化感知的分支选择和固定顺序的级联复原。首先，采用基于ResNet-18的退化监测模块来估计雨、雾和低光照退化的存在及其相对严重程度。基于这些估计，选择性激活相应的独立训练的单退化复原分支并按顺序组合，使该框架无需联合多退化训练即可处理未见过的退化组合。采用具有频域特征增强、跨阶段特征融合和受监督注意力的Transformer增强多阶段复原网络作为复原主干网络，以逐步恢复粗结构、中尺度纹理和精细细节。在评估的顺序策略中，先低光照增强后去雨去雾的组合取得了最佳的整体性能。结果表明，该方法能够泛化到未见的多退化组合，包括合成的耦合退化和真实的多退化海事图像，且无需联合多退化训练。因此，该方法提高了整体图像可见度，可作为恶劣环境条件下智能海事船舶视觉感知系统的潜在预处理步骤。

引言

海事视觉感知系统严重依赖光学成像来获取复杂海洋环境中可靠的场景信息。数据驱动方法在复杂工程系统的实时预测和决策支持方面展现了强大的潜力（Nashed和Moghanloo，2025）。特别是光学传感器在导航、避障和态势感知中发挥着核心作用，使这些平台能够减少人为干预地运行（Amin等，2024；Cohen-Salmon和Klein，2025；Dagdilelis等，2025；Li等，2025；Yin等，2025）。在深度视觉理解任务中，有效的特征提取和序列建模对于可靠的事件识别和内容分类至关重要（Khan等，2024）。然而，海洋环境本质上复杂且动态变化，其中雨、雾和低光照等恶劣条件经常共存。这些耦合退化模糊了物体边界、衰减了对比度并遮挡了精细结构细节，从而严重损害了基于视觉的系统在检测、识别和跟踪任务中的性能（Halder等，2019；Liu等，2024a；Wang等，2025c；Zheng等，2022）。因此，改善多退化条件下的图像可见度是海事视觉感知的重要预处理步骤。

现有的图像增强研究可以根据图像退化的类型和组成进行广泛讨论。一类工作关注单退化场景，如去雨、去雾和低光照增强，通常在相应的特定条件下取得较强的复原性能。代表性研究包括基于暗通道先验的方法（He等，2011）、卷积神经网络（CNN）方法（Cai等，2016；Guo等，2020）以及生成对抗网络（GAN）方法（Li等，2017b），这些方法已被广泛用于增强受特定退化因素影响的图像。另一类工作研究复合退化场景，其中雨、雾和低光照等多种不良因素共存并共同降低图像可见度。与单退化情况相比，这些场景更具挑战性，因为不同的退化因素可能相互交互并影响不同的图像组件，要求复原模型以更鲁棒和自适应的方式处理复合退化效应（Li等，2022；Liu等，2024b）。在真实海洋环境中，图像退化很少单独发生，而是以复杂且动态变化的组合形式出现。例如，夜间低光照条件经常伴随雨水和海雾，导致强烈的空间和时间的不均匀性。现有的复原方法通常是针对已知的退化场景开发的，如仅有雾、仅有雨或仅有低光照条件。虽然许多多退化图像复原方法取得了进展，但它们往往依赖预定义的退化类别或联合训练的多退化数据集（Guan等，2025；Li等，2022）。这限制了它们在开放海事场景中的灵活性。受此问题启发，本研究提出了一种退化感知的多阶段框架，使用三个独立训练的单退化模型——去雨、去雾和低光照增强——来处理未见的耦合海洋场景。在估计的退化权重引导下，该框架选择性地应用这些模型来处理夜间雨雾、夜间雨和雨雾等条件，而无需联合标注的多退化数据。

该方法的主要贡献如下。

• ●
  通过整合基于ResNet-18的退化监测模块和Transformer增强的三阶段复原网络，构建了退化感知的图像复原框架，实现了对雨、雾和低光照条件的退化识别、严重程度估计和目标复原。
• ●
  提出了一种级联复原策略，以处理未见过的退化组合，无需联合多退化训练，并确定了低光照增强、去雨和去雾作为减少级间误差积累的有效序列。

本文其余部分组织如下。第2节综述了去雨、去雾和低光照场景的代表性图像增强方法，以及多退化图像复原的最新进展。第3节介绍了所提出的框架，包括退化监测模块、TransMPRNet的架构、退化感知的分支选择和固定顺序级联复原策略以及损失函数。第4节介绍了实验设置、数据集、评估指标，并对结果进行了全面讨论，涵盖合成和真实场景、多退化条件和消融研究。最后，第5节总结本文，概述主要发现并指出未来研究的可能方向。

章节摘要

相关工作

本节概述了为应对各种恶劣天气条件相关挑战而开发的代表性图像增强方法。现有的图像复原方法大致可分为基于先验的方法、基于CNN的方法、基于Transformer的方法以及近期的一体化或盲复原框架。基于先验的方法提供了物理可解释性，但往往依赖于手工设计的假设；基于CNN的方法改进了数据驱动的方式。

方法论

针对经常损害海洋环境中光学成像的复合退化问题，我们设计了一种用于恶劣环境条件下海事视觉感知系统的图像增强框架。所提出的框架首先采用基于ResNet-18的退化监测模块，通过回归雨、雾和低光照的权重来自动识别和量化退化因素。基于这些估计，我们开发了一种增强的基于Transformer的

数据集和评估指标

• (1)
  数据集：为评估TransMPRNet在不同退化条件下的复原性能，使用了一系列具有不同用途的数据集进行实验。具体来说，我们使用新加坡海事数据集（SMD）作为基础海事数据集。该数据集源自真实的海事场景，包括船舶、海平面、港口、远距离目标和复杂背景，更适用于本文中提出的自主海上导航应用场景。

结论

光学图像质量被雨、雾和低光照等恶劣环境因素严重降低，导致物体边界模糊和精细结构细节丢失。这些退化降低了图像可见度，可能影响海事平台上基于视觉的感知系统的可靠性。为解决真实海事环境中多种退化类型频繁共存所引发的复杂性和不可预测性，本研究提出了一种

CRediT作者贡献声明

Cong Shen：撰写—审阅与编辑，撰写—原始稿件，方法论，调查研究，形式化分析，数据整理，概念化。Ruobin Gao：监督，方法论，调查研究，概念化。Xiaocai Zhang：撰写—审阅与编辑，概念化。Maohan Liang：监督，方法论，调查研究，概念化。Jinhao Liang：撰写—审阅与编辑，概念化。Jin Chen：撰写—原始稿件。Zhenqing Wang：撰写—原始稿件。Jianwan

利益冲突声明

作者声明，他们没有已知的竞争财务利益或个人关系可能影响本文所报道的工作。

致谢

本工作得到了国家自然科学基金（项目编号：52601622和62503171）以及海南省自然科学基金资助（项目编号：626MS0244）。生成式人工智能工具（ChatGPT）被用于协助润色稿件部分的语言。所有科学内容、实验和分析均由作者独立完成。

Cong Shen|Ruobin Gao|Xiaocai Zhang|Maohan Liang|Jinhao Liang|Jin Chen|Zhenqing Wang|Jianwan Ji