随着全球海上贸易的持续扩张,船队规模和货物周转量稳步增加,对船舶运营的效率、安全性和经济性提出了更高的要求。长时间暴露在海水中会导致钢板表面出现缺陷,加速氯化物引起的腐蚀和电偶腐蚀,削弱结构强度,并促进裂纹扩展,从而威胁航行安全(Cardaillac, Skjetne, & Ludvigsen (2024); Lin & Dong (2023))。这些缺陷还会加速微生物附着,显著增加船体表面的粗糙度,进一步增加航行阻力和燃料消耗,导致温室气体排放增加(Imran et al. (2024))。船体长时间处于高腐蚀性的海水中,诸如腐蚀和生物附着等缺陷通常只能通过水下检查才能准确及时地发现和评估(Mai, Wiele, Liniger, & Pedersen (2024))。此外,传统的陆地干船坞检查需要将船舶停运,产生高昂的运营和维护成本,无法满足频繁检查的需求。因此,及时高效的水下船舶检查对于防止结构退化、降低安全风险和减少运营成本至关重要。
传统的水下船舶检查通常依赖于潜水员进行近距离手动检查,这不仅受到能见度低、波浪湍流等复杂环境因素的限制,而且停船成本高且存在人员安全风险。近年来,随着水下光学传感器的微型化和智能化发展,配备了高清成像系统的小型ROV逐渐出现。这些ROV可以在不使船舶停运的情况下检测涂层缺陷、海洋生物附着和腐蚀,从而显著降低检查成本并提高运营效率,因此迅速获得了广泛认可和普及。
由于水下环境的固有因素,如光散射、海水中的吸收和悬浮颗粒,ROV收集的水下图像常常存在颜色偏差、对比度低和细节模糊等问题(Wu et al. (2024)。这些退化显著降低了图像的可见性,影响了目标检测和语义分割等下游任务的性能。对于一般的水下场景,研究人员提出了非学习和深度学习增强技术来提高视觉质量。然而,与一般水下图像相比,ROV在进行水下船舶检查任务时通常面临两个额外挑战:(i) ROV通常在带有主动光源的较高位置进行拍摄,导致捕获的图像曝光严重不均衡,局部高亮和阴影交织在一起;(ii) 船体周围浅水区悬浮固体的高浓度加剧了光散射,进一步降低了图像对比度。大多数现有的水下图像增强方法是为通用场景设计的,并未针对上述退化机制进行明确建模或优化。更重要的是,大多数现有方法仅针对主观视觉质量进行优化,忽略了下游任务的需求(Wang et al. (2024d)进一步指出,过度增强视觉质量会破坏关键特征分布,从而削弱下游任务的性能。
为了解决图像增强与下游任务之间优化目标不一致的问题,研究人员提出了任务驱动的联合训练框架。然而,大多数现有的任务驱动方法主要是为目标检测任务设计的,缺乏针对需要更高像素级一致性的水下船舶检查任务的特定适应。此外,联合优化增强和下游目标往往会导致梯度冲突和收敛不稳定,阻碍了视觉质量与任务性能之间的平衡。
现有研究主要通过两种方法来提高水下船舶检查的分割精度:(i) 通过改进的水下船舶检查分割方法增强传统模型,以增强表示能力和区分能力。然而,在处理由近距离主动照明和强散射引起的模糊边缘和亮度不平衡时,它们只能取得有限的改进;(ii) 两阶段解耦的分割方法将图像增强和分割分为两个阶段,旨在通过提高输入图像质量来改善分割效果。然而,它们缺乏与分割目标一致的一致性约束,容易导致特征分布漂移和训练不稳定,因此只能提供有限的总体收益。
总的来说,从数学角度来看,现有的增强方法缺乏与分割目标的对齐,未能模拟水下船舶检查中近距离照明和浊度的特定退化。主要为水下目标检测设计的任务驱动增强方法无法满足分割所需的像素级一致性,常常面临梯度冲突和收敛不稳定问题。没有一致性约束的解耦两阶段分割方法会导致特征漂移和训练不稳定。从实验角度来看,改进的分割方法在严重照明和散射条件下仅能提供有限的边界分离能力和鲁棒性提升。因此,需要一种协同增强的分割方法来平衡视觉质量和分割一致性,最终提高水下船舶检查的准确性和稳定性。
为了解决这些挑战,我们提出了一种用于水下船舶检查的协同优化多层自适应网络(CO-MLAN),如图1所示。该网络通过任务对齐将增强网络和分割网络紧密结合,使增强策略能够直接针对像素级分割目标,并实现端到端协同优化。因此,CO-MLAN在保持和强化关键语义和边界区分特征的同时,提高了水下图像质量,有效弥合了视觉增强与下游任务性能之间的差距。创新点如下:
(i) 为了解决水下船舶图像的退化模式,我们设计了一种多层可微分滤波器组。采用任务驱动的方式,它执行自适应参数优化,结合了图像增强的可解释性和端到端可微分性,从而使增强策略能够直接与分割要求对齐。滤波器级消融实验验证了其自适应参数优化机制有效提高了分割性能。
(ii) 我们建立了一个全局-局部闭环增强控制框架。在该框架内,动态参数预测网络(DPPN)动态参数化滤波器操作符并确保全局一致性;上下文空间门控网络(CSGN)为选择性激活分配感知像素的适应权重;软残差门校准整体增强强度,同时抑制冗余响应。模块级消融实验表明,它们的协同调节实现了精细的增强效果,并提高了整体分割精度。
(iii) 我们提出了一种分阶段的冻结-预热训练策略。通过在训练过程中应用分阶段的冻结和逐步解冻,该策略有效缓解了端到端增强-分割优化中的梯度冲突和收敛不稳定,从而使网络能够在视觉质量和分割性能之间实现更好的平衡。通过损失收敛分析和消融实验验证了训练策略的有效性。
(iv) 通过引入门控稀疏正则化和全局颜色偏移正则化,我们抑制了冗余增强和颜色失真,从而提高了增强图像的真实感和分割结果的可靠性。权重消融实验验证了双重正则化对分割性能的贡献。
通过在不同主流骨干网络上的增强和分割方面的定性和定量实验,以及对任务驱动方法的比较实验,全面验证了CO-MLAN的总体有效性。