《Journal of Marine Science and Engineering》:Spatial Feature Perception and Enhancement Method for Ship Targets in Foggy Maritime Scenes Toward Intelligent Navigation
编辑推荐:
摘要专业翻译
为解决雾天海事图像中对比度低、目标边缘模糊、背景杂波干扰强,以及常规增强方法参数固定、在海事场景中适应性差等问题,面向智能航行提出了一种结合暗通道先验(dark channel prior, DCP)去雾与近端策略优化(proximal poli
摘要专业翻译
为解决雾天海事图像中对比度低、目标边缘模糊、背景杂波干扰强,以及常规增强方法参数固定、在海事场景中适应性差等问题,面向智能航行提出了一种结合暗通道先验(dark channel prior, DCP)去雾与近端策略优化(proximal policy optimization, PPO)的船舶目标弱特征增强方法。该方法首先采用DCP进行基础去雾以抑制雾霾干扰;随后将图像增强建模为马尔可夫决策过程(Markov decision process, MDP),设计由无操作、Gamma变换、对比度拉伸、锐化增强和平滑去噪五类算子及其多级强度构成的离散动作空间,并构建以目标-背景可分性为核心、融合目标保持、背景抑制、过曝控制和动作代价约束的复合奖励函数,引导PPO智能体根据图像状态通过多步迭代自适应选择增强策略。训练阶段利用标注边界框指导策略学习,而推理阶段无需任何标注。实验结果表明,与原始雾天图像相比,所提方法使平均梯度提升91.80%,边缘强度提升87.18%,过曝率降低44.66%。在去雾基础上,该方法进一步增强了船舶目标的弱边缘、弱轮廓和局部对比度,有效提升了目标-背景可分性,可为智能航行中的船舶视觉感知与目标检测提供方法支撑。
论文解读
一、研究背景与问题
随着人工智能、计算机视觉及相关技术的快速发展,无人水面艇(unmanned surface vessel, USV)已越来越多地应用于港口巡检、海洋测绘、环境监测和海上监视等任务。这些应用需要持续获取环境和目标信息,以支撑船舶检测、目标识别、碰撞预警和自主航行。视觉传感器能够提供丰富的空间信息,因而被广泛用于海事感知与监视系统,其可靠性直接影响下游感知与航行决策的质量。
与陆地场景相比,海事视觉感知具有显著不同的特征:视场通常广阔,而远处船舶可能仅占据少量像素;天空、海面和海岸线构成大面积相对均匀的背景区域,而波浪、海面反射、眩光和光照波动会对成像产生干扰。这些因素可能降低船舶目标与其周围环境之间的可分性,使稳定检测与识别变得困难,尤其是对于小型和远距离船舶。
雾天条件是一种典型的图像退化形式。大气散射降低图像对比度、改变观测到的颜色和强度分布、模糊精细细节,导致船舶轮廓和局部纹理变得不清晰,同时船舶目标与周围背景的强度差异减小。海面反射和空间变化的光照进一步增加了海事图像恢复的复杂性。此外,过度增强可能放大背景纹理、噪声或饱和区域。因此,增强过程应在提升目标-背景可分性的同时恢复目标边界和局部对比度。
传统基于先验的方法,包括基于暗通道的去雾方法,提供了一种物理驱动的减少雾霾干扰的方式。然而,其性能可能受到明亮天空区域、水面反射和空间变化光照的影响,导致色彩失真或局部伪影。固定处理参数也可能无法适应不同雾浓度、目标尺度和背景条件的场景。基于学习的方法虽能建模复杂退化模式,但其性能依赖于训练数据的代表性,当模型应用于与训练分布不同的真实海事场景时性能可能下降,且其计算和内存需求可能使部署在资源受限平台上更加困难。
上述局限性促使研究人员探索雾天海事图像的自适应增强方法。本研究提出了一种两阶段DCP-PPO框架,将DCP预处理与增强算子和强度等级的序贯选择相结合,其复合奖励函数将目标-背景可分性与目标区域亮度变化约束、背景梯度抑制、过曝缓解和动作代价正则化相结合。
二、研究内容与主要结论
研究人员提出了一种结合暗通道先验去雾与近端策略优化强化学习的船舶目标弱特征增强方法。该方法首先采用DCP对原始雾天海事图像进行基础去雾以抑制雾霾干扰,随后将图像增强建模为马尔可夫决策过程,设计由无操作、Gamma变换、对比度拉伸、锐化增强和平滑去噪五类算子及其多级强度构成的离散动作空间,并构建以目标-背景可分性为核心、融合目标保持、背景抑制、过曝控制和动作代价约束的复合奖励函数,引导PPO智能体根据图像状态通过多步迭代自适应选择增强策略。训练阶段利用人工标注的船舶边界框指导策略学习,推理阶段仅需输入图像而无需任何标注信息。
实验结果表明,与原始雾天图像相比,所提方法使平均梯度提升91.80%,边缘强度提升87.18%,边缘密度提升8.25%,过曝率降低44.66%,且未出现平均亮度的异常升高。在去雾基础上,该方法进一步增强了船舶目标的弱边缘、弱轮廓和局部对比度,有效提升了目标-背景可分性。该方法可为智能航行中的船舶视觉感知与目标检测提供方法支撑。
三、关键技术方法
研究人员采用的主要关键技术方法包括:第一,暗通道先验(dark channel prior, DCP)去雾预处理,用于抑制雾霾干扰并作为PPO增强模块的初始输入;第二,近端策略优化(proximal policy optimization, PPO)强化学习算法,将图像增强建模为马尔可夫决策过程(Markov decision process, MDP),通过策略网络根据当前图像状态序贯选择增强操作;第三,由五类增强算子(无操作、Gamma变换、对比度拉伸、锐化增强、平滑去噪)及多级强度构成的离散动作空间设计;第四,包含目标-背景可分性奖励、目标保持约束、背景抑制约束、过曝控制项和动作代价项五个分量的复合奖励函数设计。实验采用30幅真实雾天海事图像作为测试集,按场景级划分训练集、验证集和测试集,训练阶段使用人工标注的船舶边界框计算奖励,推理阶段无需标注。
四、研究结果
4.1 三阶段图像增强结果对比
研究人员对多组真实雾天海事图像进行三阶段对比:原始雾天图像呈现明显的灰霾外观、目标边缘模糊和局部对比度不足;经DCP去雾后,雾霾外观减弱、整体清晰度提升,但部分样本的目标边缘和局部轮廓仍不够突出;经PPO自适应增强后,在去雾基础上局部对比度和边缘表现进一步改善,船舶目标轮廓更加清晰,目标与背景的区分度提高,尤其在远距离目标、低对比度背景和弱边缘场景中效果显著。
4.2 评价指标及选择依据
研究采用七种互补的无参考图像级指标:平均亮度描述整体亮度水平;标准差表征像素强度离散程度,反映全局对比度;信息熵描述灰度级分布多样性;平均梯度衡量局部强度变化的平均幅度;边缘强度表征边缘响应强度;边缘密度描述被识别为边缘的像素比例;过曝率衡量超过指定高强度阈值的像素比例。这些指标需联合解读,而非全部最大化或最小化。
4.3 结果对比分析
定量结果表明,与原始雾天图像相比,PPO增强图像的平均梯度提升91.80%,边缘强度提升87.18%,边缘密度提升8.25%,过曝率降低44.66%。平均亮度在PPO增强后低于原始雾天图像,表明该方法并非通过简单提升全局亮度来改善视觉效果。标准差和信息熵的平均值在增强后有所提升,但存在样本间的非均匀性。边缘相关指标的整体提升反映了更强的局部强度变化和边缘响应,但不能完全归因于船舶轮廓的精细化,也可能来自海面纹理、噪声或处理伪影的放大。过曝率在PPO增强后达到三阶段中最低水平,表明该方法有效抑制了过亮区域。为进一步验证图像级增强的实际收益,研究人员开展了端到端的船舶检测对比实验,以增强图像作为输入时,船舶检测的mAP@0.5达到0.817,相对提升32.2%;mAP@0.5:0.95达到0.559,相对提升49.1%;精确率达到0.839,相对提升18.8%;召回率达到0.788,相对提升36.1%;F1分数达到0.812,相对提升27.7%。
五、讨论与结论
讨论部分指出,所提方法的有效性可归因于三个方面:多步自适应决策优于固定流水线处理,能够适应不同雾浓度、目标尺度和背景复杂度;复合奖励函数有效约束了增强过程,防止为追求目标显著性而同时放大背景干扰;训练与推理解耦,推理阶段无需标注信息。同时,研究存在一定局限性:实验评估主要依赖无参考图像指标,增强结果在目标检测和跟踪任务中的性能增益尚未得到直接验证;训练阶段依赖人工标注边界框,在弱目标密集分布场景中标注成本较高;实验数据主要覆盖雾天条件,夜间、逆光、雨雪等其他低能见度场景仍有待验证;DCP在天空和海面反射强烈的区域仍可能产生局部色彩失真。
结论部分指出,DCP-PPO方法能够在去雾基础上有效增强船舶目标的弱边缘、弱轮廓和局部对比度,为雾天海事场景中的船舶视觉感知提供了一种推理阶段不依赖标注的增强方法。未来工作将聚焦两个方面:一是将增强模块集成到目标检测和避碰决策流水线中,以召回率和误报率验证其实际收益;二是将方法扩展到其他低能见度场景,并在保持增强性能的同时压缩模型规模,以满足船载边缘部署的计算约束。