DSAFG-UNet：面向红外海面图像分割的双分支语义自适应融合门控UNet

《Applied Sciences》：DSAFG-UNet: Dual-Branch Semantic Adaptive Fusion Gate UNet for Infrared Sea Surface Image Segmentation

　　

红外海面图像分割（infrared sea surface image segmentation）是海洋感知的基础任务，但其性能会因微弱波浪纹理、模糊的海天边界和低对比度而显著下降。为解决这些问题，该研究提出一种双分支语义自适应融合门控UNet（Dual-branch Semantic Adaptive Fusion Gate UNet, DSAFG-UNet）。该方法用双分支语义自适应融合门控模块（Dual-branch Semantic Adaptive Fusion Gate, DSAF-Gate）替换标准UNet跳跃连接（skip connections）中的静态拼接，该模块自适应融合全局语义与局部边缘信息，以动态过滤跳跃连接特征。同时，引入多尺度边缘损失（multi-scale edge loss）和多尺度上下文模块（multi-scale context module），分别从边界监督和全局感知角度补充门控机制。实验表明，DSAFG-UNet取得91.96%的mIoU（mean Intersection over Union，平均交并比）和99.40%的海类别F1-Score（F1分数），在多项精度指标上优于基于门控的模型、多尺度上下文模型和基于注意力的模型；在有限外部样本上具有良好稳定性和一定泛化能力，尽管其计算效率仍需改进。总之，该模型在红外海面分割中取得较强整体性能，并为海区分割提供有效解决方案。

研究背景方面，海洋运输、海洋资源勘探和灾害应急响应等对全天候、高精度海洋感知提出需求；红外成像因被动成像、不依赖光照和一定穿雾能力，成为夜间及复杂天气海面目标检测与场景理解的核心手段，但红外图像普遍存在低对比度、强噪声、目标与背景灰度差异不明显等问题。海面图像语义分割（semantic segmentation，为每个像素赋予类别标签）为天空、海、障碍物等逐像素赋标签，是波浪方向检测、目标跟踪、态势评估和自主导航决策的基础输入，其精度和鲁棒性直接影响整个海洋感知系统可靠性。传统方法应用于红外海面场景面临三方面挑战：波浪区域在红外波段缺乏稳定灰度梯度和纹理特征；雾、云、光照和海况影响下海面环境高度动态，同场景红外外观差异显著；数据采集标注成本高且样本有限。现有方法结果出现海区误分为天空、分割严重破碎、边界明显偏离真实轮廓，因此该任务不能简单复用通用分割方案，需要专门网络设计与优化。为此，研究人员提出DSAFG-UNet（Dual-branch Semantic Adaptive Fusion Gate UNet，双分支语义自适应融合门控UNet），以DSAF-Gate（Dual-branch Semantic Adaptive Fusion Gate，双分支语义自适应融合门控）替换标准UNet跳跃连接中的静态拼接，并联合多尺度边缘损失和多尺度上下文模块，形成门控-边缘-上下文框架；实验显示其在多个精度指标上优于门控模型、多尺度上下文模型和注意力模型，海类别F1-Score达99.40%，mIoU达91.96%，在有限外部样本上具一定泛化能力，但计算效率仍需改进。其意义在于为红外海面海区分割提供有效方案，并为无人水面艇和海事监视系统中的波浪方向检测、目标跟踪和自主导航等下游任务提供结构化海区信息。

关键技术方法（不超过250字）：研究采用PaddlePaddle框架，在单块NVIDIA Tesla V100（32 GB）上从零训练，推理在NVIDIA GeForce MX350（2 GB）上完成；样本来自山东大学红外感知团队公开的“Short-Wave Infrared Ship Target Instance Segmentation and Multi-Target Tracking Dataset”及作者采集的红外海面图像，整合清洗后共2760幅，覆盖白天、夜间、薄雾、厚云等，并按帧级约7:1.5:1.5划分训练、验证和测试集。方法核心为DSAF-Gate、多尺度边缘损失和多尺度上下文模块；输入经WCE-Net（Wavelet-domain CNN Enhancement Network，小波域CNN增强网络）增强、缩放至512×512并归一化；以最佳验证损失、像素精度（Pixel Accuracy, PA）、mIoU、各类F1-Score、参数量（Params）、浮点运算量（FLOPs）和单图推理时间评价。

3.1 实验设置：所有模型用PaddlePaddle实现，单块NVIDIA Tesla V100（32 GB）从零训练，推理在NVIDIA GeForce MX350（2 GB）上完成；采用基于验证损失的早停，多尺度边缘损失权重λ设为0.3，仅用于含该模块的组。通过统一训练与测试设置开展消融和对比实验。

3.2 消融实验：设置六组配置，以A、B、C分别表示DSAF-Gate、多尺度边缘损失和多尺度上下文模块，通过10次重复运行均值±标准差及配对t检验评估。3.2.1 消融实验设计：Group 01为UNet基线，Group 02仅加A，Group 03为A+B，Group 04为A+C，Group 05为B+C，Group 06为A+B+C即DSAFG-UNet；通过六组配置验证各模块独立贡献和组合效果。3.2.2 消融训练过程：训练曲线显示验证损失早期快速下降，约10轮后趋稳并稳定在约0.05，mIoU、PA和各类F1-Score先快速上升后趋平台；海类别IoU和F1-Score曲线高于天空和障碍物；训练损失略高于验证损失，因多尺度边缘损失仅在训练启用。得出训练收敛较快且较稳定、海区分割精度最高。3.2.3 消融分割性能：全模型取得最低最佳验证损失和最高海类别F1-Score，PA略低于Group 04但差异边际；全模型mIoU显著高于UNet基线（p < 0.001）和Group 05（p < 0.001），与Group 02、03、04差异不显著；视觉上Group 01至05存在轻微破碎，Group 06更连贯；外部图像上所有模型性能下降，DSAFG-UNet海区连通性较好但泛化仍有限。通过定量指标、统计检验和可视化比较得出上述结论。

3.3 对比实验：将DSAFG-UNet与6种主流方法比较。3.3.1 对比实验设计：对比UNet + GateSkip、UNet + CBAM、DeepLabv3+、SegFormer-B0、SegFormer-B4和SegNeXt；Transformer类模型初始学习率设为6 × 10^?4，其余沿用统一超参数。通过同一训练和验证集比较整体性能与泛化。3.3.2 对比训练过程：DeepLabv3+收敛最快，DSAFG-UNet次之；SegFormer模型收敛慢、波动强并在后期训练崩溃，其余模型整体稳定并趋于相近水平。得出DSAFG-UNet收敛性能较一致。3.3.3 对比分割性能：DSAFG-UNet在多项精度指标上最佳且最佳验证损失最低；其mIoU显著高于UNet + GateSkip和UNet + CBAM（p < 0.05），相对DeepLabv3+、SegFormer-B0、SegFormer-B4和SegNeXt更显著（p < 0.001）；复杂轮廓保持更好，其他模型易将海天线误分为障碍物；外部图像上所有模型退化，DSAFG-UNet数值最佳；相近模型规模下Group 02优于Group 07和Group 08（p = 0.00001和p = 0.020）。通过定量、统计和视觉比较得出上述结论。

讨论部分：4.1 各模块贡献：DSAF-Gate是核心，Group 02海类别F1-Score提高约2.5%，mIoU和PA正偏离，天空和障碍物变化小于1%，可抑制波浪噪声并减少海区破碎，但使推理时间增加约1.5—3 s；局部边缘权重W_loc可视化显示浅层以中等权重为主，Gate 2和Gate 3更具选择性和语义判别性，Gate 4出现反转并突出结构边界。多尺度边缘损失主要改善边界质量，Group 03海类别F1-Score正偏离由约2.5%收窄至约0.5%，天空和障碍物转为正偏离，边界更平滑。多尺度上下文模块通过扩大瓶颈层感受野提升整体指标，Group 04在mIoU、PA和海类别F1-Score上正偏离且大于Group 02，但增加约23 M参数并增加一定推理时间。DSAF-Gate是基础，边缘损失帮助保持海区连通，上下文模块增强全局感知，Group 06整体最佳。4.2 性能比较：排名热图显示DSAFG-UNet总排名最优；GateSkip和CBAM多数指标低于Group 06；DeepLabv3+和SegFormer-B0推理最快（3.99 s、3.32 s）但mIoU低；SegFormer-B0、SegFormer-B4和SegNeXt整体较低，因自注意力缺乏卷积局部归纳偏置，而本任务核心是波浪纹理局部判别；精度—效率分布显示无模型同时最优，DSAFG-UNet优先精度并接受效率代价；SegFormer-B4参数最多但精度中等。4.3 稳定性与泛化：DSAFG-UNet前五项精度指标误差棒较短，较稳定；SegFormer-B0、SegFormer-B4和SegNeXt误差棒较长，SegFormer-B4海类和障碍物F1-Score标准差最大，与后期训练崩溃一致；GateSkip、CBAM和DeepLabv3+误差棒中等。外部图像上DSAFG-UNet性能下降最小、海区连通较好，海类别F1-Score为87.87%，比同次数据集结果低约10个百分点，具一定泛化能力，但外部图像有限，结论属初步。4.4 局限性：预测障碍物边界呈包裹式外扩且不够精细，训练倾向保持海区完整性而对障碍物边界采取保守决策；推理效率无优势，难以部署于严格实时场景；数据集2760幅规模有限且场景多样性不足；人工逐像素标注使过渡区存在未标注像素，边界监督不足并影响评价；14.44 s为特定硬件条件下效率；极端天气样本少；帧级划分可能造成训练与测试信息重叠并影响绝对指标，但相对趋势仍有效；泛化仅在有限外部图像验证，未开展系统跨源或跨数据集评估。

结论部分翻译如下：针对红外海面图像分割中微弱波浪纹理、模糊海天边界和低对比度等困难，以及现有方法门控机制多为单路径结构、辅助策略多独立堆叠的不足，该研究提出DSAFG-UNet。通过结合DSAF-Gate模块、多尺度边缘损失和多尺度上下文模块，该方法实现跳跃连接特征自适应过滤、海区连通性改善和全局感知增强。研究还揭示该方法若干局限，包括障碍物边界包裹式外扩、推理效率无优势、数据集规模和标注质量有限、场景覆盖以普通海况为主。未来工作可从以下方向推进：针对边界问题进一步优化边缘分支设计或引入更细粒度边界监督；针对效率问题采用轻量化设计、知识蒸馏或模型剪枝减少参数和推理时间；针对数据集规模和标注质量扩大数据规模并引入半监督或弱监督标注策略；针对场景覆盖增加极端海况和复杂天气样本以提高模型适应性；此外，如何更好平衡精度与效率仍需进一步研究。