《Journal of Marine Science and Engineering》:Enhancing Coastal Safety with AI: A Lightweight Deep Learning Framework for Rip Current Segmentation via Architectural Co-Design and Model Compression
编辑推荐:
裂流(rip currents)对海岸安全以及近岸运行的自主海洋航行器构成重大威胁。然而,在资源受限平台上部署高精度监测模型仍具挑战性。本文提出一个综合框架,将新颖架构与压缩方法相结合。首先,研究人员引入 RipSegNet,集成重参数化主干网络(re-par
裂流(rip currents)对海岸安全以及近岸运行的自主海洋航行器构成重大威胁。然而,在资源受限平台上部署高精度监测模型仍具挑战性。本文提出一个综合框架,将新颖架构与压缩方法相结合。首先,研究人员引入 RipSegNet,集成重参数化主干网络(re-parameterized backbone network)以从无定形、低对比度裂流中高效提取多尺度特征;集成内容感知上采样颈部结构(content-aware upsampling neck structure)以保留扩散边界;并集成轻量级共享卷积分割器(lightweight shared convolutional segmenter)以提高参数效率。其次,研究人员提出协同两阶段压缩流水线(two-stage compression pipeline):第一阶段采用任务感知、维度补偿的宏架构剪枝策略(task-aware, dimension-compensated macro-architecture pruning strategy);第二阶段应用由软标签引导并具余弦退火权重调度(cosine annealing weight schedule)的知识蒸馏方案(knowledge distillation scheme)。最终模型 RipSegNet-Lite 在仅 4.0 GFLOPs 下达到 0.919 的 Mask mAP(Mask mean Average Precision),实现超过 58% 压缩的近无损压缩。使用热力图和结果掩码的定性分析以及统计显著性评估,证实了该模型在降低成本的同时提高精度的优势。本研究为裂流监测提供高效、可扩展解决方案,使资源受限平台上可靠的实时实例分割成为可能,并增强自主海洋系统中的海岸公共安全和环境意识。
研究背景方面,裂流(rip currents,一种从海岸向外海快速流动的狭窄水流)对海岸公众安全和近岸运行的自主海洋航行器(autonomous marine vehicles)构成重大威胁。基于美国数据的流行病学分析估计,裂流涉及超过 80% 的冲浪区救援,并可能每年在美国造成 100 多例溺水死亡;印度和中国等地也观察到类似现象。其危险来自速度通常超过 1–2 m/s、不可预测以及反直觉逃生策略,因此公众教育和主动监测至关重要。传统监测依赖训练有素的救生员目视监视,存在主观、疲劳和难以覆盖大范围海岸线的问题。固定相机、无人海洋航行器(UMVs)和卫星等海岸监测系统为计算机视觉自动检测裂流提供了机会。然而,将通用计算机视觉模型转化为可靠、实时的裂流监测系统仍面临诸多未解挑战。通用分割和检测模型主要面向刚性、纹理清晰、轮廓明确的目标,如人、车辆、动物;面对无定形、低对比、边界模糊的裂流时,会出现碎片化或过度平滑掩码、误纳入相邻杂波和漏检细弱或新生结构。因此,研究人员开展本项研究,旨在通过任务感知的架构协同设计和模型压缩,提高裂流实例分割的精度与效率。
研究人员提出一个综合框架,结合新颖神经网络架构和压缩策略。首先,引入 RipSegNet,集成重参数化主干网络 RepHGNet、内容感知上采样颈部结构 CARAFE(content-aware reassembly of features)和轻量级共享卷积分割器 LSCS。其次,提出协同两阶段压缩流水线:第一阶段采用任务感知、维度补偿的宏架构剪枝策略;第二阶段采用由软标签引导、余弦退火权重调度的知识蒸馏。最终模型 RipSegNet-Lite 以仅 4.0 GFLOPs(十亿次浮点运算)达到 0.919 的 Mask mAP(Mask mean Average Precision),实现超过 58% 压缩的近无损压缩。该研究为裂流监测提供高效、可扩展方案,支持资源受限平台上的可靠实时实例分割,并增强海岸公共安全和自主海洋系统环境感知。
关键技术方法(≤250字):研究使用 de Silva 和 Dumitriu 提出的裂流实例分割数据集,影像为 Google Maps 高分辨率航空视图,主要采集于美国海滩,由 NOAA 专家识别标注。模型基于 PyTorch 2.5.1,在 NVIDIA GeForce RTX 4090、Intel Core i7-12700H 和 32 GB RAM 平台训练;采用 AdamW、初始学习率 0.01、权重衰减 0.0005、余弦退火,训练 300 个 epoch,batch size 为 16,输入图像 640 像素。评估指标为 Mask mAP、参数数量和 GFLOPs,采用五折交叉验证及 Mosaic、HSV 颜色抖动、随机平移缩放、水平翻转增强。关键技术包括 RepHGNet 重参数化主干、CARAFE 内容感知上采样、LSCS 共享分割头,以及任务感知维度补偿剪枝和软标签余弦退火知识蒸馏。
研究结果部分,分割数据集方面,该数据集实例具有不同视角和尺度,目标中心集中于图像中部和中下部,对应波浪带和近岸区域;归一化宽高分布范围广,表明裂流无定形、多尺度,覆盖窄长通道到较宽弥散羽流。实验设置方面,所有模型以相同流程训练和评估,主要指标为 IoU 阈值 0.5 下的 Mask mAP,并报告参数数量和 GFLOPs;采用数据增强提高对目标尺度、光照和空间上下文变化的鲁棒性。消融研究与组件分析方面,以 YOLOv11n-seg 为基线,逐步替换主干、引入 CARAFE 并形成 RipSegNet,再进行压缩。基线 Mask mAP 为 0.894,参数 2.83 M,计算 9.6 GFLOPs。架构创新分析方面,RepHGNet 将 Mask mAP 提高至 0.896,并降低参数和 GFLOPs;加入 CARAFE 后提高至 0.905;完整 RipSegNet 达到 0.921,计算 8.1 GFLOPs,相对基线性能提高 3.0%,计算成本降低 15.6%。该结果证实,重参数化多路径主干、内容感知上采样和轻量稳定分割器共同提升了裂流分割。压缩流水线分析方面,任务感知结构化剪枝后,RipSegNet-Lite 参数降至 0.87 M,计算降至 4.0 GFLOPs,较完整 RipSegNet 计算减少 50.6%,Mask mAP 仍为 0.904;随后知识蒸馏将 Mask mAP 恢复至 0.919,仅比教师模型低 0.2%。最终模型相对基线参数减少 69.3%,计算效率提高 58.3%,Mask mAP 相对提高 2.8%(0.919 vs. 0.894),实现近无损压缩。定性评估方面,热力图和结果掩码分析用于直观验证压缩流水线。热力图保真度分析显示,基线和 RepHGNet 激活常分散并受海面反光和破碎波干扰;CARAFE 改善掩码边界对齐,但部分边缘和小目标信息仍丢失;RipSegNet 与 RipSegNet-Lite 在裂流颈部和头部区域激活高度集中,噪声抑制和边界对齐更好。掩码一致性分析显示,基线和 RepHGNet 输出存在碎裂不连贯、边界模糊或过平滑、错误包含相邻泡沫等问题;RipSegNet-Lite 掩码连续完整、边界精确,能分割低对比或无定形裂流头,并与邻近对象分离。
讨论部分,任务感知架构与效率权衡方面,RepHGNet 通过大有效感受野整合广域上下文,CARAFE 依据表面纹理上采样生成更一致边界,LSCS 借助组归一化节省 FLOPs 并保持高批量训练和低批量推理稳定。配对 t 检验表明,单独 RepHGNet 相对基线不显著,RepHGNet+CARAFE 显著,完整 RipSegNet 高度显著;基线在五个验证折中均未优于 RipSegNet。模型压缩有效性方面,剪枝明显降低计算但导致可预期性能下降;知识蒸馏恢复大部分精度,使最终压缩模型仍在统计上显著优于基线。局限与挑战方面,模型依赖裂流可识别的视觉特征,低可见度、强反光、湍流或仅有水下流无表面表达时可能失败;静态图像中裂流空间范围标注存在主观性,引入标签和评估噪声;模型对地形、潮汐、波浪气候或水密度显著不同的未见海滩的泛化仍需验证。未来研究方向包括扩展至视频实例分割并引入时序建模,融入物理信息学习,探索无监督或半监督学习,以及集成到智能手机应用和海滩巡逻无人机中。
研究结论部分翻译:本文提出一个综合框架,用于构建高效、准确的裂流监测深度学习模型。首先,研究人员引入 RipSegNet 架构,集成 RepHGNet 主干、CARAFE 上采样器和 LSCS。该设计专门针对裂流的多尺度、无定形和边界模糊特性。该架构达到 0.921 的 Mask mAP,较强基线 YOLOv11n-seg 提高 2.7%,同时计算效率更高。其次,研究人员设计协同两阶段压缩流水线。模型剪枝步骤执行任务感知的结构压缩和维度补偿,将计算成本减半至 4.0 GFLOPs。随后的蒸馏步骤通过从教师模型迁移知识,有效恢复大部分精度损失。最终 RipSegNet-Lite 模型仅用 0.87 million 参数保持 0.919 mAP,展示“近无损”压缩。通过广泛消融研究、定量比较和定性视觉分析,研究人员验证了框架的贡献。该模型设计受益于并贡献于高效模型设计、知识蒸馏和环境感知等更广泛领域。