《Ocean Engineering》:QSM-UOD: A low-power underwater object detector based on a quantized spiking mechanism
编辑推荐:
•首次将量化脉冲神经网络应用于水下物体检测领域。•融合了更多受生物启发的神经脉冲与视觉旁路路径。•利用现有的脉冲神经网络实现了行业领先的性能。•能够在大幅降低理论能耗的前提下,实现AUV高精度物体检测。引言水下物体检测技术是海洋探索与开发的重要支撑,在海洋生物监测、海底管道安全检
- •
首次将量化脉冲神经网络应用于水下物体检测领域。
- •
融合了更多受生物启发的神经脉冲与视觉旁路路径。
- •
利用现有的脉冲神经网络实现了行业领先的性能。
- •
能够在大幅降低理论能耗的前提下,实现AUV高精度物体检测。
引言
水下物体检测技术是海洋探索与开发的重要支撑,在海洋生物监测、海底管道安全检查等领域取得了显著成果,相关研究可见Li等人2026年的工作、Ga?parovi?等人2022年的研究以及Hong等人2020年的研究。随着自主水下航行器与遥控水下航行器的不断发展,水下物体检测系统正逐渐从以人为中心的控制模式向基于边缘设备的自主部署模式转变(Ma等人2025年)。这一转变对检测模型提出了更高的要求,既需要更高的准确率,也需要更好的计算效率。一方面,复杂的水下光学环境会带来图像质量差、目标形态多变等挑战(Dai等人2024a年);另一方面,AUV这类边缘设备通常配备的嵌入式GPU功耗低于50瓦,计算资源有限且电池容量也较为不足(Liu等人2025年)。因此,水下物体检测成为了计算机视觉领域中极具挑战性的研究方向。
近年来,人工神经网络被广泛用于水下物体检测领域(Cao等人2025年、Dai等人2024a年、Zhou等人2025年)。经过改进的基于YOLO的模型通常会集成注意力机制或多尺度特征融合策略,从而提升了检测的准确率和效率。不过,这些改进往往会导致计算复杂度上升,限制了其在边缘设备上的应用。虽然轻量级的神经网络设计能够减少资源消耗,但往往会牺牲准确率,这体现了传统方法的固有权衡。
脉冲神经网络作为第三代神经网络,为解决这一难题提供了潜在方案(Maass,1997年)。脉冲神经网络借鉴了生物大脑的神经系统运作机制,通过稀疏且异步的脉冲来处理信息,这大大减少了冗余的计算量和能量消耗。如图1所示,与人工神经网络连续值的信号传输方式不同,脉冲神经网络采用离散的脉冲信号(0或1),这种信号更接近生物神经元的活动特性,只有在接收到足够多的刺激时才会产生脉冲,从而大幅减少冗余计算。在早期的研究中,Spiking-YOLO(Kim等人2020年)通过将预训练的人工神经网络转换为脉冲神经网络,实现了基于速率的推理。但这种方法仍需要在大量的时间步中积累脉冲,才能近似得到原始人工神经网络的激活值,从而导致较高的推理延迟。随后,SpikeYOLO(Luo等人2024年)提出了一种基于整数值训练并结合脉冲驱动推理的直接训练范式,该方法有效降低了时间步的要求,同时缓解了二进制脉冲不可微分以及量化误差带来的性能下降问题,从而在保持低能耗的同时提升了检测准确率。SU-YOLO(Li等人2025年)则是首个基于脉冲神经网络的水下物体检测模型。这种基于脉冲版本的YOLO架构在四个时间步内就能实现不错的检测性能,同时还能保持较低的能耗。不过,它仍然需要在多个时间步中重复输入图像,这限制了其推理效率。
为了解决这些局限性,我们提出了QSM-UOD,这是一种基于量化脉冲神经网络的低功耗算法。我们分析了传统脉冲神经网络模型在物体检测这类静态视觉任务中的缺陷——这类任务通常需要在多个时间步中重复输入图像,才能弥补二进制脉冲神经元捕捉空间特征能力的不足。首先,该模型基于量化脉冲神经网络架构构建,在训练阶段使用整数值激活值来近似神经元放电率,而在推理阶段则将这些整数值激活值转换为二进制脉冲序列,以此保留脉冲神经网络的脉冲驱动特性。其次,受生物旁路路径机制的启发,我们将卷积层和注意力层与脉冲旁路模块相结合,通过逐层逐步降低通道维度的方式优化特征流,从而在不影响准确率的前提下大幅减少模型参数的数量。最后,重新设计的脉冲颈部和检测头部可以实现基于脉冲的特征融合与预测,确保该模型能够在低精度场景下适配AUV设备。
本研究的主要贡献如下:
• 我们基于量化脉冲框架开发了一种水下物体检测模型,该模型可实现高效的单时间步推理,大幅降低能耗,同时提升推理速度。
• 我们设计了集成深度可分离卷积层和注意力层的脉冲旁路模块,该模块在提升模型准确率的同时减少了模型参数的数量。
• 我们重新设计了脉冲颈部和检测头部,确保模型在整个过程中具备端到端的时间一致性和量化一致性。
• 我们在四个公开的水下物体检测数据集(URPC、UDD、DUO和RUOD)上进行了大量实验,验证了所提模型的有效性。所提出的QSM-UOD在现有基于脉冲神经网络的模型中取得了行业领先的性能。
章节要点
脉冲神经网络
脉冲神经网络借鉴了生物神经系统的运作机制,由于其在处理时空信息以及实现高效能计算方面的独特优势,吸引了众多研究者的关注(Roy等人2019年)。与人工神经网络中神经元在每个传播周期都会被激活不同,脉冲神经网络中的神经元具有内部状态,这种状态通常由膜电位来表示。当累积的输入刺激使得膜电位超过某一阈值时
整体架构
所提出的QSM-UOD的整体架构如图2所示。该模型主要由三个部分组成:特征提取主干网络、多尺度特征融合颈部以及检测头部,这三大部分共同通过量化脉冲神经网络架构高效完成水下物体检测任务。
首先,输入图像会被送入主干网络进行多尺度特征提取。该主干网络包含三个阶段(第1阶段至第3阶段),每个阶段都从
实验部分
本节首先介绍了本研究中所使用的四个水下数据集及其应用场景,同时还说明了相应的评估指标和实现细节,这些内容有助于保证实验的精准性和可重复性。随后,我们分析了将所提出的QSM-UOD应用于这些数据集时的实验结果,并通过消融实验验证了脉冲旁路模块以及量化脉冲机制的作用,进而
结论
随着AUV和ROV技术的快速发展,部署高精度、低功耗、实时性的水下物体检测系统已成为一项至关重要的任务。本研究提出了QSM-UOD模型,旨在解决在资源受限的AUV平台上实现高效检测同时控制能耗这一双重难题。在该模型所处的量化脉冲神经网络框架下,QSM-UOD引入了SBSC和SBT模块,这些模块的设计灵感来源于生物视觉皮层中的旁路路径机制。通过
CRediT作者贡献说明
姚泽瑞:论文撰写——初稿撰写、可视化处理、方法设计、概念构思。苏金河:论文撰写——审稿与编辑。何一凡:软件相关工作、实验研究。姚曼云:模型验证、项目管理工作。王宗越:项目指导、资源协调、资金申请。
利益冲突声明
作者声明,他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。
致谢
本研究的部分工作得到了中国国家自然科学基金的资助,相关项目编号分别为42371457和42301468;同时也得到了中国福建省自然科学基金重点项目的资助,项目编号为2022J02045;此外还获得了中国福建省自然科学基金的资助,项目编号为2025J01346。
Zerui Yao|Jinhe Su|Yifan He|Manyun Yao|Zongyue Wang