《Water》：MOMO: An RGB–Pseudo-Event Spiking Network for Robust Underwater Object Detection in Aquatic Ecosystem Monitoring
编辑推荐：
基于计算机视觉的水生生物与底栖目标监测要求检测器在多变水体与采集条件下保持可靠。水下图像受波长依赖性衰减、散射、浊度、光照干扰与色偏影响，导致源环境训练的模型在未见监测条件下精度下降。长时程自主或边缘平台观测还要求良好的精度-效率特性。研究人员提出MOMO（M
基于计算机视觉的水生生物与底栖目标监测要求检测器在多变水体与采集条件下保持可靠。水下图像受波长依赖性衰减、散射、浊度、光照干扰与色偏影响，导致源环境训练的模型在未见监测条件下精度下降。长时程自主或边缘平台观测还要求良好的精度-效率特性。研究人员提出MOMO（Multi-Representation Optical Monitoring of Objects），一种全彩-伪事件脉冲检测器，用于鲁棒生态视觉监测。此处“多表征”指同一光学输入的两种互补表示：全彩表观视图与帧衍生的伪事件结构视图，并非独立传感模态。该方法在量化脉冲神经网络中结合全彩表观与帧衍生伪事件结构表示。无训练生成器通过灰度投影、Prewitt梯度、极性分离与样本级归一化将每帧全彩图转为三通道伪事件图；在空间恒定正仿射光度变换下，除离散化与数值稳定外该表示保持不变。双分支脉冲骨干提取全彩语义特征与伪事件结构特征，经多尺度脉冲交叉注意力融合。在S-UODAC标准未见域评测下MOMO达57.2% mAP@0.50，优于最强评估SNN基线3.5个百分点；在RUOD雾状、色偏与光照干扰子集上平均mAP@[0.5:0.95]为43.7%，色偏与光照变化下表现更强。消融与特征分析表明伪事件表示与脉冲兼容融合均提升跨域水况转移下目标-背景判别力。理论神经网络推理能量按典型45 nm模型算术操作估算为每帧24.21 mJ。
研究背景方面，水生生态系统涵盖海洋、湖泊、河流与近岸水体，支撑生物多样性、食物资源与栖息地功能，其监测对生态评估与资源管理至关重要。计算机视觉已将水下图像转为物种检测、丰度计数与栖息地巡检的目标级证据。然而水下图像形成受波长依赖吸收、散射、悬浮颗粒、浊度与不稳定光照影响，产生色偏、雾状、对比度下降与空间变化模糊，使源域训练检测器在未见水体部署时精度严重退化。现有域泛化方法多在稠密人工神经网络(ANN)中以全彩为唯一传感表示，对水依赖的颜色与光照统计敏感，且稠密帧计算不匹配自主水下航行器(AUV)长时程边缘算力与电池约束。脉冲神经网络(SNN)以离散脉冲与突触累积实现事件驱动稀疏计算，具备能效潜力；近期EMS-YOLO、SpikeYOLO、E-Spikeformer与SU-YOLO已验证直接训练SNN检测器的可行性，但既有SNN检测器主要处理全彩帧，未显式引入面向跨水域表观变化的表示。物理事件相机可异步记录亮度变化，但水下同步全彩-事件数据稀缺且需专用传感器。为此研究人员设计MOMO，作为脉冲驱动检测器，在保持相对稠密ANN域泛化方法操作级计算优势的同时优先跨域精度。该文发表于《Water》。
关键技术方法上，研究人员构建无训练单帧伪事件生成器：对全彩图做范围转换得灰度图，以Prewitt核取水平/垂直导数，计算梯度幅值M与固定方向投影响应S，按极性分离为正负响应后逐样本min-max归一化，拼为三通道（第三通道占位）；该生成器在参数自由前提下，于空间恒定正仿射灰度变换J'=aJ+b下除离散化与数值稳定外表示不变。骨干采用双分支量化SNN（Conv-SNN低层+Transformer-SNN高层），继承整数值训练与脉冲驱动推理（IF-SR神经元，推理窗D=5），RGB支提供语义查询、伪事件支提供结构与值，经四层多尺度脉冲交叉注意力非对称融合，接SpikeFPN、SpikeRPN、ROIAlign与量化脉冲分类回归头。训练基于S-UODAC（7域5537图，4类底栖目标，Type1-6源域/Type7未见域）与RUOD（14000图、10类、含雾状/色偏/光照干扰子集），图像resize至512×512，batch8，AdamW训练25轮，单跑评估。
研究结果部分，在“跨域检测与监测鲁棒性”中，S-UODAC未见域协议下MOMO达57.2% mAP@0.50，为所评估SNN最高，超SpikeYOLOs 3.5点、超SU-YOLO 14.1点；海星、海参、扇贝分别46.5%、44.2%、61.3%，刺参76.8%略低于SpikeYOLOs 0.5点；较最强ANN基线SPIR-DFM(ResNet50)差6.6点但超其YOLOv3变体。RUOD三退化子集平均mAP@[0.5:0.95]为43.7%，色偏子集44.9%、光照干扰39.6%、雾状46.6%（雾状下较SU-YOLO低1.9点但mAP@0.50高0.2点）；PR曲线显示海参在recall 0.8时precision约0.6，优于SU-YOLO与E-Spikeformer。计算复杂度上MOMO参量51.24M、26.91 GSOPs、19.9 FPS、理论24.21 mJ/帧，低于SPIR-DFM的114.3 mJ与JiGEN的287.3 mJ，但高于轻量SNN SU-YOLO(2.21 mJ)；精度-能效权衡偏向跨域精度。在“特征可视化与表示分析”中，t-SNE显示MOMO末层特征源-目标域重叠度高于RGB基线与SU-YOLO；LayerCAM显示Raw+Pseudo-Event激活比Raw+Raw与Raw+Gray更集中于标注目标，Type7域亦如此。在“监测场景定性评估”中，S-UODAC与RUOD可视化表明MOMO对小扇贝、刺参、潜水员、水母漏检更少，色偏/光照下假阳更低；极浊场景仍漏检，雾状下两模型均退化。混淆矩阵上海参对角率自9.7%升至49.3%，扇贝14.6%升至54.5%，背景误判为刺参自91.3%降至51.3%；RUOD上10类中9类对角提升。在“消融研究”中，分支2输入对照显示Canny 54.6%、Prewitt幅值55.5%、Prewitt有符号? 56.0%，伪事件57.2%最高；固定范围归一化因响应过小取整归零致不收敛。融合策略对照中，单分支RGB 45.5%、拼接49.8%、ANN交叉注意力47.85%，脉冲交叉注意力57.2%最高且操作级能耗较ANN注意力降约67.9%。
讨论部分指出，MOMO可作可变视觉环境下水下生态监测的目标级感知组件，S-UODAC隔离跨域泛化、RUOD扩至10类多退化，二者互补但不覆盖真实水生全分类多样性；伪事件自普通全彩帧衍生，避免专用事件相机依赖，契合AUV/固定站边缘监测成本约束。跨域特性上，色偏与光照干扰（低频光度变而局界存）收益最大，Raw+Gray证明仅去色不够，LayerCAM证极性分离梯度比灰度更聚目标，t-SNE证源-目标分离减弱；雾状因强散射抑高频边界致辅助支信号受损，故非全能退化解。精度-效率上双支增参量与突触操作，操作点偏重跨域精度，24.21 mJ仅为45 nm操作级算术能估，非神经形态硬件实测，不含存储/传感/系统开销。局限含单帧无时序、极浊/模糊边界消失、第三零通道仅兼容用、预处理与系统能耗未计、单跑未给多种子方差、固定向投影极性不保二维梯度朝向、样本min-max受离群影响。
结论部分翻译：准确鲁棒的水下目标检测对基于计算机视觉的水生生物与底栖目标监测至关重要。水况变化引发显著域偏移，而受限车载资源制约稠密检测模型在长时观测平台部署。本研究提出MOMO，一种面向域泛化水下生态目标检测的全彩-伪事件脉冲神经网络。无训练生成器从每帧全彩图衍生极性分离结构表示，多尺度交叉注意力双分支量化脉冲骨干将伪事件结构线索与全彩纹理语义整合。MOMO在S-UODAC达57.2% mAP@0.50，超最强评估SNN基线3.5点；RUOD三退化子集平均mAP@[0.5:0.95]为43.7%，色偏与光照干扰下相对更强。消融与特征分析佐证伪事件表示与脉冲跨模态融合的贡献，表明事件启发结构信息可提升跨域表观变化下的检测鲁棒性。典型45 nm操作级模型下神经网络推理能估算为每帧24.21 mJ，指示脉冲驱动设计的计算潜力而非神经形态硬件或全系统实测能耗。该方法为鲁棒且成本敏感的 underwater 视觉监测提供方法论基础；未来应研探时序事件信息、严散射模糊下结构提取增强、构建更大同步全彩-事件水下数据集、在神经形态平台评测全框架，并将目标级检测输出衔接丰度估计、栖息地评估与长期生物多样性观测等生态任务。
