《Ecological Informatics》：Deep learning-based optical monitoring system on floating platforms: enabling long-term activity monitoring of the finless porpoise in the Nanjing section
编辑推荐：
研究人员部署了一个浮式平台，用于栖息地的长期原位（in situ）监测；开发了FP-YOLO用于在平台上对江豚进行近实时（near-real-time）检测；构建了一个新的野生江豚光学图像数据集以训练模型；对行为和行为节律进行了统计分析，为保护需求提供科学依据
研究人员部署了一个浮式平台，用于栖息地的长期原位（in situ）监测；开发了FP-YOLO用于在平台上对江豚进行近实时（near-real-time）检测；构建了一个新的野生江豚光学图像数据集以训练模型；对行为和行为节律进行了统计分析，为保护需求提供科学依据；建立了智能水生哺乳动物监测的技术参考。
长江江豚（Neophocaena asiaeorientalis）是长江仅存的淡水鲸类和旗舰物种，也是水域生态系统健康的重要指示生物。近几十年来，气候变化、捕捞、航运和微塑料污染等外部压力导致其种群数量骤降，该物种被列为极度濒危。尽管“十年禁渔”等措施使种群从2017年的1012头恢复至2022年的1249头，但长期监测和持续研究仍十分迫切。传统监测手段中，船基目视调查对观察者技能要求高且易漏检，岸基观察受视角和高度限制；被动声学监测和环境DNA（eDNA）技术虽可实现间接监测，但无法提供个体数量、形态和行为等直接信息。同时，长江江豚体型小（1.2–1.9 m）、无背鳍、出水时间仅约0.3 s、潜水时长达30–40 s，使得野外成像和长期行为观察极为困难。因此，有必要建立一种部署在栖息地内、能够持续获取原位光学影像并实现自动化检测的灵活监测系统。
针对上述问题，研究团队在南京段潜洲（Qianzhou）部署了一个太阳能供电的浮式光学监测平台，利用4G网络传输高清视频，并基于深度学习方法开发了集成卷积块注意力模块（Convolutional Block Attention Module, CBAM）和多目标跟踪算法DeepSORT（一种基于深度外观特征的多目标跟踪算法）的FP-YOLO检测框架。通过构建野生江豚光学数据集并进行统计行为分析，该系统在近实时条件下实现了对江豚的自动识别与长期追踪。研究结果表明，FP-YOLO在复杂河面环境中具有较高的检测精度和较低的误检率；行为分析揭示了江豚晨间活跃、秋冬季节活动增多以及群体活动占主导等特征。该工作为水生哺乳动物的智能监测提供了可扩展的技术参考，对物种保护决策具有重要支撑意义。
研究人员使用的主要关键技术方法包括：依靠太阳能浮式平台搭载可见光摄像机，以1920×1080分辨率、25帧每秒采集视频，并通过4G网络和H.265编码回传；构建了包含400张高分辨率图像的训练数据集，其中195张来自南京段2017–2020年人工拍摄影像，205张来自2023年6–7月浮式平台视频帧，并将鸟类作为负样本纳入以降低误检；在YOLOv5s骨干网络浅层引入CBAM以增强小目标特征表达，形成Improved-YOLO检测器；利用DeepSORT结合运动特征与外观特征对检测结果进行轨迹验证，通过交并比（Intersection over Union, IoU）阈值和级联匹配过滤瞬时干扰并保持跟踪连续性；最终将检测结果按小时统计单元量化，用于行为节律分析。样本队列来源为南京段潜洲浮式平台2023年7月至12月的实地监测。
4.1 数据收集（Data collection）：监测平台架设于潜洲关键栖息地，2023年7月1日至12月7日共160天，因恶劣天气和设备维护，实际有效传输数据118天，其中97天获得完整日活动视频，21天为部分数据，累计传输视频约1400小时。该结果为此后的行为统计提供了数据基础。
4.2 从训练到检测：实验与对比结果（From training to detection: experimental and compared results）：研究人员利用自建数据集训练Improved-YOLO，测试集上精确率（Precision）为0.939，召回率（Recall）为0.912，平均精度均值（mean Average Precision, mAP）为0.973，mAP50:95为0.514。通过对比三种CBAM插入位置，发现将CBAM置于浅层（Layers 1/3/10）时召回率最高。在包含大量无江豚帧的30000帧长期监测视频中，Improved-YOLO的Precision为0.924、Recall为0.783、mAP为0.855，优于YOLOv5s、YOLOv7-tiny、YOLOv8s、YOLOv9s、MobileViT-SSD和RT-DETR等模型，说明其更适应复杂野外长期监测。加入DeepSORT后，轨迹确认和级联匹配有效滤除了波浪、鸟类等瞬态误检，提高了检测连续性。
4.3 检测与行为模式统计（Detection and behavioral pattern statistics）：基于FP-YOLO处理约1400小时视频，共获得294个有效小时统计单元，占监测总时长的19.6%，记录2173次个体目击事件。118天有效监测日中，97天检测到江豚活动（82.2%）。时段分析显示，6:00–10:00检测率高于25%，其中7:00–8:00最高（28.8%），而19:00–19:30仅3.7%。群体活动在60%以上的有效单元中被记录，占全部目击事件的90%以上（1975/2173），表明群体活动是主要行为模式。9月至10月检测频率显著高于7月至8月，提示该区域存在季节性差异。此外，在7月30日、9月上旬和10月中旬等多个日期记录到持续活跃行为，群体状态下的江豚表现出更高频率的跃出水面等高能量行为。
4.4 图像收集与特征描述（Images collection and characterization）：系统在监测过程中筛选出1800张高质量野生江豚图像（1920×1080像素）。这些图像涵盖多种水体背景、气象条件、光照和拍摄距离，并记录了行进、转向、全身跃出和仅头部出水等不同行为状态。图像中江豚通常为小于30×30像素的小目标，超过60%显示背部，约30%仅显示头部，其余为全身跃出等姿态。该数据集为模型训练和行为研究提供了重要资源。
讨论部分指出，虽然监测系统在6:00–10:00检测频率最高，但此峰值可能受到光照条件影响，不能直接等同于真实活动高峰；然而10:00后
