《Ecological Informatics》:Swimming behavior of fish across habitats: A trajectory based analysis using YOLO–DeepSORT and Markov chain models
编辑推荐:
计算机视觉为分析鱼类游泳行为及理解其在不同自然栖息地间的变化提供了有力工具。研究人员开发了一种基于视频的行为分析框架,以比较雀鲷(Pomacentridae)在五种环境中的表现:淹没树根区、浅海沿岸区、珊瑚礁、白化珊瑚礁和海草床。该流程整合了图像增强、鱼类检测
计算机视觉为分析鱼类游泳行为及理解其在不同自然栖息地间的变化提供了有力工具。研究人员开发了一种基于视频的行为分析框架,以比较雀鲷(Pomacentridae)在五种环境中的表现:淹没树根区、浅海沿岸区、珊瑚礁、白化珊瑚礁和海草床。该流程整合了图像增强、鱼类检测与跟踪以及行为建模。采用对比度受限自适应直方图均衡化(CLAHE)增强水下图像,使YOLOv12模型检测准确率达到93.0%,比未处理图像提升3.5%。使用DeepSORT跟踪鱼类轨迹,从中提取游泳速度和转向角等运动特征以构建行为描述符,进而利用马尔可夫链模型表征行为状态转换。结果表明,珊瑚礁和浅海沿岸区促进鱼类快速游泳,伴随频繁减速和方向变化;而白化珊瑚礁表现出不稳定的行为转换,提示不利条件。相比之下,结构复杂的栖息地(如海草床和淹没树根区)支持更慢、更稳定的游泳模式,与休息和觅食相关。
**论文解读:基于YOLO-DeepSORT与马尔可夫链模型的跨栖息地鱼类游泳行为轨迹分析**
**研究背景与问题**
鱼类游泳行为是评估环境质量、鱼类健康及生态系统状态的重要生物指标,其变化直接反映栖息地特征差异。传统观测方法依赖人工记录,耗时且易受主观偏差影响,难以捕捉动态栖息地中的细微行为变化(如快速转向或状态转换),且持续大规模监测能力有限。计算机视觉技术,特别是YOLO(You Only Look Once)目标检测框架和DeepSORT(Deep Simple Online and Realtime Tracking)多目标跟踪算法,为水下非侵入式行为监测提供了新途径。然而,现有研究多聚焦于轨迹提取,对时间维度的行为状态转换建模不足,限制了跨环境游泳行为的定量比较。本研究旨在整合YOLOv12、CLAHE(对比度受限自适应直方图均衡化)与DeepSORT,结合马尔可夫链模型,系统分析雀鲷(Pomacentridae)在五种自然栖息地中的游泳行为差异,以揭示环境条件对行为动态的影响。
**研究内容与结论**
研究人员开发了基于视频的行为分析框架,涵盖图像预处理、鱼类检测与跟踪、运动特征提取及行为状态转换建模。该框架应用于五种栖息地(淹没树根区、浅海沿岸区、珊瑚礁、白化珊瑚礁、海草床)的雀鲷游泳视频。结果表明:CLAHE预处理使YOLOv12检测准确率(mAP@0.5)达93.0%,较未处理图像提升3.5%;DeepSORT实现连续多目标跟踪,成功重建游泳轨迹;运动特征分析(Kruskal-Wallis检验)显示,平均游泳速度、转向频率、方向一致性和快速游泳比例在不同栖息地间存在显著差异;马尔可夫链模型揭示行为状态转换模式:珊瑚礁和浅海沿岸区促进快速游泳与频繁转向,白化珊瑚礁表现为不稳定转换,而海草床和树根区支持慢速、稳定的游泳行为。该研究发表于《Ecological Informatics》,为理解栖息地结构对鱼类行为的影响提供了定量框架,具有生态监测与保护应用价值。
**主要技术方法**
研究人员采用以下关键技术:
1. **图像增强**:CLAHE算法(clip_limit=2.0,grid_size=8×8)对水下视频帧进行局部对比度增强,改善低照度、浑浊条件下的检测性能。
2. **目标检测**:YOLOv12(注意力机制架构)用于逐帧鱼类检测,训练集来自FishTrack公开数据集(9002帧,52057个边界框),80%训练、10%验证、10%测试,共30个训练周期。
3. **多目标跟踪**:DeepSORT(关联阈值0.3)整合YOLOv12检测结果,实现连续帧间鱼类身份关联,并剔除短于1秒的轨迹(约5%),对小于1秒的遮挡间隙进行插值。
4. **行为建模**:基于轨迹提取像素/秒和体长/秒(BL/s)两种速度指标,定义静止、慢速、中速、快速游泳及转向五类行为状态;利用马尔可夫链估计状态转移概率矩阵。
5. **实验平台**:Google Colab(NVIDIA Tesla T4/P100 GPU,CUDA 11.x),Python实现,OpenCV用于CLAHE处理。样本来源:FishTrack数据集用于检测模型训练,Pexels开放视频库(低交互、无繁殖/应激场景)用于行为分析,视频分辨率统一为1920×1080像素。
**研究结果**
**3.1 模型性能**
CLAHE预处理后,YOLOv12在30个训练周期后达到93.0%的mAP@0.5,训练集和测试集分别达89.2%和91.1%,表明对比度增强有效提升了水下检测鲁棒性。
**3.2 轨迹结果**
DeepSORT成功关联检测框,生成连续轨迹(每鱼100个连续点)。转向角分布显示,鱼在树根区频繁变向,浅海沿岸区和珊瑚礁以直线游泳为主,白化珊瑚礁和海草床则呈现显著方向变化(0–360°)。Kruskal-Wallis检验(表1)表明,平均速度、转向频率、方向一致性和快速游泳比例在栖息地间差异显著(p<0.05),速度变异性无显著差异。基于像素/秒的统计(表2)显示:浅海沿岸区平均速度最高(402.395像素/秒),海草床最低(35.396像素/秒)且速度变异性最小(0.315),方向一致性最高(0.527);转向频率在海草床(0.741)和树根区(0.727)最高。基于BL/s的统计(表3)进一步确认:浅海沿岸区平均速度最高(1.263 BL/s),海草床最低(0.970 BL/s)且快速游泳比例最低(0.045)。
**3.3 马尔可夫链模型**
基于像素/秒的转移网络(图8)显示:树根区中转向状态连接性最强,主要转移为从慢速到中速(0.33)和转向到静止(0.28);浅海沿岸区鱼倾向于从转向转向快速游泳(0.37)和从静止转向转向(0.64),慢速游泳罕见;珊瑚礁中静止到转向转移最强(0.80),表明静止个体常通过转向恢复运动;白化珊瑚礁中快速游泳转移突出(中速到快速0.31,转向到快速0.24),慢速状态几乎缺失,提示不稳定运动;海草床中快速和中速游泳自转移概率高(0.67和0.69),转向作为关键中间状态。基于BL/s的转移网络(图9)呈现相似模式:树根区中速到快速转移最频繁(0.33);浅海沿岸区静止到转向(0.64)和转向到快速(0.41)占主导;珊瑚礁转向到静止(0.74)为主;白化珊瑚礁转向到静止概率降低(0.57),更多转向快速游泳;海草床静止到快速(0.57)和快速到转向(0.44)突出。
**讨论与结论**
讨论部分指出,YOLOv12与CLAHE的整合显著提升了检测性能(mAP@0.5提升3.5%),使DeepSORT能可靠跟踪鱼类并提取精准运动特征。栖息地差异解释:浅海沿岸区缺乏障碍物且捕食压力低,导致高游泳速度;海草床作为庇护所和觅食地,促进慢速稳定游泳;白化珊瑚礁结构简化,促使鱼类快速移动以觅食或避险;树根区复杂结构支持慢速稳定游泳。转向角分布表明,结构复杂栖息地(树根区、珊瑚礁、海草床)呈现宽转向角分布,反映灵活机动策略;浅海沿岸区和白化珊瑚礁以直线运动为主。马尔可夫链分析进一步揭示,树根区行为稳定且伴随灵活调整;浅海沿岸区以快速探险运动为主;珊瑚礁静止到转向活跃,反映觅食重定向;白化珊瑚礁转向与快速游泳反复切换,提示不稳定;海草床转向后常进入静止,表明局部低强度活动。研究结论总结(翻译原文“Overall, this study demonstrates...”部分):本研究表明,整合YOLOv12与CLAHE和DeepSORT提供了一个稳健、非侵入性的框架,用于从自然栖息地挑战性视觉条件下录制的视频中提取精细尺度游泳行为。改进的检测精度实现了可靠的单鱼跟踪,支持了跨栖息地游泳速度、转向行为和方向一致性的量化。应用于雀鲷时,该方法揭示了清晰的栖息地依赖差异:开放或退化环境中游泳更快、更线性,结构复杂栖息地中游泳更慢、更稳定。转向角分布分析进一步表明,栖息地结构强烈影响游泳策略,反映庇护所可利用性、觅食行为和环境复杂性的差异。马尔可夫链分析强调栖息地条件如何塑造行为稳定性及运动状态间的转换,将开放栖息地的高度动态游泳与庇护所栖息地(如海草床)的局部稳定行为区分开来。研究还指出,速度参数应视为相对指标,未来需结合校准成像系统和物种特异性数据集,以区分内在行为特质与栖息地驱动效应,并扩展至季节性及人为压力源影响的研究。