《Sensors》:A Scalable Multi-Sensor Vision Framework for Automated Bat Monitoring and 3D Habitat Analysis
编辑推荐:
自动化野生动物监测系统对于在自然环境中研究蝙蝠种群至关重要,因为蝙蝠的夜行性、高飞行速度及低照度条件使传统观测十分困难。研究人员提出了一种模块化多传感器视觉系统,集成RGB、近红外(NIR)与深度相机以实现蝙蝠自动化监测。所提架构由一个主模块与两个次模块组成,
自动化野生动物监测系统对于在自然环境中研究蝙蝠种群至关重要,因为蝙蝠的夜行性、高飞行速度及低照度条件使传统观测十分困难。研究人员提出了一种模块化多传感器视觉系统,集成RGB、近红外(NIR)与深度相机以实现蝙蝠自动化监测。所提架构由一个主模块与两个次模块组成,可根据监测需求配置为多种工作模式。主模块可独立运行,利用集成深度相机进行实时栖息地重建,或基于YOLO模型进行蝙蝠检测;与单个次模块组合构成立体视觉系统实现三维定位;与两个次模块组合生成全景图像,大幅扩展视场以监测大型洞口等复杂环境。该模块化架构在单一平台内支持多感知配置,具备可扩展性、通过多传感器标定获得的几何一致性及灵活部署能力,可实现准确检测、栖息地重建与广域监测。实验结果表明检测精度达0.893,全景视场达119°,实时处理达60 fps,验证了模块化架构的有效性。
研究背景方面,蝙蝠夜行、高速飞行且栖息于低照度洞穴、岩缝等复杂环境,传统目测计数与基于疫病暴发的事后流行病学监测存在统计偏差并低估种群动态;吸血蝠Desmodus rotundus作为狂犬病病毒主要自然宿主,其分布与牛麻痹性狂犬病(BPR)地理流行高度重合,而昆虫食性蝠Tadarida brasiliensis因与共居行为亦具传播风险,因此亟需能在低干预条件下捕获种群时空动态的视觉监测手段。研究人员针对洞穴几何多变、无外供电、难抵近等约束,设计了一套总重约6.5 kg的模块化多传感器视觉框架,由主模块(22×22×14 cm,3.5 kg,含Intel RealSense D435i RGB-D相机、Arducam近红外相机、49点激光阵列、19 V锂电与9.6 V镍氢独立供IR/激光)与两个次模块(各1.5 kg,Raspberry Pi 5+Arducam NIR+5 V电源银行+独立9 V IR)构成,本地SSD存储、板载Ubuntu 20.04实时处理,支持四种模式灵活组合。
关键技术方法上,研究人员采用RTAB-Map(Real-Time Appearance-Based Mapping,基于外观的实时SLAM)在ROS下做动态三维重建;以49激光点阵替代棋盘格实现现场立体外参标定,用三角化与SVD(Singular Value Decomposition,奇异值分解)求激光原点至相机位姿;检测端将原有YOLO升级为YOLO26系列,在墨西哥Guanajuato与San Luis Potosí五处天然洞穴采集400张近红外图(427只标注蝠,80%/20%训练验证划分)筛选YOLO26l;宽视场端对三相机(中+左右次模)做内参径向畸变校正后统一到中心相机坐标系,用刚体变换Tlc、Trc融合全景。样本队列即上述五洞穴野外近红外视频帧,无实验室饲养队列。
研究结果各节要点如下。通用系统标定节:在3–7.5 m距离统计Desmodus rotundus展翅约600像素2、收翅约32像素2,近红外6 m处重投影误差最低,定为标称布设距。动态三维环境重建节:以D435i随操作人员移动建图,对比Hector SLAM后弃用2D辅助,仅用RGB-D;以直径66 cm球体多视角扫描得最优重建距约1.20 m,洞穴点云形态可用。近红外立体成像平台(NISIP)节:激光原点估算距相机41.5587 mm与物理测量吻合;现场井沿投射激光点完成双目外参自标定;SGBM(Semi-Global Block Matching)视差转点云,测得蝠0.08 s位移70 cm即8.75 m/s。自动蝙蝠检测节:YOLO26l取精度0.893、召回0.950、PR均值0.936,假阴性多因远距离小目标。宽视场近红外成像平台节:三模相距7 m融合出720×2897全景,左/右投中误差0.46/0.67像素,119°视场,利于跨边界连续跟踪。
讨论部分指出,相较作者前作(独立3D重建与YOLO检测原型),本工作把功能并入同一主模块硬件、升级YOLO26、以模块化次模横向扩视场,使全景+YOLO联合检测与未来大模型数据采集成为可能;系统不受洞穴尺寸限,仅受D435i RGB与深度共视场约3 m作业距下高4.10 m约束,Raspberry Pi 5耐温范围内湿度/气体/悬浮粒未量化评估,机械静音未引蝠行为异变但行为学定量留待后续。结论部分翻译浓缩:研究人员提出可扩展多传感器视觉框架,结合模块化硬件、多传感器几何标定与全景生成,在低照度下提升空间覆盖与鲁棒性;标定模型将所有模块统一至三维参考系,实验证伪重投影误差相对目标尺寸可忽略,全景多模同步可行;框架可随洞穴拓扑增删传感单元,对大尺度洞穴生态长期监测具扩展优势;未来将融深度学习物种识别、三维轨迹与分布式实时处理,并对立体标定做RMSE/MAE/最大误差定量评估及基线、非平面场景鲁棒性测试。全文发表于《Sensors》。