面向海事安全的AI辅助热成像监测系统:以葡萄牙纳扎雷港为例

《Journal of Marine Science and Engineering》:An AI-Assisted Thermal Monitoring System for Maritime Safety: A Case Study at the Port of Nazaré

【字体: 大 中 小 】 时间:2026年09月21日 来源:Journal of Marine Science and Engineering 3.2

编辑推荐:

  港口沙洲入口存在严重的海事安全风险,尤其是在低照度和恶劣天气条件下,传统可见光谱RGB(红、绿、蓝)摄像机效能大幅下降。本文介绍了一套部署于葡萄牙纳扎雷港的先进24/7热成像监测系统,该系统是在欧洲BRIGHTER项目框架内开发的。通过将长波红外(LWIR)传

  
港口沙洲入口存在严重的海事安全风险,尤其是在低照度和恶劣天气条件下,传统可见光谱RGB(红、绿、蓝)摄像机效能大幅下降。本文介绍了一套部署于葡萄牙纳扎雷港的先进24/7热成像监测系统,该系统是在欧洲BRIGHTER项目框架内开发的。通过将长波红外(LWIR)传感器与混合人工智能(AI)——整合计算机视觉、启发式规则和基于YOLOv7的卷积神经网络(CNNs)——相结合,该系统实现了对渔船、休闲船、人员和鸟类的连续实时检测与分类。硬件架构通过混合网络(光纤和长距离Wi-Fi)将两个远程摄像站点连接至一个集中式通信中心,该中心由高性能中央处理单元(CPU)和图形处理单元(GPU)供电。在两年运行期间,该系统收集了超过48,000幅带注释热像图的领域专用数据集。结果表明,该系统具有较高的目标精度、使用匈牙利算法实现的稳健持续跟踪,以及自动生成JavaScript对象表示法(JSON)元数据以触发智能地理围栏警报的能力。
论文解读

1. 研究背景与问题
沿海渔港和海事基础设施是重要经济节点,但港口沙洲入口的船舶进出是沿海航行风险最高的阶段,尤其在浓雾、暴雨或完全黑暗等恶劣天气条件下。葡萄牙纳扎雷港由公共实体Docapesca管理,是伊比利亚海岸线上最难通行的港口沙洲入口之一,商业和传统渔船队需日常应对这一挑战。此外,未经授权人员进入港口限制区域对运营安全和公共安全构成持续威胁。传统港口监控依赖人工监视可见光谱(RGB)摄像头,但光学传感器依赖反射可见光,在低照度环境下检测能力急剧下降,在恶劣海况下几乎失效。长波红外(LWIR)热成像可捕捉物体发射的红外辐射,不依赖环境光照,能在完全黑暗中保持高性能,但连续24小时人工监控热视频流易导致操作员疲劳和高漏报率。因此,集成基于人工智能的自动目标识别(ATR)成为海洋工程的重点。现有方法分为纯启发式规则算法(如热阈值和背景减除)和纯深度学习模型(如单阶段目标检测器),前者缺乏语义区分重叠类别的能力,后者在动态混乱的海上背景(如碎浪上的热反射)中表现不佳。为应对这些挑战,研究人员在欧洲BRIGHTER项目框架下开发了一种混合AI架构,并与Docapesca和计算机系统工程研究所(INOV)合作部署于纳扎雷港。

2. 研究内容与主要贡献
研究人员部署了一套结合LWIR传感器与混合AI(计算机视觉、启发式规则、基于YOLOv7的深度CNN)的24/7热成像监测系统,实现渔船、休闲船、人员和鸟类的连续实时检测与分类。系统硬件架构通过混合网络(光纤和长距离Wi-Fi)将两个远程摄像站点连接至集中式通信中心;通信中心配备高性能NVIDIA GeForce RTX 4090 GPU服务器,负责AI推理、数据融合和流分发。经过两年开发和测试,系统收集了超过48,000幅带注释热图像。核心贡献包括:针对海上热图像微调的YOLOv7实时推理;同时检测并语义区分重叠海事目标类别;使用匈牙利算法和状态估计滤波器进行持续多目标轨迹关联;自动生成JSON元数据以触发地理围栏警报。研究还系统评估了流水线各阶段的计算延迟,发现GPU推理和匈牙利跟踪近乎即时,端到端延迟主要受CPU侧图像缓冲归一化、视频流渲染和网络传输开销限制。

3. 关键技术与方法
该系统部署于葡萄牙纳扎雷港的两个远程站点和一个通信中心:站点一配备两台Xenics热像仪(1280×1024像素,25°水平视场),通过两条并行光纤链路连接;站点二配备一台SENSIA热像仪(384×288像素,30°水平视场),通过长距离Wi-Fi连接。图像采集以30帧/秒原始速率进行,为匹配港口交通运动学并节省计算资源,输入流降采样至10帧/秒。采集流水线采用并行多进程CPU架构,将软件线程分配到独立CPU核。数据划分为训练、验证和测试集,构建包含48,000多幅注释热图像的领域数据集,其中站点一相机1占50.3%,相机2占37.9%,站点二相机3占11.8%。类别分布为休闲船13,615个目标、渔船8,917个、人员5,600个、鸟类940个。模型训练采用冻结骨干、随机梯度下降(SGD)优化器、初始学习率0.001、批量大小16、训练100个周期,并使用最优传输分配(OTA)。

4. 研究结果
(1)检测性能:最佳模型在测试集上,渔船召回率达到98.6%(1480中1459个),背景假阳性11.8%;休闲船召回率92.2%(2838中2617个),背景假阳性率40.0%;两类之间的交叉混淆较低(2.1%的休闲船被误判为渔船,0.9%的渔船被误判为休闲船),表明模型有效学习了两类船舶的区别。人员检测召回率58.4%(1054中616个),背景假阴性率41.4%,是性能最弱的类别;鸟类召回率72.0%(175中126个),背景假阴性率27.4%。精度方面,渔船为92.8%,休闲船为92.9%,人员为77.8%,鸟类为74.1%。
(2)系统报警性能:事件级报警性能中,误报率(FAR)约10%,漏报率(MAR)约9%,漏报事件主要与大于300米距离的行人有关,尤其在黄昏热交叉期目标与背景热对比度低导致检测器将其分类低于操作置信度阈值。平均端到端报警触发延迟为400毫秒,满足低速海上交通和港口行人监控的操作要求。
(3)轨迹关联与警报生成:匈牙利算法在连续帧中关联目标轨迹,当目标质心在连续验证窗口内位于指定像素多边形内N个连续帧时触发入侵事件。系统自动生成JSON元数据(包含类别标签、置信分数和边界框坐标),并实现地理围栏智能警报。

5. 讨论与结论
讨论指出,尽管LWIR传感器在散射介质中的透射性能远优于可见光相机,但极端降水会引发“热冲洗”现象,即均匀化船体或电机与环境海面之间的热对比度。当前数据集未系统隔离这些恶劣天气子集进行独立算法基准测试,因此确定YOLOv7在极端大气衰减下置信度阈值的精确退化曲线是本研究公认的局限,也是下一阶段研究重点。结论部分指出,BRIGHTER系统在纳扎雷港的成功实施是Docapesca、INOV、Sensia和Xenics之间高水平技术综合的成果。通过结合稳健的热传感器、混合通信架构和先进AI算法,该项目创造了一个适应葡萄牙海岸线真实条件的成熟可靠平台。该系统已不仅仅是一个试点经验,而是一个功能性原型,强化了该国最具挑战性海域之一的生命、资产和基础设施安全。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号