《Biofouling》:An interpretable approach to automating the assessment of biofouling in video footage
编辑推荐:
生物污损(Biofouling)——生长在水下硬质表面的生物群落——为入侵性海洋物种和疾病的传播创造了途径。为管理这一风险,国际船舶日益需要展示有效的生物污损管理,这进而要求进行水下检查并分析大量船体图像以验证生物污损状态。利用计算机视觉进行自动评估可以简化这
生物污损(Biofouling)——生长在水下硬质表面的生物群落——为入侵性海洋物种和疾病的传播创造了途径。为管理这一风险,国际船舶日益需要展示有效的生物污损管理,这进而要求进行水下检查并分析大量船体图像以验证生物污损状态。利用计算机视觉进行自动评估可以简化这一过程。本研究展示了可解释的组件特征(Component Features, ComFe)方法如何结合DINOv2视觉变换器(Vision Transformer, ViT)基础模型,高效且有效地应对这一挑战。与先前不可解释的卷积神经网络(CNN)方法相比,ComFe在参数更少、透明度更高的条件下实现了具有竞争力的性能——突出了哪些图像区域和训练示例驱动了分类。所有代码、数据和模型权重均已公开发布。
生物污损(Biofouling)——即在水下硬质表面生长的生物群落——是入侵性海洋物种和疾病传播的重要途径。为管理这一生物安全风险,国际船舶需证明其有效的生物污损管理,这要求进行水下检查并分析大量船体图像以验证污损状态。然而,人工审查这些图像和视频资源消耗大且主观性强,现有方法多基于静态测试板而非活跃船只,且深度学习模型常为不可解释的黑箱方法,难以识别虚假特征并降低泛化能力。针对这些问题,研究人员开展了一项研究,将可解释性设计方法组件特征(Component Features, ComFe)与DINOv2视觉变换器(Vision Transformer, ViT)基础模型相结合,用于自动识别船体图像和视频中的大型污损(macrofouling)。研究使用了来自澳大利亚、新西兰和加利福尼亚约300艘商用及休闲船只的10,263张图像数据集(按简化污损等级(Simplified Level of Fouling, SLoF)标注),并收集了水下遥控潜水器(Remotely Operated Vehicle, ROV)拍摄的视频片段。结果表明,ComFe方法在性能上优于先前基于卷积神经网络(CNN)集成的黑箱方法(总参数9.1亿),而单个ComFe模型参数少一个数量级,且透明性更高;预测的污损覆盖度与SLoF等级高度相关;该方法能高效筛选视频片段,通过简单k均值原型选择(Simple k-Means Prototype Selection, SKMPS)策略提取代表帧,快速定位关键区域。所有代码、数据和模型权重已公开发布,旨在促进全球生物污损管理的改进。该论文发表在《Biofouling》。
**主要关键技术方法**(不超过250字):
研究采用的主要技术方法包括:1)ComFe方法,其核心为冻结的DINOv2预训练基础模型(ViT-S/14、ViT-B/14及ViT-L/14变体)和可学习的类别原型(class prototypes),通过聚类图像区域为组件特征并与原型比较以做出可解释预测;2)视频处理技术,包括每隔n帧评估以降低计算成本、高斯核平滑(Gaussian kernel smoothing)稳定帧间预测,以及SKMPS策略基于全局嵌入聚类选择代表性帧;3)额外的船体检测模型(同样使用ComFe训练)过滤无关视频片段(如开放水域)。样本队列来源为澳大利亚、新西兰和加利福尼亚的水下调查数据。
**研究结果**:
1. **ComFe models are interpretable**(ComFe模型是可解释的):通过可视化组件特征和类别原型,研究展示了ComFe能定位图像中与污损相关的区域(如硬质污损群落、管虫群落等),并提供训练集中支持预测的示例图像。模型识别的污损原型对应生态上有意义的模式,而非训练数据的伪影,增强了泛化信心。
2. **ComFe models outperform prior work**(ComFe模型优于先前工作):与先前CNN集成(总参数9.1亿)相比,采用DINOv2 ViT-B/14 w/reg骨干的ComFe模型在平均精度(average precision)上取得竞争性甚至更优性能,且参数数量少一个数量级。同时,ComFe优于标准线性头方法(同样基于DINOv2),表明其可解释性设计未牺牲准确性。
3. **Predicted coverage is correlated with SLoF category**(预测覆盖度与SLoF等级相关):尽管模型仅训练于有无污损的二分类,但通过阈值化置信度图得到的污损覆盖度与SLoF等级(0、1、2)大致吻合,尤其对于SLoF 0和SLoF 2类。SLoF 1类因定性评估性质而分散,但覆盖度仍能提供污损严重程度的信号。
4. **ComFe models can summarise video footage**(ComFe模型可总结视频片段):在码头高浊度环境中使用ROV收集的视频测试中,ViT-B/14 w/reg模型(阈值设为0.25以优先召回90%污损)输出的平滑置信度与覆盖度随时间变化曲线能有效标识污损热点(如污染的海底阀箱)。SKMPS选取的代表帧可快速判断污损性质,减少人工审查时间。
**讨论总结**:
研究人员指出,ViT-B/14模型在NVIDIA T4 GPU上能以约25分钟处理1小时视频(评估10帧/秒),云部署成本约1美元/小时,可大幅节省人工审查时间,并可用于行业清洗后评估。但模型目前无法提供船级污损覆盖估计,这需解决三个挑战:帧内污损面积估计(可能借助单目深度感知模型)、视频采样面积确定(需3D表面重建及ROV定位元数据)、及外推至全船水平。未来可通过自监督学习微调DINOv2骨干(基于污损数据集)或采用特征蒸馏技术进一步提升模型性能。
**研究结论翻译**:
本研究成功地将可解释性设计方法ComFe应用于识别船体图像中大型污损的挑战,使用了DINOv2 ViT基础模型。研究表明,该方法相比黑箱方法以及先前使用大型CNN集成的工作获得了改进的性能,并进一步展示了该方法能有效筛选视频片段以识别可能的关键区域。所有代码、模型和数据均已公开发布,希望这将激发更多兴趣,以开发全球改善生物污损管理的解决方案。