利用金字塔融合增强技术和双分支网络对有害藻华进行显微图像分割

《Engineering Applications of Artificial Intelligence》：Microscopic image segmentation of harmful algal blooms using pyramid fusion enhancement and dual-branch network

　　

吴庚坤|崔超|范颖宁|李玉冰|田欣

山东科技大学计算机科学与工程学院，青岛，266590，中国

摘要

监测有害藻华（HABs）对海洋生态系统的保护至关重要。然而，HABs的显微图像通常存在波长选择性颜色衰减、对比度低和散射模糊的问题，这些问题严重影响了图像的分割效果。为了解决这些问题，我们提出了一种基于任务的增强与分割框架，专门用于HABs的显微成像。在增强阶段，循环颜色通道补偿和粒子群颜色平衡技术恢复了通道间的一致性，而自适应金字塔融合技术则能够在不放大背景杂质的情况下选择性地恢复藻类结构的细节。在分割方面，我们提出了Transformer卷积融合网络（TCoF），该网络结合了基于Transformer的全局上下文理解和基于CNN的边界细节处理。其核心创新在于多尺度特征互补模块（MFCM），该模块利用CNN生成的边界先验来指导Transformer特征在不同尺度上的聚合，从而减少了在浑浊背景下的注意力漂移。此外，细节感知的空间金字塔池化模块（DASPP）弥补了标准ASPP的轮廓平滑偏差，提高了对细小藻类结构的分辨能力。在AICO实验室数据集上的实验表明，所提出的框架取得了91.52%的mIoU（平均交并比），达到了当前的最佳性能。

引言

有害藻华（HABs）是导致富营养化的主要因素，已成为全球湖泊和水库中21世纪的重大环境问题（Gobler, 2020）。它们的全球性增加对经济、公共健康和海洋生态系统构成了严重威胁（Liu et al., 2019）。因此，监测和早期检测HABs已成为海洋环境预警系统的关键组成部分（He et al., 2022）。然而，由于复杂的背景环境和显微图像质量的下降，准确识别HABs物种仍然是一项具有挑战性的任务（Wen et al., 2024）。增强和分割这些图像可以显著提高识别精度，这对于生态保护、水产管理和公共卫生保护至关重要（Wu et al., 2024）。

随着计算机视觉技术的快速发展（Yuille and Liu, 2021），数字图像处理在水下视觉分析中得到了广泛应用，HABs物种的识别已成为一个关键研究领域（Ruiz-Santaquiteria et al., 2020）。然而，HABs的显微图像经常受到各种退化的影响，如模糊、颜色失真和对比度低，这些现象通常由不稳定的水下光照和成像设备的固有限制引起。此外，悬浮颗粒和其他海洋杂质的存在使得背景变得非常复杂和嘈杂，进一步增加了分割任务的难度。因此，增强退化的藻类显微图像并开发出一种稳健且准确的分割框架对于HABs的检测和监测具有重要的实际意义。

为了解决这些特定的光学和形态学挑战，我们提出了一个针对HABs显微图像的集成增强与分割框架，如图1所示。首先，我们开发了一种轻量级的增强算法，依次应用循环颜色通道补偿（CCCC）、粒子群颜色平衡（PSCB）和自适应金字塔融合。这一阶段旨在补偿波长选择性衰减，提高通道间一致性，并在不均匀放大背景杂质的情况下恢复脆弱的结构细节。随后，为了从复杂的海洋背景中提取细小的藻类目标，我们提出了Transformer卷积融合网络（TCoF）。TCoF采用双分支架构，通过Transformer分支捕获全局语义信息，通过CNN分支捕获高分辨率的局部边界信息。为了更好地协调这两种异构表示，我们设计了多尺度特征互补模块（MFCM），该模块利用CNN生成的边界先验来指导Transformer特征在不同尺度上的聚合，从而减少了在浑浊背景下的注意力漂移。此外，细节感知的空间金字塔池化模块（DASPP）弥补了标准ASPP的轮廓平滑偏差，提高了对细小藻类结构的分辨能力。在AICO实验室数据集上的实验表明，所提出的框架取得了91.52%的mIoU，达到了当前的最佳性能。

引言

有害藻华（HABs）作为富营养化的主要驱动因素，已成为全球湖泊和水库中的重大环境问题（Gobler, 2020）。它们的全球性增加对经济、公共健康和海洋生态系统构成了严重威胁（Liu et al., 2019）。因此，监测和早期检测HABs已成为海洋环境预警系统的关键组成部分（He et al., 2022）。然而，由于复杂的背景环境和显微图像质量的下降，准确识别HABs物种仍然是一项具有挑战性的任务（Wen et al., 2024）。增强和分割这些图像可以显著提高识别精度，这对于生态保护、水产管理和公共卫生保护至关重要（Wu et al., 2024）。

随着计算机视觉技术的快速发展（Yuille and Liu, 2021），数字图像处理已广泛应用于水下视觉分析，HABs物种的识别成为一个关键研究领域（Ruiz-Santaquiteria et al., 2020）。然而，HABs的显微图像经常受到各种退化的影响，如模糊、颜色失真和对比度低，这些现象通常由不稳定的水下光照和成像设备的固有限制引起。此外，悬浮颗粒和其他海洋杂质的存在使得背景变得高度复杂和嘈杂，进一步增加了分割任务的难度。因此，增强退化的藻类显微图像并开发出一种稳健且准确的分割框架对于HABs的检测和监测具有重要的实际意义。

为了解决这些特定的光学和形态学挑战，我们提出了一个针对HABs显微图像的集成增强与分割框架，如图1所示。首先，我们开发了一种轻量级的增强算法，依次应用循环颜色通道补偿（CCCC）、粒子群颜色平衡（PSCB）和自适应金字塔融合。这一阶段旨在补偿波长选择性衰减，提高通道间一致性，并在不均匀放大背景杂质的情况下恢复脆弱的结构细节。随后，为了从复杂的海洋背景中提取细小的藻类目标，我们提出了Transformer卷积融合网络（TCoF）。TCoF采用双分支编码器，通过Transformer分支捕获全局语义信息，通过CNN分支捕获高分辨率的局部边界信息。为了更好地协调这两种异构表示，我们进一步设计了多尺度特征互补模块（MFCM），该模块利用对边界敏感的局部特征来指导跨尺度的全局-局部融合。在解码器中，引入了细节感知的空间金字塔池化（DASPP）模块，以保留细腻的藻类轮廓并改善弱边界结构的重建。通过这种增强-分割耦合，该框架不仅提高了图像的可见性，还解决了HABs显微图像中边界敏感的分割难题。

与大多数将水下增强和分割视为两个松散连接的通用任务的研究不同，我们的框架是根据HABs显微图像的具体退化机制和形态学特征设计的。在增强方面，所提出的CCCC、PSCB和自适应金字塔融合不是通用的预处理组件，而是针对波长选择性衰减、散射模糊和弱结构可见性的针对性补偿。在分割方面，主要的方法创新在于MFCM，它通过使用对边界敏感的局部表示来指导全局语义聚合，超越了传统的CNN-Transformer混合融合方法。此外，DASPP被设计为针对特定任务的细节细化机制，以减轻标准ASPP在分割细小和脆弱藻类结构时的轮廓平滑偏差。本文的主要贡献总结如下。

本文的主要贡献总结如下：

• (1)
  我们提出了一种针对HABs显微图像的任务驱动增强算法。具体来说，CCC和PSCB用于补偿波长选择性衰减并恢复通道间一致性，而自适应金字塔融合通过定制的权重图整合了多种互补操作，以增强脆弱的藻类结构，同时不均匀放大海洋杂质。
• (2)
  我们提出了TCoF，这是一种定制的双分支分割架构，结合了基于Transformer的全局上下文建模和基于CNN的边界保持局部表示，用于在复杂杂质背景下提取HABs目标。
• (3)
  我们提出了MFCM作为TCoF的核心方法创新。与传统仅在并行编码后融合Transformer和CNN特征的混合架构不同，MFCM利用CNN分支的高分辨率边界先验来指导Transformer特征的自下而上的跨尺度聚合，从而减少了在浑浊和杂质丰富的HABs场景下的注意力漂移。
• (4)
  我们设计了DASPP，作为标准ASPP的针对特定任务的细化机制。通过将坐标注意力引导的细节分支引入多尺度上下文聚合中，DASPP弥补了标准ASPP的轮廓平滑偏差，提高了对细小、边界弱和不规则藻类结构的重建效果。

本文的其余部分安排如下：第2节回顾了水下图像增强和分割的相关工作。第3节介绍了针对HABs显微图像的增强算法。第4节介绍了所提出的分割网络。第5节提供了对所提出的增强和分割方法的定性和定量评估。最后，第6节总结了本文。

章节摘录

水下图像恢复与增强

水下图像处理技术大致分为基于恢复的方法和基于增强的方法，这取决于它们是否依赖于显式的成像模型（Muniraj and Dhandapani, 2021）。

基于恢复的方法旨在通过建模水下成像过程来重建真实场景，通常通过估计背景光和传输图来实现。例如，Peng等人（Peng and Cosman, 2017）提出了一种基于暗通道先验的恢复方法

HABs显微图像增强算法

现场采集的HABs微藻显微图像通常同时受到波长选择性衰减、散射引起的模糊和对比度低的影响。同时，藻类目标通常较薄且边界较弱，经常与纹理相似的杂质背景混合在一起，这使得增强变得特别具有挑战性：过度锐化或颜色补偿可能会放大噪声并引入伪色，而增强不足则可能减弱

HABs图像分割网络

为了解决HABs微藻显微图像的特点，包括边界弱且容易模糊的细小目标以及来自背景杂质的强烈干扰，我们提出了TCoF混合分割网络，该网络明确平衡了全局语义理解和局部边界保持。如图9所示，TCoF采用双分支编码器：Transformer分支捕获长距离依赖性并描述整体藻类形态，而CNN分支

结果与讨论

在本节中，我们首先介绍了数据集和实验设置。然后，我们对所提出的图像增强算法与几种代表性方法进行了定性比较，包括CLAHE、ICM、UCM、RGHS（Huang et al., 2018）、PUIE-Net（Fu et al., 2022）、SGUIE-Net（Qi et al., 2022）和Histoformer（Peng et al., 2024）。我们进一步使用一组先进的图像质量指标对每种方法产生的增强效果进行了定量评估。

结论

为了解决HABs微藻显微图像中的可视化和边界敏感分割挑战，这些问题通常伴随着颜色失真、对比度低和散射模糊，我们提出了一种基于任务的集成增强-分割框架。这项工作的独特贡献在于将轻量级的非学习型金字塔增强模块（CCCC–PSCB白平衡 + 权重引导的多尺度融合）与混合分割网络TCoF（Transformer–CNN）相结合

CRediT作者贡献声明

吴庚坤：监督、项目管理、概念化。崔超：撰写——原始草稿、验证、方法论。范颖宁：方法论。李玉冰：撰写——审阅与编辑。田欣：数据管理。

资助

本工作得到了教育部（23YJAZH156）和山东省大学青年创新团队基金会（2022KJ319）的支持。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

作者感谢教育部（23YJAZH156）和山东省大学青年创新团队基金会（2022KJ319）的协作资助支持。