MFF-Trans:用于水下图像增强的多特征融合 Transformer

【字体: 时间:2025年05月21日 来源:Digital Signal Processing 2.9

编辑推荐:

  水下图像常因光的选择性衰减和散射出现色彩失真、对比度下降。研究人员提出基于 Transformer 的多特征输入增强网络 MFF-Trans,融合白平衡(WB)等特征,设计 PAB 和 CRM 模块。实验表明其性能优于 SOTA,提升了水下图像质量。

  在深邃的海洋世界,水下成像技术如同探索者的 “眼睛”,肩负着资源勘探、环境监测等重要使命。然而,光线在水中传播时,会因选择性衰减(如红光比绿、蓝光衰减更快,导致图像偏蓝绿)和悬浮颗粒引发的前向、后向散射,使水下图像面临色彩失真、对比度降低、细节模糊等难题。这不仅让水下物体检测、分类等高级视觉任务难以精准开展,也制约了自主水下航行器(AUVs)的环境感知能力。如何突破这些瓶颈,还原清晰真实的水下图景,成为计算机视觉领域亟待攻克的关键挑战。
为解决上述问题,佛山大学机电工程与自动化学院等机构的研究人员开展了水下图像增强技术研究,相关成果发表在《Digital Signal Processing》。他们提出了一种基于 Transformer 的多特征融合网络 MFF-Trans,通过引入多维度先验信息与全局建模能力,为水下图像增强提供了新的解决方案。实验证明,该方法在多个真实水下数据集上显著提升了图像的色彩校正与对比度增强效果,展现出优于当前先进(SOTA)方法的性能与泛化能力。

研究主要采用的关键技术方法包括:构建三分支网络结构,将原始图像、白平衡(WB)处理结果及其衍生的颜色图作为输入;利用 Transformer 的自注意力机制实现全局上下文特征建模,捕捉图像整体色彩偏差与雾状特征;设计池化聚合块(PAB)实现多尺度特征的分层融合,解决传统 U-Net 在多次采样中丢失细节的问题;引入紧凑残差模块(CRM)融合不同层级特征,平衡语义信息丰富度与细节保留能力。

实验细节与结果分析


在实验部分,研究人员首先介绍了数据集与评估指标的选择,随后通过主观视觉对比和客观定量分析(如峰值信噪比、结构相似性等)验证 MFF-Trans 的有效性。在不同退化程度的水下场景中,MFF-Trans 校正了偏色问题,恢复了图像细节,相较于基于卷积神经网络(CNN)的方法,其在全局色彩一致性和对比度提升上表现更优。此外,应用测试显示,增强后的图像显著提升了水下显著目标检测与特征点匹配的准确性,证明了该方法对下游视觉任务的实际增益。

消融研究


为验证各组件的贡献,研究人员进行了消融实验。结果表明,Transformer 模块对全局色彩偏差的建模不可或缺,缺失该模块会导致增强图像出现明显色偏;多特征输入分支(尤其是 WB 与颜色图)的引入显著提升了特征多样性,单一特征输入时模型在复杂场景下的泛化能力下降;PAB 与 CRM 模块的协同作用则确保了多尺度特征的有效交互与细节保留,去除任一模块均会导致图像纹理模糊或语义信息缺失。

结论与意义


MFF-Trans 通过多特征融合与 Transformer 的全局建模,成功突破了传统 CNN 在水下图像增强中的局限性,为解决水下环境的复杂退化问题提供了高效方案。其创新点在于将先验知识(如白平衡)与深度学习架构相结合,通过分层特征融合与残差连接机制,在提升图像视觉质量的同时,保留了丰富的结构细节。该研究不仅为水下机器人导航、海洋监测等实际应用提供了更可靠的图像基础,也为低层次视觉任务中多模态特征融合与全局依赖建模提供了新思路。未来,随着跨学科技术的融合,此类方法有望进一步推动水下智能感知技术的发展,助力海洋资源开发与环境保护等重要领域的进步。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号