DPGformer:用于水下图像增强的动态物理先验引导变换器

《Journal of Visual Communication and Image Representation》:DPGformer: Dynamic Physics Prior Guided Transformer for underwater image enhancement

【字体: 大 中 小 】 时间:2026年07月22日 来源:Journal of Visual Communication and Image Representation 2.8

编辑推荐:

  •DPGformer将物理先验融入数据驱动的Transformer架构中,用于水下图像增强任务。•DynamicBeta模块可自适应调整通道增益,以修正颜色衰减问题。•P-EAT模块能以线性复杂度高效捕捉全局散射模式。•P-FST采用筛选与增强策略,用于过滤噪声并建模语义信息。•

  
  • •
    DPGformer将物理先验融入数据驱动的Transformer架构中,用于水下图像增强任务。
  • •
    DynamicBeta模块可自适应调整通道增益,以修正颜色衰减问题。
  • •
    P-EAT模块能以线性复杂度高效捕捉全局散射模式。
  • •
    P-FST采用筛选与增强策略,用于过滤噪声并建模语义信息。
  • •
    PM-FIU可估算出明确的光学参数,实现符合物理规律的图像恢复。

引言

随着对海洋资源勘探及水下环境监测需求的不断增加,视觉引导型自主水下航行器已成为海洋工程领域的重要工具[1]。作为水下信息的主要载体,光学图像在生物调查、海床测绘以及基础设施检测等关键任务中不可或缺。然而,水介质复杂的光学特性严重制约了高精度视觉数据的获取。与大气中的光传播不同,光线在水中的传播会因波长差异以及悬浮颗粒的吸收和散射而受到影响[2]。近期关于内在退化因素的研究也表明[3],这些物理机制共同作用会导致严重的颜色失真、对比度降低以及模糊现象,从而掩盖重要的结构细节,影响场景理解所需的视觉特征辨识度。因此,从这些受损的观测数据中恢复清晰的视觉图像不仅是实际应用的前提,也是恢复内在模式并保持特征一致性以实现可靠视觉分析的重要挑战。
为应对这些挑战,早期的研究主要依赖传统方法,如基于物理模型的图像恢复[4]、[5]以及基于视觉先验的增强技术[6]、[7]、[8]。尽管这些方法能提供初步解决方案,但它们严重依赖于人工设计的先验条件[9]、[10]、[11],而这些先验往往无法反映动态水下环境的空间变化特性,从而导致校正不彻底或出现不真实的伪影[12]、[13]。此外,这类方法的计算效率较低,也不适合在自主观测平台如AUV上实现实时处理。
近年来,深度学习通过转向数据驱动的表征方式取得了显著进展。不过,现有的主流架构仍存在一些限制,难以实现高精度的图像恢复。例如,卷积神经网络由于感受野有限,往往难以纠正全局性的颜色偏差[2]、[14];而生成对抗网络则容易产生不符合物理规律的结构伪影[15]、[16],进而干扰后续的语义分析。虽然视觉Transformer能够利用全局注意力实现整体建模,但其较高的计算成本使得其在资源受限的设备上难以实现实时应用[17]、[18]。那些为提升效率而设计的混合模型,往往会在全局颜色一致性与局部纹理精度之间做出妥协[1]、[19],从而降低其在不同水下环境中的通用性。因此,如何将物理可解释性与高效的长距离依赖建模相结合,依然是一个亟待解决的难题。
本文提出了动态物理先验引导Transformer(DPGformer),这是一种分层U形架构,旨在解决水下图像的多尺度退化问题。该框架采用了五阶段对称的编码器-解码器结构。在初始的高分辨率阶段,我们在物理-动态先验引导的环境自适应Transformer(P-EAT)中加入了DynamicBeta模块。这一组合能有效抑制以噪声为主的通道,并以线性复杂度建模全局散射模式,从而实现高效的颜色校正。为便于分层进行特征抽象,我们采用了逐步空间下采样的策略。当特征图被压缩到语义抽象程度最高的深层瓶颈结构时,便会启用物理-动态先验引导的特征选择Transformer(P-FST)。该模块通过结合相对位置偏置的多头自注意力机制以及特征选择功能,既能捕捉严谨的语义依赖关系,又能过滤掉多余的背景噪声。在解码端,则通过对应的上采样操作以及跳跃连接来保留空间细节。最后,与传统的黑箱重建方法不同,终端的物理模型驱动特征交互单元(PM-FIU)能够构建联合的频谱-语义特征空间,从而明确估算光学参数,确保恢复结果符合光学成像模型。本文的主要贡献如下:
  • (1)
    提出了物理-动态先验引导的环境自适应Transformer(P-EAT)。该模型通过将隐式频谱校准与分解后的外部注意力机制相结合,能够在高分辨率阶段有效纠正颜色失真、消除模糊现象,同时保留局部纹理特征。
  • (2)
    为低分辨率瓶颈阶段设计了物理-动态先验引导的特征选择Transformer(P-FST)。该模块采用“筛选与增强”策略,既能捕捉密集的语义依赖关系,又能过滤背景噪声,从而弥补深层特征表示中的语义缺失。
  • (3)
    我们将DynamicBeta模块与物理模型驱动特征交互单元(PM-FIU)视为具有双重功能的核心组件。这两者的结合打破了数据驱动特征与光学原理之间的隔阂,实现了物理参数的明确估算,从而确保图像恢复结果符合物理规律。

章节节选

相关工作

水下图像增强技术已被广泛研究,旨在提升图像的可见度与颜色真实性。近年来,深度学习在各类计算机视觉任务中取得了显著成果。从视觉对象跟踪这类高级视觉任务来看,杨等人[20]、[21]的研究证明了深度特征匹配与可变形注意力机制的有效性;而在低级图像恢复领域,数据驱动的表征方法也始终优于传统方法。

整体架构

本文提出了动态物理先验引导Transformer(DPGformer),这是一种专为水下图像增强设计的分层U形架构[36]。与依赖统一处理流程的常规图像恢复网络[37]、[38]不同,DPGformer采用多阶段策略,使特征提取能力与不同尺度下的水下图像退化特性相匹配。如图1所示,该架构由编码器

实验分析

在本节中,我们对所提出的DPGformer与当前最先进的水下图像增强方法进行了全面对比测试。我们严格遵循标准的实验流程,以确保实验结果的公平性与可重复性。首先,我们会详细介绍实现的各项具体内容,包括硬件环境、训练策略以及参数配置。随后,我们将在常用的基准数据集上展示定量与定性对比结果。最后,还会进行深入的消融实验

结论

本文提出了动态物理先验引导的环境自适应Transformer——DPGformer,用于解决水下图像中存在的复杂退化问题。通过重新思考光学模型与深度特征表示之间的协同关系,我们将用于频谱校准的DynamicBeta模块以及用于约束物理规则的PM-FIU模块整合到了同一个框架中。此外,为兼顾全局上下文建模与局部细节恢复,我们还设计了一种多阶段的混合架构

CRediT作者贡献说明

高文仓:可视化、验证、形式化分析、数据整理、概念构思。孙克学:论文撰写——审阅与编辑、验证。徐荣庆:论文撰写——审阅与编辑、验证。王振生:研究调研、资金申请。

利益冲突声明

作者声明不存在任何可能影响本文研究结果的已知利益冲突或个人关系。

致谢

本研究得到了2025江苏省研究生实践创新计划(SJCX25_0327)的支持。
高文仓|孙克学|徐荣庆|王振生
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号