通过具有大气效应感知功能的KV缓存(KV Cache)的DehazeFormer算法实现UHD图像的去雾处理

《Neurocomputing》:UHD image dehazing via anDehazeFormer with atmospheric-aware KV cache

【字体: 大 中 小 】 时间:2026年04月12日 来源:Neurocomputing 6.5

编辑推荐:

  现有UHD图像去雾方法难以平衡高质量修复与计算效率。本文提出anDehazeFormer,通过物理引导的自适应归一化机制稳定训练并加速推理,结合大气散射感知的KV缓存动态优化内存使用,在8KDehaze数据集上PSNR提升1.54 dB,且4K实时处理速度达53 FPS。

  
王普|毛志轩|李文豪|胡柳冰|卢殿杰|张桂娟|张友山|郑卓然
山东大学,济南,250100,中国

摘要

现有的超高清(UHD)图像去雾方法在高质量恢复和计算效率之间难以找到平衡。传统的基于物理的先验模型通常缺乏泛化能力,而最近的深度学习模型尽管性能优异,但在处理4K或8K分辨率图像时却存在内存消耗过大和推理速度慢的问题。为此,我们提出了DehazeFormer,这是一个高效的视觉变换器框架,具有两项关键创新:1)一种基于物理的自适应归一化机制,该机制受到nGPT架构的启发,利用大气先验指导的受限参数空间,通过估计的大气参数动态调节特征分布,从而在雾密度变化的情况下实现稳定训练;2)一种考虑大气散射的KV缓存机制,该机制根据雾密度动态优化特征保留,显著减少了内存开销而不牺牲细节。为了提高模型的透明度,我们进一步引入了一种基于集成梯度的物理感知属性图,用于量化去雾过程背后的决策依据。实验结果表明,我们的方法达到了业界最佳水平,在8KDehaze任务中将PSNR提高了1.54分贝。此外,DehazeFormer在RTX4090 GPU上支持4K图像的实时处理,速率为53 FPS,弥合了算法复杂性和硬件限制之间的差距。

引言

超高清(UHD)成像技术的指数级增长,从4K医用内窥镜到8K卫星传感器,极大地改变了各个行业的视觉数据采集方式。虽然这些技术能够捕捉前所未有的细节水平,但它们的工作环境经常引入大气畸变[1],[2]。传统的去雾方法面临一个关键的效率悖论:基于物理的方法[3],[4],[5],[6],[7]难以处理现实世界中的散射现象。相比之下,深度学习方法[8],[9],[10],[11]需要大量的计算资源来处理UHD图像,通常需要80GB的GPU内存。
当前的解决方案试图通过在图像块中处理[12]或降低分辨率[13]来平衡质量和效率。然而,这些方法有两个主要缺点:1)局部处理会破坏整体大气一致性,导致天空区域出现明显的接缝;2)在低计算资源的情况下,难以在不同分辨率下保持空间环境的感知和回归精度。
除了这些结构性调整之外,最近的研究探索了多种提高性能的策略。基于注意力机制的方法[14],[15],[16],[17],[18],[19]利用复杂的注意力机制来捕捉雾特征,但往往会导致高昂的计算成本,这对于UHD输入来说是不可行的。同样,基于对比度的方法[20],[21],[22],[23]利用对比学习来提高表示质量。然而,这些方法通常需要大量的批量处理或复杂的负样本挖掘,由于GPU内存瓶颈,难以扩展到4K或8K分辨率。因此,仍然需要一种解决方案,能够将变换器的表示能力与UHD处理所需的效率结合起来。
为了解决这些挑战,我们提出了DehazeFormer,这是一种高效的视觉变换器方法,通过集成自适应归一化和基于物理的缓存机制彻底改变了UHD图像去雾技术。具体来说,我们的方法利用了两项关键创新来克服传统方法的局限性。i) 自适应归一化,用于实现稳定和快速的训练:我们受到nGPT提出的对神经网络所有参数进行归一化的想法的启发,不同之处在于我们对每个网络块都是自适应的。如图1所示,通过利用大气感知网络学习到的物理参数来动态限制每个网络块参数的归一化范围,与标准Transformer架构相比,我们的方法将训练速度提高了5倍。此外,与nGPT的方法相比,这种设计具有更大的学习空间,确保模型可以高效地重建雾特征,同时不破坏训练的稳定性,并且可以在任何主流GPU硬件上加速训练。ii) 考虑大气散射的 KV缓存:受大气散射模型[24],[25]的启发,我们开发了一种键值(KV)缓存机制,根据雾密度动态优化特征保留。与静态注意力机制不同,这种方法优先考虑与大气散射系数相关的特征,从而在推理过程中优化内存重用。这种策略在保留关键场景细节的同时,最小化了冗余计算,并优先考虑雾区域中的相关上下文信息。此外,我们在框架中集成了一个专门的图像可解释性模块。我们的主要贡献总结如下:•
我们提出了一种基于物理的自适应归一化机制,通过大气参数动态校准特征分布,从而将训练速度提高了五倍,同时最小化了模型复杂性。
  • •
    我们首次将雾的物理先验集成到KV缓存过程中。与主要依赖数据统计特性的传统缓存机制不同,这种方法通过物理模型动态识别图像中的雾浓度分布,并选择性地保留与去雾相关的关键特征。
  • •
    为了提高雾去除模型的可解释性,我们开发了一种视觉属性方法,能够识别和量化特定区域或特征对模型性能的贡献。
  • 相关工作

    相关工作

    基于注意力的去雾。注意力机制已成为图像去雾的主流策略,使网络能够动态关注雾密集区域并恢复高频细节。最近的进展引入了复杂的模块来平衡性能和效率。为了实现实时处理,GRFA-Net [14]利用门控融合模块和组结构有效地扩大了感受野。同样,专注于频域一致性,

    方法论

    UHD图像去雾在质量和效率之间难以找到平衡。CNN缺乏全局上下文,而Transformer在处理4K/8K图像时存在二次复杂性和内存溢出问题。此外,非均匀的雾层会在标准归一化下破坏训练稳定性。为了解决这些限制,我们提出了DehazeFormer,这是一个基于物理的变换器框架。我们的核心设计理念是利用大气散射的物理特性来指导网络的资源分配。

    数据集和实现细节

    数据集。为了训练和评估我们提出的方法,我们使用了多个数据集。8KDehaze数据集[42]包含100张8192像素的UHD图像,这些图像来自卫星图像和专业级照片,其中的雾层是通过考虑湿度和颗粒物密度的高级大气散射模型合成的。为了增加合成数据的多样性,4KID数据集[36]提供了具有不同纹理、光照条件和物体的计算生成场景

    结论

    我们提出了DehazeFormer,这是一个基于变换器的超高清图像去雾框架,它集成了自适应归一化和基于大气引导的KV缓存。自适应归一化通过动态调整特征以适应雾条件来稳定训练,而基于物理的KV缓存通过上下文感知的特征保留来优化内存使用。在合成和真实世界数据集上的实验表明,该方法在保留纹理和消除雾层方面表现优异

    讨论与局限性

    该研究通过集成混合架构,成功提供了一种高效且高质量的图像去雾解决方案,该架构将物理先验深度嵌入到主干网络中。其核心优势在于物理先验与基于大气引导的缓存之间的协同作用,稳定了训练并显著加速了推理速度,同时基于雾密度的缓存动态优化了内存使用,克服了处理过程中的关键内存瓶颈。然而,仍存在一些局限性

    CRediT作者贡献声明

    王普:撰写——原始草案,监督,软件,资源。毛志轩:可视化,监督,软件。李文豪:监督。胡柳冰:项目管理。卢殿杰:调查。张桂娟:资源,方法论,概念化。张友山:撰写——审稿与编辑,资源,项目管理,方法论。郑卓然:方法论。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。
    王普目前正在中国济南的山东大学数学学院攻读研究生学位。她的研究兴趣在于计算机视觉和多模态学习领域,特别是图像恢复。她的近期研究成果已被顶级会议(如AAAI)接受。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号