基于局部引导局部网络的非均匀图像去雾方法研究:正交令牌选择与全局稀疏注意力机制创新

【字体: 时间:2025年06月28日 来源:Neurocomputing 5.5

编辑推荐:

  针对非均匀雾霾分布(NHID)导致的图像恢复难题,华东理工大学团队提出Local Guide Local Network (LGL)。通过Stiefel流形优化的正交令牌选择器(Orthogonal Token Selector)筛选低冗余特征,结合全局稀疏注意力(Global Sparse Attention)和局部引导前馈网络(Local Guided Feedforward Network),实现区域特异性去雾。该方法在NHID任务中性能超越现有技术,为复杂场景图像复原提供新思路。

  

在计算机视觉领域,雾霾造成的图像质量退化一直是棘手难题。传统的大气散射模型(Atmospheric Scattering Model, ASM)将雾化过程描述为I(x)=J(x)t(x)+A(1-t(x)),其中I(x)代表雾化图像,J(x)为清晰图像,t(x)是透射率图,A表示全局大气光。尽管基于先验的早期方法[5-9]和深度学习技术[10-15]已取得进展,但现有方法多针对均匀雾霾场景,对非均匀雾霾分布(Non-Homogeneous Image Dehazing, NHID)的处理仍面临两大挑战:雾霾密度区域差异导致的恢复不平衡,以及高密度区域信息丢失造成的细节难以重建。

华东理工大学的研究团队在《Neurocomputing》发表的研究中,创新性地提出Local Guide Local Network (LGL)框架。该工作突破性地将几何优化与注意力机制结合:首先通过Stiefel流形优化的正交令牌选择器,从局部窗口中筛选出低相似度的top-k令牌;随后采用全局稀疏注意力实现跨窗口特征交互;最终通过局部引导前馈网络实现区域自适应去雾。这种"局部筛选-全局交互-区域优化"的三阶段策略,在保持计算效率的同时显著提升了NHID任务的性能。

关键技术方法
研究采用编码器-解码器架构,包含7个阶段的Local Guide Local Transformer Blocks (LGLTBs)。核心创新包括:(1) Orthogonal Token Selector通过Stiefel流形投影层实现令牌正交化,减少特征冗余;(2) Global Sparse Attention基于筛选令牌进行跨窗口注意力计算;(3) Local Guided Feedforward Network (LGFN)利用全局交互特征指导局部区域恢复。实验采用合成与真实NHID数据集验证,对比12种现有方法。

研究结果

  1. 正交令牌选择机制:通过对比传统top-k与正交约束下的令牌分布,证明该方法可使所选令牌相似度降低63%,显著缓解特征冗余问题。
  2. 全局建模能力:在密集雾霾区域,全局稀疏注意力使PSNR提升2.4dB,证明跨区域信息传递的有效性。
  3. 区域自适应恢复:LGFN模块在NYU-Depth数据集上实现0.91的SSIM指标,较基线模型提高15%。
  4. 综合性能对比:在RESIDE-β数据集上,LGL的FADE指数较次优方法降低28%,运行效率提升40%。

结论与意义
该研究首次将流形优化引入图像去雾领域,提出的LGL框架通过正交约束的令牌选择和区域引导机制,有效解决了NHID任务中的两大核心挑战。方法论层面,Stiefel流形上的几何优化为其他高维特征选择问题提供新思路;应用层面,该方法在遥感、自动驾驶等复杂场景图像增强中具有重要价值。作者Zhongze Wang等同时指出,固定窗口尺寸和top-k参数的局限性,未来将通过动态参数调整进一步提升模型泛化能力。这项工作不仅推动了图像复原技术的发展,也为Transformer架构在底层视觉任务中的应用开辟了新途径。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号