
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于局部引导局部网络的非均匀图像去雾方法研究:正交令牌选择与全局稀疏注意力机制创新
【字体: 大 中 小 】 时间:2025年06月28日 来源:Neurocomputing 5.5
编辑推荐:
针对非均匀雾霾分布(NHID)导致的图像恢复难题,华东理工大学团队提出Local Guide Local Network (LGL)。通过Stiefel流形优化的正交令牌选择器(Orthogonal Token Selector)筛选低冗余特征,结合全局稀疏注意力(Global Sparse Attention)和局部引导前馈网络(Local Guided Feedforward Network),实现区域特异性去雾。该方法在NHID任务中性能超越现有技术,为复杂场景图像复原提供新思路。
在计算机视觉领域,雾霾造成的图像质量退化一直是棘手难题。传统的大气散射模型(Atmospheric Scattering Model, ASM)将雾化过程描述为I(x)=J(x)t(x)+A(1-t(x)),其中I(x)代表雾化图像,J(x)为清晰图像,t(x)是透射率图,A表示全局大气光。尽管基于先验的早期方法[5-9]和深度学习技术[10-15]已取得进展,但现有方法多针对均匀雾霾场景,对非均匀雾霾分布(Non-Homogeneous Image Dehazing, NHID)的处理仍面临两大挑战:雾霾密度区域差异导致的恢复不平衡,以及高密度区域信息丢失造成的细节难以重建。
华东理工大学的研究团队在《Neurocomputing》发表的研究中,创新性地提出Local Guide Local Network (LGL)框架。该工作突破性地将几何优化与注意力机制结合:首先通过Stiefel流形优化的正交令牌选择器,从局部窗口中筛选出低相似度的top-k令牌;随后采用全局稀疏注意力实现跨窗口特征交互;最终通过局部引导前馈网络实现区域自适应去雾。这种"局部筛选-全局交互-区域优化"的三阶段策略,在保持计算效率的同时显著提升了NHID任务的性能。
关键技术方法
研究采用编码器-解码器架构,包含7个阶段的Local Guide Local Transformer Blocks (LGLTBs)。核心创新包括:(1) Orthogonal Token Selector通过Stiefel流形投影层实现令牌正交化,减少特征冗余;(2) Global Sparse Attention基于筛选令牌进行跨窗口注意力计算;(3) Local Guided Feedforward Network (LGFN)利用全局交互特征指导局部区域恢复。实验采用合成与真实NHID数据集验证,对比12种现有方法。
研究结果
结论与意义
该研究首次将流形优化引入图像去雾领域,提出的LGL框架通过正交约束的令牌选择和区域引导机制,有效解决了NHID任务中的两大核心挑战。方法论层面,Stiefel流形上的几何优化为其他高维特征选择问题提供新思路;应用层面,该方法在遥感、自动驾驶等复杂场景图像增强中具有重要价值。作者Zhongze Wang等同时指出,固定窗口尺寸和top-k参数的局限性,未来将通过动态参数调整进一步提升模型泛化能力。这项工作不仅推动了图像复原技术的发展,也为Transformer架构在底层视觉任务中的应用开辟了新途径。
生物通微信公众号
知名企业招聘