《Digital Signal Processing》:LWINet: A Lightweight Wavelet-domain Network with Cross-Attention and Frequency Interaction for Low-Light Image Enhancement
编辑推荐:
低光图像增强需平衡全局亮度和细节保留,传统方法混合高低频导致过平滑或噪声放大。本文提出LWINet,基于三级行列式小波变换分离全局低频LL与细节高频带LH/HL/HH,设计跨频带双向注意力机制实现"结构指导细节,细节 sharpen 结构"的协同优化,并引入自适应alpha模块调节高频噪声抑制,双域处理模块同步优化空间锐度与频域能量分布。实验表明该轻量级网络(77.6K参数)在LOL-v2等基准数据集上达到22.82dB PSNR,有效解决低光增强中的噪声与细节平衡问题。
作者:钱倩倩(Qianqian An)| 马龙(Long Ma)
沈阳建筑大学,中国沈阳,110168
摘要
低光照图像增强(LLIE)需要在提升图像亮度的同时保持图像的真实性,这一挑战源于低频成分和高频成分之间的差异。低频成分编码了光照和全局结构,而高频成分虽然包含了纹理,但容易受到噪声的干扰;将两者混合的空间域模型往往会导致过度平滑或噪声放大。我们提出了LWINet,一种轻量级的小波域交互网络。三级离散小波变换明确地将低频成分(LL)与高频方向成分(LH/HL/HH)分开。在每个尺度上,采用非对称双向设计的跨带交叉注意力机制实现了“结构引导细节、细节增强结构”的效果:低频成分作为查询信号指导高频成分的恢复,而基于幅度共现性和方向一致性的自适应Alpha模块(AAM)调节高频成分对低频轮廓的贡献。双域处理模块在空间域保持局部清晰度,并通过径向低通建模在频率域重塑能量分布。LWINet在轻量级配置(776K参数)和低计算成本下,能够抑制噪声、保留细节,并提升视觉一致性和泛化能力,在公开基准测试中取得了良好的结果。
引言
低光照图像增强(LLIE)旨在在光照条件不佳的情况下恢复图像的可见性和细节。核心挑战在于平衡全局亮度提升与噪声抑制和纹理保留——这种矛盾源于频率成分的不同作用。低频成分编码了全局光照和粗略的结构布局,这些部分通常可见度极低,需要较强的增强处理;相比之下,高频成分包含精细的细节和纹理,但容易被噪声淹没。盲目放大高频成分以恢复细节会不可避免地放大噪声,导致严重的视觉伪影。传统的空间域方法将这些成分混合处理,常常导致过度平滑或噪声放大。因此,有效的LLIE方法必须明确分离低频和高频成分,并实现跨域协作优化。
低光照图像增强(LLIE)已经从传统方法发展到深度学习。早期的技术如直方图均衡化[1]和Retinex[2]在复杂条件下常常产生伪影;CNN模型如RUAS[3]和MIRNet[4]虽然提升了性能,但在空间域混合了低频和高频成分,难以平衡亮度和细节;Transformer类方法如Restormer[5]增强了全局建模,但缺乏明确的频率解耦;基于频率的方法如MWCNN[6]和FourLLIE[7]虽然分离了频带,但缺乏跨子带和跨域的协调。因此,高效平衡增强质量并实现低频和高频成分在各个尺度和域之间的双向协作仍然是关键挑战。
总之,尽管LLIE取得了显著进展,但仍有两个方向需要进一步研究:一是平衡性能与效率,二是协调全局结构恢复与局部细节增强。这两者紧密相关:低频成分提供光照和粗略的结构先验以抑制噪声,而高频成分提供精细的边界约束以防止模糊。因此,设计一个明确的双向协同机制是突破当前瓶颈并从根本上提升增强质量的关键。
为此,我们提出了LWINet,一种轻量级的小波域交互网络,将LLIE重新定义为多尺度小波子带中的层次化跨带协作。三级离散小波变换明确地将低频成分(LL)与高频方向成分(LH/HL/HH)分开。层次化的Transformer实现了双向交互:“粗略结构引导精细细节,精细细节增强粗略结构”。自适应Alpha模块根据LH/HL的共现性动态调节高频成分的贡献,以增强图像的角部并抑制噪声。双域处理模块在空间域保持局部清晰度,并通过径向低通建模在频率域重塑能量分布。重构过程采用残差逆DWT和跳跃连接。在轻量级配置(776K参数)和低计算成本下,LWINet能够抑制噪声、保留细节,并提升视觉一致性和泛化能力,在公开基准测试中取得了良好的结果。
部分内容
传统方法:
早期的LLIE方法依赖于手工制作的先验:直方图均衡化[1]调整强度以增强对比度;Retinex[2]将图像分解为光照和反射率以恢复亮度。尽管计算效率高,但它们过于简化的假设在复杂光照或噪声条件下会导致过度增强、伪影和颜色失真,限制了实际应用。
深度学习推动了LLIE的发展:CNN模型如RUAS[3]和MIRNet[4]提升了细节表现,但在空间域混合了低频和高频成分,难以平衡亮度和细节;Transformer方法如Restormer[5]增强了全局建模,但缺乏明确的频率解耦;基于频率的方法如MWCNN[6]和FourLLIE[7]虽然分离了频带,但缺乏跨子带和跨域的协调。因此,高效平衡增强质量并实现低频和高频成分在各个尺度和域之间的双向协作仍然是关键挑战。
总之,尽管LLIE取得了显著进展,但仍有两个方向需要深入研究:一是平衡性能与效率,二是协调全局结构恢复与局部细节增强。这两者紧密相关:低频成分提供光照和粗略的结构先验以抑制噪声,而高频成分提供精细的边界约束以防止模糊。因此,设计一个明确的双向协同机制是突破当前瓶颈并从根本上提升增强质量的关键。
为此,我们提出了LWINet,一种轻量级的小波域交互网络,将LLIE重新定义为多尺度小波子带中的层次化跨带协作。三级离散小波变换明确地将低频成分(LL)与高频方向成分(LH/HL/HH)分开。层次化的Transformer实现了双向交互:“粗略结构引导精细细节,精细细节增强粗略结构”。自适应Alpha模块根据LH/HL的共现性动态调节高频成分的贡献,以增强图像的角部并抑制噪声。双域处理模块在空间域保持局部清晰度,并通过径向低通建模在频率域重塑能量分布。残差逆DWT和跳跃连接重构出平衡、高保真的输出。LWINet以最少的参数系统地解决了低频和高频成分的协同问题。主要贡献如下:
- 我们提出了LWINet,这是第一个将LLIE视为多尺度小波子带中层次化跨带协作的轻量级框架。DWT明确分离了低频成分和高频方向成分,实现了超越空间域混合的层次化双向交互。
- 我们设计了一种跨带Transformer:低频查询信号引导纹理恢复,而高频约束通过动态权重增强轮廓——形成了“结构 → 细节 → 结构”的循环,提高了物理真实感和视觉一致性。
- 我们引入了自适应Alpha模块,利用LH/HL的共现性动态融合高频成分以抑制噪声,并通过ProcessBlock实现空间清晰度和频谱稳定——无需额外计算即可实现互补优化。
部分内容
传统方法:
早期的LLIE方法依赖于手工制作的先验:直方图均衡化[1]调整强度以增强对比度;Retinex[2]将图像分解为光照和反射率以恢复亮度。尽管计算效率高,但在复杂光照或噪声条件下,这些方法的简化假设会导致过度增强、伪影和颜色失真,限制了实际应用。
基于深度学习的方法:
深度学习推动了LLIE的发展:CNN模型如RUAS[3]和MIRNet[4]提升了细节表现,但在空间域混合了低频和高频成分
LWINet整体架构:
为了解决LLIE中的核心挑战,即同时优化全局光照和局部细节的真实性,我们提出了LWINet,这是一个轻量级的U形编码器-解码器[15],包含三个阶段,将增强过程定义为多尺度小波子带中的跨带协作。如图1所示,在每个阶段,DWT首先将特征分解为低频成分(LL,全局光照和粗略结构)和高频方向成分(LH/HL/HH,精细细节和纹理)。
为了实现明确的频率解耦,
实验配置
LWINet在PyTorch 2.1.1和CUDA 11.8环境下实现,使用Adam优化器[20]进行了2×10^5次迭代训练(学习率分别为0.9和0.999),通过余弦退火调度进行训练。数据增强包括从低光/正常光照图像对中随机裁剪的256×256像素块,批量大小为8。训练使用了随机旋转和水平翻转。
数据集
我们在标准的低光照图像增强任务上评估了LWINet的表现
结论
我们提出了LWINet,这是一个基于“明确频带解耦和跨带协作”范式的轻量级低光照增强框架。它在小波域将光照(LL)与方向细节(LH/HL/HH)分离,采用非对称注意力机制建立结构引导细节的闭环。这种可解释的模块化设计在公开基准测试中取得了优异的表现(在LOL-v2-real任务上提升了22.82 dB),仅使用了0.78M参数,有效解决了相关问题
数据和材料的可用性
本研究分析的数据集是公开可用的基准测试集。本研究生成的源代码和预训练模型作为补充信息包含在本文中。
利益冲突
作者声明没有利益冲突。
资助
无。
作者贡献
概念化和监督工作由通讯作者完成。方法论、软件实现、验证和初稿撰写由第一作者完成。两位作者共同参与了整个研究过程。
CRediT作者贡献声明
钱倩倩(Qianqian An):概念化、方法论、软件开发、验证、正式分析、研究、初稿撰写、审稿与编辑。
马龙(Long Ma):监督、资源提供。