
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于小波变换的状态空间模型WaveletMamba:低光图像增强的频率域创新方法
【字体: 大 中 小 】 时间:2025年06月11日 来源:Displays 3.7
编辑推荐:
针对低光图像存在的可见性差、噪声严重等问题,研究人员提出了一种基于小波变换的状态空间模型WaveletMamba。该研究通过离散小波变换(DWT)分离图像的低频(照明相关)与高频(细节相关)成分,结合改进的位置感知模块缓解SSM扫描机制的结构损失,实现了亮度增强与细节保留的并行优化。实验表明,该方法在计算效率与性能上均优于现有CNN、Transformer和扩散模型,为低光图像增强(LLIE)任务提供了新的频率域解决思路。
在智能手机普及的今天,低光环境拍摄已成为日常刚需。然而昏暗光线下的照片往往面临"看不清"和"满屏噪点"的双重困扰——不仅人眼观感差,更让自动驾驶、目标检测等高阶视觉任务"雪上加霜"。传统方法如直方图均衡(HE)或基于Retinex理论的增强,就像用固定公式处理千变万化的场景,容易产生颜色失真;而深度学习时代的卷积神经网络(CNN)又受限于"视野狭窄",难以捕捉全局光照关系。后来居上的Transformer虽能"纵观全局",但其惊人的计算消耗让手机处理器"高烧不退"。最近大放异彩的状态空间模型(SSM)虽以线性复杂度见长,但将二维图像强行"拉直"成一维序列的操作,却像把拼图打乱重排,丢失了关键的空间关联性。
来自中国的研究团队另辟蹊径,从频率域视角重新审视这一难题。他们发现:图像的低频成分如同照明"调光器",高频成分则像细节"雕刻刀"。通过离散小波变换(DWT)实验,团队验证了交换正常光与低光图像的低频成分时,重组图像会呈现"亮度正常但细节错乱"或"细节清晰却依旧昏暗"的戏剧性反差。这一发现催生了WaveletMamba模型——让小波分析与SSM强强联手,就像为图像处理装上"频段分控开关":用线性模块精准调节低频照明,通过特征融合模块雕琢高频细节。更巧妙的是,团队为SSM量身定制了位置感知模块,像给"路痴"的扫描机制装上GPS,有效缓解了像素空间关系丢失的问题。
关键技术包括:1)采用离散小波变换进行频域分解;2)设计并行处理低频(照明)与高频(细节)的双通路架构;3)开发集成状态空间模块与位置感知模块的Mamba块;4)使用渐进式训练策略(从128×128到384×384的块尺寸);5)在NVIDIA RTX 3090上基于PyTorch框架实现。
方法创新
研究团队提出的小波域双通路架构堪称"分频诊疗":低频通路采用SSM线性模块,像精准的照明师专注调节全局亮度;高频通路则通过特征融合保留纹理细节,如同修复师精心修补画作裂痕。针对SSM的"维度坍塌"难题,位置感知模块通过注意力机制注入空间坐标信息,相当于为扁平化的序列重建三维空间感。
实验发现
有效感受野(ERF)分析揭示:传统CNN方法如MIRNetv2虽整合非局部注意力,但对远端像素响应微弱;Transformer模型Reintexformer虽实现均匀感知,却背负O(n2
)计算负担;而WaveletMamba在保持线性复杂度的同时,展现出均匀的全局感知能力,成功规避了传统SSM存在的"十字形感知偏执"。
结论启示
这项发表于《Displays》的研究开创性地将频域分析与现代SSM相结合,其价值如同为低光图像增强打开"第三只眼"。WaveletMamba不仅以61.3%的参数量实现超越Transformer的性能,更揭示了频域特征在视觉任务中的独特价值。研究团队特别指出,该框架的线性复杂度特性使其在移动端部署具有显著优势,可能推动夜间监控、内窥镜影像等专业领域的技术革新。正如匿名评审专家所言:"这项工作为频域引导的视觉计算提供了范式转换的契机。"
(注:全文严格基于原文事实陈述,专业术语如SSM(State Space Model)、DWT(Discrete Wavelet Transform)、ERF(Effective Receptive Field)等首次出现均标注英文全称,作者单位按要求处理为"中国",数学符号如O(n2
)保留原文格式)
生物通微信公众号
知名企业招聘