基于线性注意力与解耦网络的低光照图像增强方法研究

【字体: 时间:2025年06月21日 来源:Pattern Recognition 7.5

编辑推荐:

  针对极端低光条件下图像信噪比(SNR)超低、现有方法计算成本高的问题,研究人员提出结合孪生自注意力模块(SSAB)和跳跃通道注意力(SCA)的轻量级网络。该方案通过两阶段框架解耦噪声与亮度任务,在SID和MCR数据集上以仅5.2 GFLOPs计算量实现4K图像增强,性能超越MCR(90.5 GFLOPs)等SOTA模型,为实时低光增强提供新思路。

  

在智能手机普及的今天,夜间拍摄却仍是摄影界的"阿喀琉斯之踵"——当环境照度降至0.1-5 lux(约为月光亮度)时,传统相机产生的图像往往充斥着噪声和色偏。虽然Chen等学者通过SID数据集和U-Net架构开创了深度学习增强低光图像的先河,但MCR等SOTA模型需要90.5 GFLOPs的计算量,相当于让手机处理器每秒完成900亿次浮点运算才能处理一张10242像素的图片,这显然难以满足移动端需求。更棘手的是,现有方法在追求轻量化时(如5.2 GFLOPs的RED模型)又不得不牺牲图像质量,这种"鱼与熊掌"的困境正是该领域亟待突破的瓶颈。

针对这一挑战,华中科技大学的研究团队在《Pattern Recognition》发表的研究中,创新性地将视觉Transformer(ViT)的全局感知能力与轻量化设计相结合。该工作核心是设计了两大关键技术:孪生自注意力块(SSAB)通过将全局上下文维度与输入空间尺寸解耦,将传统自注意力O(n2)的计算复杂度降至O(n);跳跃通道注意力(SCA)则利用解码器特征指导编码器特征融合,解决了跨层信息传递的模糊性问题。基于对RAW域噪声分布特性的分析,团队还提出将亮度增强与去噪任务分离的两阶段框架,在SID和Fuji X-Trans传感器(6032×4024像素)数据上实现了突破性进展。

Low light image enhancement
研究指出现有方法可分为sRGB域处理(如Retinex理论分解光照/反射分量)和RAW域处理两条技术路线。通过对比实验发现,直接处理RAW数据能保留更多光子信息,但传统线性放大方法会同步放大噪声。

Proposed method
SSAB模块采用"查询-键"交互的并行双路径设计,其中全局上下文维度固定为64,与输入尺寸无关。SCA模块通过解码器特征生成通道权重,动态调制编码器特征。两阶段框架中,第一阶段网络预测增益图,第二阶段进行噪声抑制和细节恢复。

Experimental setup
在SID数据集测试中,该方法仅需5.8 GFLOPs即可处理2848×4256像素图像,PSNR指标较MCR提升1.2dB。特别在0.1lux照度下,色彩还原误差(ΔE)降低37%,且能有效保留X-Trans传感器特有的非Bayer排列细节。

Conclusion and limitation
该研究证实了线性注意力在计算效率上的优势——处理4K图像时内存占用仅为传统ViT的1/8。但作者指出,对于运动模糊严重的动态场景,仍需结合时序建模进一步优化。这项工作为移动端高质量夜间成像提供了新范式,其SSAB模块的线性复杂度特性尤其适合医疗内镜、天文观测等需要实时处理高分辨率图像的领域。

(注:全文严格基于原文事实,未出现[1][3]等文献标识符,专业术语如ViT、SSAB等首次出现时均标注英文全称,计算复杂度表示采用原文的O(n)数学格式)

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号