无乘法神经网络架构用于图像恢复

《Neurocomputing》:A multiplication-free neural architecture for image restoration

【字体: 大 中 小 】 时间:2026年04月08日 来源:Neurocomputing 6.5

编辑推荐:

  深度神经网络(Deep Neural Networks, DNNs)已成为图像去模糊(deblurring)和去噪(denoising)等图像恢复(Image Restoration)问题的主流方法。然而,现有最优(state-of-the-art)设计的高计

  
深度神经网络(Deep Neural Networks, DNNs)已成为图像去模糊(deblurring)和去噪(denoising)等图像恢复(Image Restoration)问题的主流方法。然而,现有最优(state-of-the-art)设计的高计算复杂度阻碍了其在对功耗敏感的边缘设备(edge devices)等资源受限场景中的有效部署。为此,研究人员提出了MuFIR(Multiplication-Free Image Restoration,无乘法图像恢复)骨干网络架构,该架构完全消除了乘法运算。该设计通过三值权重量化(ternary weight quantization)消除主网络层中的乘法,采用新型归一化技术确保三值化架构的稳定性,并将特定参数和激活值量化为2的幂次组合(powers of two),从而通过整数加法(integer additions)和位移运算(bitshifts)实现快速低复杂度推理。实验表明,尽管采用全整数运算且完全消除乘法,MuFIR在去模糊和去噪任务上的性能接近全精度(full-precision)模型。本研究的主要贡献包括:(1)将权重三值化扩展至专门针对图像恢复任务设计的架构;(2)提出无乘法层归一化(MuFLN, Multiplication-Free LayerNorm)以稳定三值网络;(3)通过APO2(Approximation by Powers of 2)量化消除剩余乘法;(4)采用退火训练(annealed training)方法使模型逐步适应无乘法运行约束。实验在GoPro数据集(图像去模糊)和SIDD数据集(真实世界图像去噪)上进行,结果表明MuFIR显著优于现有的二值神经网络(Binary Neural Networks, BNNs)方法,与全精度NAFNet相比PSNR(Peak Signal-to-Noise Ratio)差距约为2.36 dB。
本研究旨在解决图像恢复领域神经网络高计算复杂度与边缘设备低功耗需求之间的矛盾。现有图像恢复网络如SwinIR、Restormer、MPRNet和NAFNet等虽性能优异,但其复杂的架构设计导致乘法运算密集,难以在资源受限环境中部署。量化技术如量化感知训练(Quantization-Aware Training, QAT)和神经网络二值化虽能降低计算开销,但现有方法或仍依赖乘法运算(如注意力模块、归一化层中的缩放操作),或因极端量化导致图像恢复质量显著下降,且多针对分类或超分辨率任务设计,难以直接迁移至图像恢复领域。在此背景下,研究人员提出MuFIR架构,以NAFNet为骨干基础进行改造,通过系统性的无乘法设计实现图像恢复任务的低复杂度推理。

MuFIR的技术方法涵盖四个核心层面。其一为权重三值化:将卷积层权重约束至{?1, 0, +1}集合,使卷积运算转化为整数加减法,缩放因子α通过APO2量化为2的幂次组合以位移运算替代乘法。其二为MuFLN归一化:传统层归一化(LayerNorm, LN)依赖均值、方差计算及乘除法操作,研究人员以平均绝对偏差(Average Absolute Deviation, AAD)替代标准差,将可学习参数γ_t和β_t初始化为2的幂次或整数值,从根本上消除归一化过程中的乘法运算。其三为APO2量化机制:针对网络中SimpleGate门控操作、通道注意力(Channel Attention)分支及MuFLN中的倒数运算等仍存乘法的环节,将浮点数表示为有限个2的幂次之和,通过查表法(lookup tables)实现基于位移和加法的近似计算,超参数N控制量化精度与复杂度之间的权衡。其四为退火训练策略:由于极端量化导致训练不稳定,研究人员采用渐进式训练方法,在训练初期以全精度网络输出为主,通过插值系数λ线性增加量化网络的贡献权重,配合多步学习率调整策略,使网络逐步适应无乘法约束。

实验部分呈现三个核心研究的结果。GoPro数据集图像去模糊实验表明,MuFIR在PSNR和SSIM(Structural Similarity)指标上分别达到31.33 dB和0.947,显著优于BBCU、ReActNet、Bi-Real、BN-Free和IRNet等二值化基线方法(PSNR范围为24.57–26.39 dB),与全精度NAFNet(33.69 dB/0.967)和8-bit整数量化NAFNet(33.26 dB/0.964)相比性能差距可控;与近年全精度最优方法如Restormer(32.92 dB/0.961)、MIMO-UNet+(32.45 dB/0.957)相比,MuFIR的差距进一步缩小至1.59 dB以内。SIDD数据集真实世界去噪实验显示,MuFIR取得38.09 dB的PSNR和0.948的SSIM,同样大幅超越各类二值化方法,验证了无乘法设计在复杂退化场景下的有效性。消融实验系统验证了三值化、AAD归一化、退火训练及APO2量化的各自贡献:直接三值化导致约1.8 dB性能下降且训练不稳定;引入AAD归一化后性能恢复至32.30 dB;结合退火训练后进一步提升;APO2量化虽带来额外损失,但使全网络彻底消除乘法运算,最终MuFIR以31.33 dB实现无乘法推理。APO2超参数N的消融显示N=3已足够,增大至N=5仅带来边际增益。

研究结论指出,MuFIR作为首个完全无乘法的图像恢复骨干网络,通过三值权重、APO2量化、定制归一化及退火训练实现了在严格计算约束下的近最优性能。尽管与全精度或INT8架构相比存在约2 dB的性能折衷,但其完全规避乘法运算的设计为专用硬件加速器(如FPGA、ASIC)上的高效部署奠定了基础。当前局限在于,要充分发挥其在速度和能效方面的优势,仍需进一步开发底层硬件实现(如专用GPU内核或定制数字电路)。未来工作可探索无乘法设计在更复杂图像恢复任务(如超分辨率)中的扩展,以及更激进硬件-软件协同优化策略。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号