DeLU-SIREN:基于改进激活函数的隐式神经表示突破遥感图像重建性能瓶颈

《Sensors》:Implicit Neural Representation with Dead-Free Linear Unit for Remote Sensing Images Yi Lu, Chang Lu, Dongshen Han, Donggeon Kim, Mingming Zhang, Rizwan Qureshi and Caiyan Qin

【字体: 大 中 小 】 时间:2026年04月13日 来源:Sensors 3.5

编辑推荐:

  本文针对隐式神经表示(INR)中激活函数存在死区导致高频细节丢失及频谱偏差的问题,研究人员开展了DeLU激活函数及其与SIREN结合(DeLU-SIREN)的研究。结果表明,DeLU-SIREN在多个遥感数据集上显著提升PSNR与SSIM指标,并通过优化神经正切核(NTK)特征值分布增强收敛稳定性,为高精度图像重建提供了新范式。

  
在人工智能与遥感技术深度融合的今天,如何让计算机像一位技艺精湛的画家,仅凭坐标就能精准还原出每一寸土地的纹理与细节?这是隐式神经表示(Implicit Neural Representations, INR)技术面临的核心挑战。传统的INR模型常受困于激活函数的“死区”——就像画家的调色盘突然失灵,面对负向信号时无能为力,导致大量高频信息(如道路边缘、细小建筑)丢失。此外,模型还容易陷入“频谱偏差”,只顾着描绘大轮廓而忽略了精细结构。为了解决这些痛点,一项发表在《Sensors》上的研究提出了一种名为DeLU的新型激活函数,并将其与经典的SIREN模型结合,创造出DeLU-SIREN,为遥感图像的智能重建带来了突破性进展。
为了实现这一目标,研究团队采用了多项关键技术。他们基于PyTorch 1.11.0框架,选用NVIDIA RTX A5000 GPU进行训练,统一设置学习率为0.0001,批次大小为1,训练周期为500轮。在评估阶段,严格遵循SIREN的初始化策略,并使用Adam优化器。研究涵盖了LandCover.ai、LoveDA、INRIA、UAVid和ISPRS Potsdam等多个主流遥感数据集,图像尺寸涵盖256×256至1500×900不等。评价指标采用图像处理领域的黄金标准:峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和结构相似性指数(Structural Similarity Index, SSIM)。同时,研究引入神经正切核(Neural Tangent Kernel, NTK)理论,可视化分析了模型训练过程中的特征值分布与对角特性。
3.3. DeLU-SIREN
研究首先构建了DeLU激活函数,其数学形式为f(x) = k|x| + b,其中k和b为超参数。与传统ReLU不同,DeLU利用绝对值运算消除了死区,实现了全区域的线性响应。随后,研究者将其与SIREN的正弦函数结合,形成了新的激活机制:yn= βnsin(ω0(Wnxn-1+ bn)),其中βn= k|xn-1| + b。这种设计既保留了正弦函数的对称性和平滑振荡,又通过线性调制逐渐增大振幅。
3.4. Perspective of Neural Tangent Kernel
通过NTK理论分析发现,DeLU-SIREN相比原始SIREN展现出更强的对角特性。这意味着模型具有更好的平移不变性,能够加速训练收敛。更重要的是,DeLU-SIREN优化了NTK矩阵的特征值分布,降低了最大特征值的占比,提升了其余特征值的贡献,使得模型在捕捉高频分量时更加均衡高效。
4.2. Remote Sensing Image Reconstruction
在LoveDA数据集上,DeLU-SIREN达到了48.28 PSNR和0.9953 SSIM,相比SIREN分别提升了15.01和0.0655,甚至超越了当时最先进的FINER模型(提升10.98 PSNR和0.0418 SSIM)。在LandCover.ai数据集上,性能达到48.75 PSNR和0.996 SSIM,较SIREN提升13.45 PSNR和0.078 SSIM。ISPRS Potsdam数据集的结果同样优异,达到49.16 PSNR和0.9959 SSIM,较SIREN提升13.01 PSNR和0.074 SSIM。可视化结果显示,DeLU-SIREN能有效避免噪声伪影,在道路标线、裸露地表等细节区域表现卓越。
4.3. High-Resolution Remote Sensing Image Reconstruction
针对更具挑战性的高分辨率图像(UAVid和INRIA数据集),研究调整参数为k=1和b=5以适应复杂场景。在UAVid数据集上,DeLU-SIREN取得了26.88 PSNR和0.936 SSIM,较SIREN提升7.58 PSNR和0.238 SSIM,较FINER提升2.13 PSNR和0.041 SSIM。在INRIA数据集上,性能达到44.17 PSNR和0.9961 SSIM,较SIREN提升10.32 PSNR和0.0309 SSIM,尤其在重建骑行者等微小动态目标时,轮廓更加清晰锐利。
4.4. Ablation Study of k and b
消融实验揭示了参数选择的奥秘。对于标准分辨率图像(256×256或512×512),推荐配置为k=3和b=2,此时模型在梯度强度与训练稳定性间取得最佳平衡。而对于高分辨率图像,较小的k(如1)有助于正则化梯度流,防止剧烈波动;较大的b(如5)则能扩大激活幅度,适应更密集的空间变化。值得注意的是,k和b的符号对性能影响不大,但绝对值过大或过小均会导致性能下降。
4.5. On Dead Region
对比实验有力证明了消除死区的重要性。无论是左侧死区的ReLU还是右侧死区的Inverse-ReLU,其重建精度都远低于无死区的DeLU。这证实了传统激活函数的死区是导致INR性能受限的关键因素之一。
4.6. Uniqueness of DeLU and Compatibility with SIREN
理论分析进一步区分了DeLU与Tanh的差异。Tanh的导数在输入值增大时迅速趋近于零(梯度消失),而DeLU的导数在正负区间均为常数(k或-k),不存在饱和区。这一特性使得DeLU在处理大幅值输入时仍能保持稳定的梯度传播,特别适合需要拟合高频空间结构的遥感图像重建任务。
综上所述,这项研究成功开发了一种名为DeLU的新型线性激活函数,并据此构建了DeLU-SIREN模型。该研究不仅从理论上阐明了消除激活函数死区对于提升INR性能的关键作用,还通过NTK视角揭示了模型优化的内在机制。实验结果无可辩驳地证明,DeLU-SIREN显著提升了遥感图像重建的精度与细节还原能力,无论是在标准分辨率还是高分辨率场景下均优于现有的主流方法。这项工作为隐式神经表示在遥感及其他视觉任务中的应用提供了新的技术路径和理论支撑,具有重要的学术价值与应用前景。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号