SAFIR:一种用于隐式神经表示的空间感知激活函数

《Computer Vision and Image Understanding》:SAFIR: Spatially-aware Activation Function for Implicit Neural Representations

【字体: 大 中 小 】 时间:2026年04月29日 来源:Computer Vision and Image Understanding 3.5

编辑推荐:

  埃桑·泽拉特卡尔(Ehsan Zeraatkar)| 杰莱娜·特希奇(Jelena Te?i?) 德克萨斯州立大学计算机科学系,美国德克萨斯州圣马科斯 **摘要** 神经隐式表示(INRs)通过将信号建模为连续函数,重塑了一系列视觉任务。然而,现有的架构(如SIRE

  埃桑·泽拉特卡尔(Ehsan Zeraatkar)| 杰莱娜·特希奇(Jelena Te?i?)
德克萨斯州立大学计算机科学系,美国德克萨斯州圣马科斯

**摘要**
神经隐式表示(INRs)通过将信号建模为连续函数,重塑了一系列视觉任务。然而,现有的架构(如SIREN)由于依赖于空间均匀的频率参数,存在频谱偏差问题。本文介绍了一种新型的空间感知自适应频率调制框架SAFIR,该框架通过卷积ω预测网络学习与坐标相关的频率参数。SAFIR能够实现高频和低频成分在空间区域内的自适应分配,从而解决了传统INRs中普遍存在的过度平滑或过拟合问题。在五个基准数据集上的广泛评估表明,SAFIR不仅在2D图像重建、超分辨率和生成式视觉任务中显著提高了PSNR和SSIM性能,而且比现有最佳方案具有更高的参数效率和更快的收敛速度。通过有效结合局部信号复杂性和自适应神经调制,SAFIR为现代计算机视觉应用中的高保真、高效信号表示迈出了实际一步。

**引言**
隐式神经表示(INRs)的出现从根本上改变了连续信号建模的格局,实现了从传统的离散、基于网格的方法向连续函数参数化的转变(Sitzmann等人,2020年)。与传统在固定分辨率数据结构上运行的神经网络不同,INRs将连续信号参数化为神经网络,直接将坐标映射到信号值,从而能够表示图像、音频信号、3D形状和时间序列为连续的数学函数。虽然传统神经网络在离散领域取得了巨大成功(Ulyanov等人,2018年),但在建模连续信号时存在固有的局限性(Ulyanov等人,2018年)。卷积神经网络(CNN)及其变体在预定的网格分辨率上运行,需要显式的插值或重采样操作来处理不同尺度,这常常导致混叠伪影和计算效率低下(J. Liu等人,2022年)。此外,离散表示难以在样本之间进行平滑插值,也无法自然适应科学和医学应用中常见的不规则采样模式(Zang等人,2021年)。

INRs通过将信号视为连续函数f:Rd→Rk来解决这些根本限制,其中输入坐标通过学习的神经变换映射到相应的信号值(Mescheder等人,2019年)。这种基于坐标的方法具有几个显著优势:分辨率独立性,允许在无需重新训练的情况下进行任意尺度的查询(Stanley,2007年);内存效率,因为信号被压缩到网络权重中而不是显式网格中(Dupont等人,2021年);以及自然处理不规则采样模式,这对于涉及稀疏或非均匀数据的应用至关重要(Raissi等人,2019年)。

INRs在多个应用领域产生了深远影响。在超分辨率任务中,INRs实现了连续上采样,而没有典型的离散插值伪影,生成了保留精细纹理细节的高保真重建(X. Wang等人,2021年)。神经辐射场(NeRF)(Mildenhall等人,2020年)及其后续变体彻底改变了3D场景重建和新型视图合成,将复杂的体积场景表示为连续函数,并实现了传统基于几何的方法无法达到的逼真渲染质量(Barron等人,2021年)。在医学成像中,INRs在断层重建(Shen等人,2022年)、压缩感知(Wang等人,2022年)和图像配准任务(Wolterink等人,2022年)中表现出色,其中连续表示自然处理了不规则采样模式和噪声干扰。同样,在2D图像重建应用中,包括修复、去模糊和增强,INRs的恒定性特性有助于产生平滑、无伪影的结果。

在各种INR架构中,正弦表示网络(SIRENs)(Sitzmann等人,2020年)因使用正弦激活函数而特别有效,这些函数能够通过周期性激活更好地表示高频细节。SIRENs的数学基础在于正弦函数的特性:它们的导数仍然是正弦函数,使其自然适合解决偏微分方程和表示复杂的振荡模式(W. Wang等人,2021年)。SIRENs中的ω0参数直接控制周期性激活的频率,从而影响网络捕捉细粒度空间细节与平滑变化的能力。然而,所有现有的最佳INR架构(包括SIRENs)都存在一个关键限制,即频谱偏差(Rahaman等人,2019年)。神经网络倾向于学习目标信号的低频成分而非高频细节,导致重建结果过度平滑,缺乏细粒度纹理和清晰的边缘过渡。这种偏差源于梯度下降优化过程,该过程自然收敛到函数空间中最小化高频变化的解,因为高频函数需要更大的梯度且更难以优化(Zhang等人,2021年)。在自然图像中,这种偏差尤为明显,因为不同区域的频率特性具有空间异质性(Mildenhall等人,2020年)。平滑背景区域主要需要低频表示,而纹理区域、物体边界和细节则需要高频成分以实现准确重建。传统的SIRENs在所有空间位置使用统一的频率参数ω0,这在平滑区域和细节区域之间造成了全局权衡(Sitzmann等人,2020年)。这种限制导致在低频占主导时重建结果过度平滑,或在优先考虑高频时在柔和区域产生噪声伪影,从而无法最佳表示空间变化的信号特性。最近在神经架构设计方面的进展,特别是Kolmogorov-Arnold网络(KANs)(Liu等人,2024年),通过可学习的单变量函数增强了表达能力,为自适应函数表示和频率调制机制开辟了新的可能性。

在这项工作中,我们提出了一种自适应频率学习框架,以解决SIRENs中统一频率选择的基本限制。我们的关键见解是,最佳频率选择应该是空间自适应的,能够根据局部信号特性自动调整,而不是依赖于全局参数。我们引入了一个可学习的频率预测网络,将空间坐标映射到适当的频率参数ω0(x),使SIREN架构能够根据局部图像内容动态调整其表示能力。这种空间自适应性使网络能够自动将高频分配给细节丰富的区域,将低频分配给平滑区域,从而在保持计算效率的同时减轻频谱偏差。

**相关工作**
我们的工作基于神经网络、隐式表示和自适应架构等多个相互关联的研究领域。我们将相关工作归纳为几个关键主题,这些主题为我们在神经隐式表示中的自适应频率学习方法提供了理论基础。

**方法论**
我们的研究旨在解决之前关于正弦表示网络(SIRENs)和神经隐式表示的工作中的几个关键限制。核心问题在于标准SIRENs使用的统一频率参数化,这限制了它们表示信号中空间变化频率内容的能力。为了解决这个问题,我们提出了空间自适应频率选择的概念,即频率参数ω0随输入变化而变化。

**实验结果**
我们通过将这些自适应SIREN变体与原始SIREN模型和传统神经网络进行比较,建立了实证基准,从而全面评估了重建质量和训练效率。此外,我们在多个数据集上与现有最佳方法进行了对比,以证明该方法能够同时捕获输入信号中的高频和低频成分。

**讨论**
我们的实验结果表明,频率参数的空间适应性解决了SIREN架构中的一个根本限制。基于CNN的方法在所有数据集中都显著优于固定频率方法,PSNR提高了4.37 dB到11.95 dB。在Cameraman数据集上取得的106.2 dB PSNR表明,当图像区域具有不同复杂性时,自适应频率选择可以显著提高重建质量。

**结论**
本文提出了SAFIR,这是一种空间自适应的频率学习策略,可以减轻统一频率INRs中的频谱偏差,特别适用于以视觉为中心的任务。通过利用卷积架构进行ω预测,该方法动态调整隐式神经网络的表示能力,以匹配局部图像特性,实现了最佳重建质量和在不同基准测试中的卓越一致性。SAFIR消除了手动调整的必要性。

**作者贡献声明**
埃桑·泽拉特卡尔(Ehsan Zeraatkar):撰写——审阅与编辑、原始草稿编写、软件开发、方法论设计、概念化。
杰莱娜·特希奇(Jelena Te?i?):撰写——审阅与编辑、验证、监督、资源准备。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号