通过自适应正则化将空间先验整合至激活与映射中

《Neurocomputing》：Integrating spatial priors into activations and mappings with adaptive regularization

　　

摘要

空间先验，如平滑性、边缘保持和结构一致性，对于图像分割和去噪等密集预测任务至关重要。尽管深度学习取得了显著进展，传统网络仍然依赖于逐点激活函数，独立处理每个空间位置，且学习到的特征表示和输出映射缺乏显式的空间正则化。这导致特征演化与全局结构约束之间存在关键断层。为解决这一问题，我们提出了一种统一的变分框架，通过自适应正则化将空间先验系统地集成到激活函数和最终预测中。具体而言，我们将泄漏修正线性单元重新表述为一种双空间变分激活模型，该模型结合了阈值动力学、非局部阈值动力学和全变分正则化。由此产生的阈值动力学 - 全变分泄漏修正线性单元和非局部阈值动力学 - 全变分泄漏修正线性单元促进了局部空间相干性、长程结构交互和边缘保持特征变换。此外，在最终预测或重建上施加输出级全局全变分项，以增强全局结构一致性。正则化系数在训练期间自动学习，使模型能够自适应地平衡数据保真度和结构约束。在多个架构和数据集上的图像分割和去噪实验表明，我们的方法 consistently 优于基于基线激活的模型，实现了卓越的结构保留、更锐利的边界和更好的重建质量。

引言

空间先验是指关于视觉数据的结构假设，如平滑性、边缘保持和区域级一致性，这对于密集预测任务至关重要。这些先验有助于抑制噪声、保留有意义的边界，并在图像分割 [1]、去噪 [2] 和修复 [3] 等任务中保持相干结构。因此，显式的空间建模对于学习结构相干的视觉表示 [4] 非常重要。

现有的融入空间先验的方法大致可分为两种范式。第一种是经典变分方法，通过引入空间正则化项构建能量最小化问题，并通过迭代优化方案求解。代表性模型包括全变分 (TV) [2]、Mumford–Shah 泛函 [5] 以及基于区域的表述如 Chan–Vese [1]。这些方法显式编码了空间结构，在低层和密集预测问题中表现出强劲的性能。然而，它们的正则化参数通常是手动指定的，且对任务、数据集和噪声条件敏感，这限制了它们在复杂场景中的适应性。

第二种范式以数据驱动的方式在深度学习框架内融入空间先验。空间先验可以在不同阶段引入，包括损失级别、网络架构和特征变换模块。在损失级别，采用基于 TV 的惩罚项和结构化正则化项等空间正则化器来鼓励全局一致性 [2], [6], [7]。在架构级别，通过基于模型展开 [8], [9]、可训练非线性反应扩散 (TNRD) [10] 等可学习扩散框架、用于长程依赖建模的基于注意力机制 [11], [12] 以及受偏微分方程启发的网络如 PDE-Net [13] 来整合空间交互。最近，空间先验也被直接嵌入到非线性激活函数中。例如，[14] 中提出的双空间激活结合了阈值动力学 (TD)，诱导基于局部高斯核的扩散，以及非局部阈值动力学 (NTD)，诱导非局部相似权重扩散，以促进空间相干性。然而，这些基于扩散的机制主要鼓励平滑特征传播，并未在特征变换期间显式施加几何正则性，如边缘保持约束。

尽管取得了这些进展，仍存在两个关键的研究空白。首先，传统激活函数仍然主要是逐点算子。它们独立变换每个空间位置，因此在非线性特征演化期间缺乏显式的空间相干性和几何正则化。其次，现有的基于空间先验的深度学习方法通常在孤立级别引入正则化，如损失函数、网络模块或特征变换。它们没有提供统一的机制来协调激活级特征演化与输出级结构约束。因此，局部特征变换和最终预测正则性可能仍然保持断开。

为了解决这些限制，我们提出了一种统一的变分框架，通过自适应正则化将空间先验集成到非线性激活函数和最终预测中。具体而言，泄漏修正线性单元 (LReLU) 被重新表述为一种双空间变分激活模型，该模型结合了 TD、NTD 和 TV 正则化。由此产生的激活模块促进了局部空间相干性、长程结构交互和边缘保持特征变换。此外，在最终预测或重建上施加输出级全局 TV 项，以增强全局结构一致性。所有正则化系数被视为可学习参数，并通过反向传播端到端优化，使模型能够自适应地平衡数据保真度、激活级空间正则化和输出级结构约束。这种统一设计使空间先验能够一致地指导特征演化和最终预测，从而产生结构相干且自适应的表示。本研究的主要贡献有三点：

• •
  传统逐点激活函数被重新表述为双空间中的约束变分问题。通过结合 TD、NTD 和 TV 先验，开发了一种空间正则化激活框架，实现了具有改进相干性和几何一致性的空间感知特征变换。
• •
  上述原理从激活级特征变换扩展到最终网络预测，通过输出级全局 TV 正则化项。这种输出级约束强制执行全局结构一致性，并补充了特征变换期间实现的激活级正则化。
• •
  引入了可学习权重，以自适应地平衡激活级空间先验和输出级全局 TV 项，实现了特征演化和结构一致性的统一端到端优化。所提出的框架在图像分割和去噪任务上得到验证，展示了在多个架构和数据集上结构保留和整体性能的一致改进。

本文的其余部分组织如下。第 2 节简要回顾了与我们工作相关的文献。第 3 节提出了所提出的变分激活框架和输出级正则化公式。第 4 节报告了图像分割和去噪任务的实验结果和消融分析。第 5 节总结了论文并讨论了未来方向。

章节片段

相关工作

深度学习中的非线性建模发展与几个研究方向密切相关，包括激活函数设计、基于空间先验的结构建模、自适应正则化和学习 - 优化耦合。以下，我们回顾了这些方向并总结了它们的局限性，这促使了所提出的统一变分框架。

方法

本节提出了所提出的统一变分框架，该框架将空间先验集成到激活级特征变换和输出级预测或重建中。空间先验通过具有激活级 TV 正则化的双空间变分公式集成到激活中，并通过输出级 TV 正则化项进一步补充，而所有正则化系数都是自适应学习的。详细公式给出在

实验

所提出的统一变分框架在图像分割和去噪任务上进行评估，以评估其对结构保留和噪声鲁棒性的影响。实验在 UNet [55]、DeepLabV3+ [56], [57]、FFDNet [58]、VanillaNet [59] 和 ConvNeXt-Tiny-FPN [60], [61] 上进行，涵盖医疗和自然图像基准。首先介绍实验协议，然后是主要结果、消融研究、泛化分析和优化分析。

结论与未来工作

本工作提出了一种统一的变分框架，将空间先验集成到激活级特征变换和输出级预测或重建中。通过将逐点激活重新表述为双空间能量最小化问题，所提出的框架实现了具有空间感知和结构保持的非线性变换。TD/NTD 扩散引入局部或非局部空间交互，激活级 TV 正则化改善了几何正则性

CRediT 作者贡献声明

王春雪: 写作 - 原稿，方法论，资金获取，形式分析，数据整理，概念化。 张学静: 写作 - 原稿，可视化，验证，形式分析，数据整理。 王志浩: 写作 - 审查与编辑。 邓重阳: 写作 - 审查与编辑，监督。

竞争利益声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本论文中报告的工作。

致谢

本研究得到了浙江省自然科学基金 (资助号 LQN26F020042) 和杭州电子科技大学启动基金 (资助号 KYS075624218) 的支持。

王春雪 目前是中国杭州电子科技大学科学学院的讲师。她于 2016 年获得中国科学技术大学计算数学博士学位。在 2023 年加入杭州电子科技大学之前，她曾在中国敦煌研究院担任副研究员。她的研究兴趣包括数学图像处理、几何建模与处理、反问题和优化。

王春雪 | 张学静 | 王志浩 | 邓重阳

杭州电子科技大学，中国浙江省杭州市下沙高教园区第二大街 1158 号，310018