基于拟可逆正则化的逆热扩散模型变分推断与误差估计

《Mathematics》：Variational Inference and Error Estimation for Inverse Heat Dissipation Models with Quasi-Reversibility Regularization

　　

尽管逆热扩散模型（Inverse Heat Dissipation Model, IHDM）在图像生成中已取得成功，但其本质上是不适定的。为解决这一问题，研究人员引入拟可逆正则化（quasi-reversibility regularization）技术，并提出一种拟可逆正则化逆热扩散模型。研究人员推导了该模型目标函数的变分形式，并在相关函数空间中建立了带噪声观测所得正则化解与精确解之间误差的上界。这些发现为改进逆热扩散模型提供了理论基础。实验结果表明，与原始逆热扩散模型相比，新模型在MNIST数据集上的弗雷歇 inception 距离（Fréchet Inception Distance, FID）降低了34.6%。

一、研究背景与问题

扩散模型已成为生成建模领域最活跃的方向之一，在图像处理方面取得了显著进展。受非平衡热力学启发，Sohl-Dickstein等人于2015年首次提出扩散模型，描述了数据逐步被噪声破坏再通过逆向去噪过程恢复的机制。2020年，Ho等人提出去噪扩散概率模型（Denoising Diffusion Probabilistic Model, DDPM），通过简化训练目标使模型训练更加稳定。此后，研究人员引入类别标签、文本描述等条件变量，发展出分类器引导与无分类器引导的条件扩散模型。Stable Diffusion模型则将图像压缩至潜空间处理后再重建，大幅降低了计算负担。

然而，上述扩散模型均以随机高斯噪声初始化，并在逆向路径中持续注入随机扰动，导致相同初始条件产生不同输出。这种生成多样性虽有利于数据增强与艺术创作，却对需要恢复唯一真实图像的逆成像问题（如医学图像修复）构成挑战。

为缓解上述局限，Rissanen等人提出逆热扩散模型（IHDM）。与传统扩散模型通过随机噪声破坏结构不同，IHDM模拟热扩散使图像模糊，再依据物理规律恢复图像，从而更好地保持局部结构一致性并保留更多细节。但IHDM的逆向去噪过程严重不适定：数学上，输入数据中的微小误差或噪声在逆向过程中会被指数级放大，最终损害生成图像质量。

正则化是解决不适定问题的主要途径，经典方法包括拟可逆正则化、吉洪诺夫（Tikhonov）正则化和谱截断等。本文应用拟可逆正则化方法系统性地重构IHDM，将不适定的逆去噪方程转化为适定方程，从源头抑制高频噪声放大。

二、研究内容与结论

研究人员将拟可逆正则化模块集成到IHDM中，形成新模型以缓解原始IHDM的不适定性；利用变分推断推导了所提模型的训练目标函数；并在相关函数空间中建立了带噪声观测所得正则化解与精确解之间误差的上界。实验表明，与原始IHDM相比，新模型在MNIST数据集上的FID分数平均降低34.57%，且FID分数保持稳定，表明该方法显著提升了模型稳定性。

三、关键技术与方法

研究人员采用以下主要技术方法：其一，拟可逆正则化技术，在原始热方程中引入依赖于混合时空导数的正则化项，将不适定逆问题转化为适定问题；其二，变分推断方法，通过最大化边际似然的变分下界来优化神经网络参数，将目标函数分解为先验匹配损失、逆向演化转移损失和最终重建损失三部分；其三，分离变量法（method of separation of variables）推导误差上界，区别于已有研究使用傅里叶变换的做法；其四，离散余弦变换（Discrete Cosine Transform, DCT）实现频域中的线性演化算子；其五，在MNIST数据集（含70,000张28×28像素灰度手写数字图像，其中60,000张用于训练，10,000张用于测试）上进行实验验证，以经典U-Net神经网络架构为骨干，训练50,000次迭代。

四、研究结果

2.1 原始IHDM

原始IHDM的前向过程为受诺伊曼（Neumann）边界条件控制的热方程，称为“信息融化”。通过求解负拉普拉斯算子在本征函数下的本征值，可获得频域解析解。逆向恢复表达式揭示了IHDM逆向去噪过程的“灾难性”后果：因子放大噪声，微观尺度的扰动经逆向热方程演化后，在极短时间内被放大为宏观的无意义剧烈振荡，完全淹没真实图像信号。

2.2 拟可逆正则化逆热扩散方程

研究人员将依赖于混合时空导数的拟可逆正则化项引入热方程，构造改进的前向扩散方程。当正则化参数足够小时，正则化方程的解逼近原方程的解。该高阶项在正向扩散过程中充当额外阻尼机制，改变原方程的能量耗散速率；在逆向生成过程中，该高阶项有效修正极高频率区域的色散关系，抑制由不适定性引起的高频振荡。

频域阻尼函数的渐近行为分析表明：在低频区域，正则化热方程的扩散行为与标准热方程几乎一致，保留了生成模型所需的多尺度信息擦除与融合能力；在高频区域，随着频率趋于无穷，洛必达法则给出阻尼函数趋于有限常数，将高频误差放大因子限制在有限范围内，解决了逆热方程不适定性导致的发散问题。

2.3 拟可逆正则化逆热扩散模型框架设计

前向模糊过程将偏微分方程重写为作用于初始图像的离散算子，通过离散余弦变换实现，等效于在频域对图像施加有效衰减函数。时间区间被离散为K个时间步，对应一系列潜变量，并在确定性演化结果上叠加各向同性高斯观测噪声，构成非马尔可夫联合分布。

逆向生成过程从最终状态的先验分布出发，构成马尔可夫链，逐步生成潜变量并最终恢复清晰图像。通过前向与逆向框架设计，原始严重不适定的逆热传导偏微分方程被转化为由拟可逆算子控制、神经网络参数化拟合的概率生成马尔可夫链。

1. 3.
   目标函数的变分推断

采用变分推断技术，通过最大化边际似然的变分下界优化网络参数。目标函数可分解为三个独立部分：先验匹配损失不含可优化参数，无需纳入梯度优化；逆向演化转移损失是变分目标函数中最关键的部分，衡量网络预测的逆向单步状态分布与其对应前向分布的匹配程度，经KL散度公式展开后，梯度优化任务集中于均方误差项；最终重建损失刻画模型从轻微模糊状态完全恢复清晰原始图像的能力。

1. 4.
   误差估计

研究人员在Hilbert空间中建立误差估计。假设测量误差在L²范数下有界，定理1给出拟可逆正则化解与精确解之间的误差上界。证明过程将总误差分解为数据传播误差与结构固有偏差两部分。数据传播误差衡量相同正则化演化算子下初始噪声引起的解偏差；结构固有偏差衡量理想无噪声数据下正则化偏微分方程解析解与标准热方程解析解之间的偏差。通过分离变量法在频域展开，并求解函数的最大值点，最终获得整体误差估计。估计结果中第一项由噪声水平ε的常数倍界定，第二项在t→0时趋于无穷，表明在逆向问题中仍需额外信息改进结果。

1. 5.
   实验结果

在MNIST数据集上，采用与原始IHDM相同的超参数设置，使用Adam优化器、梯度范数裁剪和线性学习率预热。生成时拟逆正则化参数取特定值，总演化步数K=100。以原始IHDM为基线，在相同计算环境、数据集划分和U-Net架构下训练50,000次迭代。以五个独立随机种子评估FID分数，所提方法的平均FID分数较基线降低34.57%，且分数保持稳定。参数α的鲁棒性研究表明，只要α不过于接近零，模型对α的选择相当鲁棒，最优值约为α=1。

五、结论与讨论

本文提出一种拟可逆正则化逆热扩散模型用于图像生成，将确定性偏微分方程演化与概率生成建模相衔接。理论上证明了正则化方程产生适定的逆解，推导了变分目标函数并建立了严格的误差界，为动态噪声调度策略的设计提供指导。

未来研究方向包括：将正则化参数和噪声下限作为端到端训练框架中的可学习变量，使模型根据输入数据的频谱特性自适应校准扩散动力学；将所提框架扩展到更高分辨率图像生成和视频生成任务。