端到端训练的能量模型用于图像恢复

《Journal of Imaging》：End-to-End Trained Energy-Based Model for Image Recovery

　　# 摘要本文提出了一种新颖的端到端（E2E）经验贝叶斯框架，用于在线性逆问题中学习后验分布。所提出的框架将后验对数建模为已知前向模型导出的对数似然与从训练数据中学习的神经网络参数化对数先验之和。该方法既支持(a)使用逐次最大化最小化算法计算点估计，即所学到的对数后验的驻点，也支持(b)通过后验采样计算最小均方误差（MMSE）估计。只要满足所需的代理函数条件，点估计算法即可收敛到所学负对数后验的驻点，而无需施加压缩约束。与预先学习整个先验的扩散模型不同，直接学习后验可将训练数据需求减少约150倍，参数减少约2倍。在三种磁共振成像（MRI）采集设置中，该框架相较于PnP-ISTA，点估计PSNR提升了2–5 dB，同时与现有的端到端方法保持竞争力。在两种后验采样设置中，相较于DPS，PSNR提升了0.7–0.9 dB，相较于DAPS提升了0.6–0.7 dB，同时推理速度分别提升了3.6倍和2.9倍。此外，通过避免算法展开，所提出的框架相对于E2E-MoL和E2E-EBM方法，内存需求分别减少了约3.6倍和2.9倍。