《Electronics》：Deep Learning-Based Image Reconstruction Under Different Sampling Patterns: A Comparative Study of Direct and Unrolled Architectures
编辑推荐：
由不完整测量实现图像重建是信号与图像处理中的一个基础问题，其应用范围涵盖医学成像、计算摄影等多个领域。近年来，深度学习方法已展现出良好性能，尤其是在与物理启发式（physics-inspired）建模相结合时，例如深度展开（deep unrolling）。本文
由不完整测量实现图像重建是信号与图像处理中的一个基础问题，其应用范围涵盖医学成像、计算摄影等多个领域。近年来，深度学习方法已展现出良好性能，尤其是在与物理启发式（physics-inspired）建模相结合时，例如深度展开（deep unrolling）。本文针对不同采样模式下的图像重建，系统比较了经典插值方法、变分重建方法、直接卷积神经网络（CNN）以及展开式数据一致性卷积神经网络（DC-CNN）架构。研究选取了三类具有代表性的掩膜类型：结构化块状掩膜、非均匀掩膜和随机采样模式，采样率范围为10%至50%。实验在公开的BSDS500图像数据集上进行，采用固定的灰度预处理流程以及可复现的训练/验证/测试划分。实验结果表明，重建性能强烈依赖于采样模式。对于随机掩膜，完整展开式DC-CNN在定量和定性性能上均达到最佳，在50%采样率下取得30.98 dB的峰值信噪比（PSNR）和0.921的结构相似性指数（SSIM）。相较之下，对于结构化块状掩膜和非均匀掩膜，基于总变分（TV）的图像修复表现出最强的总体性能，这表明当采样模式包含空间上相干的缺失区域时，经典的基于模型（model-based）重建方法仍然具有很强竞争力。进一步的块尺寸敏感性分析证实，结构化掩膜重建的困难程度受缺失区域几何严重性的支配。采用带Holm校正的配对统计检验表明，在所评估配置中，主要性能差异具有统计学显著性。此外，研究还表明，采用共享权重并降低深度的轻量化展开模型，相较于完整展开式架构具有显著更低的参数量和计算开销，但在最有利的随机采样情形下其精度有所下降。这些发现为采样策略与重建性能之间关系的理解提供了实践性见解，并为高效、稳健的学习型重建系统设计提供了指导。
该论文发表于《Electronics》，围绕“不完全观测条件下的图像重建”这一经典逆问题展开，重点分析不同采样几何结构对重建方法优劣排序的影响。图像重建广泛服务于磁共振成像、压缩感知、计算摄影与遥感等任务，但在欠采样条件下，观测信息不足会导致问题本质上是病态的（ill-posed）。既有研究已分别证明压缩感知、变分正则化、即插即用先验（plug-and-play priors）、直接卷积神经网络（CNN）和深度展开（deep unrolling）在不同场景中的有效性，但多数工作仅在有限采样模式下进行评估，特别偏向随机采样或特定应用中的掩膜设计，因而较少系统隔离“采样结构”这一变量本身。研究人员因此选择简化但可控的图像域二值掩膜算子，而非多线圈磁共振成像（MRI）、计算机断层成像（CT）或非笛卡尔采集等复杂前向模型，以在统一数据集、统一评测协议和统一任务设定下，比较经典插值、总变分（TV）修复、直接CNN与展开式数据一致性网络的表现差异。
论文的核心问题在于：采样掩膜的结构究竟如何影响不同重建范式的相对性能；数据一致性（data consistency）约束在何种采样条件下能相较直接端到端CNN带来可测量的收益；轻量化共享权重展开模型能否在重建质量、参数规模与推理时间之间实现更优折中；连续缺失区域的几何尺度又如何改变任务难度。围绕这些问题，研究人员构建了一个系统比较框架，考察零填充、最近邻插值、高斯扩散、TV修复、直接CNN、两阶段共享权重展开模型以及四阶段独立参数展开模型在三类掩膜上的表现，即块状掩膜、非均匀掩膜和随机掩膜，并进一步增加块尺寸敏感性实验。
方法上，研究基于公开BSDS500自然图像数据集，全部图像转为灰度并统一缩放至256 × 256，按固定随机种子划分为350张训练集、50张验证集和100张测试集。实验构建三类主掩膜族与四种采样率（10%、20%、30%、50%），并附加边长为32、64、96、128像素的方形缺失块敏感性分析。学习模型以观测图像与二值掩膜作为双通道输入，采用均方误差（MSE）损失训练；直接CNN为5层卷积网络，展开式DC-CNN在每一阶段交替执行CNN先验估计与硬性数据一致性替换。训练采用Adam优化器、学习率0.001、批量大小8；直接CNN与四阶段展开模型训练20个epoch，两阶段共享权重模型训练10个epoch。全部实验在CPU环境中完成，并对PSNR、SSIM、运行时间、置信区间及Holm校正后的配对统计检验进行统一报告。
3.1. Problem Formulation
研究将图像重建表述为一个由二值采样掩膜控制的逐元素采样逆问题。观测图像由原图像与采样掩膜逐元素相乘得到，实验中不额外加入噪声，即令噪声项为0，以便单独考察采样模式本身的影响。研究进一步给出带正则项的逆问题优化形式，强调虽然所用前向模型经过简化，但足以保留缺失数据重建的关键特征，因此其结论严格限定在图像域掩膜场景内，而不直接外推至更复杂采集系统。
3.2. Baseline and Variational Reconstruction Methods
研究首先设定四类非学习型方法作为基线。零填充直接以0补齐缺失像素，计算代价最低，但伪影严重；最近邻插值以最近观测像素赋值，易产生分段常数伪影；高斯扩散通过卷积核传播邻域信息，具有平滑作用但会模糊细节；TV修复则通过在观测区域保持数据保真，同时以总变分正则约束空间平滑性，实现更强的经典变分重建。结果表明，TV修复在结构化缺失条件下构成了非常强的比较基准，显著改变了仅由简单插值基线得到的结论。
3.3. Direct CNN Reconstruction
直接CNN将观测图像与采样掩膜拼接后输入网络，学习从欠采样输入到完整图像的端到端映射。显式输入掩膜有助于网络区分真实零值像素与未观测位置。该网络采用5层卷积结构，隐藏层后接ReLU激活，输出层为sigmoid，参数量为112,577。研究指出，这一方法虽能学习有效图像先验，但缺少显式观测一致性约束，因此在采样模式变化或结构化缺失条件下可能鲁棒性受限。
3.4. Unrolled Data-Consistency CNN
展开式DC-CNN借鉴迭代优化思想，在每一阶段先由CNN先验模块生成中间估计，再通过硬性数据一致性步骤将观测像素精确替换回去。这样，网络主要负责推断缺失像素，而观测位置始终与输入一致。研究将其视为在简化图像域场景中对“学习先验+物理一致性”协同机制的检验。结果显示，在随机采样掩膜下，这一设计优于直接CNN，说明显式数据一致性在信息分布较为离散、符合压缩感知非相干性条件时具有明显优势。
3.5. Model Variants
研究比较了两种展开式模型。其一为完整四阶段展开模型，阶段间参数独立，具有更高表达能力，参数量450,308；其二为两阶段共享权重轻量模型，通道数减少为32，参数量仅28,641，显著降低了存储与计算成本。实验表明，完整模型在随机采样下取得最佳精度，而轻量模型虽性能略逊，但在参数量和推理耗时方面更具优势，体现出精度—复杂度折中关系。
3.6. Sampling Patterns
论文的关键自变量是采样掩膜结构。块状掩膜模拟大面积连续缺失区域，是最困难的设定；非均匀掩膜介于随机采样与连续缺失之间，保留部分空间结构；随机掩膜则独立采样像素，最符合压缩感知中的非相干采样假设。研究进一步通过方形缺失块边长变化的敏感性分析证明，连续缺失区域的几何严重性是决定重建难度的重要因素。
3.7. Training Objective
所有学习模型均采用均方误差损失训练，该目标与峰值信噪比（PSNR）直接相关，适合作为重建任务的标准优化目标。
3.8. Evaluation Metrics
评价指标包括PSNR与结构相似性指数（SSIM），分别反映重建保真度与感知结构一致性。研究不仅报告均值，还统计标准差、标准误和95%置信区间，并采用Holm校正的配对检验验证最优方法与其余方法之间差异的显著性，从而提升比较结论的统计严谨性。
4. Experimental Setup
在实验设计上，研究严格控制数据预处理、掩膜生成、训练策略与评估流程的一致性。全部方法均在相同100张测试图像和相同掩膜实例上比较，总计形成11,200个逐图像测量记录。学习模型的跨掩膜泛化也被特别考察：直接CNN和四阶段展开模型主要在随机掩膜上训练，却在随机、非均匀和块状掩膜上统一测试；两阶段共享权重模型则在混合掩膜训练后接受相同测试。这一安排使论文能够直接观察采样分布偏移下模型鲁棒性的变化。
5.1. Quantitative Results
定量结果显示，重建性能显著依赖采样模式。对于随机掩膜，四阶段展开式DC-CNN持续取得最优结果，在50%采样率下达到30.98 ± 3.53 dB和0.921 ± 0.033，说明在观测信息分散分布时，学习先验与数据一致性联合机制最有效。相反，在块状与非均匀掩膜下，TV修复整体表现最佳。例如在block_r30条件下，TV修复达到17.35 ± 3.27 dB和0.558 ± 0.120；在nonuniform_r30条件下达到18.05 ± 3.18 dB和0.576 ± 0.113，均超过直接CNN和展开模型。Holm校正后的Wilcoxon配对检验显示，最佳方法与其余方法差异均具统计学显著性。块尺寸敏感性分析进一步表明，随着缺失块缩小，所有方法性能均明显上升，如TV修复从blocksize_s128的22.32 ± 3.42 dB提升至blocksize_s32的39.75 ± 8.31 dB，证明原始块状掩膜的困难主要由连续缺失区域几何尺度所致。
5.2. Qualitative Results
定性结果与定量结论一致。随机采样下，四阶段展开模型更好保留动物纹理与局部结构；非均匀采样下，TV修复与学习模型优于简单基线，但仍会出现空间相干伪影；块状掩膜下，所有方法都难以恢复中央连续缺失区。最近邻插值虽边界锐利，却形成明显人工几何伪影；CNN及展开模型在缺失区内部倾向生成平滑但细节不足的估计；TV修复给出最佳数值结果，但仍不能恢复观测中完全缺失的语义内容。额外示例表明，这些现象并非个别图像特例，而是跨图像内容稳定存在的规律。
5.3. Discussion of the Results
讨论部分指出，若只与简单插值基线比较，展开模型似乎普遍占优；但在纳入TV修复后，结论变得更具条件性。随机掩膜符合压缩感知与深度展开的基本假设，因此四阶段展开模型优于直接CNN，证明数据一致性约束确有实际收益。块状和非均匀掩膜则削弱了深度学习的优势，尤其是大面积连续缺失时，问题高度欠定，模型在缺失区域几乎没有局部信息可供推断，性能下降不仅是具体架构的局限，更是采样结构本身造成的。研究还指出明显的跨掩膜泛化不足：主要在随机掩膜上训练的模型迁移到结构化缺失时性能明显下降。与此同时，TV修复在结构化掩膜下的优异表现说明，经典基于模型的先验仍具有重要价值，尽管其运行代价更高，也无法真正恢复完全缺失的语义细节。两类展开模型的比较则强调了精度、参数量与运行时间之间的现实折中。
研究结论部分可概括翻译如下：本文系统比较了不同采样模式下，不完整测量图像重建中的经典插值方法、TV修复、直接CNN和展开式数据一致性CNN。结果表明，重建效果强烈依赖采样策略：在非相干随机采样下，尤其是四阶段展开式DC-CNN表现最佳，说明显式数据一致性对分散观测信息场景尤为重要；而在块状和非均匀等结构化缺失模式下，TV修复取得最强的总体定量表现，说明经典基于模型的方法在空间相干缺失区域中仍具竞争力。对于大面积连续缺失，所有方法能力都有限，块尺寸分析进一步证明，重建困难主要由缺失区域的几何严重性决定。与此同时，轻量化共享权重展开模型虽然在最有利随机采样条件下精度略低，但可显著减少参数量与计算成本。总体而言，不存在在所有采样条件下都绝对优越的单一方法；重建方法的有效性取决于模型设计与采样结构之间的相互作用，这为受控缺失数据图像重建中的方法选择提供了实践指导。
