多尺度边缘感知融合与立体交叉傅里叶变换的立体图像超分辨率重建及扩散增强

针对立体图像超分辨率（SR）中跨视角特征利用不足、结构一致性保持困难的问题，研究人员提出MEFSCFFormer模型，整合多尺度边缘感知融合块（MEFB）和立体交叉傅里叶变换模块（SCFFormer），结合扩散模型优化主观质量。实验表明，该方法在Flickr1024等数据集上实现细节精度与结构一致性的突破，为AR/VR和自动驾驶提供高保真图像支持。

　　

研究背景

在医学影像和自动驾驶等领域，低分辨率立体图像的限制日益凸显。尽管单图像超分辨率（SISR）技术已取得进展，但立体图像超分辨率（Stereo SR）面临更大挑战：需同时利用左右视图的跨视角（inter-view）信息与单视角（intra-view）特征，且需保持深度一致性和高频细节恢复。现有方法多依赖卷积神经网络（CNN），但难以捕捉长程依赖关系，导致纹理失真和视角偏差。

研究设计与方法

为解决上述问题，研究人员提出MEFSCFFormer模型，其核心包含三部分：

1. 多尺度边缘感知融合块（MEFB）：整合多尺度边缘增强移动卷积模块（MEMB）和多级分散混合池化空间注意力（MDMPSA），通过大核卷积和边缘特征融合提升局部与全局特征提取能力。
2. 立体交叉傅里叶变换模块（SCFFormer）：基于傅里叶变换自适应筛选跨视角一致的频率成分，结合Transformer的全局建模优势，优化视角间信息交互。
3. 扩散模型增强：冻结Stable Diffusion 2.1（SD2.1）的UNet权重，仅微调注意力层，利用生成先验提升主观质量。

实验在Flickr1024、KITTI2012/2015和Middlebury数据集上进行，对比×2/×4/×8超分辨率任务。

研究结果

1. 模块有效性验证：

   • MEMB通过分层卷积提取多尺度边缘特征，PSNR指标提升1.2 dB；MDMPSA的混合池化策略使纹理恢复误差降低18%。
   • SCFFormer在跨视角任务中，频率成分过滤使结构相似性（SSIM）提高0.05。

2. 扩散模型协同效应：
   扩散先验的引入使生成图像在LPIPS（感知质量指标）上优于纯CNN方案15%，且未破坏原始低频信息。

3. 综合性能对比：
   在×8超分辨率下，MEFSCFFormer的PSNR达28.7 dB，超越NAFSSR等基线模型，且参数量减少22%。

结论与意义

该研究首次将边缘感知、傅里叶频域分析与扩散模型结合，解决了立体SR中视角一致性与细节恢复的平衡难题。技术贡献包括：

• MEMB和MDMPSA的级联设计为多尺度特征融合提供新范式；
• SCFFormer开创了频域-空域联合优化的跨视角交互框架；
• 扩散模型的轻量化微调策略为生成式超分辨率提供可行路径。

论文发表于《Displays》，为AR/VR和自动驾驶的高精度立体成像奠定基础，未来可扩展至多模态医学影像增强领域。