基于间隔测量与全恢复网络的视频压缩感知高效重构技术

为解决视频压缩感知(VCS)中时空冗余利用不足的问题，西安电子科技大学团队提出IMFR-Net框架，通过间隔采样策略和分层运动建模实现48fps/256×2分辨率视频的高效重建，PSNR/SSIM指标显著提升，为实时视频处理提供新范式。

　　

在数字视频爆炸式增长的时代，如何高效压缩海量视频数据成为亟待解决的难题。传统视频压缩感知(Video Compressive Sensing, VCS)技术虽能通过少量测量值重构视频，但普遍采用逐帧采样策略，导致时空冗余利用不充分，重建质量与效率难以兼顾。尤其面对动态场景中复杂的运动变化，现有方法在保持高帧率(如48fps)和高分辨率(256×256像素)时往往捉襟见肘。

针对这一瓶颈，西安电子科技大学智能感知团队在《Neurocomputing》发表创新研究，提出名为IMFR-Net的间隔测量与全恢复网络。该研究突破性地采用"间隔采样+分层运动补偿"双轮驱动策略：测量阶段仅对关键帧进行高密度采样，非关键帧则通过运动估计与帧插值技术合成；重建阶段引入多级光学流估计器和金字塔特征提取器，有效解决快速运动导致的模糊问题。实验表明，该方法在Vid4等基准数据集上PSNR提升2.1dB，SSIM提高0.03，同时将重建速度提升至实时水平。

关键技术包括：1) 间隔传感策略(Interval Sensing Strategy)，将测量资源集中分配至关键帧；2) 单帧压缩感知子网络(SFCS)，采用深度卷积网络重构关键帧；3) 帧合成子网络(FS)，通过金字塔特征提取器(Pyramid Feature Extractor)、多级光学流估计器(Optical Flow Estimator)和帧合成器(Frame Synthesizer)实现非关键帧预测；4) 混合损失函数，联合优化重建质量与运动估计精度。

【研究结果】

1. 间隔传感策略验证
   对比实验显示，当采样间隔T=5时，仅需测量20%的帧即可保持90%以上的重建质量，显著降低硬件采样负担。

2. 多级机制有效性
   在SPMCS数据集上，采用三级运动补偿的模型对快速运动场景的PSNR提升达1.8dB，证明分层处理能有效捕捉不同速度的运动特征。

3. 跨数据集泛化性
   在六个灰度基准测试中，IMFR-Net平均SSIM达0.92，优于传统UNIFORM策略(0.89)和NON-UNIFORM策略(0.91)，表明其对不同场景的强适应性。

4. 实时性突破
   在NVIDIA V100显卡上，256×256分辨率视频重建速度达48fps，满足实时处理需求，较传统方法提速3倍。

【结论与意义】
该研究开创性地将间隔采样与运动补偿相结合，首次实现视频压缩感知领域"稀疏采样-全帧恢复"的技术闭环。其创新点体现在：1) 通过时空相关性解耦，将采样效率提升80%；2) 多级运动建模机制为复杂动态场景重建提供新思路；3) 开源框架推动VCS技术向实时化、实用化迈进。未来可拓展至医学动态影像压缩、卫星视频传输等领域，为高带宽需求场景提供轻量化解决方案。研究获得国家自然科学基金(62302373等)和中央高校基金(ZYTS24092)支持。