通过轨迹与测量约束扩散框架实现极度欠采样傅里叶单像素成像
《Optics & Laser Technology》:Extremely undersampled fourier single-pixel imaging via trajectory- and measurement constrained diffusion framework
【字体:
大
中
小
】
时间:2026年10月23日
来源:Optics & Laser Technology 4.6
编辑推荐:
# 摘要
极度欠采样的傅里叶单像素成像(FSPI)由于仅能获取有限数量的低频傅里叶系数,会遭受严重的结构细节丢失和重建保真度下降问题。为解决这一挑战,我们提出了一种在轨迹约束和测量约束下的扩散重建框架,用于极度欠采样的FSPI。通过对所获取低频系数的逆傅里叶重建提供依赖于观
# 摘要
极度欠采样的傅里叶单像素成像(FSPI)由于仅能获取有限数量的低频傅里叶系数,会遭受严重的结构细节丢失和重建保真度下降问题。为解决这一挑战,我们提出了一种在轨迹约束和测量约束下的扩散重建框架,用于极度欠采样的FSPI。通过对所获取低频系数的逆傅里叶重建提供依赖于观测的均值,继承自图像修复随机微分方程(IR-SDE)框架的最大似然轨迹目标稳定了逆向恢复路径,而渐进式的傅里叶域测量一致性则反复将重建锚定于所获取的频谱。在动物和硬币数据集上的实验表明,在1%、3%和5%的采样率下,所提方法相较于传统FSPI、U-Net、IR-SDE和NCSN++取得了更高的平均峰值信噪比(PSNR)和结构相似性指数(SSIM)。在模拟硬币数据集上,在1%采样率下较IR-SDE取得了1.97 dB的PSNR提升。与1500步的预测器-校正器NCSN++基线相比,100步的所提方法在相同硬件设置下,将每幅128×128像素图像的平均重建时间从29.56秒缩短至1.09秒,在重建质量与计算时间之间取得了有利的平衡,使其特别适用于准实时FSPI应用;高帧率实时成像仍需进一步加速。
## 引言
傅里叶单像素成像(FSPI)[1]、[2]、[3]通过用傅里叶基图案[4]、[5]、[6]照明目标场景,利用单像素光电探测器收集反射光强,从测量值计算相应的傅里叶频谱,最终通过逆傅里叶变换恢复图像。得益于其灵活的采集机制,单像素成像已被广泛应用于太赫兹成像[7]、[8]、[9]、光谱成像[10]、[11]、[12]、[13]、偏振成像[14]、[15]、[16]、三维成像[17]、[18]、[19]以及散射介质中的成像[20]。然而,高质量的FSPI重建通常需要获取大量傅里叶系数,由此带来的测量负担和成像时间的增加严重限制了其实际适用性[21]、[22]、[23]、[24]。
为缓解这一限制,已探索了各种策略。近期的采样策略研究包括基于深度强化学习(DQN)的、由重建改进驱动的路径选择[25],S2O-FSPI中傅里叶掩模与重建网络的联合优化[26],以及针对二进制抖动误差的物理信息卷积核补偿[27]。基于自然图像的频谱稀疏性,Zhang等人[2]指出大多数图像能量集中在低频区域;据此,可以直接利用低频傅里叶系数通过逆傅里叶变换重建粗图像。然而,该策略以降低图像分辨率为代价减少了获取数据量,且在低采样率下重建结果倾向于严重模糊。利用自然图像傅里叶频谱的共轭对称性,Bian等人[21]证明仅使用半幅傅里叶频谱即可实现图像重建,其余系数可从其共轭对应物推断得出。尽管该方法减少了所需测量量,但实现高分辨率重建仍需要相当数量的数据。基于频谱能量变化的连续性,Yao等人[22]从已获取的低频分量预测缺失的高频信息,从而在低采样条件下提升图像质量并抑制噪声。
此外,压缩感知技术的引入为低采样率FSPI重建提供了新的可能性。Meng等人[28]将可变密度随机傅里叶采样与压缩感知恢复相结合,将测量集中在低频区域同时保留选定的高频系数,以减少混叠并保留图像细节。然而,该方法需要多次迭代优化,因而计算成本较高。Xiao等人[29]提出了一种新的FSPI框架,从有限数量的已获取低频分量估计未测量的高频系数,从而减少所需测量次数。但其迭代推理过程严重依赖合适的初始猜测,使得在实际系统中难以保证稳定性能。Zhao等人[30]通过模拟和物理实验系统地比较了用于单像素成像(SPI)的代表性压缩感知测量矩阵和重建算法。Rizvi等人[31]采用具有三步傅里叶采样的深度卷积自编码器,在1%–4%的采样率下抑制混叠和探测器噪声并恢复图像细节。针对低采样率重建中的混叠伪影问题,Deng等人[23]用两步相移策略替代传统的多步相移,从而减少了照明图案数量,并利用基本照明图案抑制环境光干扰,提高了成像效率和图像质量。Peng等人[24]进一步提出了一种有效的伪影去除算法,以抑制单像素成像中的混叠伪影。
近年来,深度学习进一步拓展了低采样率FSPI重建的研究格局。Rizvi等人[32]提出了一种具有对称编码器-解码器架构和跳跃连接的深度卷积自编码器网络(DCAN),以加速收敛并提高重建质量。然而,该方法需要大量训练数据且对噪声敏感。Huang等人[33]开发了AuSamNet,将采样掩模纳入可学习参数,联合优化采样模式和神经网络重建网络,以实现自然彩色图像的高质量重建。Lei等人[34]提出了AO-Net,通过自动化迭代优化有效抑制低采样率下的严重噪声和伪影。尽管该方法可以在无需预训练或大规模数据集的情况下生成高质量图像,但对复杂图像实现可靠重建仍具挑战性。Jiang等人[35]在生成对抗框架中将U-Net与通道级和空间注意力机制相结合,从低采样率FSPI输入中恢复更高分辨率的结构。与此同时,生成模型在图像修复、超分辨率和去噪领域取得了显著成功[36]、[37]、[38]、[39]、[40],这进一步促进了其在快速采样图像重建中的应用。Hu等人[41]构建了一个基于带梯度惩罚的Wasserstein生成对抗网络(WGAN)的快速重建框架,能够在低采样率下恢复高频细节,同时保持强噪声鲁棒性和计算效率。然而,该方法仍严重依赖训练数据且局限于特定的退化模型。Liu等人[42]提出了WaveDM-FSPI,结合了初步频谱恢复、小波分解、近似系数的条件扩散以及专用的高频子带修复,用于低采样率FSPI重建。
近期,扩散模型在FSPI重建中显示出强大潜力,尤其在极度欠采样条件下。然而,在此条件下的FSPI重建仍面临三个主要挑战。首先,传统的基于分数的扩散框架[43]通常需要较长的逆向采样轨迹,使恢复过程效率低下且容易产生误差累积。其次,尽管测量的低频傅里叶频谱提供了重要的物理先验,但其与生成式修复过程的相互作用尚未得到充分利用,这可能导致重建结果偏离实际测量值。第三,现有方法主要优化单步噪声预测,而缺乏对全局恢复轨迹的显式约束,从而限制了在严重欠采样条件下的重建稳定性。此外,尽管[44]中的基于扩散的FSPI方法通过将测量的低频信息纳入迭代生成过程来提高重建质量,但其并未显式正则化全局逆向修复轨迹。同时,IR-SDE[45]提供了一种面向修复的均值回归表述,但其是为通用图像修复开发的,并未纳入从物理获取的FSPI观测中的傅里叶域测量一致性。
为克服这些局限性,我们利用所测量低频系数的逆傅里叶重建作为依赖于观测的均值,将IR-SDE修复框架适配到极度欠采样的FSPI中。保留从IR-SDE继承的最大似然轨迹目标以正则化全局逆向恢复路径。同时,在逆向过程中引入傅里叶域测量一致性策略,通过投影和替换逐步注入测量的低频傅里叶频谱,确保每个中间重建都与获取的数据保持一致。通过这种联合设计,所提框架不仅稳定了逆向扩散轨迹,还将重建锚定于物理测量,从而在极端欠采样条件下实现了高频细节和结构保真度的恢复改进。我们的结果进一步表明,在解决高度病态的FSPI重建问题时,测量一致性与基于扩散的修复先验起的是互补作用而非竞争作用。
- 我们为极度欠采样的FSPI提出了一种在轨迹约束和测量约束下的扩散重建框架,该框架将图像恢复明确地表述为由低质量欠采样观测引导的修复过程。
- 我们开发了一种渐进式傅里叶域测量一致性策略,将测量的低频傅里叶频谱纳入逆向迭代过程,实现多阶段物理校准和测量一致的重建。
- 我们通过模拟和真实系统实验验证了结合依赖于观测的均值引导与傅里叶域测量一致性的任务适配组合。
## FSPI原理
FSPI是一种基于二维傅里叶变换的计算成像模式。其理论基础是二维图像可以分解为一组具有不同空间频率和初始相位的傅里叶基图案[46]。在FSPI系统中,数字微镜装置(DMD)将计算机生成的傅里叶基图案投射到目标场景上,反射光强由单像素探测器收集。对应的图案强度……
## 仿真结果
如图2(a)所示,在5%、3%和1%的采样率下,传统FSPI表现出严重的细节丢失和模糊伪影,在1%采样率下几乎无法恢复目标轮廓。相比之下,所提方法能更有效地保持纹理结构和边缘细节,关键特征如猫的耳朵轮廓和身体纹理仍清晰可辨(更多定量重建比较的详情可参考……)
## 结论
本工作将IR-SDE修复框架应用于极度欠采样的FSPI,保留了从IR-SDE继承的最大似然逆向轨迹表述,并采用依赖于观测的低频均值以及渐进式傅里叶域测量一致性进行FSPI任务适配。通过这种协同设计,在统一框架下改善了重建稳定性、测量一致性和高频细节恢复能力。实验结果表明……
## CRediT作者贡献声明
王诗慧:撰写—初稿、可视化、软件、方法学、形式化分析、概念化。浦泽毅:撰写—初稿、可视化、软件、方法学、形式化分析、概念化。周高胜:撰写—初稿、软件、方法学、概念化。刘昊:验证、方法学、概念化。连腾:可视化、形式化分析、概念化。刘起根:撰写—审阅与编辑、监督、资源、资金支持
## 利益冲突声明
作者声明不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。
## 致谢
作者感谢国家自然科学基金(62265011,U24A20304,12604662)、江西省自然科学基金(20262BAC240469,20243BCE51138,20253BAC260002,20224BAB212006,20232BAB202038)、江西省03专项和5G项目(20232ABC03A24)的资助。
王诗慧 | 浦泽毅 | 周高胜 | 刘昊 | 连腾 | 刘起根 | 宋宪林
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号