基于状态空间模型的衍射快照光谱成像长程依赖关系建模与重建方法研究

【字体: 时间:2025年07月28日 来源:Optical Materials: X CS4.2

编辑推荐:

  为解决传统光谱成像系统实时性差、光学结构复杂的问题,研究人员针对衍射快照光谱成像(DSSI)系统开展解码算法研究,提出融合局部增强分支的状态空间模型(SSM),构建长程依赖块(LLDB)并设计数据筛选策略,在仿真与真实数据中均实现SOTA重建性能,为移动平台光谱成像提供轻量化解决方案。

  

在农业监测、环境遥感等领域,高光谱成像(HSI)技术因其独特的光谱"指纹"识别能力备受青睐。然而传统光谱成像系统依赖机械扫描装置,不仅体积笨重,更难以捕捉动态场景的瞬时光谱信息。尽管基于压缩感知的编码孔径快照光谱成像(CASSI)系统通过编码-解码机制实现了单次曝光,但其光学中继结构和编码掩膜导致光通量损失,且系统长度难以压缩。这一矛盾在无人机、可穿戴设备等空间受限的应用场景中尤为突出。

2019年Jeon团队提出的衍射快照光谱成像(DSSI)系统带来转机——仅用衍射光学元件(DOE)即可实现光谱编码,系统长度缩短60%且保持全光通量。但这项革新性硬件却遭遇了算法瓶颈:现有重建模型多针对CASSI或RGB-to-HSI任务设计,无法有效处理DSSI特有的"纹理稀疏区域光谱信息丢失"问题。这些区域的光谱重建必须依赖远端纹理丰富区的信息传递,这对算法的长程依赖建模能力提出极高要求。

针对这一挑战,浙江大学光电科学与工程学院的研究人员开展了系统性研究。他们发现现有卷积神经网络(CNN)和窗口多头自注意力(WMSA)在长程建模上存在明显缺陷:CNN感受野有限,而WMSA的计算复杂度随距离呈平方级增长。研究团队创新性地引入状态空间模型(SSM),其线性复杂度特性可高效建模全局依赖关系。通过为视觉SSM模块添加局部增强分支,构建出局部增强长程依赖块(LLDB),在保持计算效率的同时提升局部细节重建能力。此外提出的数据选择策略可自动过滤训练集中32%的低信息量样本,使模型收敛速度提升1.8倍。该成果发表于《Optical Materials: X》,在CAVE和Harvard数据集上分别实现0.92和0.89的峰值信噪比(PSNR),较次优方法提升2.3dB。

关键技术包括:1) 建立DSSI光学调制数学模型,量化PSFc[x,y,i]与相机响应函数(CRF)Ωc的耦合关系;2) 设计双分支LLDB模块,全局分支采用SSM建模长程依赖,局部分支使用3×3深度可分离卷积增强细节;3) 基于谱密度分析的数据选择策略,剔除纹理方差低于阈值的训练样本。

【编码机制特性】
通过解析DSSI的物理模型Jc[x,y]=∑I[x,y,i]?Pc[x,y,i]+η,发现系统PSF具有波长依赖性,且在RGB通道呈现差异化调制。实验显示纹理稀疏区信噪比(SNR)较丰富区低15.7dB,验证长程建模的必要性。

【解码方法创新】
对比实验表明,纯SSM模型在纹理稀疏区的光谱角制图(SAM)误差比CNN低19.2°,但局部细节重建质量下降。LLDB通过特征拼接策略平衡两者优势,在512×512图像上仅需3.2G显存,推理速度达17fps。

【仿真验证】
在模拟DSSI数据测试中,LLDB对金属、塑料等材质的光谱反射率重建误差<0.03,显著优于MPRNet和UFormer。消融实验证实数据选择策略使训练稳定性提升40%。

【实际应用】
搭载于无人机平台的原型系统测试显示,该方法在植被覆盖度检测中实现94.2%分类准确率,功耗仅2.3W,验证其在移动场景的适用性。

该研究突破性地解决了DSSI系统算法适配性问题,其SSM-based框架为计算光学领域的长程建模提供新范式。特别值得注意的是,研究者对光学编码机制与算法设计的耦合关系进行了深度解构,这种"物理模型指导神经网络设计"的研究思路,对计算成像领域的跨学科创新具有重要启示意义。随着微型光谱传感器在智能手机、AR设备中的普及,这项技术有望开启全民化光谱检测的新纪元。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号