双相机CASSI光谱成像系统中CrossModal-HierAtt网络的验证与鲁棒性评估

《Optics & Laser Technology》：Validation and robustness evaluation of CrossModal-HierAtt network for a dual-camera CASSI spectral imaging system

编码孔径快照光谱成像（CASSI）能够在单次曝光下实现压缩光谱测量，然而现有的大多数高光谱重建方法主要基于理想模拟测量进行验证，其在跨模态配准误差、光学退化以及样机条件下的性能仍缺乏充分研究。本文提出CrossModal-HierAtt（跨模态分层注意力），一种用于RGB辅助双相机CASSI样机的对齐感知特征级跨模态重建框架。该框架首先利用基于窗口的编码器提取模态特定特征，随后采用所提出的分层窗口对齐模块（HWAM）实现几何感知的由粗到细跨模态对齐与自适应融合。此外，建立了一条物理一致的观测生成流水线，以同时支持基准评估和面向样机的重建。在基准数据集上，CrossModal-HierAtt实现了45.52 dB的PSNR、0.9860的SSIM和6.13°的SAM，仅需0.842 M参数且推理速度为6.52 FPS。进一步在模拟水致光谱衰减、光照变化、跨模态错位和测量噪声条件下评估了鲁棒性。受控退化实验表明，CrossModal-HierAtt在中等扰动下保持稳定的重建性能。此外，利用双相机CASSI光谱成像系统采集的RGB图像和编码测量进行了样机实验。与商用光谱仪测得的参考光谱进行对比评估，在选定感兴趣区域上平均SAM为17.18°，RMSE为0.1571，PCC为0.9430，RSE为0.1142，表明CrossModal-HierAtt能够重建具有空间相干结构和可区分相对反射率光谱的高光谱数据立方体，验证了特征级RGB辅助重建在实际双相机CASSI成像系统中的可行性。引言快照高光谱成像能够在单次曝光下获取场景的空间-光谱信息。与传统的逐点或逐行扫描高光谱成像方法相比，它具有采集速度快、适合动态场景观测以及系统紧凑性高的优点。编码孔径快照光谱成像（CASSI）系统通过编码孔径调制和色散元件将三维高光谱数据压缩为二维图像，为快照光谱采集提供了一种紧凑方案[1]，[2]，[3]。然而，CASSI测量过程本质上是一个高度欠定的压缩采样过程。因此，从二维测量中重建三维数据立方体是一个严重病态的逆问题。近年来，深度学习方法显著提升了CASSI高光谱图像重建的质量。代表性方法包括基于迭代展开的重建网络、卷积神经网络以及基于Transformer的空间-光谱建模方法[4]，[5]，[6]，[7]，[8]。注意力机制和Transformer结构能够有效表征空间纹理和光谱相关性，在公共模拟数据集上取得了良好的重建性能[8]，[9]，[10]。除算法进展外，硬件感知的CASSI成像系统也得到探索。例如，双相机快照高光谱成像和物理信息学习被引入以将辅助空间观测纳入光谱重建[11]，傅里叶编码孔径变换高光谱成像被开发为另一种系统级成像配置[12]。此外，基于光栅的CASSI系统可以利用零阶或未色散光在单个探测器上提供额外的空间信息[13]，[14]。然而，现有大多数方法主要使用由理想物理模型生成的模拟数据进行验证。光学对准误差、传感器响应差异、编码孔径偏差、色散标定残差以及双相机CASSI样机中的局部模态不一致等因素往往未被充分考虑。因此，仅依赖模拟指标不足以全面评估重建方法对实际测量的适用性。特别是在水下探测、近距目标识别和复杂介质成像等应用中，光学信号还会受到介质吸收、散射、测量噪声和光照变化的影响，导致CASSI测量中有效光谱信息减少。这些非理想成像条件会显著影响跨模态融合策略的稳定性。此外，Transformer的全局跨模态注意力机制通过计算整个空间范围内所有主辅特征标记之间的成对亲和力，有效捕获图像内部的语义相似性。这实现了模态之间精确的、上下文感知的细节传递。然而，全局注意力计算所有空间标记之间的成对相关性，导致计算复杂度和内存复杂度随标记数量呈二次方增长。这种特性限制了其在高分辨率图像重建任务中的适用性。为提高计算效率，基于局部窗口的注意力机制近年来成为高分辨率视觉表示学习的有效替代方案。特别地，Swin Transformer将自注意力计算限制在非重叠局部窗口内，同时引入移动窗口操作以促进相邻窗口间的信息交换。在此设计基础上，SwinIR进一步证明移动窗口注意力能够有效建模局部图像结构，同时在超分辨率、图像去噪和JPEG伪影去除等图像恢复任务中保持良好的计算效率[15]，[16]。这些研究表明，基于局部窗口的注意力为高分辨率图像重建提供了高效的框架。对于双相机CASSI系统，辅助RGB图像提供高分辨率空间信息，包括物体轮廓、边缘和纹理细节，而CASSI通道记录光谱编码的压缩测量。两种模态的互补特性为缓解单次编码测量高光谱重建的病态性提供了机会[2]，[3]，[17]。因此，在局部注意力窗口内进行RGB和CASSI表示之间的特征交互，是在保持重建质量的同时实现高效跨模态融合的有前景策略。然而，包括SwinIR在内的现有基于窗口的恢复网络主要针对单模态图像恢复设计，通常假设输入特征空间对齐。在跨模态图像引导重建中，引导图像与目标模态之间的残余空间错位可能引入不准确的局部对应关系并降低特征融合的有效性[18]。这一问题在双相机CASSI系统中尤为突出，因为视点差异、深度相关视差和标定残差不可避免地导致RGB图像与CASSI测量之间存在残余差异。因此，在固定局部窗口内直接进行跨模态交互可能无法充分利用RGB模态提供的互补信息。基于上述观察，本文提出的CrossModal-HierAtt为RGB辅助双相机CASSI系统引入了几何感知的由粗到细对齐与融合框架。该框架整合了粗尺度偏移估计、特征扭曲和局部窗口交叉注意力，以在中等视点差异、标定残差和模态相关成像特性条件下改善跨模态空间对应关系。对齐后的特征随后通过残差学习和多尺度跳跃连接进行细化，以重建高光谱数据立方体。此外，建立了一条基于物理的数据生成流水线，用于建模双相机系统的光学编码过程和实际非理想性。该系统地在模拟退化条件下评估了所提方法的鲁棒性，包括跨模态配准误差、水致光谱衰减、光照变化和测量噪声。最后，利用双相机CASSI样机进行的实验证明了其在实际成像条件下的可行性和重建能力。本工作的主要贡献总结如下：（1）提出了一种几何感知的由粗到细对齐与融合网络，称为CrossModal-HierAtt，用于RGB辅助双相机CASSI重建。其HWAM通过偏移估计、特征扭曲和局部窗口交叉注意力逐步对齐和融合RGB与CASSI特征。（2）建立了一条基于物理的数据生成流水线，用于建模双相机CASSI系统的光学编码过程和代表性非理想特性，实现配对RGB-CASSI数据的受控生成以用于模型训练和评估。（3）在跨模态配准误差、水致光谱衰减、光照变化和测量噪声条件下进行了系统性鲁棒性评估，全面表征了实际退化条件下的重建性能。（4）公共数据集上的实验验证了重建精度，而样机测量和光谱仪参考评估了实际可行性和相对光谱一致性。章节片段双相机CASSI样机双相机CASSI系统由一个CASSI压缩光谱成像通道和一个RGB辅助成像通道组成。在CASSI通道中，场景的空间-光谱信息被编码孔径编码并沿光谱维度色散，在探测器上形成二维CASSI测量。在RGB通道中，采集同一场景的彩色图像以提供辅助空间先验，包括物体结构、边缘和纹理信息。粗尺度全局跨模态对应与偏移估计标记表示首先被重排为空间特征图。为降低全局对应建模的计算成本，采用粗尺度s的平均池化：FcC=DsFC,FcR=DsFR，其中FcC和FcR分别表示粗尺度CASSI和RGB特征表示，Ds·表示核大小和步长均等于s的平均池化。低分辨率特征图随后转换回标记形式。对于多头粗尺度对应建模，可微分RGB特征扭曲估计的位移场随后用于将RGB特征向CASSI参考坐标系扭曲。扭曲后的RGB特征定义为F～R=WFR,Δp，其中W·表示可微分的特征扭曲操作。为明确定义W·，设p=x,y表示CASSI参考坐标系中的空间位置，Δpp=Δpxp,Δpyp表示空间位置p处的预测像素位移，其中Δpx和Δpy分别表示水平和垂直位移分量。细尺度局部窗口交叉注意力尽管粗尺度特征扭曲补偿了相对较大的残余位移，但局部对应差异可能仍然存在。因此，HWAM进一步采用窗口交叉注意力来建模细粒度的跨模态对应。在窗口划分之前，当H或W不能被局部窗口大小w整除时，应用复制填充。CASSI和扭曲后的RGB特征图随后被划分为非重叠的w×w局部窗口。在每个窗口内，数据集与实验方案实验设计包括三个部分：公共基准上的重建性能评估、模拟非理想测量条件下的鲁棒性评估以及使用RGB和CASSI测量的样机验证。公共基准实验评估模型在标准模拟观测条件下的重建精度和计算效率。鲁棒性实验评估模型在水致光谱衰减、基准重建性能为在样机验证之前建立所提出的CrossModal-HierAtt的基线性能，在标准化模拟测量条件下进行了基准实验，以评估其重建精度和计算效率。模拟非理想条件下的鲁棒性公共基准数据可以评估模型在标准模拟观测条件下的重建性能。然而，实际双相机CASSI测量可能受到光谱衰减、光照波动、跨模态错位和测量噪声等各种非理想因素的影响。因此，本节进行四项受控鲁棒性实验，以评估CrossModal-HierAtt在非理想输入条件下的稳定性。样机验证样机实验的目的是评估训练好的重建方法能否处理标定后的RGB/CASSI测量，并在实际测量不确定性下产生具有空间一致性和相对光谱响应一致性的高光谱输出。结论本工作呈现了针对双相机CASSI光谱成像系统的RGB引导高光谱重建的面向样机的验证研究。除网络级评估外，该研究整合了光谱一致的训练数据生成、代表性非理想采集条件下的分析、基于样机的重建以及相对反射率一致性评估。建立了两种训练配置，分别用于公共基准评估和面向样机的CRediT作者贡献声明Ming Qi：写作——初稿，方法学，调查，数据管理。Qingsheng Xue：监督，资金获取，形式分析，概念化。利益冲突声明作者声明，他们不存在已知的竞争经济利益或个人关系，这些关系可能影响本文所报告的工作。致谢山东省自然科学基金（ZR2024MD125）；国家自然科学基金（42476188）；国家自然科学基金（U2006209）；中央高校基本科研业务费（202364007，202562006）；泰山学者科研基金（202105033008，tsqn202103034）；山东省重点研发计划（2020CXGC010706）。Ming Qi|Qingsheng Xue