CA-CPU：一种用于快照压缩成像的、考虑校准效应的耦合先验展开框架

《Knowledge-Based Systems》：CA-CPU: Calibration-Aware Coupled-Prior Unfolding framework for snapshot compressive imaging

　　肖天|韩周|连玉生|曹旭恒|王斌|李进|翟月阳

摘要：深度展开网络在编码孔径快照光谱成像重建中取得了显著成效，它将迭代算法转化为可学习的神经网络层。然而，现有方法存在三个主要限制：单个正则化项中对异构空间-光谱先验的混合处理；由于系统组装缺陷和光学错位导致的感知模型不确定性；以及基于Transformer的先验所带来的二次计算复杂度。为解决这些问题，我们提出了CA-CPU框架，这是一种具有显式残差校准的、考虑校准因素的耦合先验展开框架。具体而言，我们引入了残差掩码校准模块，将该模块中的校准误差视为可学习变量，从而实现高光谱数据与系统参数的联合优化。在光谱-空间图像先验模块中，我们设计了高效光谱聚焦注意力机制，以捕捉空间-光谱依赖关系。通过用可学习的全局查询聚合和广播式逐元素交互替代标准矩阵乘法，ESFA能够以线性复杂度实现全局上下文建模。这一设计有助于利用长距离场景一致性来消除混叠伪影。此外，我们还加入了考虑校准因素的退化先验模块，以明确处理数据一致性误差，进而补偿感知偏差。在合成数据集和真实世界数据集上的实验结果表明，CA-CPU不仅具有最先进的重建精度，还具备更高的计算效率。相关代码可在https://github.com/Vzhouhan/CA-CPU获取。

引言：高光谱成像技术能够捕获连续波段中的丰富空间-光谱信息，从而实现精细的材料识别和复杂场景分析，已被广泛应用于遥感[1][2]、精准农业[3][4]、环境监测[5][6]、生物医学成像[7][8]以及工业检测[9][10]等领域。然而，传统的高光谱成像系统依赖于空间或光谱扫描，这导致了较低的采集效率、复杂的光学设计，且不太适用于动态场景[11][12]。为解决这些局限，快照光谱压缩成像技术作为一种高效替代方案应运而生。尤其是编码孔径快照光谱成像技术，它能够将三维高光谱场景编码为单一的二维测量值，随后通过重建算法恢复目标高光谱图像。因此，重建出的高光谱图像质量在很大程度上取决于重建算法的性能，而设计有效的重建算法则是整个成像系统的核心所在。早期的快照光谱成像重建主要依赖于优化和压缩感知框架[15][16][17][18]，这些方法通过在预定义的变换域中利用稀疏性、低秩结构或平滑性先验，并通过迭代求解器来实现重建。尽管这些方法在物理意义上具有合理性，但它们对先验假设极为敏感，在复杂的真实场景中性能会下降[19]。而基于深度学习的数据驱动方法则提升了重建的准确性和效率。基于学习的方法将神经网络集成到特定的优化步骤中，同时保持大部分结构的固定性[9]。端到端模型则直接将压缩后的测量值映射为高光谱图像，虽然推理速度较快，但由于缺乏明确的物理约束，其可解释性和泛化能力往往较差[20][21]。相比之下，基于展开的方法将传统的迭代算法转化为具有可学习更新规则的多阶段网络，从而在物理一致性和表示能力之间取得平衡[22][23]，并且已成为快照光谱成像重建领域的主流方法[24][25][26][27]。尽管基于展开的网络已成为CASSI重建的主要方法，但它们仍面临三个关键挑战。首先，对精确感知模型的依赖限制了系统的稳健性。大多数方法假设编码孔径信息是完全已知的，并将其作为固定的前向算子嵌入模型，却忽视了由于组装公差、光学漂移或设备老化等因素导致的不可避免的偏差[28][29]。这种模型不匹配会导致误差在数据保真度项或物理约束中传播和放大，进而降低重建质量[30]。虽然有一些方法试图通过学习真实的退化矩阵来解决这个问题，但它们未能充分利用已知信息的指导作用[30]。其次，现有的先验模型难以有效处理高维数据，这就导致了感受野大小与计算成本之间的权衡。基于卷积的先验模型虽然感受野有限[23]，但基于Transformer的先验模型则随着图像尺寸的增加而呈现出二次计算复杂度[31]。为缓解这一问题，最先进的方法通常采用基于块的处理方式[24][31][32]。然而，这种策略会在块边界处切断空间连续性，使得网络无法利用全场信息来消除混叠伪影，从而导致重建结果出现块状结构。最后，从展开框架的角度来看，图像先验和退化先验属于两类不同的先验知识。但现有方法往往忽视了这一内在差异，试图在单一的正则化项下强制实现协同学习[33][34]。这种领域特定的混合处理不仅会削弱模型针对特定先验的独立学习能力，还会在迭代过程中导致误差不断积累，进而显著降低图像重建的稳健性和保真度。为解决这些限制，我们提出了一种考虑校准因素的耦合先验展开框架——CA-CPU，用于高光谱图像重建。与传统展开方法不同，那些方法通常将物理感知模型视为固定不变，仅学习图像域的先验，而我们的框架则将系统校准残差明确视为可学习的算子域变量，并将其与图像先验和退化先验一起纳入统一的优化过程，从而实现高光谱图像及与感知相关的退化效应的联合估计。首先，残差掩码校准模块能够明确建模编码孔径感知过程中的结构化校准残差。与那些依赖预定义或已完美校准的感知算子的现有方法不同，RMCM为标准的CASSI算子引入了可学习的残差校正机制，从而使前向模型能够根据不理想的物理成像条件自适应地补偿各种结构化偏差。其次，考虑校准因素的退化先验模块将数据一致性误差明确纳入退化更新过程。如图1所示，根据校准后的模型计算得到的探测器级一致性误差，经过反投影后形成具有物理意义的误差区域，该区域可为退化建模提供指导。与纯粹基于特征的退化先验相比，CA-DP利用测量域的残差信息作为具有物理依据的线索，从而将退化建模与校准后的感知过程相结合，实现对于感知模型偏差的自适应补偿。第三，在图像更新阶段，我们设计了高效光谱聚焦注意力模块，用以高效捕捉明显的空间-光谱依赖关系。该模块通过可学习的全局查询聚合和广播式逐元素交互，将全场信息整合为全局上下文向量，以此来调节局部特征。与依赖显式的查询-键-值投影以及二次级Token交互的标准自注意力机制不同，ESFA采用基于全局查询聚合和查询-键交互的无值高效加性注意力设计。这种机制使网络能够以线性计算复杂度利用长距离场景一致性，有效保持空间连续性，同时减少传统值投影所带来的额外参数和计算负担。总之，我们的主要贡献有四点：首先，我们指出了传统展开方法中存在的领域特定混合问题，并提出了一种耦合先验优化策略，从理论上保证了图像先验和退化先验的独立学习，从而避免误差积累；其次，我们通过RMCM将系统校准误差明确视为可学习变量，从而实现对于编码孔径中结构化残差的自适应补偿，减少对固定感知模型的依赖；第三，我们在图像更新步骤中采用了ESFA模块，该模块实现了线性复杂度的自适应注意力机制，能够同时捕捉局部和长距离的依赖关系，有效建模全局上下文；最后，我们提出了CA-DP模块，将该模块纳入重建过程，使得CA-CPU框架能够通过联合光谱域建模，自适应地补偿感知模型偏差。

片段摘录：用于快照光谱成像重建的深度学习技术。早期的基于深度学习的快照光谱成像重建方法主要是将学习得到的先验模型整合到传统的优化框架中。λ-Net[35]在多阶段重建流程中引入了深度生成先验，相较于纯手工设计的正则化方法，提升了重建的保真度。HerosNet[36]则对ISTA算法进行了展开，并嵌入了基于CNN的去噪模块，从而在保持数据一致性的同时提高了重建精度。尽管这些方法的可解释性有所提升，但……

CASSI成像模型：CASSI技术是一种广泛应用的压缩型高光谱成像技术，它能够通过单一的二维快照捕获三维光谱场景。如图2所示，高光谱图像可表示为i∈RH×W×Nλ，其中H和W分别代表空间维度，Nλ则表示光谱带的数量。CASSI的目标是将三维高光谱数据立方体i压缩为单一的二维测量值c。除非另有说明，后续内容中的变量均……

数据集与评估方案：我们在模拟数据集和真实的压缩光谱数据集上对所提出的方法进行了测试，旨在全面评估其在受控条件和实际成像环境下的重建性能。为了与现有的快照光谱成像重建方法进行公平比较，实验设置采用了TSA-Net[44]及相关工作中常用的配置。

光谱配置：所有高光谱图像都经过光谱重采样，统一设置为28个波段，覆盖从……到……的波长范围。

结论：CASSI的重建质量从根本上受到理想化的感知模型与其实际实现之间不可避免的差异的限制。为解决这一问题，我们提出了CA-CPU框架，这是一种考虑校准因素的、用于高光谱图像重建的耦合先验展开框架。通过将物理感知过程整合到深度展开架构中，我们的方法实现了高光谱图像与系统退化变量的协同更新。具体而言，RMCM模块……

CRediT作者贡献声明：肖天：撰写——初稿、方法论、形式分析、数据整理。韩周：撰写——审阅与编辑、软件开发、概念设计。连玉生：撰写——审阅与编辑、项目监督。曹旭恒：撰写——审阅与编辑、验证工作。王斌：项目监督、数据整理。李进：验证工作、项目管理。翟月阳：撰写——审阅与编辑。

利益冲突声明：作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。