《Optics and Lasers in Engineering》：Hybrid deep learning for hyperspectral cube reconstruction in computed tomography imaging spectrometry via angular spectrum propagation
编辑推荐：
作者：Shruti Sharma、Shweta Agrawal、Narendra Pal Singh Rathore、Ritu Tandon
所属部门：印度中央邦印多尔SVKM’s NMIMS学院计算机工程系，邮编452005
摘要
在计算机断层扫描成像光谱技术（CTIS）
作者：Shruti Sharma、Shweta Agrawal、Narendra Pal Singh Rathore、Ritu Tandon
所属部门：印度中央邦印多尔SVKM’s NMIMS学院计算机工程系，邮编452005
摘要
在计算机断层扫描成像光谱技术（CTIS）中，重建高光谱立方体的过程存在困难，这导致空间-光谱保真度较低、重建误差较大，并且对不同操作环境条件的适应性有限。本研究提出了一种基于光谱高斯动态加权组合臂重建图普通微分方程（SGD-RODE）的方法，该方法能够在增强角度重建能力的同时，实现对空间和光谱内容的动态控制。通过偏移像素预处理技术，可以解码由衍射光学元件编码的特定调制光谱信息。该系统采用MobileNetV4进行高效的空间-光谱特征提取，并使用高斯组合臂算法（GCAA）进行超参数调整。最终测试结果表明，该模型达到了39.78 dB的峰值信噪比（PSNR）、0.9596的结构性相似性指数（SSIM）、36.79 dB的空间PSNR以及0.952的空间SSIM。SGD-RODE方法能够快速、可靠地处理数据，适用于CTIS系统。
引言
高光谱成像在科学和工业领域的应用日益广泛，因为这项技术使科学家能够捕获广泛波长的光谱数据。通过计算机断层扫描（CT）成像获取高光谱数据，可以实现精确的材料识别和组织分析，这些技术在医学诊断、材料科学、环境监测和农业生产中具有重要应用[1]。然而，CT成像在获取高光谱数据时面临诸多挑战，如高噪声水平、空间分辨率有限以及需要先进的计算资源。现有方法受限于精确光谱信息提取的难度和限于特定时间内的处理要求。研究人员曾使用传统方法（如Radon变换和基于滤波反投影的迭代重建算法）来恢复高光谱数据[2,3]，但这些方法的效率受到分辨率低、重建速度慢以及无法有效处理噪声等问题的限制[4]。这些方法未能充分利用高光谱数据中的自然模式，从而影响重建效果和处理效率。深度学习（DL）技术在高光谱成像研究中的最新进展源于其处理大规模数据集的能力[5,6]。新的方法能够生成更高质量的图像和更精确的重建结果，有效解决了传统算法面临的问题。科学家们通过应用前沿深度学习技术，在高光谱图像（HSI）重建领域取得了重大突破，实现了端到端训练下的高效重建[7]。卷积神经网络用于断层扫描重建（CNN-TR）能够有效从受限角度的CTIS数据中提取光谱信息[8]。研究人员开发的Hyper-Skin数据集利用皮肤光谱重建网络（SSR-Net）从RGB图像中提取精确的面部光谱，用于皮肤光谱映射[9]。多尺度细化网络（MSR-Net）通过集成CTIS重建和空间超分辨率功能，提升了空间细节和边缘可见性[10]。Intrinsic Property Highlight Network（IPH）借助物理启发式先验，提高了光谱预测的准确性[11]。Reversible-Prior Spectral-Spatial Transformer（RP-SST）通过 transformer 结构整合了可逆先验信息，提升了空间和光谱学习能力[12]。Space-Spectral Cumulative-Attention Transformer（SSpecC-AT）结合分层注意力机制，实现了空间元素与光谱元素的融合，提高了分辨率和一致性[13]。Mixed-Granularity Implicit Representation Network（MGIR-Net）利用隐式神经函数和连续坐标映射，从压缩测量数据中准确恢复高光谱信息[14]。Angular Spectrum Propagation Model（ASP-Model）通过组合深度模块解决了传统CTIS系统的重建问题，生成了精度高、可靠性强的高光谱立方体[15]。Hybrid Neural Reconstruction Framework（HNRF）利用磁通量泄露（MFL）信号实现了3D缺陷轮廓的重建，证明神经网络能执行超出传统成像功能的任务[16]。总体而言，这些进展通过CNN、Transformer、隐式函数和领域特定先验的结合，在多个平台和数据集上实现了高精度的高光谱重建[16]。然而，研究者仍面临从CTIS数据重建高质量高光谱立方体的难题，主要原因包括噪声干扰、光谱失真以及计算资源的需求[3]。当前深度学习技术虽有所进步，但仍存在泛化能力不足、需要大量训练数据以及空间对齐问题等挑战[4]。本研究通过图1指出了三个主要的研究空白，这些空白揭示了后续的具体研究方向[5]。
- ?
本研究提出的SGD-RODE模型结合动态光谱加权和基于图的普通微分方程（ODE），实现了高精度的高光谱立方体重建，较传统方法具有更低的误差和更好的空间-光谱一致性，为CTIS成像系统树立了新的效率标准。
- ?
该系统利用SPP恢复受衍射光学影响的空间对齐，并通过轻量级的MobileNetV4特征提取器收集光谱-空间信息，仅需少量计算资源，从而实现了精确的高光谱重建。
- ?
SGD-RODE框架结合GCAA算法优化超参数，加快模型收敛速度并提升系统稳定性，生成的重建结果高度精确且保持了原始光谱特征。
第2部分阐述了研究方法和材料，第3部分展示了实验结果，第4部分对研究发现进行了详细讨论，第5部分总结了研究成果并提出了未来研究计划。
部分摘录
方法和材料
本研究采用先进的深度学习模型，从CTIS数据中重建高精度的高光谱立方体。这些模型旨在解决噪声干扰、光谱失真和高计算需求等问题，这些问题曾阻碍了高光谱图像的准确重建[3]。
实验结果
训练在GeForce 1080 Ti GPU上进行，共进行了100个周期和100次迭代，随后提前停止训练。GCAA优化器的初始学习率为0.0001，批量大小为2，评估指标采用PSNR。训练集的PSNR为39.78 dB，验证集的PSNR为50.16 dB；空间下采样的测试集PSNR为40 dB，全分辨率重建的PSNR仍为39.78 dB。
讨论
提出的SGD-RODE模型结合光谱注意力ODE模块和GCAA优化，提升了高光谱图像重建的性能，在所有测试条件下（包括空间、光谱和实际应用场景）均表现出稳定可靠的结果，详见表5。
该模型在真实CTIS数据上的重建效果优异：PSNR为39.78 dB，SSIM为95.96%，LPIPS为0.010。
结论
SGD-RODE模型作为一种新的重建模型，通过ODE框架改进了角度域的重建能力。SPP的应用有效纠正了调制和像素错位引起的误差，MobileNetV4高效提取了空间-光谱特征，同时GCAA系统动态优化了重建过程。
资金支持
本研究未获得公共、商业或非营利机构的任何资助。
作者贡献声明
Shruti Sharma：项目管理和监督。Shweta Agrawal：研究调查和数据可视化。Narendra Pal Singh Rathore：初稿撰写及审稿编辑。Ritu Tandon：概念构思和实验方法验证。
利益冲突声明
作者声明不存在可能影响本文研究结果的财务利益或个人关系。
