基于改进视觉状态空间模型的多尺度光谱重建网络SSRM：一种轻量化高效解决方案

针对现有光谱重建方法在局部特征提取和计算效率上的不足，本研究提出基于Mamba改进的SSRM模型，通过优化SS2D扫描算法、引入光谱-空间关联注意力机制，在NTIRE2022等数据集上实现MRAE提升7.79%的同时保持0.607M参数量，为高光谱成像(HSI)的低成本应用提供新范式。

　　

在遥感监测和医学影像领域，高光谱成像(HSI)因其纳米级光谱分辨率成为"物质指纹"识别利器。然而动辄百万美元的设备成本和漫长的采集时间，让科研人员不得不思考：能否用普通RGB相机"倒推"出高光谱数据？这就是光谱重建(Spectral Reconstruction, SR)技术的核心命题。尽管基于CNN和Transformer的方法已取得进展，但前者受限于局部感受野，后者则被二次方计算复杂度所困。更棘手的是，新兴的视觉状态空间模型Mamba虽在语言处理中表现惊艳，其SS2D扫描算法却会割裂图像局部关联性，犹如用碎纸机处理拼图——全局脉络尚存，细节拼合艰难。

澳门大学科技学院软件工程专业的Lina Yang教授团队在《Expert Systems with Applications》发表的研究中，巧妙改造了Mamba的"视觉神经系统"。团队将传统四向扫描简化为"固定左向+随机方向"双通道，如同给扫描仪加装光谱棱镜，新增的光谱-空间关联分支能同时捕捉31个波段的特征交互。更精妙的是浅层网络采用双分支多尺度卷积，就像先用不同倍率显微镜观察样本，再通过U型残差骨架网络逐级提炼特征。这种设计使模型在哈佛数据集测试时，仅用28.67G FLOPs就实现1.55%的MRAE提升，参数效率较Transformer提升20倍。

关键技术包括：(1)改进SS2D算法，引入光谱-空间关联注意力；(2)构建多尺度浅层特征提取网络；(3)动态调整状态空间维度的U型残差主干；(4)在NTIRE2022、哈佛、CAVE三数据集进行五指标验证。

【总体架构】模型采用"并行多尺度卷积→双门控单元→特征融合"三级结构，其中核心模块SR-VSS通过层归一化(LayerNorm)和自适应状态空间尺寸调节，平衡记忆与计算效率。

【扫描算法改进】将原四向交叉扫描优化为光谱感知扫描(Spectral-aware Scanning)，通过波段间相关性矩阵引导特征重组，使相邻像元在32×32局部窗口内的空间关联性保留率提升41%。

【效率验证】在CAVE小数据集测试中，SSRM仅需0.2ms的单帧推理时间，相较HSCNN-RD节省89%显存，证明其在边缘设备部署的可行性。

这项研究的意义不仅在于技术指标的突破，更开创性地证明了状态空间模型在细粒度视觉任务的适用性。通过光谱-空间双域关联建模，SSRM在保持Mamba线性复杂度优势的同时，解决了传统方法"顾此失彼"的困境——CNN族模型常忽略的波段间非线性关系，在此模型中通过选择性扫描机制得以保留；Transformer擅长的长程依赖捕捉，则被S6模块以更高效的方式实现。这种"鱼与熊掌兼得"的特性，为医学多光谱内镜、卫星遥感等实时性要求高的场景提供了新工具。正如论文结论所述，该方法首次实现了"像素级光谱保真度"与"亚毫秒级延迟"的统一，其0.607M的参数量甚至可植入智能手机摄像头，或将开启消费级光谱成像的新纪元。