水下高光谱成像系统的积分场快照技术及基于光谱引导的变换器融合算法

《Optics & Laser Technology》：Integral field snapshot underwater hyperspectral imaging system and spectral-guided transformer fusion algorithm

提出双通道积分场瞬态高光谱成像系统，通过光谱引导Transformer模型融合低分辨率高光谱数据与全色图像，将空间分辨率从78×78提升至1014×1014，保持光谱保真度，适用于水下移动平台。

　　

卢凤琴|薛青生|马军|刘振宇|孟凯翔|苏坤|宋文雪

中国海洋大学物理与光电工程学院，信息科学与工程系，青岛，山东266100，中国

摘要

传统的线扫描高光谱成像仪在用于大面积水下调查时存在严重的几何失真和图像配准误差。为了解决这些问题，我们提出了一种双通道积分场快照高光谱成像系统，该系统工作在450–1000纳米范围内，532纳米处的光谱分辨率为4.97纳米。该系统同时记录一幅全色图像和一幅原始光谱图像；后者被重建为一个低空间分辨率的高光谱数据立方体，然后与全色图像融合，生成高空间分辨率的高光谱输出。这种融合中的一个关键挑战是由光谱-空间信息耦合引起的显著光谱失真。因此，我们提出了一种基于光谱引导的Transformer融合模型，其中高光谱输入通过一个深度多阶段光谱编码器进行处理，该编码器构成了网络的核心路径。该编码器提取并保留了光谱维度的内在低维流形及其全局相关结构。我们的方法将高光谱图像的空间分辨率从78×78像素提高到了1014×1014像素。在公共数据集和实验测量数据上的验证证实了该算法的有效性和通用性。总体而言，所提出的方法在保持光谱保真的同时显著提高了空间分辨率，为水下快照高光谱成像检测提供了实用的解决方案。

引言

高光谱成像技术结合了成像和光谱学，能够捕获目标区域的空间和光谱信息。与传统成像方法不同，它在进行图像采集的同时收集每个像素的光谱，这一特性通常被称为“将成像与光谱学相结合”，显著增强了检测能力。由于这些优势，高光谱成像在农业和林业、土地和矿产资源调查、生物医学以及工业检测等领域得到了越来越多的应用[1]、[2]、[3]、[4]、[5]。作为一种新兴的水下成像技术，水下高光谱成像能够实现对水下目标的近距离检测和识别。与基于航空或卫星的海洋高光谱遥感相比，它可以探测更深的目标，并避免水-空气界面的干扰。目前，大多数水下高光谱成像仪采用推扫式扫描模式。当部署在固定的水下平台上时，这些成像仪在底栖生态系统监测和海底矿产资源检测等应用中表现出色[6]、[7]、[8]、[9]。然而，固定平台本身受限于周围的小范围，不支持大规模调查。为了克服这一限制，研究人员尝试将推扫式成像仪部署在移动平台上，如遥控潜水器（ROVs）。在复杂的水下环境中，移动平台的抖动会导致通过线扫描和拼接形成的高光谱图像出现严重的几何失真，从而影响目标检测和识别[10]。

积分场快照水下高光谱成像是一种新兴技术，它能够在单次曝光中获取二维场景图像和相应的一维光谱，从而生成一个完整的三维高光谱数据立方体[11]、[12]、[13]、[14]、[15]。这种方法具有快速成像的特点，特别适用于平台稳定性通常较低的水下环境。在这种成像方法中，微透镜阵列将前镜头的主成像平面分割成微孔阵列。在探测器上进行光谱分散和条带形成后，高光谱数据立方体通过计算重建。然而，积分场单元引入的空间分割本质上降低了输出图像的空间分辨率，可能会降低目标检测和识别的性能[16]。将低分辨率的高光谱图像与共配准的全色图像融合可以增强空间分辨率。现有的融合方法分为三类：组分替换、多尺度分解和基于深度学习的方法[17]、[18]、[19]。代表性算法包括基于PCA的融合[20]和小波变换的融合[21]，而当前的深度学习方法主要使用神经网络[22]。在高光谱-全色融合中，一个持续的挑战是由光谱-空间信息耦合引起的严重光谱失真。目前，基于微透镜阵列的快照高光谱成像系统仅应用于天文观测和实验室显微高光谱成像[23]、[24]；实验室规模的系统无法满足水下部署的尺寸和重量要求。

为了满足大面积水下高光谱成像的需求，我们提出了一种双通道积分场快照高光谱系统。该系统覆盖450–1000纳米范围，532纳米处的光谱分辨率为4.97纳米，并安装在一个紧凑的圆柱体（Φ145毫米×452毫米）中。它同时获取一幅全色图像和一个积分场光谱数据立方体。后者被重建为一个低空间分辨率的高光谱图像，然后与全色图像融合，生成高空间分辨率的高光谱输出。为了克服融合过程中由光谱-空间耦合引起的光谱失真问题，我们提出了一种基于光谱引导的Transformer模型。在这种架构中，高光谱输入通过一个深度多阶段光谱编码器进行处理，该编码器作为网络的核心路径，用于提取和保留光谱维度的内在低维流形和全局光谱相关性。基于光谱引导的解码器主动查询相关的空间细节，而空间信息则作为条件响应被选择性地整合进来。所提出的融合框架将高光谱图像的空间分辨率从78×78像素提高到了1014×1014像素。在公共数据集和实验测量数据上的验证证实了该算法的有效性和通用性。实验结果表明，该方法在保持光谱保真的同时显著提高了空间分辨率，为水下环境监测和资源探索中的快照高光谱成像奠定了技术基础。

本文的主要贡献总结如下：

1) 硬件贡献：开发了一种紧凑且节能的双通道积分场快照高光谱成像系统，工作在450–1000纳米范围内。该系统同时获取高分辨率的全色图像和原始光谱条带数据，实现了不受动态水下环境中推扫式扫描常见几何失真影响的水下快照高光谱成像。该原型在水中的重量为2.19千克，平均功耗为16瓦，便于在ROVs等移动水下平台上部署。

2) 算法贡献：提出了一种基于光谱引导的Transformer（SGT）融合模型，用于增强水下高光谱图像。与传统融合方法不同，SGT使用高光谱特征作为查询来指导与全色特征的跨模态交互，同时选择性地注入空间细节作为辅助指导。这种设计在保持光谱保真的同时显著提高了空间分辨率。在公共数据集（CAVE、Chikusei）、水下数据集（UWD）以及水池和现场试验中的广泛实验表明，SGT的性能优于现有方法，并在融合精度和模型复杂性之间保持了良好的平衡。

部分摘录

光学设计

双通道积分场快照高光谱成像仪的工作原理如图1所示。来自目标的光线首先通过前镜头，然后被宽带分光器分成两条光路。反射光通过成像系统形成高空间分辨率的全色图像。透射光聚焦在位于镜头成像平面上的微透镜阵列上，进一步

问题表述

给定一个低分辨率的高光谱图像$X\in R^{h\times w\times B}$和一个共配准的高分辨率全色图像$\text{P}\in R^{H\times W}$，目标是通过融合这两个数据源来重建一个高分辨率的高光谱图像$\hat{\text{Y}}\in R^{H\times W}$。在这项工作中，$\text{(h, w}\text{) =}\left(\text{78, 78}\right)$$\text{(}\text{H}\text{, W}\text{) =}\left(\text{1014, 1014}\right)$，光谱带的数量B = 137。融合任务可以表述为：$\stackrel{}{\mathrm{Y<mo>^</mo>}}{F}_{}$其中$F_{}$表示融合模型。首先，低分辨率的高光谱图像被空间上采样以匹配

在公共数据集上的定量比较、消融研究和复杂性分析

首先在公开可用的CAVE数据集[30]上评估了所提出方法的融合性能。除了传统方法（包括主成分分析（PCA）和小波变换）以及代表性的基于学习的方法（如HyperDSNet [33]、FeafusFormer [34]、CANNet [35] 和 FC-Former [36]）之外，还使用五种广泛采用的指标（即互相关（CC）[37]、光谱角映射器（SAM）等）对所提出方法进行了定量比较。

结论

总之，本文开发了一种紧凑且节能的积分场快照水下高光谱成像系统及其相应的高光谱引导Transformer（SGT）融合框架，用于增强水下高光谱图像。所开发的系统在水中的重量为2.19千克，平均功耗为16瓦，便于在ROVs等移动水下平台上部署。通过同时获取高分辨率的全色图像和原始数据

CRediT作者贡献声明

卢凤琴：撰写 – 审稿与编辑，撰写 – 原始草稿。薛青生：方法论，资金获取，概念化。马军：撰写 – 审稿与编辑，监督，概念化。刘振宇：撰写 – 审稿与编辑，软件。孟凯翔：数据管理。苏坤：数据管理。宋文雪：数据管理。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

国家自然科学基金（42476188）；山东省自然科学基金（ZR2024MD125）；国家自然科学基金（U2006209）；中央高校基本科研业务费（202364007, 202562006）；泰山学者科研经费（202105033008, tsqn202103034）；山东省重点技术研发计划（2020CXGC010706）；中国海洋科学院海洋科学研究中心重点部署项目