基于空谱相似性引导的Transformer中的Transformer高光谱解混合方法

《Photonics》：SSTNT: A Spatial–Spectral Similarity Guided Transformer-in-Transformer for Hyperspectral Unmixing Xinyu Cui, Xinyue Zhang, Aoran Dai and Da Sun

　　

视觉Transformer（ViT）因其在建模全局上下文依赖方面的强大能力，已被广泛应用于高光谱图像解混合（HU）。然而，标准的ViT通过将图像划分为不重叠的图像块进行处理，这破坏了像素级的空间连续性，并忽略了局部区域内像素间的细粒度结构关系。因此，有效捕获用于精确解混合所需的详细空谱特征仍然具有挑战性。此外，全局自注意力的高计算复杂性和对噪声的敏感性限制了传统Transformer在HU中的应用。为了解决这些问题，研究人员提出了一种空谱相似性引导的Transformer中的Transformer（SSTNT）框架。所提出的网络采用了一种改进的TNT架构，其中内部Transformer利用线性自注意力（LSA）机制，在滑动窗口内高效地利用像素级的局部特征，而外部Transformer则保留全局注意力以聚合上下文信息，从而形成一种协同的局部-全局优化方案。此外，引入了一个轻量级的空谱相似性模块来增强邻域结构的建模。最后，通过一个可训练的端元解码器和一个归一化的丰度估计模块实现光谱重建。在合成和真实高光谱数据集上进行的大量实验验证了所提方法的有效性和鲁棒性。

本文提出了一种基于空谱相似性引导的Transformer中的Transformer高光谱解混合框架，称为SSTNT。当前的高光谱成像系统通过为每个空间像素记录数百个连续光谱波段，捕获物质的精细光谱响应。与传统RGB图像相比，高光谱图像（HSI）获取了丰富且连续的光谱测量值，在细粒度物质识别和定量反演方面具有独特优势。因此，HSI已广泛应用于农业生产、矿产勘探、土地资源调查、环境监测、海洋分析、农业检查和军事应用等多个领域。然而，由于光学成像系统固有的有限空间分辨率和混合像元效应，每个观测像素通常代表多种物质特征（端元）的混合。因此，高光谱解混合（HU）已成为一项基本任务，旨在将混合像元分解为构成端元的光谱及其对应的丰度分数。HU的目标是量化亚像元物质比例或检测亚像元目标，其准确性直接影响后续细粒度分类和目标检测任务的性能，从而促进亚像元应用的发展。实践中，由于光照变化、大气效应、内在物质变化和传感器相关退化引起的光谱变异性，以及实际场景中的端元不确定性、非线性混合效应和跨区域的强空间异质性，HU仍具挑战性。特别是，光谱变异性可能导致同一材料在不同空间位置出现振幅缩放和光谱形状失真，从而增加了可靠相似性估计和丰度重建的难度。因此，在实际成像条件下改善对空谱关系的建模，对于增强计算光学成像中光谱重建的准确性和稳定性至关重要。

一般而言，高光谱解混合模型可分为线性混合模型（LMM）、非线性模型和双线性模型。其中，由于其清晰的物理可解释性、计算效率和强适应性，LMM一直是高光谱解混合研究中应用最广泛的模型。基于几何、统计和稀疏回归的经典方法，如顶点成分分析（VCA）、最小体积约束非负矩阵分解（MVC-NMF）、非负矩阵分解（NMF）和多目标群稀疏解混合（MO-GSU），在特定条件下取得了良好的性能。然而，这些方法应用于多样化的高光谱场景时表现出固有的局限性。例如，基于几何的方法在低噪声水平且纯像元丰富的图像上表现良好，但在高度混合的场景中其有效性显著下降。相比之下，基于统计误差和稀疏回归的方法更能处理复杂的混合物，但通常存在计算成本高和对参数选择敏感的问题。

为了克服这些限制，深度学习技术的引入为高光谱解混合开辟了新的方向。其中，基于自编码器（AE）的框架因其端到端学习能力和强大的特征表示能力（特别是在无监督学习、特征提取和降维任务中）而受到广泛关注。Wu等人提出了级联混合卷积自编码器网络（CHCANet），用于非线性解混合，它利用卷积结构从高光谱数据中深度挖掘空谱信息，同时通过自感知机制保留物质细节。Zhao等人引入了AE-RED，这是一种结合深度自编码器与去噪正则化的高光谱解混合框架，在含噪和复杂的无监督解混合场景中实现了强大的鲁棒性和准确性。Cao等人提出了BU-Net，这是一种基于广义双线性混合模型（GBM）的高光谱解混合方法，它采用双流堆叠自编码器架构和3D卷积来提取多尺度空谱特征，从而有效解决了非线性光散射效应。尽管这些方法有效，但大多数基于AE的方法主要关注光谱特征提取，而忽略了空间上下文信息的重要性。为了纳入空间上下文信息，Chen等人提出了空谱自适应非线性解混合网络（SSANU-Net），它采用双流编码器联合学习空间和光谱表示，然后使用双流解码器建模线性和非线性光子散射分量。然而，传统的自编码器架构难以固有地满足丰度分数的非负性和和为一约束，且在处理复杂的非线性混合物、光谱变异性和空间异质性时，其表示能力仍然有限。

此外，为了提高物理可解释性和稳定性，人们提出了先进的AE变体。Gao等人通过学习级联自编码器提出了循环一致性解混合网络（CyCU-Net），它利用自感知损失来保留高层语义信息。Tao等人设计了丰度引导注意力网络（A2SAN），它直接从网络中提取端元，并使用估计的丰度来引导空谱注意力，从而跳过了传统的初始化步骤。类似地，Tao等人引入了双特征融合网络（DFFN），它显式计算光谱和空间相似性以增强输入HSI，随后使用单独的模块进行丰度和端元估计，这减少了AE训练固有的随机性。最近，为了明确解决端元变异性这一关键挑战，Yang等人开发了级联双约束Transformer自编码器（CDCTA），它结合了用于几何信息的最小距离约束和用于确定光谱变化的丰度加权光谱角约束，有效地将物理先验融入深度表示学习中。

随着卷积神经网络（CNN）的引入，CNN方法显著增强了高光谱图像的空间特征提取能力。早期研究将1D光谱CNN扩展到2D空间CNN，后来扩展到3D CNN，实现了联合空谱学习。Chen等人引入了基于多任务3D-CNN的自编码器用于自适应特征学习。然而，单独使用2D-CNN难以捕捉波段间关系，除非采用更复杂的网络架构；而仅依赖3D-CNN在处理宽光谱波段中的相似纹理时，往往会导致高计算复杂度和次优的解混合性能。为了平衡这些权衡，Tao等人结合2D-CNN和3D-CNN，提出了交叉卷积解混合网络（CrossCUN）。此外，Tulczyjew等人开发了一种用于高光谱解混合的多分支卷积架构，其中1D-CNN和2D-CNN分支分别用于提取光谱和空间特征，而3D-CNN分支则对前两个分支学习的特征进行早期融合。

然而，CNN有限的接收野不可避免地导致原始高光谱图像中丰富上下文信息的丢失，使其难以建模长程依赖关系。Transformer架构能够捕获全局上下文依赖并恢复缺失信息，为此限制提供了一个有前景的解决方案。近年来，人们提出了各种针对高光谱图像分析的Transformer架构改进。Ghosh等人提出了一种基于Transformer的新型深度神经网络解混合模型（DeepTrans）。Yang等人提出了移位窗口U形Transformer网络（UST-Net），它在减少计算开销的同时增强了层次化特征建模。Duan等人引入了一种名为UnDAT的新型双感知Transformer，它同时利用高光谱图像中的区域均匀性和光谱相关性。Jiang等人提出了SSLT-Net，一种将CNN与Transformer集成以联合学习局部和全局空谱特征的混合网络。Fazal Hadi等人开发了双分支空谱特征融合Transformer（DSSFT），通过互补分支交互增强特征表示。虽然纯Transformer架构能够建模长程依赖关系，但它们通常遭受高计算成本和图像块引起的不连续性问题。为了将全局上下文建模与局部结构保持相结合，人们提出了混合CNN-Transformer框架。随后，Chen等人采用了双流协同设计来联合学习空谱全局和局部表示。Wang等人进一步在Transformer增强框架内引入了多尺度空间聚合，以适应异质对象大小。尽管这些混合方法有效，但它们通常依赖于隐式注意力融合和固定接收野设计，这可能限制了它们在复杂混合条件下显式保持光谱相似性和建模变异性的能力。然而，传统的视觉Transformer（ViT）方法将图像划分为不重叠的固定大小图像块，这破坏了像素级的空间连续性并削弱了局部结构关系。为了解决这个问题，Sun等人提出了自监督关系感知视觉Transformer（SRViT）。虽然SRViT有效地增强了局部关系建模，但其高模型复杂性和大量计算成本限制了其在处理高光谱图像时的效率。为了进一步提高效率和表示能力，Xu等人提出了具有卷积交叉注意力的多尺度卷积交叉Transformer（MSCC-ViT）。该网络提取多尺度空谱特征，并通过将注意力机制与卷积操作集成来实现高效的跨尺度融合，从而同时捕获局部上下文信息和非局部依赖关系。

尽管基于Transformer的方法增强了全局上下文建模，但在高光谱解混合应用中仍然存在一些局限性。固定的非重叠图像块划分削弱了像素级的空间连续性，而这对于精确的空谱表示至关重要。此外，全局自注意力的二次计算复杂性在处理大规模高光谱图像时增加了计算负担。此外，局部邻域内缺乏显式的相似性建模限制了光谱变异性下空谱一致性的有效表征。特别是，大多数现有的基于Transformer的解混合方法依赖于隐式注意力学习，其中空谱关系仅从嵌入空间中的特征相似性导出，而未纳入物理可解释的相似性约束。因此，学习到的注意力权重可能无法完全反映内在的物质一致性，特别是在光谱变异性和噪声干扰下。此外，当前的方法很少引入显式的空谱相似性先验来指导层次化关系建模。因此，仍然需要一种物理信息机制，能够在保持计算效率的同时约束局部和全局注意力计算。

为了解决这些问题，本研究提出了一种基于空谱相似性引导的TNT解混合框架，该框架将相似性先验与TNT集成用于高光谱图像解混合。本工作的主要贡献总结如下：（1）提出并实现了一种改进的TNT网络：在原始TNT架构基础上，内部Transformer采用线性自注意力（LSA）机制，在滑动窗口内高效计算局部像素相似性，而外部Transformer保持全局自注意力以整合不同图像块间的上下文信息。这种局部-全局协同机制显著降低了计算复杂度，同时增强了对局部光谱变化和空间一致性的建模能力。（2）引入了一个空谱相似性模块：该模块通过计算每个像素与其四个相邻像素之间的余弦相似度和欧几里得距离，显式捕获局部邻域内的光谱和空间相似性。通过将所得相似性张量与原始光谱信息拼接，进一步丰富了输入特征，为TNT网络提供了包含邻域结构的空谱特征。这有效提高了模型捕获局部细节和保持空间一致性的能力，从而提高了端元提取和丰度估计的准确性。（3）构建了一个端到端可训练的解混合框架：模型通过1×1卷积解码端元，并通过通道级Softmax估计丰度。在训练期间，该框架通过最小化均方误差（MSE）和光谱角距离（SAD）等损失函数，同时优化重建准确性和物理可解释性。

本研究在合成数据集和三个真实数据集（即Samson、Jasper Ridge和Apex）上进行了实验，以确保实验评估的有效性。通过与八种具有代表性的高光谱解混合方法（包括A2SAN、DFFN、CyCU、MAT-Net、TCCU、CDCTA、DeepTrans和MOGNMF）进行全面比较，验证了所提方法的优越性。

（1）合成数据集：在合成数据集上的定量实验结果报告于表4和表5。可以观察到，所提出的SSTNT方法在丰度估计和端元提取方面均实现了最佳的整体性能。具体而言，SSTNT的丰度估计平均均方根误差（RMSE）为0.01011。在端元提取方面，SSTNT的平均光谱角距离（SAD）为0.00843，显著低于竞争方法。总体而言，SSTNT在合成数据集上的丰度估计和端元提取方面均表现出优越性能。

（2）Samson数据集：Samson数据集上的定量结果见表6和表7。与其他方法相比，SSTNT实现了最低的平均RMSE和平均SAD，表明其在丰度估计方面的最佳整体性能。具体而言，SSTNT的平均RMSE为0.038479，比次优方法DeepTrans低0.033164。此外，其平均SAD为0.047783，优于次优方法CDCTA 0.002028。

（3）Jasper Ridge数据集：Jasper Ridge数据集上的定量结果如表8和表9所示。SSTNT在所有比较方法中始终实现了最低的平均RMSE和平均SAD。在丰度估计方面，SSTNT获得的平均RMSE为0.06819，比次优方法DeepTrans低27.5%，并在估计树木丰度方面表现出最佳性能。在端元提取方面，SSTNT实现了0.066903的平均SAD，优于次优方法MAT-Net 8.05%。

（4）Apex数据集：Apex数据集上的定量结果报告于表10和表11。如表所示，与所有竞争方法相比，SSTNT实现了最低的平均RMSE和平均SAD。具体而言，SSTNT的丰度估计平均RMSE为0.12563，比次优方法DeepTrans低2.26%，并在估计水体丰度方面表现出最佳性能。在端元提取方面，SSTNT实现了0.08356的平均SAD，比次优方法MOGNMF低12.96%，在提取道路和水体端元方面表现出优越性能。

视觉分析进一步证实了定量结果。图7和图8直观地展示了所有解混合方法在合成数据集上估计的端元光谱和丰度图。如图7所示，SSTNT、MAT-Net和TCCU生成的丰度图比其他方法更接近真实值（GT）。图8展示了端元估计结果，SSTNT、MAT-Net和TCCU提取的端元几乎与真实端元光谱相同。图9和图10进一步展示了Samson数据集的丰度图和端元光谱的定性比较。如图9所示，SSTNT生成的丰度图更接近真实值，并更好地保留了土地覆盖区域的空间连续性和边界结构。这种一致性可归因于SSTNT对空谱相似性的有效建模，使其能够捕获多个空间尺度上物质间的内在关系，从而更准确地表征混合像元中的丰度变化。相比之下，CDCTA和MOGNMF等方法倾向于低估沙地和水体的丰度，导致相应的丰度图中出现不完整的局部结构或不必要的细节噪声。图10进一步表明，SSTNT估计的端元光谱与参考光谱几乎完全一致。图11和图12展示了Jasper Ridge数据集上解混合结果的定性比较。SSTNT生成的丰度图和端元光谱与真实值的一致性显著高于其他方法。如图11所示，SSTNT产生的丰度分布在空间结构和细节表示方面与参考丰度图（GT）保持高度一致，特别是在树木、土壤和道路材料主导的区域，丰度变化更加连续，边界更加清晰。相比之下，一些竞争方法表现出明显的估计偏差：MAT-Net在水体主导区域倾向于高估水体丰度，同时不同程度地低估树木和道路丰度；CyCU在土壤丰度图中表现出细节表示不足，导致局部结构过度平滑。与此同时，DeepTrans和MOGNMF在水体丰度估计上表现出不同程度的低估，导致关键空间细节的丢失。相比之下，SSTNT有效缓解了这些问题，并在不同土地覆盖类别中保持了更合理的丰度分配。图12显示了估计端元光谱与参考光谱的对比，可以观察到SSTNT在整体光谱趋势和局部波段变化方面与参考端元达到了高度一致。图13和图14展示了Apex数据集上解混合结果的定性比较。SSTNT生成的丰度图和端元光谱与真实值的一致性显著高于其他方法。如图13所示，SSTNT生成的丰度分布在空间结构和细节表示方面与参考丰度图保持高度一致，准确捕获了道路、树木和屋顶材料的空间形态和边界信息。相比之下，几种竞争方法表现出不同程度的估计偏差：A2SAN、DFFN和MOGNMF通常在水体主导区域高估水体丰度，同时显著低估道路和树木丰度，导致空间表示不准确。MAT-Net和TCCU在屋顶丰度图中存在细节表示不足的问题，过度平滑的局部区域削弱了边界信息。此外，A2SAN、DFFN、CDCTA和DeepTrans在道路主导像素中仍存在不同程度的水体高估，降低了道路区域的空间一致性。相比之下，SSTNT在不同土地覆盖类别中保持了更平衡和合理的丰度分布，有效缓解了上述问题。如图14所示，SSTNT在整体光谱趋势和关键波段变化方面与参考端元达到了高度一致，准确捕捉了端元光谱的主要特征。

为了验证所提SSTNT模型中各个组件（包括相似性模块、TNT框架和线性自注意力（LSA）模块）的有效性和个体贡献，在四个数据集上进行了全面的消融实验。表12报告了不同消融设置下的RMSE和SAD定量结果。总体而言，完整的SSTNT模型在所有四个数据集的重建误差（RMSE）和光谱角距离（SAD）方面均实现了最佳性能，证明了所提框架的有效性。各个模块的贡献分析如下：（1）SCEB模块的有效性：引入同时集成欧几里得距离和余弦相似性的相似性模块带来了显著的性能提升。移除相似性模块后，Samson数据集上的RMSE从0.0385增加到0.0680，而SAD从0.0478上升到0.0764。类似地，在Apex数据集上，RMSE从0.1256增加到0.1418。这些结果表明，相似性模块通过互补的欧几里得-余弦双度量融合机制，有效地捕获了相邻像素间的局部光谱一致性。通过显式纳入邻域光谱相关性，模型能够区分高度相似光谱之间的细微差异，从而提高丰度连续性和端元可判别性。（2）TNT架构的影响：纳入TNT框架极大地增强了模型的多层次特征建模能力。当TNT模块被传统Transformer替代时，观察到明显的性能下降。具体而言，Jasper Ridge数据集上的RMSE从0.0682增加到0.1371，在Apex数据集上从0.1256增加到0.2311。这清楚地表明，TNT的双令牌机制（由内部和外部令牌组成）在多尺度特征提取中起着关键作用。相比之下，传统Transformer仅依赖于图像块级特征的全局注意力，缺乏建模图像块内细粒度像素关系的能力，导致解混合精度大幅下降。（3）线性自注意力（LSA）的贡献：采用LSA进一步提高了模型捕获局部细节的能力。当LSA被传统的多头自注意力（MHSA）替代时，整体性能下降。在Jasper Ridge数据集上，RMSE从0.0682增加到0.1145，而在Apex数据集上则从0.1256上升到0.1510。此外，所有数据集上的SAD值均不同程度增加。这些结果表明，LSA模块在关注相关相邻像素方面更有效，从而在端元提取和丰度估计方面提供了更高的鲁棒性和准确性。

本文提出了一种基于空谱相似性引导的Transformer中的Transformer高光谱解混合框架（SSTNT）。相似性模块通过结合余弦相似性和高斯加权欧几里得距离增强了局部光谱一致性，提供了具有判别性的空谱表示。改进的TNT编码器通过内外令牌交互实现了层次化特征建模，而线性自注意力机制降低了计算复杂度并实现了高效的全局依赖建模。在合成和真实高光谱数据集（包括Samson、Jasper Ridge和Apex）上的实验结果表明，SSTNT在RMSE和SAD方面取得了优越性能，并具有改善的空间平滑性和光谱一致性。尽管取得了有希望的结果，但高光谱解混合仍面临一些挑战。严重的光谱变异性可能仍然会影响复杂场景下的鲁棒性。此外，将特定任务的解混合模型与新兴的基于基础模型的表示相结合，可以增强跨场景泛化能力。未来的工作将重点提高鲁棒性和可扩展性，同时探索混合表示学习框架。