SASR：一种不受传感器类型影响的语义表示统一方法，用于跨模态的RGB与高光谱航空图像识别 作者：Muhammad Zaheer Sajid, Muhammad Fareed Hamid, Kamran Bashir Taas, Muhammad Attique Khan, Latifah Almuqren, Mohammad Alhefdi, Yunyoung Nam, Zepa Yang

《Remote Sensing》：SASR: Sensor-Agnostic Semantic Representation Unification for Cross-Modal RGB and Hyperspectral Aerial Scene Recognition Muhammad Zaheer Sajid, Muhammad Fareed Hamid, Kamran Bashir Taas, Muhammad Attique Khan, Latifah Almuqren, Mohammad Alhefdi, Yunyoung Nam and Zepa Yang

　　**亮点**

**主要发现是什么？**
提出了一种新颖的、受神经科学启发的、与传感器无关的语义表示框架，该框架能够在不需要配对模态或显式特征融合的情况下，统一RGB和高光谱航空场景识别。所提出的模型在准确率方面表现优异，RGB模式的准确率为96.4%，HSI模式的准确率为97.3%，并且在RGB到HSI以及HSI到RGB的跨模态迁移方面的准确率分别为87.2%和88.7%。

**主要发现的意义是什么？**
语义表示的统一使得跨传感器知识传递更加可靠，并减少了异构遥感数据之间的模态差异。该框架能够在仅使用单一传感模态的实际地球观测系统中实现可扩展部署。

**摘要**
随着深度学习方法的发展，RGB和高光谱图像的航空场景识别取得了显著进步。然而，现有方法通常基于单一模态进行操作，或者依赖于显式的多模态融合，这限制了它们的可扩展性、灵活性以及在异构传感环境中的应用。为了解决这一问题，我们提出了一种与传感器无关的语义表示学习框架，该框架将多模态学习视为语义表示的统一，而不是特征级别的融合。该框架采用特定于模态的编码器和投影头，将空间和光谱-空间特征映射到共享的语义嵌入空间中，从而在保持每种传感模态的区分特性的同时实现模态不变的特征表示学习。引入了一个综合目标函数，包括跨光谱对齐、类内紧凑性正则化和基于原型的语义锚定，以确保嵌入几何结构的一致性并提高跨模态的类别可分性。在该共享空间内运行的统一分类器可以实现单模态输入的可靠推理，而无需配对数据或显式融合。在多个基准数据集上的广泛评估证明了该框架的鲁棒性和泛化能力，包括用于跨模态RGB-高光谱分析的Houston 2013数据集、用于独立RGB航空场景分类的UC Merced数据集以及用于高光谱土地覆盖识别的Indian Pines数据集。在Houston 2013数据集中，该方法的总体准确率分别为96.4%（RGB）和97.3%（高光谱），跨模态迁移性能分别为87.2%（RGB → HSI）和88.7%（HSI → RGB），并在联合训练下进一步提高到97.0%和97.8%。在UC Merced和Indian Pines数据集上，模型的总体准确率分别为98.7%和97.6%。这些结果表明，语义表示的统一是一种可扩展且有效的替代传统多模态融合的方法，适用于异构遥感环境。

**1. 引言**
航空场景识别是遥感中的一个基本任务，它为头顶图像分配语义标签。这一技术在包括土地利用制图、环境监测、精准农业和城市规划在内的广泛应用中发挥着重要作用。随着地球观测平台和传感技术的快速发展，深度学习已成为理解航空场景的主要手段。早期研究从手工制作的描述符转向了基于深度学习的流程，而最近的进展则主要由卷积神经网络和基于变压器的架构推动，这些架构能够从高分辨率图像中学习丰富的空间结构、纹理和上下文线索。同时，计算效率变得越来越重要，这促使人们开发出轻量级且资源敏感的航空场景分类模型，以减少成本同时保持高性能。
与这些努力并行的是，航空场景识别已经从纯粹的监督学习方法发展为可迁移和数据高效的表现学习。特别是自我监督的掩码建模，它能够从未标记的地球观测数据中学习表示，已成为不可或缺的方向。例如，用于多光谱和时间序列卫星图像的掩码自动编码通过利用领域结构而非仅依赖RGB流的颜色外观，在下游任务中取得了出色的性能。数据效率和基于基准的评估是公平比较和可重复进步的另一个前提条件，其中GEO-Bench为一系列地球观测任务提供了一个通用的基准测试平台。

**2. 材料与方法**
与标准RGB图像相比，高光谱成像（HSI）通过连续波段测量获得了更密集的光谱分析，从而能够更好地获取材料特性和类别区分度。然而，使用高光谱数据进行学习仍然存在一些问题，如高维数据、缺乏标记样本以及对采集系统（例如传感器特性）的敏感性。基于这些问题，同时捕获空间-光谱信息的自我监督或掩码建模方法已被积极研究，并证明即使在低标签情况下也能生成更好的表示。还有一些工作专门探索了高光谱学习中的更好光谱利用方法：例如，通过掩码光谱进行重建的SpectralMAE，以及用于高光谱分类的具有判别性光谱-空间特征的对比掩码自动编码器。最近的研究尝试通过使用多尺度层次化方法或图模型技术进一步改进表示，例如SSHMT-MAE、自我监督图掩码自动编码器和基于图的掩码自动编码器用于异常检测。这些成就进一步说明了在低标签或领域变化条件下，强大的高光谱表示学习在增强遥感识别中的关键作用。
在更广泛的层面上，遥感研究正迅速朝着基础模型式的预训练和多模态表示学习发展。受到计算机视觉和自然语言处理中大规模模型成功的启发，最近的遥感基础模型旨在学习能够在不同数据集和下游任务中有效传递的通用特征。视觉-语言基础模型表明，将遥感视觉特征与语义语言监督对齐可以显著提高可迁移性和下游性能。基于对比学习和掩码自动编码的多模态自我监督框架也证明了跨模态预训练可以生成能够跨传感条件和数据集进行泛化的表示。专门针对光谱的任务基础模型进一步强调了为大规模光谱-空间建模设计的架构的重要性。这一趋势也反映在更一般的地理空间基础建模中。规模研究表明，更大的视觉Transformer模型可以提高遥感任务的性能和数据效率。评估框架如PhilEO Bench提供了多种监督设置下的地理空间基础模型测试基准。最近模型如Prithvi-EO-2.0进一步将这一范式扩展到多时间和全球尺度的表示学习，通过整合时间和位置嵌入。独立评估揭示了这些模型在领域变化下的潜力和局限性。相关的遥感基础模型，包括RingMo-Sense和大规模预训练资源如SatlasPretrain，也旨在提高在不同地球观测任务中的鲁棒性和下游泛化能力。

**3. 实验结果**
实验结果表明，所提出的框架在跨模态迁移方面的性能出色，证实了语义表示的统一是传统多模态融合方法的一个可扩展替代方案。整体工作流程包括六个主要阶段：（1）特定模态的数据预处理，（2）依赖模态的表示编码，（3）共享语义嵌入的形成，（4）受神经启发的跨光谱对齐，（5）统一分类器的学习，以及（6）与传感器无关的推理。在第一阶段，根据各自的传感器特性分别对RGB图像和高光谱图像进行预处理。RGB图像被调整到固定的空间分辨率，进行归一化，并使用随机翻转和旋转等标准方法进行增强，以提高泛化能力。高光谱图像则进行光谱归一化，并可选地通过光谱带选择或线性投影方法来减少噪声和冗余信息。这种预处理有助于保留重要的光谱和空间信息，同时降低计算成本并提高模型的训练稳定性。

在第二阶段，每种模态分别由各自的编码器处理以提取高级语义特征。RGB编码器从RGB图像中捕获空间结构、纹理和物体视觉信息。高光谱编码器从高光谱数据中捕获光谱-空间关系和特定材料的光谱特征。两个编码器独立运行且不共享参数，因此每个编码器都能根据其模态的物理特性和数据特征学习相应的特征。

在第三阶段，使用依赖于模态的投影头将特定模态的特征投影到共享的语义嵌入空间中。每个投影头包含两个全连接层，带有批量归一化、ReLU激活函数和温跃丽（ReLU）激活函数，产生一个固定大小的嵌入向量。这个共享的嵌入空间作为一个共同的表现空间，在其中同一类的样本彼此接近，而不同类的样本则相隔较远。重要的是，这种投影无需精确的像素级匹配或配对的RGB-高光谱样本，从而实现灵活有效的跨模态特征学习。

在第四阶段，应用受神经启发的对齐和一致性学习目标来组织共享的嵌入空间。跨光谱语义对齐目标使同一类中的不同模态嵌入在嵌入空间内对齐，以便模型能够学习到与模态无关的语义表现。同时，判别性学习目标增加了不同类之间的距离，从而提高分类的鲁棒性。类内紧凑性约束还减少了同一类内的变异，使得嵌入的簇更加稳定和分离度更高。此外，还使用了基于原型的语义锚定，每个类都有一个原型作为语义参考点来指导特征对齐。所有这些机制都有助于形成稳定且与模态无关的语义表现，类似于生物感知系统中的联想记忆行为。

最后，在推理阶段，所提出的框架以与传感器无关的方式工作。它只需要单一模态的输入。输入样本被送到其特定的模态编码器和投影头中生成共享的语义嵌入。之后，这个嵌入由统一分类器在共享的语义空间中进行分类。在推理过程中不需要配对的模态数据、显式的特征融合或额外的模态信息。这种与传感器无关的推理能力使得在只有单一模态传感器可用的真实世界遥感应用中能够灵活部署，同时在不同传感器之间保持一致的语义理解。图1展示了所提出的神经-传感器无关表示学习框架的整体工作流程。所有实验都是使用Python 3.10和PyTorch 2.7.0实现的。

所提出的架构基于受神经启发的双重感官路径和共享语义皮层范式。这一范式展示了生物感知系统如何通过特定模态的路径处理不同的感官输入，然后在更高的皮层层次将它们合并为统一的语义表现。受此启发，所提出的框架使用独立的特定模态编码器分别处理RGB和高光谱输入。之后，特征被投影到一个共享的语义嵌入空间中，作为共同的表现皮层。所有的识别决策都在这个共享的语义空间内使用单一的统一分类器完成。这种设计实现了与传感器无关的推理，消除了对配对RGB-高光谱样本或显式特征级融合的需求。

在第一阶段，RGB编码器接收一个RGB图像并产生一个空间-语义特征表示：（1）RGB编码器捕获光学图像特有的空间结构、纹理模式和对象级语义信息。同时，高光谱编码器处理高光谱输入并提取光谱-空间特征表示：（2）高光谱编码器学习光谱带之间的相关性，并保留空间信息，这有助于更有效地表示材料的光谱特征。RGB编码器使用在ImageNet上预训练的ResNet-50作为基础架构，随后通过全局平均池化层生成紧凑的空间-语义特征嵌入。高光谱编码器使用3D卷积神经网络实现，包括光谱-空间卷积层、批量归一化和ReLU激活函数，以捕获光谱和空间依赖性。两个编码器独立运行且不共享参数，使每个编码器能够根据其感知模态的物理和统计特性学习和专化。图2展示了特定模态的双重路径，其中RGB编码器提取空间-语义特征，而高光谱编码器独立学习光谱-空间表示。为了实现模态的统一，特定模态的特征通过投影头映射到一个共享的语义嵌入空间中。每个投影头包含两个全连接层，带有批量归一化、ReLU激活函数和温跃丽激活函数。这种投影将编码器特有的特征转换为一个固定维度的统一嵌入空间，使得不同模态的语义表示一致。投影后的嵌入定义为：（3）其中表示归一化，确保嵌入位于单位超球面上。这种归一化有助于提高训练稳定性，并允许基于余弦的相似性比较。结果的共享嵌入空间作为一个与模态无关的语义表示空间，在该空间中语义概念独立于感知模态进行编码。如图3所示，特定模态的特征被投影到一个共享的语义嵌入空间中并进行归一化，以实现与模态无关的表现学习。图3. 共享语义嵌入空间：RGB和高光谱特征通过特定模态的头部投影并进行归一化，以产生与模态无关的嵌入。在共享的语义嵌入空间之上，应用一个统一分类器来进行传感器无关的航空场景识别。

所提出的架构基于受神经启发的双重感官路径和共享语义皮层范式。该范式展示了生物感知系统如何通过特定模态的路径处理不同的感官输入，然后在更高层次的皮层将它们合并为统一的语义表示。受此启发，所提出的框架使用独立的特定模态编码器分别处理RGB和高光谱输入。之后，特征被投影到一个共享的语义嵌入空间中，作为共同的表现皮层。所有的识别决策都在这个共享的语义空间内使用单一的统一分类器完成。这种设计实现了与传感器无关的推理，并消除了对配对RGB-高光谱样本或显式特征级融合的需求。

在第一个阶段，RGB编码器接收一个RGB图像并产生一个空间-语义特征表示：（1）RGB编码器捕获光学图像特有的空间结构、纹理模式和对象级语义信息。同时，高光谱编码器处理高光谱输入并提取光谱-空间特征表示：（2）高光谱编码器学习光谱带之间的相关性，并保留空间信息，有助于更有效地表示材料的光谱特征。RGB编码器使用在ImageNet上预训练的ResNet-50作为基础架构，随后通过全局平均池化层生成紧凑的空间-语义特征嵌入。高光谱编码器使用3D卷积神经网络实现，包括光谱-空间卷积层、批量归一化和ReLU激活函数，以捕获光谱和空间依赖性。两个编码器独立运行且不共享参数，使每个编码器能够根据其感知模态的物理和统计特性学习和专化。图2展示了特定模态的双重路径，其中RGB编码器提取空间-语义特征，而高光谱编码器独立学习光谱-空间表示。为了实现模态的统一，特定模态的特征通过投影头映射到一个共享的语义嵌入空间中。每个投影头包含两个全连接层，带有批量归一化、ReLU激活函数和温跃丽激活函数。这种投影将编码器特有的特征转换为一个固定维度的统一嵌入空间，使得不同模态的语义表示一致。图2. 特定模态编码器：RGB路径（ResNet-50）提取空间-语义特征，而高光谱路径（3D CNN）学习光谱-空间表示。为了实现模态的统一，特定模态的特征通过投影头映射到一个共享的语义嵌入空间中。每个投影头包含两个全连接层，带有批量归一化、ReLU激活函数和温跃丽激活函数。这种投影将编码器特有的特征转换为一个固定维度的统一嵌入空间，使得不同模态的语义表示一致。投影后的嵌入定义为：（3）其中表示归一化，确保嵌入位于单位超球面上。这种归一化有助于提高训练稳定性，并允许基于余弦的相似性比较。结果的共享嵌入空间作为一个与模态无关的语义表示空间，在该空间中语义概念独立于感知模态进行编码。如图3所示，特定模态的特征被投影到一个共享的语义嵌入空间并进行归一化，以实现与模态无关的表现学习。图3. 共享语义嵌入空间：RGB和高光谱特征通过特定模态的头部投影并进行归一化，以产生与模态无关的嵌入。在共享的语义嵌入空间之上，应用一个统一分类器对两种模态的嵌入进行分类。预测的类别概率计算如下：（5）其中和是可学习的参数，C是类别的数量。使用单一分类器，我们确保RGB和高光谱样本使用相同的决策边界进行分类，从而强制语义一致性并有助于传感器无关的识别。

架构的训练由一个复合目标函数指导，该函数学习强大的判别性表示并提高跨光谱语义对齐。首先，监督分类损失确保学习到的嵌入能够预测正确的类别标签。其次，跨光谱对齐损失帮助同一类别内不同模态的嵌入在共享嵌入空间中保持接近，而不同类别的嵌入保持分离。第三，类内紧凑性约束减少了同一类别内的变异，提高了簇的稳定性和类别分离度。最后，基于原型的协议机制引入了与模态无关的类别原型，作为语义锚点，指导两种模态向一致的语义表示发展。这些组合的目标函数帮助模型学习出鲁棒、与模态无关的语义特征。图4展示了在共享嵌入空间中运行的统一分类器，并总结了强制不同模态之间语义一致性的复合目标函数。所提出的神经-传感器无关表示学习框架的完整训练过程总结在算法1中。算法1 神经-传感器无关表示学习（训练）。需要：RGB数据集、HSI数据集、编码器、投影头、分类器q、原型、损失权重。确保：训练后的参数和原型1：初始化网络参数并归一化原型2：对于epoch到T，执行3：从和中采样小批量4：特定模态编码：5：6：7：共享空间投影：8：9：10：统一分类损失：11：12：跨光谱对齐：13：14：类内紧凑性：15：16：原型一致性：17：18：总损失：19：使用反向传播更新网络参数20：使用指数移动平均更新原型：23：结束for24：返回训练好的模型和原型图4. 统一分类器和目标函数：单个分类器在共享嵌入空间中运行，受分类、跨光谱对齐、类内紧凑性和原型一致性目标的指导。在推理过程中，只需要一个模态输入。输入样本通过其相应的特定模态编码器和投影头生成共享的语义嵌入。然后，这个嵌入由统一分类器在共享的语义空间中进行分类。在推理过程中不需要配对的模态数据、显式的特征融合或额外的模态信息。这种与传感器无关的推理能力使得在不同的遥感应用中可以灵活部署，即使只有单一的模态传感器可用，同时在不同传感器之间保持一致的语义理解。图1显示了所提出的神经-传感器无关表示学习框架的整体工作流程。所有实验都是使用Python 3.10和PyTorch 2.7.0实现的。

在本节中，我们广泛地在Houston 2013高光谱数据集上验证了我们提出的神经-传感器无关表示学习框架。为了确保严格的跨模态验证，从相同的数据生成了两种模态。高光谱模态以整个光谱立方体作为输入，而RGB模态则通过选择高光谱数据中的可见光带合成而来。两种模态包含相同的空间场景，且真实标签相同，从而保证了相同的语义，使得对与模态无关的表示学习的评估更加严谨。尽管两种模态来源于相同的获取方式，但它们的光谱特性非常不同，它们的统计分布也不同，这使得跨模态语义对齐和表示 transfer 可靠性得到评估。该框架在四种情况下进行了测试：模态内识别、跨模态泛化、联合模态训练和消融研究。主要报告的是准确率（OA），同时给出平均准确率（AA）和卡帕系数（Kappa）来表示分类的置信度。

为了全面评估与传感器无关的语义表示学习框架，我们在三个广泛采用的基准数据集上进行了实验。这些数据集分别是Houston 2013、UC Merced土地利用和Indian Pines。Houston 2013数据集：Houston 2013数据集是一个常用的光谱图像分类基准，提供了15个场景类别的高分辨率光谱图像。RGB和高光谱模态都是从Houston 2013数据集生成的，以便进行精确的语义对应和严格的与模态无关的表示学习评估。光谱模态基于整个光谱立方体（丢弃噪声带和水分吸收带）构建；而RGB模态则是通过选择高光谱数据中的光谱带合成得到的。由于两种模态来自相同的场景并且具有相同的真实标签，因此排除了语义差异，从而保证了可靠的跨模态评估。UC Merced土地利用数据集：UC Merced数据集是一个常见的航空场景分类基准。共有2100张RGB图像，分为21个土地利用类别（每个类别100张图像）。所有图像的分辨率为像素。训练时的图像大小被下采样到。我们使用了80/20的训练/测试比例。我们使用这个数据集来测试所提出的RGB路径在另一个航空基准上的泛化能力。Indian Pines数据集：Indian Pines数据集是一个众所周知的高光谱土地覆盖分类基准，由AVIRIS传感器获取。它包含16个土地覆盖类别和220个光谱带，在去除噪声带和水分吸收带后。按照常见做法，使用了80/20的训练/测试比例。在训练前应用了光谱归一化，以确保稳定的优化。该数据集被用来验证在高光谱路径在独立单模态环境中的有效性。所有数据集的详细特征在表1中进行了总结。表1. 用于评估的数据集摘要。3.2 实验1：针对特定模态的识别性能本实验评估了在分别针对每种模态进行训练和测试时所提出框架的识别性能。在RGB模态下，只有RGB编码器及其投影头处于活跃状态；而在高光谱模态下，仅使用高光谱编码器及其投影头。在这两种情况下，统一分类器都在一个共享的语义嵌入空间上运行，确保了决策边界的一致性。实验验证了所提出的共享嵌入架构并没有降低单模态性能，并且仍然保持了强大的区分能力。表2展示了在Houston 2013数据集上的特定模态识别性能。所提出的框架在两种模态上都优于基线的卷积和基于变换器的架构。具体来说，该方法在RGB模态下的总体准确率为96.4%，在高光谱模态下为97.3%。高光谱模态的Kappa系数高达0.968，表明其分类可靠性很高。这表明共享的语义嵌入空间作为一个正则化器发挥了有效作用，增强了特征区分能力。图6显示了在Houston 2013数据集上的模态内识别结果比较，表明所提出的方法在RGB和高光谱模态下都获得了高准确率。3.3 实验2：跨模态泛化性能我们通过跨模态泛化实验评估了所提出框架的模态不变性。在这种情况下，模型仅通过来自一种感知模态的样本进行训练，并直接在另一种模态上进行测试，无需微调、参数修改或领域适应。这旨在反映原始的语义可转移性，而不是隐式的适应。更具体地说，研究了两种转移方式：(1) RGB → HSI（在RGB样本上训练并在HSI图像上进行测试），(2) HSI → RGB（在HSI样本上训练并在RGB图像上进行测试）。分类器是统一的，所有测试的嵌入空间也是固定的。由于两种模态在Houston 2013数据集中具有相同的空间位置和相同的类别标注，我们直接观察到了嵌入空间中编码的模态无关语义结构。表3总结了跨模态识别任务的结果。对于RGB → HSI和HSI → RGB任务，所提出的方法分别实现了87.2%和88.7%的全球准确率。这两个结果都大大超出了基线性能，表明跨光谱对齐和基于原型的语义锚定在弥合领域差异方面是有效的。尽管与模态内实验相比结果略有下降，但考虑到RGB和高光谱数据之间的固有差异，这是可以预料的。然而，性能的下降幅度相当小，这证明了学习到的共同嵌入空间主要代表了语义而不是模态特征，因此在语义层面上进行统一对于跨领域传感器环境是合理的。图7展示了跨模态识别任务下的性能比较，结果表明所提出的框架在两个方向上的转移都具有优越性能，证明了我们的模型能够学习到模态不变的语义特征。3.4 实验3：联合模态训练性能我们评估了在RGB和高光谱两种模式下进行联合训练的框架性能。在这种设置中，RGB和高光谱数据同时输入网络，促进了语义对齐并发展了更具区分性的特征。共同的语义嵌入空间通过分类损失、跨光谱对齐损失、紧凑性损失和原型一致性损失进行了联合优化。表4显示了在两种模式下训练的结果，我们的框架在RGB模态下的准确率为97.0%，在高光谱模态下的准确率为97.8%。这证明了联合模态训练在提高表示质量和未见样本性能方面的优越性。图8展示了联合模态训练的结果，进一步证明了语义对齐和原型学习的必要性。3.5 训练和验证收敛性分析我们检查了训练和验证的准确率及损失曲线，以了解框架的优化和收敛性稳健性。图9显示了训练和验证准确率作为训练时期的函数。在训练的早期阶段，准确率曲线迅速上升，然后随着模型学习更多具有区分性的语义特征而逐渐稳定下来。验证准确率与训练准确率大致相同，过拟合现象极低。图10表示了训练和验证损失曲线，随着时期数的增加，两条损失曲线都稳定下降，证明优化过程是稳定的，并且学习过程是高效的。这表明共享语义嵌入架构和基于原型的表示学习策略在学习和良好的特征表示方面是有效的。3.6 混淆矩阵分析为了更精确地评估神经传感器不可知框架的类别级识别性能，图11展示了Houston 2013数据集上的混淆矩阵。混淆矩阵在比较实际类别标签和预测类别标签时提供了更多关于分类性能的信息。从图中可以看出，大多数样本位于对角线上，表明大多数样本被正确预测。密集的线条表明所提出的框架适用于在共同嵌入空间中学习高度区分性的语义表示。图11显示了Houston 2013数据集上所提出的神经传感器不可知框架的混淆矩阵。对角线上的大值反映了每个类别分类的高准确性，而非对角线上的小值表明类别混合较少，这意味着模型可以使用嵌入空间和统一分类器轻松区分不同类别。最小的非对角线值表明不同类别之间的误分类较少，证实了学习到的嵌入空间能够很好地分离类别。即使在高光谱分类中通常难以区分的具有相似光谱或空间特征的类别，也能被高准确率分类。这表明特定于模态的编码器和跨光谱对齐目标成功捕获了空间结构和光谱特征，同时保留了特定于类别的语义信息。此外，基于原型的语义对齐有助于形成每个类别的紧凑、分离良好的簇，减少了混淆并提高了分类的稳健性。这些结果表明，共享的语义嵌入空间成功地将特定于模态的特征对齐到一个统一的表示中，同时保持了类别间的区分性。在这个嵌入空间中运行的统一分类器可以学习到一致、可靠的决策边界，适用于所有场景类别。混淆矩阵总体表明，所提出的传感器不可知方法在所有类别上提供了平衡、稳健且有效的分类准确性，有效地解决了异构遥感环境中的航拍场景分类问题。3.7 实验4：在UC Merced数据集上的RGB评估为了测试所提出的RGB路径的鲁棒性，即使在RGB-HOUSTON设置之外，我们还在UC Merced土地利用数据集上测试了我们的系统，这是一个常用的航拍场景分类基准，包含2100张21个土地利用类别的彩色图像，每个类别有100张图像。我们的实验采用了80/20的训练/测试分割。图像被缩放到224 × 224，并使用了简单的数据增强方法，如随机水平翻转和随机小角度旋转。在这个仅使用RGB的实验中，只有RGB编码器及其投影头被激活，分类是由在共享语义嵌入空间中工作的统一分类器完成的。如表5所示，所提出的框架实现了98.7%的总体准确率，高于标准的ResNet-50基线（97.8%）。这些结果表明，即使在仅使用RGB的情况下，共享语义嵌入设计也能保持强烈的空间特征区分能力。图12中的训练和验证准确率曲线显示了早期时期的快速收敛，随后性能稳定，验证准确率与训练准确率非常接近，证实了较少的过拟合和良好的泛化能力。图12中的训练和验证损失曲线显示出平滑的下降趋势，表明优化过程是稳定的。图13中的混淆矩阵显示了对角线上的值很强，类别间的混淆很少，表明在所有21个类别上的分类性能可靠。总体而言，这些结果证实了所提出的RGB路径能够很好地泛化到独立的航拍数据集，并保持高分类可靠性。3.8 实验5：在Indian Pines数据集上的高光谱评估为了评估我们的框架在纯高光谱环境中的鲁棒性，我们还将它应用于Indian Pines数据集，这是一个常见的高光谱图像分类基准。该数据集包含由AVIRIS传感器捕获的16个土地覆盖类别，使用了220个光谱带，去除了噪声和水吸收带。采用了广泛使用的80/20训练-测试分割方案。所有高光谱样本在训练阶段之前都进行了光谱归一化，以便优化过程顺利。在这个仅使用高光谱的实验中，只有HSI编码器和HSI投影头被激活，RGB路径被关闭。分类是在共享的语义嵌入空间中使用相同的分类器完成的。如表6所示，所提出的框架获得了97.6%的平均准确率，显著优于标准的ResNet-style基线（95.8%）。这表明即使在仅使用RGB的情况下，共享语义嵌入设计也能保持强烈的空间特征区分能力。图14显示，训练和验证准确率曲线在初期迅速收敛，随后性能稳定，验证准确率与训练准确率非常接近，表明过拟合较少且泛化能力良好。图14还表明，训练和验证损失曲线平滑下降，表明优化过程是稳定的。图15中的混淆矩阵显示了对角线上的值很高，类别间的混淆很少，表明在所有21个类别上的分类性能可靠。总体而言，这些结果证实了所提出的RGB路径能够很好地泛化到独立的航拍数据集，并保持高分类可靠性。3.9 消融研究为了评估所提出的神经传感器不可知框架各个组件的贡献，我们通过逐一移除关键损失函数（同时保持所有其他架构组件不变）进行了消融研究。具体来说，分别移除了跨光谱对齐损失、类内紧凑性损失和原型一致性损失，以评估它们对分类性能的影响。表7显示了RGB和高光谱两种模态的消融结果。完整模型分别实现了97.0%的RGB数据准确率和97.8%的高光谱数据准确率，证明了完整学习目标的有效性。当移除跨光谱对齐损失时，性能显著下降，RGB数据的准确率为95.2%，高光谱模态的准确率为96.1%。这表明模态间的一致性对于学习模态不变特征和减少领域差异至关重要。移除紧凑性损失也会导致性能下降，表明类内紧凑性有助于使特征更加稳健和可区分。移除原型一致性损失时也观察到了相同的现象，表明类别原型提供了使表示一致和稳定的语义参考。从消融结果可以看出，每个部分都对学习一个稳定、具有区分能力且不受模态影响的共享特征空间做出了重大贡献。除了不同设置之间的性能下降外，图16还显示了不同选择之间的性能下降幅度。图16展示了在Houston 2013数据集上的消融研究性能比较，显示了每个组件的有效性。3.10 计算效率与可扩展性分析除了识别性能之外，计算效率和可扩展性也是大规模遥感应用中实际部署的重要因素。所提出的神经传感器不可知框架设计了针对特定模态的编码器和一个共享的语义嵌入空间，从而避免了显式多模态融合层的额外计算成本。通过在低维嵌入空间中进行语义对齐并使用统一的分类器，该框架在保持强大分类性能的同时降低了计算复杂性和内存使用量。表8比较了所提出框架与代表性基线模型在可训练参数数量、FLOPs以及每个样本的推理时间方面的计算效率。我们的框架相比传统的CNN、Transformer和基于对比学习的模型具有更少的参数和更低的计算复杂性。它去除了多余的特定模态分类器和昂贵的融合操作，从而实现了更快的推理速度，但并未牺牲强大的特征学习能力。表8. 计算效率比较。由于其参数数量和FLOPs较少，所提出的框架在资源有限的设备上更高效且易于部署。此外，由于统一的语义嵌入空间减少了内存冗余，唯一统一的分类器适用于所有模态。随着感知模态数量的增加，也可以扩展所提出的架构。只需为每个模态添加一个独立的特定模态编码器，并保留共同的嵌入空间和最终的分类器。因此，该系统为多模态遥感任务提供了灵活性和可扩展性。此外，从训练和验证收敛性的分析来看，优化策略是稳定的，准确率和损失曲线平滑收敛。基于原型的语义对齐和类内紧凑性正则化使得嵌入和类别分离的学习更加稳健。这表明所提出的框架在识别性能、计算成本和可扩展性之间取得了适当的平衡，因此可以广泛应用于异构遥感系统的传感器不可知式空中场景识别。3.11 与最先进方法的比较为了评估所提出的神经传感器不可知表示学习框架的有效性，将其性能与最近的最先进高光谱图像分类方法在Houston 2013数据集上的表现进行了比较。高光谱分类的最新进展主要得益于深度卷积神经网络、基于Transformer的模型和光谱-空间表示学习方法。早期基于CNN的深度学习方法在提取空间特征方面表现强劲，但在捕捉长距离光谱依赖性方面存在局限。为了解决这个问题，基于Transformer的模型（如SpectralFormer [33]）引入了光谱自注意力机制来捕捉全局光谱关系，从而显著提高了分类准确率。类似地，空间-光谱Transformer架构 [34] 通过联合学习空间和光谱特征进一步提高了性能。最近，基于Spectral-Spatial Mamba的模型 [35] 通过使用高效的序列建模方法，在保持高分类准确率的同时提高了计算效率。表9显示了所提出框架与不同最先进方法之间的定量比较。所提出的神经传感器不可知框架的总体准确率为97.8%，高于基于CNN的方法、基于Transformer的模型（如SpectralFormer [33] 和空间-光谱Transformer [34]）以及基于Mamba的架构 [35]。这一更好的性能归功于共享的语义嵌入空间和跨模态对齐机制，这些机制帮助模型学习不受模态影响的特征并提高了表示的泛化能力。与主要从单一模态学习特征的传统方法不同，所提出的框架直接学习不受模态影响的语义表示，从而提高了分类准确率，并使模型更加稳健。由于训练范式和依赖大规模预训练的不同，最近的自我监督和基于基础模型的方法未包含在此比较中。表9. 与Houston 2013数据集上最先进方法的比较。所提出框架的更好性能表明，语义表示的统一对于空中场景识别非常有效。通过将不同模态的特征对齐到一个共享的语义嵌入空间中，该框架在保持良好的计算效率的同时提高了分类准确率。这些结果表明，与传统的特定模态深度学习方法相比，语义表示的统一是一种强大且可扩展的替代方案，适用于高光谱和多模态遥感应用。4. 讨论实验结果表明，所提出的神经传感器不可知表示学习框架是一种高效且可扩展的方法，适用于多种感知模态的空中场景识别。该系统学习不受模态影响的语义嵌入，以便在RGB和高光谱模态之间进行相同的学习，无需显式的特征融合或特定模态分类器的多类分类。对于来自具有不同光谱特性和成像特性的不同传感器的实际遥感应用来说，这一能力非常重要。共享的语义嵌入空间作为统一的表示层，允许两种模态共同为共同的决策空间做出贡献，同时保留它们各自的模态特定特征信息。此外，特定模态的识别性能值也证明了所提出的表示统一并未牺牲单模态性能，反而比特定模态的基线方法表现得更好。这种改进是因为统一嵌入空间规范了网络，使得学习到更多语义和区分性特征。投影头和原型对齐在训练样本上强制实现稳定的语义表示。我们观察到，语义表示的统一不仅提高了泛化能力，还增强了鲁棒性。跨模态泛化实验进一步增强了所提出的传感器不可知学习方法成功的结论。标准特定模态方法的泛化受到RGB和高光谱数据之间显著的光谱和统计差异的限制。通过对比语义嵌入而不是融合特征，所提出的框架减轻了模态间的差距，统一的分类器可以在不同的模态上保持一致的表现。这表明，在语义层面进行表示学习为跨越不同模态的异异性提供了一种稳健且可扩展的桥梁。这些发现支持了本文的核心论点：统一不同感知模态的语义可以缩小它们之间的差距。尽管跨模态结果和消融研究间接支持了共享嵌入空间的有效性，但目前的研究并未使用t-SNE或最大均值差异等工具明确可视化或量化特征分布的对齐。此外，当前的消融主要关注损失组分，而架构因素（如嵌入维度、投影头设计和共享嵌入/统一分类器的构造）也可能影响跨模态传输性能。当前的投影头使用具有独立参数的相同架构，提供了稳定且一致的映射到共享空间的方式，但也可以探索其他适应不同模态的设计。同样，基于EMA的原型更新在训练期间提供了稳定的对齐，尽管更先进的策略（如在线聚类或最优传输）可能会带来进一步的改进。这些方面仍是未来研究的重要方向。联合模态训练进一步提高了RGB和高光谱模态的识别性能。这证实了接触异构数据可以提高表示质量和泛化能力。共享嵌入空间从跨模态的互补信息中受益，从而提高了语义区分能力。消融研究还确认了所提出框架各组成部分的重要性。特别是，跨光谱对齐在确保模态一致性方面起着重要作用，而基于原型的表示学习提高了类别分离性并稳定了嵌入几何结构。类内紧凑性约束进一步提高了聚类的连贯性并增强了分类的可靠性。训练和验证曲线都显示出稳定的训练过程和清晰的学习趋势。训练和验证数据上的准确率曲线以及损失曲线均显示出一致的改进和早期收敛。所有这些都表明，该框架在不过拟的情况下学习了有价值的语义信息。从混淆矩阵中也可以验证出强烈的分类性能：大多数图像被正确分类，且误分类的数量极少。所有结果都证实，尽管所有类别共享了相同的语义嵌入空间，但它保持了高程度的类别区分能力。尽管所提出的框架表现强劲，但仍存在一些局限性。首先，严格的跨模态评估主要在单一基准设置上进行，仍需要在额外的数据集和具有显著不同光谱分辨率的高光谱传感器上进行更广泛的验证，以进一步加强传感器不可知的主张。其次，当前框架依赖于有监督的对齐和启发式的基于EMA的原型更新；将其扩展为自我监督或半监督学习以及更自适应的对齐策略将在标签数据有限的情况下提高可扩展性。第三，最近的基于基础模型和自我监督的遥感方法通常依赖于大规模预训练和外部监督，而所提出的框架强调语义表示的统一和高效跨模态传输，无需此类要求。最后，将框架扩展到SAR或热成像等额外感知模态，并在实际部署条件下进行评估，将进一步提高其鲁棒性和实用性。需要澄清的是，在Houston 2013实验中，RGB模态是从高光谱立方体中提取的，因此两种模态共享了相同的场景和语义标签。这种受控设置用于在一致的真实条件下严格评估语义对齐和跨模态传输。因此，当前的实验不应被解释为完全未配对的跨传感器训练场景。相反，主要贡献在于所提出的框架不需要同时的多模态输入、显式融合或在推理时配对的模态，因为预测是通过共享的语义嵌入空间从一个模态进行的。在真正未配对的跨传感器条件下评估该框架仍然是未来工作的一个重要方向。总体而言，所提出的神经传感器不可知表示学习框架为传统的多模态融合方法提供了一种原则性和实用性的替代方案。该框架不是直接组合特征，而是专注于统一语义表示，从而使得学习更有意义和通用的特征成为可能。因此，该框架可以在异构感知模态之间实现可扩展的、稳健的空中场景识别。这种方法还为开发能够在不同传感器环境和条件下有效工作的统一遥感识别系统打开了新的方向。此外，由于在推理时只有单个特定模态的编码器处于活动状态，而共享的嵌入空间和统一的分类器减少了决策中的冗余，因此该框架在实际应用中也是实用的。结合报告的参数数量、FLOPs和推理时间优势，与CNN和Transformer基线相比，该设计支持在资源受限的空中和卫星平台上的应用。5. 结论本文提出了一种用于空中场景识别的神经传感器不可知表示学习框架，该框架使用RGB和高光谱感知模态在共享的语义嵌入空间中工作。该框架独立编码特定模态的特征，并在更高层次的语义表示中对它们进行对齐，从而实现了无需显式特征融合或模态配对的一致和稳健的识别。在Houston 2013数据集上的实验结果表明，所提出的方法取得了强劲的性能，RGB的总体准确率为96.4%，高光谱数据的准确率为97.3%。此外，它还实现了87.2%（RGB → HSI）和88.7%（HSI → RGB）的高跨模态泛化准确率。联合模态训练将RGB和高光谱模态的性能进一步提高到97.0%和97.8%，证实了它们在共享语义学习方面的优势。消融分析验证了语义对齐和基于原型的表示锚定的重要性，混淆矩阵显示了所有场景类别的出色类别区分能力。这些结果证实，语义表示的统一为传统多模态融合方法提供了一种实用且可扩展的替代方案，实现了在不同感知环境中的稳健和通用的空中场景识别。