基于假设条件光谱重分配与置信耦合空间路由的轻量化高光谱图像分类方法

《Remote Sensing》：Hypothesis-Conditioned Spectral Reallocation and Confidence-Coupled Spatial Routing for Lightweight Hyperspectral Image Classification

　　

摘要专业翻译 高光谱图像（Hyperspectral Image, HSI）分类对计算效率提出了严格要求，尤其是在计算资源受限的机载边缘平台（如小型卫星和无人机（Unmanned Aerial Vehicle, UAV））上。现有深度学习方法通常以近乎均匀的计算量处理所有光谱和空间信息，然而类别判别性波长和信息丰富区域因样本而异。这种均匀处理方式引入了冗余信息提取，并使得轻量化部署变得困难。为解决类别无关光谱波段与重叠空间区域的双重冗余问题，研究人员提出了ReRouteFormer，一种面向高效HSI分类的样本自适应计算分配框架。该网络包含三个任务导向模块：假设条件光谱重分配（Hypothesis-Conditioned Spectral Reallocation, HCSR）模块，在昂贵的特征提取之前抑制弱信息光谱通道；置信耦合空间证据路由（Confidence-Coupled Spatial Evidence Routing, CSER）模块，在固定保留预算下执行内容感知令牌选择并支持置信感知早期退出；以及样本自适应光谱-空间元融合（Sample-Adaptive Spectral–Spatial Meta-Fusion, SS-MetaFusion）模块，以轻量自适应权重融合空间、光谱和混合特征。这些模块被联合优化，并替代基线中的参数密集型操作而非增加额外复杂度。在四个基准HSI分类数据集上的大量实验表明，ReRouteFormer在保持显著更低的参数量和所有对比方法中最低的浮点运算数（FLoating-point Operations, FLOPs）的同时，取得了极具竞争力的分类精度，展现了优越的精度-效率权衡。

论文解读文章

一、研究背景与问题

高光谱图像（Hyperspectral Image, HSI）分类是遥感领域的核心任务，可支撑物质识别、作物监测、环境评估和灾害分析。现代HSI传感器可捕获数十至数百个连续波段，使区分RGB图像难以分辨的细微地物差异成为可能。然而，高光谱分辨率也带来了巨大的计算负担。实际困难在于，判别信息在光谱维度和空间维度上均非均匀分布：对给定样本而言，仅部分波段与当前类别假设强相关，许多通道弱信息或冗余；同质区域内相邻空间斑块也常提供高度重叠的证据。然而，大多数现有HSI分类器仍对每个波段和每个空间区域分配几乎相同的计算量，这种均匀策略在低价值信息上浪费计算资源，限制了在资源受限平台上的部署。

传统机器学习方法（如支持向量机、随机森林）推理成本低，但建模非线性光谱-空间交互能力有限。深度神经网络尤其是基于Transformer的HSI模型虽精度更高，但保留了密集波段处理、密集空间交互和参数密集型融合，精度提升往往伴随巨大计算负担。近期轻量化设计多在架构层面简化，但未显式利用HSI数据冗余的样本依赖性。DSFormer虽提供了强轻量基线，但其令牌自适应选择模块主要聚焦空间筛选，依赖参数密集型全连接评分器，光谱冗余基本未触及。此外，动态推理策略（如令牌剪枝和早期退出）在RGB视觉领域已有研究，但直接应用于高光谱数据仍有限：现有令牌剪枝主要针对空间冗余且采用固定剪枝比例，忽视HSI固有的显著光谱冗余；波段选择技术虽采用软注意力，但推理时仍需全波段特征提取，计算节省有限。

以往工作往往孤立地处理光谱冗余、空间冗余或融合效率问题。在端到端可微架构中联合建模类别感知光谱相关性、输入自适应空间令牌重要性和轻量光谱-空间融合的统一框架，在高光谱文献中仍探索不足。为此，研究人员提出ReRouteFormer，一种冗余感知的HSI分类框架，根据样本自适应的光谱和空间重要性重新分配计算。

二、研究内容与结论

研究人员提出了ReRouteFormer框架，通过三个任务导向模块在推理管线的三个互补阶段渐进式控制冗余：HCSR模块在主要特征编码器之前，从输入条件语义假设估计样本特定光谱相关性并抑制弱信息光谱响应；CSER模块根据上下文相关性对空间令牌排序，仅将最具信息量的区域证据路由至更深编码器块，并允许高置信样本提前终止推理；SS-MetaFusion模块通过轻量分支变换和样本依赖融合门自适应整合空间、光谱和混合光谱-空间表示。三个模块被设计为渐进式计算分配机制而非独立注意力块，其顺序协作使ReRouteFormer在保留判别证据的同时减少冗余处理。

在四个基准数据集（Pavia University、Houston 2013、WHU-Hi-LongKou、WHU-Hi-HongHu）上的大量实验表明，ReRouteFormer在仅用93.22–93.65 K参数和3.36–3.37 M FLOPs的情况下，分别达到97.98%、96.52%、98.50%和93.21%的总体精度（Overall Accuracy, OA），相对DSFormer基线参数减少约84%、FLOPs减少超91%。在跨数据集实验中，从WHU-Hi-LongKou到WHU-Hi-HongHu的迁移中，ReRouteFormer达到76.35%的跨域OA，超过DSFormer 4.17个百分点、超过S2PW-Mamba 5.90个百分点。该研究的重要意义在于：显式建模类别和样本依赖的光谱-空间冗余为均匀计算和事后模型压缩提供了有效替代方案，实现了强精度-效率权衡；该轻量自适应框架支持在资源受限边缘平台（包括无人机和小型卫星）上的低延迟HSI分类。

三、关键技术方法

研究人员在PyTorch 1.13.1中实现，使用NVIDIA RTX 3090 GPU，Adam优化器初始学习率0.001，每50轮衰减0.5倍，训练500轮，批大小32。对ReRouteFormer、HSIFormer、DSFormer和SpectralFormer应用主成分分析（Principal Component Analysis, PCA）降维，ReRouteFormer降至30个主成分。Pavia University每类30个训练样本，其余三个数据集每类50个训练样本。主要技术方法包括：

HCSR模块：通过轻量预览骨干提取输入条件语义假设令牌，经瓶颈投影压缩后映射为通道级分配逻辑值，经Sigmoid激活生成光谱分配向量，对输入HSI立方体进行通道级调制，在昂贵特征提取前抑制弱信息通道。

CSER模块：使用带层归一化的线性预测器为每个空间令牌分配相关性分数，按分数排序后以固定保留比例执行Top-K选择，采用直通估计器保持可训练性；同时通过置信感知中间预测头计算预测边际，当边际超过阈值时提前退出。

SS-MetaFusion模块：将空间、光谱和混合分支特征逐元素相加并全局平均池化生成融合上下文描述符，经轻量门生成器预测三个样本依赖融合门，空间特征经局部空间投影、光谱特征经通道投影、混合特征经深度可分离卷积变换，最终以残差缩放系数加权融合。

四、研究结果

消融实验结果与分析：从DSFormer基线出发逐步集成HCSR（A）、CSER（B）和SS-MetaFusion（C）模块。每个模块独立贡献精度提升和效率改进：HCSR在Pavia University上将OA从95.83%提至96.20%，参数从593.78 K降至481.25 K；CSER达到约398.60 K参数和27.93 M FLOPs，在多数数据集上OA略高于HCSR；SS-MetaFusion提供最大效率增益，参数降至约203.15 K、FLOPs约8.12 M，同时带来最大单模块精度提升。模块组合呈现协同效应，完整ReRouteFormer在三个数据集上取得最高OA（Pavia University 97.98%、Houston 2013 96.52%、WHU-Hi-LongKou 98.50%）并保持最低参数和FLOPs。

与静态压缩基线比较：在相同参数和FLOPs预算下，使用固定令牌选择顺序的静态基线在四个数据集上均低于ReRouteFormer，差距从WHU-Hi-HongHu的0.49个百分点到Pavia University的1.53个百分点不等，验证了内容感知令牌选择的有效性。

CSER线性评分器与早期退出解耦：将CSER解耦为四种配置。完整CSER（D）在Pavia University、Houston 2013上OA最高，在WHU-Hi-LongKou上与仅评分器配置持平；但在WHU-Hi-HongHu上，完整配置OA为93.21%，低于无CSER配置的93.84%，表明早期退出或令牌选择可能丢弃光谱相似类别的有用证据。

令牌保留比例敏感性：在Pavia University上将保留比例从0.3增至0.5时OA从96.83%升至97.98%，超过0.5后OA基本稳定甚至略降，而FLOPs从1.95 M近乎线性增至6.69 M，最终选定保留比例0.5。

置信阈值敏感性：各数据集通过验证子集网格搜索选择阈值：Pavia University为0.90、Houston 2013为0.85、WHU-Hi-LongKou为0.80（早期退出率41.2%）、WHU-Hi-HongHu为0.95（早期退出率11.8%），证实最优阈值具有数据集依赖性。

对比实验结果：与九种代表性方法（2-D CNN、3-D CNN、AB-LSTM、MSRT、HSIFormer、SpectralFormer、DSFormer、DualMamba、S2PW-Mamba）比较。ReRouteFormer在Pavia University上OA最高（97.98%），在WHU-Hi-LongKou上OA、AA和Kappa均最高（98.50%、97.98%、98.03%），在Houston 2013上OA第二（96.52%，比S2PW-Mamba低0.09个百分点），在WHU-Hi-HongHu上OA为93.21%，低于DSFormer（93.68%）和DualMamba（93.35%），但所有数据集中FLOPs均为最低。定性分类图显示ReRouteFormer产生连贯区域和清晰边界，在道路、铁路等线性特征上保持锐度。

五、讨论与结论

讨论部分：完整ReRouteFormer具有最少参数和FLOPs的原因在于模块设计哲学——不是简单堆叠额外层，而是以轻量任务自适应替代品替换参数密集型操作。HCSR以轻量门控分支替代基线密集光谱嵌入分支；CSER直接缩短自注意力处理的序列长度；SS-MetaFusion以深度可分离卷积和轻量自适应加权替代原始全连接融合网络。三者联合部署时效应协同叠加，使完整模型尽管包含全部三个模块，却拥有最小架构足迹和最低计算成本。

结论部分：该研究提出了ReRouteFormer，一种样本自适应计算分配框架，通过假设条件光谱重分配（HCSR）、置信耦合空间证据路由（CSER）和样本自适应光谱-空间元融合（SS-MetaFusion）三个模块，在光谱输入、空间证据传播和多分支特征聚合阶段渐进式控制冗余。在四个基准数据集上的实验表明，ReRouteFormer在保持最低FLOPs和极低参数量的同时取得有竞争力的分类精度，实现了优越的精度-效率权衡。该框架支持在无人机和小型卫星等资源受限边缘平台上进行低延迟高光谱图像分类，为轻量化HSI分类提供了一种以判别内容为导向的计算分配新范式。