《Entropy》：SEUM: An Improved UniMatch Framework with Multi-Branch Spatial–Spectral Encoding and Adaptive Class-Aware Pseudo-Labeling for Semi-Supervised Hyperspectral Image Classification
编辑推荐：
高光谱图像（HSI）分类受到像素级标注成本高昂的制约，这导致监督式深度网络面临高维小样本问题。半监督学习（SSL）能够利用大量未标记像素，但针对自然图像设计的SSL框架并未直接考虑HSI的光谱连续性、耦合的空间-光谱结构以及显著的类别不平衡性。本文以弱到强一致
高光谱图像（HSI）分类受到像素级标注成本高昂的制约，这导致监督式深度网络面临高维小样本问题。半监督学习（SSL）能够利用大量未标记像素，但针对自然图像设计的SSL框架并未直接考虑HSI的光谱连续性、耦合的空间-光谱结构以及显著的类别不平衡性。本文以弱到强一致性框架UniMatch为起点，提出了SEUM——一种带有三项针对性改进的半监督HSI分类网络。首先，采用带有挤压激励（SE）重校准的多分支并行卷积模块替代单路径编码器，从而在多尺度上捕捉空间细节、光谱混合特征及显著响应。其次，双头分类器将监督分类与伪标签生成分离，并将特征级Dropout与输入级强增强相结合，以扩大一致性约束。第三，自适应类感知阈值根据欠表征类别的瞬时学习状态降低其置信度要求，从而抵消固定阈值的自我强化偏差。在Pavia University、Houston 2013和Kennedy Space Center基准数据集上，使用10%的标记样本，SEUM分别达到了96.67%、92.81%和95.99%的总体精度，相比UniMatch提升了0.48至2.20个百分点，并超越了十种监督式和半监督式对比方法，其中在光谱易混淆和纹理丰富的类别上增益最大。此外，SEUM在平均精度上表现出一致的提升，反映了跨类别分布的伪标签利用更加均衡。消融实验、伪标签质量分析、标签预算分析和敏感性分析证实了编码器、双头结构和自适应阈值提供了互补且稳定的性能提升。
论文解读文章
1. 研究背景与现存问题
高光谱图像（Hyperspectral Image, HSI）记录了从可见光到短波红外范围内数百个连续窄波段的信息，使得每个像素都携带可用于识别地物物理成分的光谱特征。这一特性使HSI分类成为精准农业、矿产勘探、环境监测和城市制图的核心工具。然而，HSI分类面临严峻挑战：波段数量通常远超每类可获得的标记样本数，空间分辨率粗糙导致混合像元普遍存在，而参考标签的获取依赖实地勘测或专家判读，成本极为高昂。在此条件下训练的深度网络极易过拟合，严重限制了其在业务场景中的部署应用。
半监督学习（Semi-Supervised Learning, SSL）通过利用未标记数据的结构作为额外训练信号来缓解标注瓶颈。现有SSL方法可分为伪标签法、一致性正则化法及两者的混合方法，其中混合方法是当前的主流实践。UniMatch作为其中的代表，重新审视了弱到强一致性范式，增加了特征扰动流和双强视图流，在半监督语义分割、遥感变化检测和医学图像分析中取得了领先成果。然而，将UniMatch直接迁移至HSI分类并非易事：其一，用于RGB图像的单路径编码器仅在单一空间尺度提取特征，且未对光谱维度进行差异化处理，尽管波段间相关性是HSI判别信息的主要载体；其二，单个分类头必须同时为监督损失学习锐利的决策边界，并为伪标签生成产生自信且稳定的预测，这两个目标相互干扰，可能放大伪标签的不确定性；其三，继承自FixMatch的固定置信度阈值（0.95）与HSI数据集的类别严重不平衡相互作用不良，导致多数类迅速获得大量伪标签并变得更加自信，而少数类则难以跨越阈值，始终处于欠训练状态。因此，如何设计适应HSI物理特性的编码器、解耦分类头的双重职责以及动态调整伪标签选择策略，成为亟待解决的关键问题。
2. 研究内容与结论
针对上述问题，研究人员提出了SEUM——一种改进的UniMatch网络，专门用于半监督HSI分类。该研究在三个公开基准数据集上进行了评估：Pavia University（ROSIS传感器，103波段，9类地物）、Houston 2013（ITRES CASI-1500传感器，144波段，15类地物，训练与测试区域空间不重叠）和Kennedy Space Center（NASA AVIRIS传感器，176波段，13类湿地与高地植被）。实验结果表明，在仅使用10%标记样本的条件下，SEUM在三个数据集上分别达到96.67%、92.81%和95.99%的总体精度（Overall Accuracy, OA），相比UniMatch基线提升了0.48至2.20个百分点，并全面超越四种监督方法和六种半监督方法（包括Mean Teacher、FixMatch、FlexMatch、FreeMatch、DSCA-Net等）。特别地，SEUM在平均精度（Average Accuracy, AA）上的提升幅度大于OA，表明增益主要来源于较小和较难的类别。消融实验、伪标签质量分析、标签预算实验和敏感性分析一致证明，多分支编码器、双头分类器和自适应阈值三者贡献了互补且稳定的性能提升，且标签越稀缺时优势越明显。
3. 关键技术方法概述
研究人员开发了三种核心技术组件：第一，多分支并行卷积模块（ConvBlock），包含四条并行分支——标准3×3卷积（提取局部空间细节）、1×1逐点卷积（实现可学习的光谱混合）、1×1瓶颈加3×3卷积级联（压缩后聚合空间上下文）、以及3×3卷积加3×3最大池化（捕获尖锐显著响应），四路输出经元素相加聚合后由挤压激励（Squeeze-and-Excitation, SE）模块进行通道重校准；第二，双头分类器（Dual-Head Classifier），将主分类头与伪标签生成头分离，并在主头前施加特征级Dropout扰动（作用于全局池化后的256维向量），使伪标签头接收干净表示以生成稳定伪标签，而主头需在受扰表示下保持一致的类别预测；第三，自适应类感知伪标签阈值（Adaptive Class-Aware Pseudo-Label Threshold），通过指数移动平均统计每类在未标记批次中被预测的次数，计算归一化的表示比率，再经由二次函数映射得到该类阈值，使得欠表征类别获得更低的准入要求。
4. 研究结果
4.1 定量比较结果
在PaviaU上，SEUM达到96.67% OA、94.45% AA和95.60% Kappa，分别超出UniMatch基线0.48、0.64和0.65个百分点，并超过最强竞争者DSCA-Net 0.22、0.60和0.30个百分点。在Houston 2013上，相对于UniMatch的优势扩大至2.20（OA）、1.87（AA）和2.38（Kappa）个百分点；在KSC上则为1.87、2.85和2.09个百分点。AA的提升幅度持续高于OA，说明增益主要来自较小和较难的类别。
4.2 分类地图可视化
在PaviaU的全场景分类图中，SVM结果呈现椒盐噪声和模糊边界；FixMatch和UniMatch消除了大部分孤立错误，但在Gravel与Bricks、Bare Soil与Meadows之间仍存在混淆；DSCA-Net产生了更平滑的区域，但在对象边界处残留误差；SEUM地图具有最低的噪声水平、沿道路网络的清晰边界以及Gravel、Bare Soil和Bricks的内部一致性区域。在Houston 2013上，由于训练与测试区域空间不重叠且部分测试区受云影影响，DSCA-Net将阴影区域大量填充为铁路，而SEUM将该区域正确分配给水体并保持了道路和铁路线。在KSC上，四个深度模型均能将稀疏的标记斑块扩展为连续的植被和水体区域，剩余分歧位于光谱相似的沼泽类别边界上。
4.3 标签预算实验
随着标记比例从10%降至5%、3%和1%，SEUM的优势进一步扩大。在PaviaU上，SEUM与UniMatch的差距从0.48个百分点（10%）增至2.7个百分点（1%），与监督式SSRN的差距从1.43增至6.7个百分点。在KSC上，当标记比例降至1%（每类平均约4个像素）时，SEUM仍保持89.1% OA，而UniMatch降至85.4%，SSRN降至80.3%。在Houston 2013上，仅使用官方训练集四分之一的样本时，SEUM仍超过86% OA，比UniMatch高出3.9个百分点。
4.4 消融研究
从UniMatch基线出发逐步添加各组件的消融实验揭示了功能层级关系：多分支编码器（无SE）略微降低OA但改善AA；加入SE模块后OA恢复至96.20%，AA升至93.99%；增加双头分类器带来0.09 OA和0.10 AA的小幅提升；单独添加特征级Dropout或自适应阈值分别达到96.38%和96.55% OA；完整模型达到96.67% OA、94.45% AA和95.60% Kappa。最后一步是最大的单项提升（+0.38 OA、+0.36 AA、+0.52 Kappa），表明训练策略与架构同等重要且两者互补。此外，完整模型在第13个epoch即达到最佳OA，而基线需要19个epoch，说明更强的训练信号加速了收敛。
4.5 伪标签质量分析
自适应阈值将接受率从固定阈值的31%-85%提升至52%-93%，对于Trees和Shadows两个困难类别，差异更为显著（第20个epoch时分别为51% vs 83%和第1个epoch时6% vs 28%）。虽然接受伪标签的精度略低（98.3% vs 98.5%），但正确伪标签的绝对数量在每个epoch都更高（训练结束时覆盖91% vs 84%的未标记池）。阈值演化曲线显示，Meadows和Bare Soil几乎立即达到0.95上限，Asphalt和Bricks在5个epoch内达到，而Trees和Shadows起始于0.73-0.75并在整个训练过程中保持在0.93以下，这正是期望的行为模式。
4.6 超参数敏感性分析
批大小直接影响自适应阈值的估计稳定性，30为最优值（平衡了阈值稳定性与更新频率）；学习率1×10?3最佳，过大则破坏训练稳定性；无监督损失权重λ?的最佳值为0.2，过大则放大伪标签残余噪声；基础阈值τ?在0.95时最优，过低引入过多噪声伪标签，过高则留下太少接受样本；自适应强度α在0.2-0.4区间内表现平坦，表明方法对该参数不敏感；补丁大小为24×24时OA最优，但Trees和Shadows这类细条状结构的类别在更小补丁下表现更好，揭示了补丁纯度与空间上下文之间的权衡。
5. 讨论与结论
讨论部分指出三个关键发现：第一，即使SSL配方不变，编码器的设计至关重要——多分支模块显著改善了依赖多尺度纹理辨别的类别，并使监督损失收敛速度加快一个数量级，从而在自训练开始时就产生更高质量的早期伪标签；第二，伪标签的选择方式至少与应用多少扰动同样重要——自适应类感知阈值在消融实验中贡献了最大的单项AA增益，其机制是提供更多且更平衡的正确伪标签而非更自信的伪标签；第三，收益在标签最稀缺时最大，而这正是SSL真正需要的应用场景。
研究也揭示了结构性局限：所有半监督方法（包括SEUM）在PaviaU的Trees和Shadows类别上均低于85%和80%，而全监督的SSRN分别达到91.59%和95.77%，仅使用中心像素光谱的SVM在Shadows上甚至达到99.41%。这种反转归因于24×24的补丁几何结构——树行和建筑阴影是狭窄特征，其补丁被周围铺砌面和屋顶材料主导。自训练下，弱视图很可能会以高置信度被错误分类，生成强化错误边界的伪标签。自适应阈值虽降低了这些样本的准入条件，但也引入了更多噪声，无法从根本上解决补丁纯度问题。
研究结论部分翻译如下：本文提出了SEUM，一种用于半监督高光谱图像分类的改进UniMatch框架。多分支并行卷积模块配合SE重校准提供多尺度空间-光谱特征；双头分类器结合特征级Dropout将监督分类与伪标签生成分离，同时拓宽一致性约束；自适应类感知阈值根据各类的学习状态降低欠表征类别的置信度要求。在Pavia University、Houston 2013和KSC上使用10%标记像素时，SEUM分别达到96.67%、92.81%和95.99% OA，相比UniMatch基线提升0.48-2.20个百分点，并超越十种监督式和半监督式对比方法，其中最大增益体现在平均精度以及少数或光谱易混淆类别上。消融和伪标签分析将改进归因于编码器和自适应阈值的互补贡献；优势随标签预算缩减而增长；该方法在不同随机划分和超参数设置下保持稳定。额外代价是1.43M参数的编码器、约30%更长的训练时间（14.8分钟 vs 11.2分钟）以及在PaviaU测试集上适度的推理时间增加（2.3秒 vs 1.8秒）。
