面向少样本高光谱图像分类的类别特征控制扩散增强方法

《Information Processing & Management》：Class profile controlled diffusion augmentation for few-shot hyperspectral image classification

　　

• 类别画像指导少样本高光谱数据中的类依赖扰动。
• 目标区域编辑保留中心标签并减少背景扰动。
• 源加权平衡真实样本与增强样本，以限制生成样本的偏移。

引言

高光谱图像（HSIs）记录了连续窄波段上的光谱响应，已广泛应用于土地覆盖识别、农业监测、环境感知和城市遥感等领域（Bioucas-Dias et al., 2013, Landgrebe, 2002）。高光谱分类旨在为每个像素分配语义类别。由于像素级标注通常需要领域专业知识，获取足够的标注样本代价高昂。在少样本高光谱图像分类中，模型容易受到类间光谱相似性、复杂类内结构和不均衡样本分布的影响，难以学习稳定的决策边界。对于基于图像块的分类方法，类别标签由中心像素决定，而周围区域主要提供空间上下文。因此，少样本图像块增强应在提升样本多样性的同时，保留与中心像素相关的类别语义。

目前，针对高光谱分类已发展出较为完整的深度学习体系。现有综述指出，高光谱图像具有高维光谱、复杂空间结构和标注样本有限等特点。深度学习方法可以改善非线性特征表示，但在标注稀缺条件下，分类精度和泛化能力仍然受限（Song et al., 2025）。在少样本高光谱分类中，现有研究主要聚焦于光谱-空间特征学习、少样本学习和样本增强。支持向量机（SVMs）（Melgani & Bruzzone, 2004）在标注样本有限时仍然适用，但其建模深度光谱-空间结构的能力有限。深度学习方法通过卷积结构、残差连接和注意力机制增强了高光谱特征表示，例如三维卷积神经网络（3D-CNNs）（Chen et al., 2016）、光谱-空间残差网络（SSRN）（Zhong et al., 2018）和HybridSN（Roy et al., 2020）。基于Transformer的方法进一步改善了长程依赖建模。光谱-空间特征标记化Transformer（SSFTT）（Sun et al., 2022）、自池化Transformer（SPFormer）（Li, Xue, Xu et al., 2024）、基于基础模型的光谱-空间Transformer（Huang et al., 2024）以及多粒度空间-光谱卷积Transformer网络（MSSCFormer）（Chen et al., 2025）从不同角度提升了光谱-空间特征建模能力。近年来，状态空间模型、动态尺度建模和图结构建模也被引入高光谱分类。光谱-空间专家混合状态空间模型（MambaMoE）（Xu et al., 2026）采用光谱-空间混合专家结构，实现对土地覆盖差异的自适应特征建模。灵活探索（Feng et al., 2026）通过将动态尺度选择与图最优传输相结合，解决了固定图像块尺度的局限性，以建模复杂空间关系。基于金字塔的空间-光谱Mamba（PS2Mamba）（Du et al., 2026）通过交互融合建模光谱和空间依赖关系，进一步增强高光谱分类。此外，带有光谱约束的全局与局部特征学习（Zhao, Song et al., 2026）也被探索用于高光谱异常检测，表明光谱约束和多层次上下文信息对于高光谱数据解译同样重要。这些研究表明，复杂高光谱场景中的土地覆盖差异、尺度变化、光谱-空间交互和结构关系需要自适应建模。然而，这些方法主要从分类架构和特征表示的角度提升判别能力，而在少样本条件下如何对增强样本进行类依赖控制的生成问题，仍较少被探讨。

通用图像分类的最新研究为结构化表示、参数高效适配和鲁棒性提供了更广泛的视角。Ilmi和Khalaf（2025）将姿态估计、图建模和时间学习相结合，以捕捉瑜伽动作中的时空关系，但其评估仅限于单一的不均衡八类数据集，且部分姿态仍存在混淆。Ramadhan和Adam（2026）将轻量级适配器引入预训练的视觉Transformer，在保持分类性能的同时减少了可训练参数，尽管其评估仅限于在受控条件下采集的PlantVillage图像。Ilham和Ahmad（2026）综述了基于ConvNeXt的分类方法，总结了现代卷积设计、迁移学习和注意力的优势，同时指出计算需求、鲁棒性和跨域泛化仍是持续的挑战。这些研究表明，有效的表示、高效的适配和鲁棒性在图像分类任务中具有重要意义。然而，它们并未涉及少样本高光谱分类中的受控样本生成问题，而高维光谱、中心像素标签和标注稀缺性为该任务带来了额外的特定需求。

为缓解标注样本不足的问题，少样本学习和自监督学习已被引入高光谱分类。光谱-空间孪生网络（S3Net）（Xue et al., 2022）通过孪生结构在样本有限时改善了类判别能力。双阶段少样本高光谱分类框架（Khotimah et al., 2025）将空间-光谱掩码自编码器与回合制训练相结合，用于少样本特征学习。基于注意力的图像块混合网络（APMN）（Liu, Yang et al., 2025）通过图像块混合和注意力机制提升了少样本分类的鲁棒性。空间-光谱增强与融合网络（SSEFN）（Liu, Fu et al., 2025）通过在有限标注样本下加强空间-光谱特征增强与融合，进一步提升了少样本高光谱分类性能。在更广泛的少样本图像分类中，类别-任务联合感知网络（CTJANet）（Sun et al., 2026）表明，在有限监督下，类别和任务线索有助于构建更具判别力的表示。自适应类间间隔学习也在少样本类增量学习中得到研究，表明类间隔调节在样本有限时有助于保持判别力（Ran et al., 2024）。这些方法主要从模型架构、特征学习或训练策略的角度缓解标注稀缺问题，而相对较少的关注被赋予了类别差异化的样本生成和扰动控制。

生成增强和基于扩散的表示学习为在有限标注样本下改善高光谱分类提供了另一条途径。三维生成对抗网络（3D-GANs）（Zhu et al., 2018）通过对抗学习生成高光谱训练样本，而去噪扩散概率模型（DDPMs）（Ho et al., 2020）通过逐步去噪建模数据分布。随机微分方程编辑（SDEdit）（Meng et al., 2022）实现了从真实样本出发的受控编辑。SpectralDiff（Chen et al., 2023）从反向去噪过程中提取无监督光谱-空间扩散特征，用于基于注意力的分类。扩散增强掩码自编码器（DEMAE）（Li, Xue, Jia et al., 2024）将掩码自编码与同步去噪和重建相结合，从少量标注样本中学习表示。多时间步多阶段扩散特征（Zhou et al., 2024）利用不同扩散状态下的表示，而空间-光谱扩散对比表示网络（DiffCRN）（Zhu & Xu, 2025）将扩散去噪与对比学习、自适应时间步选择和跨时间步特征融合相结合。这些方法主要使用扩散进行分布建模或表示学习。本方法则采用类条件SDEdit构建额外训练图像块，并在分类器训练过程中协调类别画像控制、目标区域编辑与加权回写以及源加权。

在退化观测下判别信息的保留对于可靠的图像分析同样重要。近期恢复研究从互补角度解决了这一问题。MB-TaylorFormer V2将泰勒近似注意力与多分支和多尺度处理相结合，用于通用图像恢复（Jin et al., 2025）。MC-Blur为多模糊原因下的图像去模糊建立了系统性基准（Zhang et al., 2024）。EchoSR通过高效的局部、多尺度和全局上下文聚合恢复空间细节（Zhao, Wang et al., 2026），而VSPBFR利用视觉风格提示和生成先验进行盲脸恢复（Lu et al., 2025）。这些研究表明，在图像质量退化时保留信息结构的重要性。对于少样本高光谱分类，一个相关的关注点是：当观测受到噪声、模糊或光照衰减影响时，分类所需的光谱和空间信息是否仍然可靠。因此，本研究在清洁和受控退化条件下评估所提出的增强框架。

基于扰动的增强提供了一种实用方法，用于扩展少样本高光谱图像（HSI）分类中的有限训练数据。然而，不受控制的扰动可能导致生成样本出现语义偏移。在基于图像块的高光谱分类中，增强样本应丰富训练分布，同时保留中心像素的类别语义。这产生了生成多样性与中心标签一致性之间的挑战权衡。当使用扩散编辑进行少样本高光谱增强时，存在三个实际风险：固定的扰动设置无法考虑类间可分性差异和类内结构复杂性；整个图像块编辑可能引入无关的上下文扰动并改变中心像素语义；而同等对待真实样本和增强样本则可能允许生成样本偏移影响分类器优化。本研究因此聚焦于以下三个目标。

（1）本研究开发了一种类依赖扰动分配策略。该策略旨在根据高光谱数据的类间可分性和类内结构复杂性分配扰动程度。它在为良好分隔的类别平衡样本多样性的同时，为结构复杂的类别保持语义稳定性，从而减少统一扰动设置的局限性。

（2）本研究提出了一种目标区域编辑与加权回写机制。由于高光谱图像块的类别标签由其中心像素决定，所提方案将扩散扰动限制在中心像素周围的目标区域，而非对整个图像块进行编辑。这一设计有助于减少无关背景扰动，并保留增强样本与其中心标签之间的语义一致性。

（3）本研究在分类器训练中引入了源加权机制。通过考虑真实样本与生成样本之间的分布差异，该机制调节增强样本对分类器优化的相对贡献。这种方法可以减少生成样本偏移对学习所得决策边界的影响。

总体而言，本工作开发了一种新颖的类别画像控制的扩散增强框架，用于少样本高光谱分类。通过整合这三个组件，该框架旨在提升增强样本的多样性和语义质量，平衡样本生成多样性与语义一致性，并提高少样本高光谱分类的精度和鲁棒性。

为实现上述目标，我们开发了一种类别画像控制的扩散增强框架，用于少样本高光谱分类。该框架整合了三种互补的控制机制，专门针对带有中心标签的高光谱图像块。类别画像统计量决定扰动强度和起始扩散步数，目标区域编辑与加权回写将编辑范围约束在中心标签周围，源加权则调节分类器训练过程中生成样本的贡献。这些组件共同构成了一个统一的增强流程，协调扰动强度、编辑范围和样本贡献。

主要贡献总结如下：

1. 提出了一种类别画像控制的扰动分配策略，以解决使用统一扰动程度处理具有不同分离间隔和类内结构复杂度的类别时的局限性。类别分离度和类内结构复杂性从中心像素光谱中估计，并在类别画像分数中纳入了样本支持修正项。所得分数用于确定类依赖的扰动程度和起始扩散步数。

2. 为在基于图像块的高光谱分类中保留中心标签一致性，提出了一种目标区域编辑与加权回写机制。该机制不对整个图像块进行编辑，而是将类条件SDEdit限制在中央目标区域，并以受控方式将编辑残差回写到原始图像块。该机制将扩散编辑集中在中心区域，同时保留周围的空间上下文。

3. 在分类器训练中集成了源加权组件，以调节所提增强流程中真实样本和增强样本的相对贡献。通过赋予增强样本较低的源权重，分类器可以从基于扩散的增强中受益，同时减少生成样本偏移对分类器优化的影响。

章节摘要

扩散编辑基础

基于去噪扩散概率模型（DDPMs）和随机微分方程编辑（SDEdit），所提方法为少样本高光谱图像块分类引入了类依赖扰动分配和目标区域编辑。DDPMs通过前向加噪过程和反向去噪过程学习数据分布，而SDEdit从真实样本出发，通过指定起始扩散步数执行受控编辑。通过这些组件，基于扩散的

所提方法

本节详细介绍所提的类别画像控制的扩散增强方法。

该方法包括类别轮廓估计、扰动程度分配、目标区域编辑以及带源加权的分类器训练。

实验与分析 为了评估所提方法的分类性能，在印第安松林（IP）、萨利纳斯（SA）、青岛住宅区（QRA）和帕维亚大学（PU）数据集上进行了实验。

总体结果与主要发现 在 IP、SA、QRA 和 PU 数据集上的实验结果表明，在不同的高光谱图像场景中表现出一致的绩效趋势。所提方法在总体精度（OA）和 Kappa 系数上取得了实质性改进，而非均匀提高每个单独类别的精度。这一结果与框架的设计一致，该框架通过类别依赖的扰动分配、目标区域提高了增强样本的整体质量和效用。

结论 本文提出了一种用于少样本高光谱图像（HSI）分类的类别轮廓控制扩散增强框架。旨在解决基于斑块的分类中样本多样性与语义一致性之间的固有权衡问题，所提方法在丰富有限训练样本的同时保留了 HSI 斑块的像素中心标签语义。该框架首先从类间可分性和类内结构复杂性估计类别轮廓分数。

CRediT 作者贡献声明 Zihan Wang：撰写 – 初稿、可视化、验证、软件、方法论、形式化分析、数据整理、概念化。Xuefeng Liu：撰写 – 审阅与编辑、撰写 – 初稿、验证、监督、资源、项目管理、方法论、调查、资金获取、形式化分析、概念化。Min Fu：撰写 – 审阅与编辑、验证、监督、资源、项目管理、调查、资金获取、数据整理。

致谢 本工作部分得到了国家自然科学基金的资助（批准号：62671571）。Zihan Wang|Xuefeng Liu|Min Fu