基于混合基础模型的跨域小样本高光谱图像分类方法（MIFOMO）

《Neural Networks》：Cross-Domain Few-Shot Learning for Hyperspectral Image Classification Based on Mixup Foundation Model

　　

尽管跨域小样本学习（CDFSL）在高光谱图像（HSI）分类领域引起了广泛的研究兴趣，但现有工作通常依赖一种不切实际的数据增强方式——引入外部噪声来扩大样本量，从而极大地简化了数据稀缺问题。这些方法涉及大量参数进行模型更新，容易出现过拟合问题。据研究人员所知，仅有一项工作探索了基础模型的优势，但其仍依赖于面向RGB图像的常规基础模型。本文提出了用于HSI分类CDFSL任务的混合基础模型（MIFOMO）。MIFOMO建立在遥感（RS）基础模型的概念之上，该模型在大规模遥感问题上进行了预训练，因此具备可泛化的特征。研究人员引入了凝聚投影（CP）的概念，以便在冻结骨干网络的同时，将基础模型快速适配到下游任务。针对极端域差异问题，提出了混合领域自适应（MDM）的概念。最后，实现了标签传播概念以应对噪声伪标签问题。严格的实验证明了MIFOMO的优势，其性能比现有最优方法高出高达14%。MIFOMO的源代码已在https://github.com/Naeem-Paeedeh/MIFOMO开源，以供复现和进一步研究。

论文解读文章

研究背景与问题

高光谱图像（HSI）在遥感（RS）领域扮演着重要角色，它以三维数据立方体的形式包含丰富的空间和光谱信息，能够揭示不同地物的独特特征，广泛应用于采矿、生物学和自然灾害等领域。然而，HSI分类任务的核心挑战在于为每个像素分配标签，这带来了高昂的标注成本。早期方法依赖传统机器学习结合手动特征提取，但过度依赖先验知识且在处理高维数据时存在瓶颈。深度学习的出现推动了自动化特征工程的发展，但深度学习方法成功的前提是大规模数据集的可用性，这在真实HSI分类应用中难以满足，且标注成本过高。

为降低标注成本，半监督学习和自监督学习方法被提出，但它们仍需大量样本，不适合数据采集成本同样高昂的HSI场景。由此催生了少样本学习方法，它采用基于情节的元学习范式，使模型能在极少样本下快速泛化到未见类别。然而，传统少样本学习无法解决源域与目标域分布不同的域偏移问题，而HSI数据采集易受天气、光照、传感器非线性等外部因素影响，导致域偏移普遍存在。

跨场景HSI分类方法通过域自适应技术迁移知识，但其假设源域与目标域共享相同标签空间，属于封闭集假设。跨域少样本学习（CDFSL）突破了这一限制，要求同时处理数据稀缺和域偏移问题，且两域的标签空间可以完全不同。现有CDFSL方法可分为四类：基于差异的方法、基于对抗的方法、基于对比的方法和基于原型的方法。但这些方法至少存在三个缺陷：第一，采用不切实际的数据增强（如添加外部噪声）来扩大目标域样本量，这会简化数据稀缺问题却可能陷入分布外困境，且RGB图像增强策略不完全适用于HSI；第二，涉及大量可训练参数，容易过拟合，削弱泛化能力；第三，极少有工作探索高光谱基础模型在CDFSL中的潜力，目前仅有一项工作使用了基础模型，但仍依赖RGB图像的基础模型dinoV2，而非专门针对HSI的基础模型。

研究方法与技术路线

研究人员提出了混合基础模型（MIFOMO）来解决上述问题。MIFOMO建立在高光谱基础模型HyperSIGMA之上，该模型在包含45万张HSI的HyperGlobal-450K数据集上预训练，相比依赖RGB基础模型的方法更具针对性。为缓解过拟合问题，研究人员提出了一种新的参数高效微调（PEFT）技术——凝聚投影（CP），即仅在训练过程中训练CP矩阵，冻结骨干网络，从而保留基础模型的强大泛化能力。CP可视为普通提示方法的改进版本，计算高效且无需选择提示长度。另一个创新在于域自适应策略——混合域自适应（MDM），该方法包含源域和中间域两个阶段，采用基于情节的元学习方式。中间域通过混合机制构建，作为源域和目标域之间的桥梁，实现平滑的知识迁移，避免了直接域对齐在极端域差异下的困难。此外，引入标签传播概念来处理噪声伪标签问题，为目标域查询集分配伪标签以防止标签泄露。

研究结果

1. 总体性能评估：实验结果表明，MIFOMO在所有基准测试中均优于现有最优方法，性能提升幅度最高达14%，充分验证了其在CDFSL任务中的有效性。

2. 消融研究：通过对各组件（CP、MDM、标签传播）的逐一移除实验，证实了每个模块对最终性能均有贡献，其中CP和MDM的贡献最为显著。

3. 参数效率分析：与全微调和LoRA等方法相比，CP方法仅需极少量可训练参数即可达到甚至超越竞争对手的性能，有效缓解了过拟合问题。

4. 跨域迁移能力：在不同高光谱数据集（如Houston、Pavia University等）之间的迁移实验中，MIFOMO展现出稳定的优越性，表明其具备良好的跨域泛化能力。

5. 收敛性分析：训练曲线显示，MIFOMO在较少的迭代次数内即可收敛，且训练过程稳定，未出现明显的过拟合迹象。

6. 可视化分析：通过t-SNE可视化特征分布，发现MIFOMO能够有效对齐源域和目标域的特征分布，同时保持类别间的可分性。

讨论与结论

在讨论部分，研究人员指出MIFOMO的成功得益于三个方面：一是高光谱基础模型HyperSIGMA提供的强泛化特征；二是CP方法在保持骨干网络冻结的同时实现了高效的域适应；三是MDM策略通过中间域桥梁作用有效缓解了极端域差异。与现有方法相比，MIFOMO不需要不切实际的数据增强，参数量更少，且首次将高光谱基础模型应用于CDFSL场景。

研究结论：本文提出的MIFOMO是一种用于HSI分类CDFSL问题的混合基础模型。该方法基于高光谱基础模型HyperSIGMA，通过CP实现参数高效微调，通过MDM实现平滑的域自适应，并通过标签传播解决噪声伪标签问题。严格实验证明MIFOMO比现有最优方法高出14%的边际，源代码已开源以供复现和进一步研究。