《Chinese Journal of Electronics》：Language Dynamic-Guided Spatial-Spectral Network for Cross-Domain Few-Shot Hyperspectral Image Classification
编辑推荐：
本刊编辑推荐：针对跨域小样本高光谱图像分类中存在的类间分布重叠和类内变异问题，研究团队提出了一种语言动态引导的空间-光谱网络(LDSNet)框架。该框架通过多分支空间-光谱特征动态提取模型探索局部细节和全局结构，利用跨模态对齐增强类原型判别性，结合提示一致性学习和自相似掩码学习抑制类内变异。在四个HSI数据集上的实验表明，LDSNet在OA、AA和Kappa系数上均优于现有先进方法，为跨域小样本HSI分类提供了新思路。
在高光谱遥感领域，一个长期存在的难题如同"镜中花水中月"般困扰着研究者：如何让智能模型在极少标注样本的情况下，准确识别从未见过的新场景地物？高光谱图像(HSI)以其独特的光谱"指纹"识别能力，在精准农业、环境监测等领域展现出巨大潜力。然而，现实应用中标注数据稀缺、跨域分布差异大等问题，使得传统深度学习模型往往"力不从心"。
现有研究方法大多过度依赖单一视觉模态，在面对"同物异谱"现象时表现不佳。正如人类能够融合视觉和语言信息进行认知学习，北京理工大学胡文帅团队创新性地将语言模态引入HSI分类任务，提出语言动态引导的空间-光谱网络(LDSNet)框架，该研究成果发表于《Chinese Journal of Electronics》，为跨域小样本HSI分类开辟了新途径。
关键技术方法主要包括：1)构建多分支空间-光谱特征动态提取(MSSFDE)模型，集成差分高低频Transformer(DHLFformer)模块，分别提取局部细节和全局结构特征；2)设计动态引导(DD)模块，利用类别文本信息自适应调整特征提取过程；3)采用跨模态对齐机制，通过图像-文本匹配增强类原型判别性；4)结合提示一致性学习(PCL)和自相似掩码学习(SML)抑制类内变异。实验使用Chikusei数据集作为源域，Indian Pines、University of Pavia等四个数据集作为目标域，采用N-way K-shot元学习设置。
研究结果
- 1.
多分支特征提取模块的有效性
通过差分高低频Transformer模块的创新设计，研究团队成功解决了传统自注意力机制在HSI处理中过度关注无关上下文的问题。如图3所示，DHLFformer模块分别处理高频和低频信号，通过差分注意力机制有效抑制注意力噪声。实验表明，该模块在IP、UP、LK数据集上分别带来1.99%、1.73%、1.57%的OA提升，验证了其局部-全局特征提取能力。
- 2.
动态引导机制的创新性
研究提出的光谱动态引导(SeDD)和空间动态引导(SaDD)模块，如图4所示，实现了文本信息对特征提取过程的精准调控。该机制通过将文本特征映射为卷积核参数，使模型能够针对不同地物类别自适应调整特征提取策略。消融实验显示，动态引导模块在四个数据集上分别带来1.12%、2.22%、0.84%和2.00%的OA提升，证明了其有效性和普适性。
- 3.
跨模态对齐的突破性
针对小样本场景下类原型不稳定的问题，研究引入对比学习机制建立跨模态对齐。通过计算HSI模态和文本模态类原型之间的NT-Xent损失，显著提升了模态间相似性，同时降低非对齐模态的相似性。在IP数据集上的实验结果表明，该方法相比未使用语言信息的基线模型在OA指标上提升2.41%，验证了语言先验知识对视觉特征学习的增强作用。
- 4.
类内变异抑制的有效性
针对有限样本导致的类内变异问题，研究创新性地结合了提示一致性学习和自相似掩码学习。PCL方法通过将文本提示嵌入应用到查询样本，确保同类样本的特征一致性；SML方法则通过随机像素掩码增强样本多样性。如图11所示的t-SNE可视化结果清晰表明，经过联合优化后的特征空间具有更好的类内紧凑性和类间分离性。
综合实验结果表明，LDSNet框架在四个基准数据集上均取得最优性能。在IP数据集上达到82.10%的OA值，相比现有最佳方法提升0.59%；在UP数据集上获得88.15%的OA值；在LK和HHK数据集上分别取得96.55%和92.26%的OA值。可视化结果（图8-10）进一步证实，LDSNet生成的分类图最接近真实地物分布，误分类现象显著减少。
该研究的创新性在于首次将语言动态引导机制系统性地引入跨域小样本HSI分类任务，通过多模态协同学习突破了单一视觉模态的局限性。LDSNet框架不仅提供了解决小样本学习问题的新思路，更重要的是建立了一种可扩展的多模态学习范式，为后续研究奠定了方法论基础。
研究的成功实施得益于精心设计的元学习策略和大量对比实验验证。通过 episodic训练策略，模型在大量元任务中学习到了可迁移的元知识；而针对不同参数（如窗口大小、通道数等）的敏感性分析，确保了模型配置的科学性和可靠性。
未来工作可进一步探索多语言模型的嵌入方式，研究不同文本描述粒度对分类性能的影响，以及将该框架扩展到其他遥感数据模态。同时，模型的计算效率优化和在实际业务系统中的部署应用也是值得关注的方向。
这项研究的意义不仅在于提出了一个性能优异的分类框架，更重要的是展示了多模态融合在遥感分析中的巨大潜力。正如研究者所言，"当视觉信息支持有限时，语言信息能够提供额外的先验知识来辅助视觉学习"，这种仿人类认知的学习机制有望在更多遥感解译任务中发挥重要作用。
