《Chinese Journal of Electronics》：Contrastive Learning for Improved Image-Text Alignment in Hyperspectral Change Detection
编辑推荐：
变化检测（change detection, CD）对于广泛的现实应用至关重要。尽管已有大量CD方法展现出不断提升的性能，但许多现有方法过度依赖图像模态信息，这可能导致对变化信息的不准确表征。为解决这一问题，研究人员提出了一种新颖的方法，即用于高光谱变化检测的
变化检测（change detection, CD）对于广泛的现实应用至关重要。尽管已有大量CD方法展现出不断提升的性能，但许多现有方法过度依赖图像模态信息，这可能导致对变化信息的不准确表征。为解决这一问题，研究人员提出了一种新颖的方法，即用于高光谱变化检测的基于对比学习的改进图像-文本对齐方法（contrastive learning for improved image-text alignment, CLITA）。首先，将差异特征输入三维跳跃连接模块以提取空间和光谱特征。随后，研究人员引入一种新颖的粗细粒度文本表示，以更好地捕获CD任务中的变化和未变化信息。此外，利用语言特征作为共享的跨域语义空间，并通过该语义空间中的对比学习实现视觉-语言对齐。在多个公开数据集上的广泛实验证明了所提出方法的优越性能。
**论文解读：基于对比学习的图像-文本对齐增强高光谱变化检测**
**一、研究背景与问题提出**
变化检测（change detection, CD）旨在识别同一地表区域在不同时间获取的双时相影像中的相关变化。高光谱图像（hyperspectral images, HSI）涵盖广泛的光谱波段，能够捕获丰富的地表信息，使得高光谱变化检测成为近年来新兴的研究课题。早期研究主要包括基于代数、基于变换和基于分类的方法，如Bovolo和Bruzzone利用差异图像计算欧氏距离获得CD结果，Deng等人应用主成分分析进行通道降维，Habib等人利用半监督支持向量机（support vector machine, SVM）识别变化结果。尽管传统方法取得了良好性能，但这些方法可能受到阈值选择的进一步影响。
近年来，基于卷积神经网络（convolutional neural networks, CNNs）、图卷积网络（graph convolutional networks, GCNs）和Transformer的方法相继被提出，显著超越了传统CD方法。例如，Ou等人采用CNN框架增强变化信息水平，Luo等人提出多尺度CNN模块提取双时相HSI特征，Zhang等人结合CNN提取局部特征和Transformer建模全局上下文关系。Wang等人提出时空Transformer模块捕获多粒度信息，Yang等人引入锐化感知图结构以更好地获取变化信息。尽管这些方法取得了显著性能，但它们尚未探索引入语言知识辅助视觉表征学习的潜力。
当前，遥感图像与语言结合用于图像分类、变化检测和图像检索等任务已成为主要研究方向之一。Zhang等人提出了视觉-语言对齐方法以弥合视觉与语言特征之间的差距，Huang等人提出文本引导交互模块，Dong等人引入视觉-语言表征学习框架生成前景和背景提示。然而，大多数现有的用于变化检测的文本-图像方法采用两步范式：首先对每幅图像独立进行分类，然后基于分类结果进行变化检测。该策略严重依赖分类精度，且缺乏将基于文本的提示标签有效整合到像素级变化检测中的机制。
研究人员观察到，传统深度学习方法通常依赖从双时相图像中提取的像素级差异特征，但这些差异特征并非总是由实际土地覆盖变化引起，在仅依赖图像的方法中，像素级差异特征容易受到噪声和成像变化的影响，导致变化类与未变化类之间的重叠。为解决这一局限，研究人员提出了CLITA框架，通过引入语言特征作为语义引导，将视觉特征与文本原型在共享嵌入空间中对齐，从而扩大类间间隔并提高变化检测的判别能力。
**二、研究意义与贡献**
本研究首次将对比学习引入高光谱变化检测的图像-文本对齐框架中，提出了粗细粒度文本表示以增强CD任务性能，并设计了视觉-语言对齐与对比学习方法以对齐图像和文本特征同时学习不同样本间的差异。该工作为将语言知识融入高光谱变化检测开辟了新路径，在三个公开数据集上的广泛实验表明CLITA优于多种现有方法，验证了其在处理复杂变化检测场景中的有效性。
**三、关键技术方法**
研究人员在三个高光谱变化检测数据集上开展实验：Farmland数据集（中国江苏省盐城市附近农业区域，由地球观测一号EO-1 Hyperion传感器采集，空间分辨率450×140像素，155个光谱波段）、River数据集（中国江苏省附近河流区域，空间分辨率463×241像素，198个光谱波段）和USA数据集（美国加利福尼亚州赫米斯顿市附近区域，空间分辨率307×241像素，154个光谱波段）。对每个数据集提取5×5像素中心块，训练集占标记样本的1%，其余99%用于评估，批量大小128，训练100个轮次，初始学习率0.001，在第35和第70个轮次衰减。
关键技术方法包括：首先，采用三维（three-dimensional, 3D）跳跃连接模块，由多个3D卷积块堆叠组成，每个卷积块后接批归一化（batch normalization, BN）、修正线性单元（rectified linear unit, ReLU）激活和3D最大池化（max pooling, MP），并引入残差连接以保留特征多样性，从而有效提取双时相HSI的空间和光谱特征。其次，构建文本编码器，基于CLIP视觉Transformer-base（ViT-B）模型的预训练权重初始化，包括词元嵌入、位置嵌入、Transformer层和文本投影层，并在训练过程中与扩展编码器联合微调；设计粗细粒度文本表示，粗粒度文本采用完形填空式模板（如“HSI of <变化或未变化>”），细粒度文本基于先验知识手动描述像素自身是否变化及周围环境是否变化，每种场景关联三个细粒度文本描述。最后，采用基于CLIP风格的多正样本对比学习目标，结合图像到文本和文本到图像的双向信息噪声对比估计（information noise contrastive estimation, InfoNCE）损失，并引入硬负样本间隔正则化以显式扩大最相似正负样本对之间的差距，联合优化分类交叉熵损失与视觉-语言对比损失进行端到端训练。
**四、主要研究结果**
**（1）Farmland数据集变化检测结果**
Farmland数据集涉及农业区域的变化。传统方法CVA的总体精度（overall accuracy, OA）为95.74%，SVM利用非线性核函数将OA略微提升至95.98%。基于深度学习的方法如BIT和GLAFormer采用Transformer架构捕获全局上下文信息，召回率（recall, R）分别达95.01%和95.14%。DIEFEN结合差异信息引导特征表征学习，R达96.84%。CLITA取得了最优综合性能，OA达96.92%，Kappa系数（κ）为0.9251，F1分数为94.67%，精确率（precision, P）为95.04%。可视化结果表明，传统方法产生大量误检，将未变化像素误分类为变化像素；深度学习方法倾向于忽略小变化区域；CLITA通过文本-图像对齐机制增强变化与未变化区域间的判别能力，展现出最佳视觉效果。
**（2）River数据集变化检测结果**
River数据集的主要变化为河道内某些物质的消失。SVM取得了最高精确率91.53%，但召回率最低仅46.36%，表明其倾向于将变化像素误分类为未变化。CNN方法GTMSiam表现相对强劲，Transformer架构方法SSTFormer和DIEFEN取得较好综合结果，OA分别为95.50%和95.91%。CLITA取得了最佳综合性能，OA为96.61%，κ为0.7761，F1分数为79.46%，相较于次优方法分别提升0.70%、0.0396和3.57%。可视化显示，传统方法倾向于将变化像素误分类为未变化（蓝色区域），GTMSiam虽识别出主要变化区域但未能检测小面积或边缘区域变化，CLITA能精确检测小变化区域。
**（3）USA数据集变化检测结果**
USA数据集的主要变化与农田覆盖变化相关。CVA召回率最高但精确率最低，主要因其易受噪声影响且无法在变化与未变化区域之间保持适当平衡。BIT利用语义信息提取全局特征，OA为93.64%，F1分数为86.34%。SSTFormer利用空间和光谱Transformer提取HSI特征，OA为95.03%，F1分数为89.74%。DIEFEN结合差异信息取得了更好结果。CLITA取得了最优综合性能，OA为95.96%，κ为0.8831，F1分数为90.90%。可视化结果表明，CVA将大量未变化像素误分类为变化像素（红色区域），GLAFormer结合CNN和Transformer取得了较好视觉效果，SSTFormer虽识别出主要变化区域但倾向于忽略水边等边界区域，CLITA通过将图像特征与语义表征对齐，增强了模型判别能力，取得了最佳视觉效果。
**（4）消融研究**
研究人员在三个数据集上通过设计三种模型变体进行消融实验：仅使用图像编码器、结合图像编码器与文本编码器、完整CLITA方法。在所有三个公开数据集上，仅使用图像编码器的性能最低，加入文本编码器实现图像与文本特征对齐后CD结果得到改善，进一步整合对比学习（contrastive learning, CL）模块后性能进一步提升，CL有效增强了变化与未变化像素间的区分度。
**（5）细粒度文本描述数量的影响**
通过将细粒度文本描述数量k从1逐步增加至4，在三个数据集上进行实验。结果表明，k从1增至3时性能稳步提升，说明多个细粒度描述提供了互补语义信息并增强了图像-文本对齐的鲁棒性；当k进一步增至4时，River和USA数据集上的性能增益变得微乎其微甚至略有下降，这归因于冗余或判别力较弱的文本信息的引入。
**（6）复杂度与效率分析**
在Farmland数据集上，CLITA模型参数量约51.72M，浮点运算量（floating point operations, FLOPs）为19.09G，在模型复杂度与计算效率之间取得了平衡。GTMSiam参数量最少但性能显著较低，BIT和GLAFormer虽性能较好但计算成本较高（分别为46.25G和61.80G FLOPs），可能限制其在实际遥感应用中的实用性。
**五、讨论与结论**
本研究提出了一种利用对比学习增强图像-文本对齐的高光谱变化检测新方法CLITA。通过双流架构并行提取视觉和语言特征，应用监督对比学习逐步缩小模态间差距，实现更有效的视觉-语言对齐。在三个公开数据集上的广泛实验证明CLITA优于多种现有方法，验证了其在处理复杂变化检测场景中的有效性。研究结论指出，尽管CLITA表现出强劲性能，但其仍依赖人工制作的文本描述，可能限制其在新数据集或应用领域的可扩展性和适应性。未来工作将研究多类别或更复杂类型的语义变化，并探索利用大语言模型生成更合适且信息丰富的文本描述。
