《Pattern Recognition》：Sample selection for remote sensing image change detection with unsupervised knowledge representation quantification
编辑推荐：
遥感图像变化检测中，针对样本选择偏差和冗余问题，提出UKRQ方法。通过整合图像自身变化特征、深度学习模型区分度、光谱值变化、土地利用类型变化及空间结构复杂度五维知识表征，构建多角度评估模型。采用相似性优化策略对五类排序结果进行融合，在LEVIR-CD和WHU-CD数据集验证中，该方法有效提升少样本场景下的变化检测精度（OA/F1/Re/Pr分别提高8.2%/6.5%/9.1%/7.3%）。
朱琳叶|邢华桥|孙文斌|杜守航|王聪聪|苏青
中国矿业大学（北京）地球科学与测绘工程学院，北京，100083，中国
摘要
选择富含知识且具有代表性的变化样本进行训练对于提高变化检测模型的性能非常重要。然而，现有的相关研究并未充分利用遥感图像的特定特征知识，大多数研究集中在图像检索和图像分类领域。为了解决上述问题，本研究提出了一种基于无监督知识表示量化的遥感图像变化样本选择（UKRQ）方法。从图像特征统计和遥感图像的特定特征的角度出发，通过利用图像对自身变化的信息、深度学习模型对变化幅度的区分能力、光谱值变化的信息、土地覆盖类型变化的信息以及空间结构复杂性来评估每对图像的代表性。进一步地，选择上述五种代表性排序方法的结果，进行相似性判断，并将最接近的结果叠加作为最终排序结果。在本研究中，使用LEVIR-CD数据集和WHU-CD数据集作为示例，结果表明UKRQ方法能够以无监督的方式自适应地选择具有代表性的变化样本，从而提高样本较少时的变化检测准确性。
引言
标记变化样本的质量和数量对于提高深度学习变化检测方法的准确性至关重要[1]、[2]。生成训练用标记变化样本既耗时又费力[3]、[4]，这些标记变化样本对模型性能有显著影响，而训练标记变化样本的不足容易导致过拟合问题。因此，在半监督学习场景中选择少量具有丰富知识和代表性的标记变化样本对于训练变化检测模型非常重要。
许多研究人员和学者从样本的角度出发来提高模型准确性[5]。例如，Yu等人（2021年）提出了一种改进高光谱图像不平衡样本分类性能的模型[6]。Bai等人（2022年）提出了一种基于边缘引导的循环卷积神经网络的端到端深度学习方法用于变化检测[7]。Li等人（2022年）提出了一种软互补学习方法，通过随机扰动训练样本的互补标签来防止深度卷积神经网络训练中的过拟合问题[8]。Wang等人（2022年）使用对抗性自编码器和字典学习方法来选择最具代表性的样本[9]。Jin等人（2023年）提出了一种基于自监督特征学习和基于密度的查询策略的无簇一次性AL方法来选择代表性样本[10]。Wang等人（2023年）提出了一种无监督的选择性标记方法，通过选择聚类原型来实现，既适用于预训练的特征空间也适用于特征优化[11]。上述研究主要关注样本增强、样本生成和样本选择以提高模型准确性，样本大小和样本质量都是提高模型性能的有效手段。
然而，上述大多数应用主要集中在计算机视觉、图像检索、图像分类等领域，但在智能选择训练标记变化样本方面的研究仍然不足[12]。特别是在双时相遥感图像变化检测中，变化样本选择面临以下核心挑战：遥感图像的复杂性和多样性，传统方法难以自适应地挖掘图像对中的多维知识关联，使得有限的样本难以覆盖真实变化场景的统计分布[13]。遥感变化检测的准确性高度依赖于图像对的领域特定知识。例如，利用图像对自身的变化特征通过计数图像特征来量化变化幅度；利用深度学习模型对变化幅度的区分能力从模型中提取多尺度特征，以评估图像对中变化区域与未变化区域的区分度；利用光谱值变化信息通过光谱值的变化来评估图像对中变化区域与未变化区域的差异；利用土地覆盖类型变化信息通过土地覆盖类型的变化来区分图像对中的变化区域与未变化区域；利用空间结构复杂性通过图像对的空间结构差异来评估图像对的代表性[14]、[15]。现有的样本选择方法往往忽略了上述知识的协同效应，导致标记样本存在较大偏差和高冗余的问题。因此，需要提出一种能够自适应选择丰富知识和高代表性的遥感图像变化样本选择方法，以便在样本较少的情况下传统变化检测模型仍能取得良好效果。
因此，本文提出了一种基于无监督知识表示量化的遥感图像变化样本选择（UKRQ）方法。首先，利用图像对自身信息的变化程度和深度学习模型中对变化幅度的区分能力来确定每对图像的知识丰富性和代表性。其次，通过利用光谱值的变化程度、土地覆盖类型的变化程度以及图像对中嵌入图像的空间复杂性来推导每对图像的知识丰富性和代表性。最后，从上述类型的方法中选择五种代表性方法，对其排序结果进行相似性判断，并将最接近的结果叠加作为最终的变化样本选择结果。
UKRQ方法的核心概念是从无监督单模态光学变化检测的角度出发，对图像对的知识丰富性和代表性进行表征。本研究的主要创新和贡献如下：
(1) 提出的UKRQ方法从无监督的角度全面比较和分析图像对中的知识信息，包括图像对自身的变化、深度学习模型中对变化幅度的区分能力、图像的光谱值变化、土地覆盖类型的变化以及图像的空间复杂性。
(2) UKRQ方法从图像特征统计和遥感图像特定特征的角度构建了一个多角度的图像对知识丰富量化模型，解决了传统方法因单一视角表征导致的知识描述偏差问题。
相关工作
从样本角度提高模型准确性的现有方法可以分为以下几类：(1) 样本增强方法。这类方法主要利用初始样本来增强或扩大样本集。例如，Lu等人（2017年）提出了一种具有两阶段空间计算的主动学习方法来改进训练样本的选择[16]。Hao等人（2020年）提出了一种多标签训练样本增强方法[17]。
方法论
为了减少来自单一指标的潜在偏差，从不同维度（如光谱值变化、空间复杂性和土地覆盖类型变化）评估图像对的代表性。如果某个图像对在不同维度的评估标准中都获得了高排名，说明其代表性是稳健可靠的。因此，通过计算不同排名结果之间的相似性，可以...（此处原文内容不完整）
实验结果与分析
为了评估UKRQ方法的有效性，在LEVIR-CD数据集和WHU-CD数据集上以10%的间隔比例进行了与图像知识表示量化方法的比较分析。使用了四个常用的指标来评估变化检测结果：总体准确率（OA）、F1分数（F1）、召回率（Re）和精确度（Pr）[38]、[39]。比较的十五种知识量化方法包括随机选择方法...
UKUQ方法分析
为了进一步说明UKRQ方法的可行性，以WHU-CD数据集为例，选取了10%–40%的数据进行消融实验，将UKRQ方法与最新的USL方法[11]和Free-Sel方法[35]进行比较。ES方法是利用熵排序方法进行代表性排序。ES+IS方法是将熵排序方法的排序结果叠加在另一排序结果上的排序结果...
结论
为了从大量训练标记变化样本数据中快速提取具有代表性的变化样本，本研究提出了UKRQ方法，实现了变化样本的无监督自适应选择。UKRQ方法从图像特征统计和遥感图像的特定特征的角度，对无监督图像知识表示量化方法进行了全面的比较分析，为后续相关工作提供了参考依据...
CRediT作者贡献声明
朱琳叶：撰写——原始草稿、可视化、软件、资源、方法论、概念化。邢华桥：撰写——审阅与编辑、可视化、验证、方法论、调查、概念化。孙文斌：撰写——审阅与编辑、可视化、项目管理、资金获取、概念化。杜守航：撰写——审阅与编辑、可视化、监督、软件。王聪聪：撰写——审阅与编辑、可视化、监督。苏青：
资助
本研究得到了国家自然科学基金 [资助编号 42271435]、山东省自然科学基金 [资助编号 ZR2022YQ36] 和 山东省高等学校青年创新团队项目 [资助编号 2022KJ201] 的支持。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
