SCOUT-Count：基于协方差白化与不确定性的域泛化遥感目标计数方法

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：SCOUT-Count: Stylization with covariance-whitening and uncertainty for domain-generalized remote sensing object counting

　　刘彦黄|丁冠辰|王嘉怡|杨代琴|陈振中|陈长文
中国武汉430079，武汉大学遥感信息工程学院

摘要
在遥感图像中进行物体计数面临着诸多挑战，这些挑战源于数据集之间的领域差异，表现为地理背景、物体尺度、图像分辨率以及成像风格的不同。为解决这一问题，我们提出了SCOUT-Count，这是一种专为遥感场景设计的、不受领域限制的物体计数方法。该方法通过多个模块的协同作用，共同提升风格多样性、引入可控的扰动，并稳定学习过程。全局风格元素提取模块从源领域中捕捉广泛的风格特征，为生成新样式提供基础；局部不确定性扰动模块则注入批量级别的不确定性驱动的变异，促使模型探索训练数据中不存在的风格。为避免过度风格化带来的不稳定性，风格敏感度协方差白化损失函数能够确保原始表示与增强表示之间的一致性，从而在训练过程中平衡真实度与多样性。鉴于遥感数据的特殊特性，基于CLIP的类别激活图调节器模块利用预训练的CLIP-RS模型所具备的遥感语义知识，提升密度图在复杂背景下的鲁棒性。大量实验验证了该方法的有效性，显示出其在不同数据集上的强大泛化能力。相关代码可访问https://github.com/WindermerePeaks/SCOUT-Count。

引言
物体计数是指估算图像中感兴趣的物体数量，如车辆、船舶等显著特征。随着工业化的发展，这类物体越来越密集。人工智能的发展推动了各个领域中物体计数的进步，包括人群计数（Y. Li等人，2018；Ma等人，2019；Liu等人，2021；Liang等人，2023）、车辆计数（Zhang等人，2017）以及细胞计数（Falk等人，2019）。同样，由于在城市规划（Rathore等人，2016）、交通管理（Kang等人，2018）、数字城市模型构建（Guan等人，2016）以及环境监测（Pekel等人，2016）等方面的广泛应用，遥感图像中的物体计数也日益受到重视（Hsieh等人，2017；Zheng等人，2020；Delplanque等人，2023；Amirkolaee等人，2024；Cui等人，2024）。

然而，现有的大多数物体计数方法都是基于训练集与测试集之间存在独立同分布的假设，而实际上由于传感器差异及其他领域相关因素的影响，这一假设往往不成立，从而导致领域偏移，影响模型效果。因此，在某一源领域上训练出的模型往往难以适应未知的目标领域，限制了其在现实世界中的应用效果。为解决这一问题，许多研究将领域自适应技术应用于物体计数（Han等人，2020；Wu等人，2021；Ding等人，2022；Zhu等人，2023b），旨在学习出能够在分布偏移情况下从源领域良好泛化到目标领域的领域不变表示。尽管这些方法表现良好，但它们依赖于目标领域数据的可用性，且需为每个目标领域重复微调预训练模型，这带来了巨大的计算和时间成本。而在遥感应用中，获取目标领域的足够数据本身就面临诸多挑战。相比之下，领域泛化技术（Du等人，2023；Peng和Chan，2024）即便在没有目标领域数据的情况下也能取得优异性能。

领域泛化的主要方法可分为两类：元学习与数据增强。DGCC（Du等人，2023）通过动态子域划分来分离领域不变信息，但其复杂的结构以及对内存的依赖降低了推理效率。MPCount（Peng和Chan，2024）通过特征过滤来减少领域特定偏差，但仍依赖于预定义的光度增强方式。AdaIN（Huang和Belongie，2017）通过重新设计图像的同时保留其空间语义，丰富训练数据，从而帮助模型学习更具泛化性的表示。受此启发，我们提出将数据增强技术用于遥感物体计数，以提升模型的泛化能力。此外，如图1所示，遥感物体计数还面临着复杂的杂乱地理背景和物体尺度差异等挑战（G. Gao等人，2020）。为应对这些挑战，我们还利用预训练的视觉语言模型的零样本能力（Radford等人，2021；Liu等人，2024；Shi等人，2025），为模型提供具有语义感知的空间先验信息。

在本文中，我们提出了SCOUT-Count，这是一种无需目标领域数据的、不受领域限制的遥感物体计数方法。它由全局风格元素提取模块、局部不确定性扰动模块、风格敏感度协方差白化损失模块以及基于CLIP的类别激活图调节器模块组成。为获得能够反映未知遥感环境的多样且真实的样本，GSEE模块从源领域特征空间的D维风格空间中提取D个全局风格元素，而LUP模块则通过估计批量级别不确定性并从高斯分布中采样，来模拟未知风格。SS-CWL模块通过建模高阶特征统计量及跨注意力机制，抑制不现实的过度风格化，同时保留特征的重要空间与语义结构。考虑到航空图像中普遍存在的背景杂乱问题，受Lin等人（2023）的启发，我们将softmax函数集成到Grad-CAM中，引入类别竞争机制，从而增强物体与背景区域之间的区分度。借助预训练的CLIP-RS模型（Shi等人，2025），我们可以生成背景干扰更小的类别激活图，再通过哈达玛乘法将这些图应用于优化网络的输出密度图，进一步提升其在复杂地理环境中的鲁棒性。

本文的主要贡献如下：
(1) 提出了SCOUT-Count方法，通过风格增强技术，结合全局源领域风格与轻微的批量扰动来模拟未知数据，具有简单易用且即插即用的特点。
(2) 设计了风格敏感度协方差白化损失函数，基于特征的高阶统计量来约束风格化过程，从而在保持语义和结构的同时抑制过度风格化，提升模型在较大领域偏移情况下的鲁棒性。
(3) 利用预训练的视觉语言模型（CLIP-RS）的零样本能力来优化密度图，使得模型无需额外标注即能在复杂的遥感场景中聚焦于相关物体区域。
(4) 在多种数据集上进行了大量实验，证明了该方法优于现有的最先进领域泛化算法，并展现出在各类物体计数任务中的强大泛化能力。

与之前的会议版本（Ding等人，2024）相比，本文进行了以下扩展和改进：
(1) 引入了预训练的视觉语言模型，并利用其零样本能力生成类别激活图，用于优化密度图，从而在背景复杂的遥感环境中提高物体计数精度。
(2) 用更强大的风格敏感度协方差白化损失函数取代了原有的密度分布一致性损失函数，该函数在高阶统计量层面提供了更好的正则化效果，进而提升了风格化样本的真实度。
(3) 在更广泛的遥感数据集上进行了更为全面的物体计数实验，包括在不同环境条件下的汽车、卡车和船舶计数，以验证该方法的鲁棒性与泛化能力。
(4) 对相关研究进行了更详细的综述，补充了更多内容，帮助读者全面了解该方法。

本文的其余结构如下：第2节回顾相关研究；第3节介绍所提出的方法；第4节阐述实验结果与分析；第5节对全文进行总结。

片段摘录
遥感图像中的物体计数
遥感图像中的物体计数已成为地理空间智能领域的一项重要任务，涉及的人群计数（Ding等人，2022）、车辆计数（Duan等人，2021；Hsieh等人，2017；Guo等人，2022；Liao等人，2023）、建筑物计数（Zakria等人，2023）、树木计数（Osco等人，2020；Amirkolaee等人，2024；Zheng等人，2020）以及船舶计数（Y. Chen等人，2024）等诸多应用领域。

从方法论的角度来看，物体计数方法大致可分为……

概述
在本节中，我们将介绍所提出的SCOUT-Count方法。设想存在一个可观测的源领域Ds={(xi,yi)}i=1K，其中K表示源领域中图像-标签对(xi,yi)的总数。此外，还有J个未知的目标领域Dtj，j=1,…,J，这些目标领域各自具有不同的物体尺度、分辨率差异以及领域特定因素。我们的目标是让最初在Ds上训练的模型Θ能够在面对这些目标领域时仍保持高性能……

数据集
为评估所提方法的性能，我们在多个具有代表性的数据集上开展了领域泛化实验，包括PUCPR＋（Huang等人，2020；De Almeida等人，2015）、CARPK（Huang等人，2020）、NWPU-MOC（Gao等人，2024）以及RSOC（G. Gao等人，2020）。PUCPR＋和CARPK属于车辆计数数据集，而对于多类物体计数数据集NWPU-MOC和RSOC，则分别选取了对应三种物体类别的实例：汽车（小型车辆）……

结论
在本文中，我们通过基于风格的数据增强技术来解决遥感图像物体计数中的领域偏移问题。我们提出了一种具备全局风格元素提取与局部不确定性扰动模块的领域泛化框架，可用于为未知目标分布生成多样化的风格化样本。为抑制过度风格化并确保增强过程中的结构完整性，我们设计了风格敏感度协方差白化损失函数，该函数通过调控特征……

CRediT作者贡献说明
刘彦黄：写作——审阅与编辑，写作——初稿撰写，可视化，软件，方法论，研究，形式分析，数据整理，概念构思。
丁冠辰：写作——审阅与编辑，写作——初稿撰写，验证，监督，软件，项目管理，方法论，形式分析，概念构思。
王嘉怡：写作——审阅与编辑，写作——初稿撰写，验证，方法论，形式分析，概念构思。
杨代琴：写作——……

利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢
本研究部分得到了香港研究资助局（GRF-15229423）以及国家自然科学基金项目（编号42371348）的支持。