一种基于金字塔频率查询引导的网络用于遥感图像分割

《Neurocomputing》：A pyramid frequency query guided network for remote sensing image segmentation

　　

摘要

现有的高分辨率遥感图像分割（RSIS）方法在处理复杂场景时普遍面临两种语义歧义问题：类内不一致性和分割偏移。这主要是由于传统方法过度依赖被动上采样和静态跳跃连接，缺乏提取编码器下采样过程中引入的频率混叠信息的能力。为了解决这个问题，本文提出了金字塔频率查询引导网络（PFQGNet），将解码过程重新定义为跨空间双重信息检索范式。解码器上采样过程中缺失的信息实际上存在于编码器的多级特征中，准确描述这些缺失信息是有效检索的核心挑战。首先，我们设计了频率查询引导上采样（FQGU）作为主要的检索机制，采用基于空间卷积的频率解耦方法。低频查询生成器（LFQG）主动衰减高频成分以获取平滑的语义信息，而高频查询生成器（HFQG）提取结构残差；通过这些解耦的表示，有效地缓解了上述两种歧义。其次，语义增强融合注意力（SEFA）作为次要检索机制，利用修复频率的特征作为空间查询条件来检索多级编码器特征，从而补偿因混叠丢失的空间细节。在多个数据集上的实验表明，PFQGNet的分割性能优于现有方法。代码位于https://github.com/CDRstn/PFQGNet

引言

高分辨率RSIS作为地理空间分析的重点任务，由于航空航天和智能传感技术的进步，已经成为高分辨率图像分析的可行方法。RSIS是语义分割的一个分支，主要涉及识别和分类遥感图像中的密集场景，精确预测每个像素类的对应标签。其在多个领域的应用价值显而易见，包括城市规划[1]、[2]、土地利用[3]、[4]、[5]、变化检测[6]、[7]、[8]、环境保护[9]以及其他相关任务[11]、[12]。然而，由于遥感图像的固有复杂性，现有方法仍然面临类内不一致性和分割偏移的挑战。

在RSIS领域，早期的基于CNN的方法[13]、[14]实现了初步的自动分割。后续工作引入了金字塔模型[15]、[16]和语义解耦[17]来捕捉多尺度上下文并减轻语义歧义，但CNN仍受限于有限的感受野。为了解决这个问题，基于Transformer的方法[18]被广泛采用。从最初的ViT[19]和SETR[20]到先进的架构如PVT[21]、Swin Transformer[22]和SegFormer[23]，研究人员逐步利用金字塔结构和多尺度特征融合来优化全局语义建模和计算效率之间的平衡。然而，它们在空间域内无法区分平滑语义和突变边界，因此无法解开语义-结构之间的纠缠以选择性地分离混叠特征。结果，它们仍然容易受到类内不一致性和分割偏移的挑战（如图1左侧所示）。

为了应对这些持续存在的挑战，最近的研究采取了几个新的方向。一条研究路线通过动态字典学习或语义聚类[24]等技术优化特征表示空间，学习自适应的、类感知的原型以增强类间可区分性。另一个方向致力于改进上下文建模，使用跨扫描机制[25]等方法高效聚合长距离依赖关系。第三条新兴路径探索频率域融合[26]、[27]，动态调整高频和低频成分的比例以适应不同的地面对象类型。然而，这些不同的方法仍然存在局限性。专注于特征空间或上下文的方法并未明确解决由频率域现象（如混叠）引起的分割偏移问题。同时，现有的频率域方法（如AFENet[28]）主要集中在频率增强本身。它们未能将频率域构建为精确的“查询语言”进行选择性检索，因此缺乏系统化的机制来解开语义-结构之间的纠缠，同时解决类内不一致性和分割偏移问题。

在之前的RSIS任务中，多次的下采样和上采样阶段引入了关键的瓶颈。首先，在编码器的特征提取过程中，特别是当超过四分奈奎斯特频率限制时，下采样操作会导致严重的频率混叠[29]，损坏高频结构细节并将其混入低频表示中。其次，传统解码器依赖于被动空间上采样（例如双线性插值[30]、[31]）和静态跳跃连接。由于纯粹的空间操作无法区分急剧变化的边界和平滑的物体，它们无法解决这种语义-结构之间的纠缠。因此，它们只是传播和放大混叠特征，不可避免地导致类内不一致性和分割偏移。

为了解开这种复杂性，我们将解码器的上采样过程重新定义为跨空间双重信息检索范式，其中频率域作为精确的“查询语言”。与空间操作不同，频率分析具有基于变化率分离纠缠特征的内在能力。因此，我们引入FQGU作为主要的检索阶段。它不使用全局快速傅里叶变换（FFT），而是采用基于空间卷积的频率解耦。它利用高级潜在语义来构建频率查询：低频查询生成器（LFQG）主动衰减高频成分以获取平滑的语义上下文，而高频查询生成器（HFQG）分离并重构结构残差（图1右侧）。同时，作为次要检索阶段，我们采用语义增强融合注意力（SEFA）机制。它利用修复频率的特征作为空间查询条件来检索多级编码器特征，从而补偿由于下采样混叠丢失的空间细节。最后，我们设计了多维度协作注意力（MDCA）来动态平衡新检索到的语义和结构特征。

章节片段

相关工作

随着遥感图像数据复杂性的增加，传统的CNN[32]、[33]、[34]逐渐暴露出其在有限感受野和全局建模方面的局限性。为了提高分割精度，研究人员探索了两个主要途径。第一种引入了注意力机制[18]，加强跨通道和空间维度的全局上下文和长距离依赖建模。第二种利用频率域分析，

。

方法

PFQGNet主要由三个模块组成，包括用于特征提取的编码器部分、用于语义增强融合的残差注意力部分，以及具有频率引导上采样和MDCA用于特征重新平衡的解码器部分。在以下小节中，我们将首先介绍PFQGNet的总体架构，然后描述解码器中每个模块的结构和功能。最后，我们将提供损失函数设计的额外细节

数据集

在我们的实验中，我们使用了Vaihingen、Potsdam和LoveDA数据集。这些是遥感图像分割中的标准基准数据集，选择它们是为了确保结果的可比性和泛化性。这些数据集在对象类别、环境条件和成像场景方面的多样性为评估模型性能提供了坚实的测试平台。由于这些数据集被广泛采用，它们便于与之前的最先进方法进行直接比较。

结论

本文解决了高分辨率RSIS中由下采样频率混叠引起的类内不一致性和分割偏移的关键挑战。为了系统地解决传统的语义-结构纠缠问题，我们提出了PFQGNet，引入了一种新的跨空间双重信息检索范式。作为主要的检索机制，核心的FQGU模块将被动上采样转变为主动的频率域解耦。通过结合低频

CRediT作者贡献声明

陈皓：撰写——原始草稿，概念化。范国栋：撰写——审阅与编辑，资金获取。李金江：资源协调。陈光勇：形式分析，数据管理。甘敏：验证。周靖春：调查。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争财务利益或个人关系。

致谢

本工作得到了中国国家自然科学基金（项目编号：U24A20219、62272281、62576193、62202268和62301105）、山东省泰山学者计划专项基金（项目编号：tsqn202306274和tsqn202507240）以及山东省自然科学基金（项目编号：ZR2025QC712、ZR2025QC695和ZR2025MS985）的支持。