CSFE-net:一种用于PolSAR图像的循环一致性散射特征提取网络

《Neurocomputing》:CSFE-net: Cycle-consistency scattering feature extraction network for PolSAR image

【字体: 大 中 小 】 时间:2026年05月16日 来源:Neurocomputing 6.5

编辑推荐:

  月胡|李碧琪|陈阳|侯彪|任波|焦立成 中国陕西省西安市西安电子科技大学教育部智能感知与图像理解重点实验室,邮编710071 **摘要** 近年来,深度学习在极化合成孔径雷达(PolSAR)特征学习及其后续应用中受到了更多关注。然而,现有的用于PolSAR数据的深度

  月胡|李碧琪|陈阳|侯彪|任波|焦立成
中国陕西省西安市西安电子科技大学教育部智能感知与图像理解重点实验室,邮编710071

**摘要**
近年来,深度学习在极化合成孔径雷达(PolSAR)特征学习及其后续应用中受到了更多关注。然而,现有的用于PolSAR数据的深度神经网络大多是基于数据的,缺乏散射机制,这容易导致特征物理意义不明确且稳定性较差,从而降低了最终的解释性能。本文提出了一种循环一致性散射特征提取网络(CSFE-Net),通过将经典的极化目标分解与深度生成网络相结合来实现这一目标。在模型结构上,两个自编码器端到端串联,并在其解码器中嵌入真实的散射成分,然后通过两次PolSAR数据重建和一个特征重建项来实现循环一致性。在模型损失函数中,考虑了散射功率、特征和数据一致性,以增强特征的物理意义和表示能力。因此,CSFE-Net兼具传统和深度PolSAR特征提取的双重优势。在多个PolSAR数据集上的实验表明,提取的特征能够很好地区分不同地形,并支持后续的地形分类任务。此外,这些特征能够清晰地对应特定的散射机制并解释地形的特征。

**引言**
极化合成孔径雷达(PolSAR)不仅具有全天候、全天气工作的优势,还包含丰富的极化信息。它可以准确反映不同极化模式下地形目标的电磁散射特性,并突出目标的内在状态。极化特征是上游PolSAR数据与下游应用任务之间的关键桥梁。没有准确、具有区分性和物理意义的极化特征,实际的下游任务就无法高效进行。极化特征的提取既是一个物理问题,也是一个数学问题,提取的特征必须具有清晰的物理意义和良好的类别可分性[4]、[45]。
传统的PolSAR特征提取方法主要是基于散射模型的目标分解(TD)方法[4]、[45],该方法主要解释地形目标的物理散射机制。相干TD方法通常要求目标的散射矩阵是稳态的。然而,自然环境中许多复杂目标的散射特性是变化的。非相干方法可用于描述分布式散射体,因此这种方法受到了广泛关注。Cloude和[18]提出的分解方法是特征值-特征向量方法的代表,该算法通过求解PolSAR数据中的最大特征值来观察目标的散射机制,然后根据获得的特征值和特征向量推导出几个经典的极化参数。Freeman-Durden算法[13]是基于模型的TD方法,它将地形目标分为奇次反射、双次反射和体积散射特征。在此基础上,相继提出了螺旋散射[40]和线性散射成分[47]来更准确地描述目标[30]、[31],[2]提出了六组分和七组分算法以进一步区分城市和植被区域目标[2]。 [2]总结了用于船舶检测的极化旋转不变特征。在实际应用中,极化特征可以直接用于识别地形目标[9]、[26]、[38],或者基于其散射机制作为原始特征输入到深度学习模型中,以实现地形分类和目标识别等任务[15]、[16]。总之,尽管传统极化特征具有清晰的物理意义,但特征提取过程与后续解释任务是独立的,这会导致特征缺乏针对特定任务和数据的特异性,从而降低后续任务的解释性能。
最近,各种深度神经网络模型被引入到PolSAR图像解释领域[32]、[44]中。对于像素级对象分类,卷积神经网络(CNN)用于从相干性矩阵中提取隐藏特征,最终实现数据到任务的分类[53]。考虑到数据的结构信息,图CNN被用来学习特征,并在超像素信息的辅助下实现对象分类[5]。为了应对动态的大规模、多特征和多频率PolSAR数据,提出了一个在线主动特征学习框架用于动态对象分类[25]。[20]使用深度残差网络来学习PolSAR图像去噪的特征矩阵。由于分辨率和原始数据的限制,基于深度学习的PolSAR变化检测和目标检测算法的研究较少[35]、[50]。 [22]提出了一种局部受限的卷积神经网络来提取不同时相的两幅PolSAR图像的特征差异图,最后引入分类层来检测变化区域。[26]选择了一些极化参数并将它们输入CNN模型以挖掘深度特征进行目标检测。[17]提出了一种轻量级的Pixel-Pixel-CNN模型来有效检测船舶目标。[49]提出了极化协方差差异矩阵,并首次展示了其在船舶检测中的空间信息。大多数深度学习方法以PolSAR数据为输入,然后提取隐藏特征,这些方法主要是面向任务的(主要用于地形分类)且具有端到端结构。在网络结构方面,现有工作利用了计算机视觉领域的模型,如CNN、GNN[1]、[10]、[27]和ViT[11]、[39]。无论是卷积池化、图操作还是注意力机制,这些操作都是针对自然图像数据设计的,并没有考虑PolSAR数据的独特属性。然而,深度特征提取模型在训练阶段需要大量的标记样本,导致解释性能受到标记样本数量和质量的极大限制。此外,当计算机视觉领域的深度学习模型直接应用于PolSAR数据时,会忽略其独特的散射机制,导致特征提取过程不稳定且难以解释。因此,当前的研究趋势是将PolSAR领域知识与人工智能算法相结合,构建具有物理机制、可解释性和可靠性的智能解释算法[7]。
在将PolSAR领域知识与深度学习相结合方面,[52]提出了一种可以接受相干性矩阵复数元素的复数值CNN用于对象分类[14],[12]进一步扩展了这一方法[12]。 [46]将原始数据转换为幅度和相位成分,然后通过散射协调和显式监督将散射特性与CNN的学习过程相结合。基于PolSAR的统计分布特性,[21]将Wishart分布信息和Wishart距离嵌入深度学习模型中,提出了Wishart-DBN模型用于对象分类[37]。 [37]提出了一种生成判别混合深度模型来学习PolSAR数据的空间统计分布特性。基于PolSAR的散射特性,[3]提出了一个极化特征驱动的CNN框架,结合了极化领域知识,并在少量标记样本的情况下取得了开创性成果[36]。 [36]考虑了分解特征的散射机制之间的相关性,并将其用于通道融合,增强了特征学习模型的物理意义并提高了地形分类的性能[48]。 [48]基于CNN嵌入了极化散射成分来学习散射相似性并提取地形分类的纹理特征,[28]、[29]也将真实散射机制与扩散模型相结合。作者[42]、[43]以PolSAR数据重建为目标,将特征学习自编码器与目标分解完全集成,使模型学习到的特征具有物理意义,并将其应用于不同的PolSAR解释任务。上述工作仅是浅层次的结合,没有涉及散射机制和模型结构,专门的PolSAR深度特征提取网络也很少。
总之,传统极化特征具有清晰的物理意义,但与任务无关,缺乏对特定数据的适应性,导致解释性能有限。基于深度学习的方法可以学习面向任务的特征并提高性能,但它们严重依赖标记样本,常常忽略极化散射机制,导致特征提取不稳定且难以解释。尽管将极化领域知识与深度学习相结合已成为研究趋势,但现有方法仅实现了浅层次的结合,没有将散射机制完全嵌入网络设计中,专门的PolSAR特征提取网络仍然不足。此外,特征提取过程不够稳定,导致特征与真实地形散射机制之间的关联较弱。针对上述问题,我们将经典的极化目标分解与深度生成网络相结合,然后提出了循环一致性散射特征提取网络(CSFE-Net),其主要贡献如下:
1. 提出了一种称为CSFE-Net的极化特征提取网络。CSFE-Net是极化目标分解和深度生成网络的完全融合实体,因此兼具传统和深度学习基于PolSAR特征提取方法的双重优势。
2. 在CSFE-Net结构建立方面,两个自编码器在循环中串联,以稳定PolSAR数据重建和特征提取过程。此外,CSFE-Net中嵌入了真实散射成分,以具体化特征的物理意义。
3. 在CSFE-Net损失设计方面,提出了包含数据一致性和特征一致性的循环一致性损失,以进一步细化数据重建和特征提取过程。CSFE-Net还配备了散射功率损失,以增强物理散射意义。

本文的其余部分组织如下:第2节简要回顾了PolSAR特征。第3节介绍了提出的CSFE-Net。第4节描述了实验设置、结果和讨论。最后,第5节给出了结论和未来工作。

**PolSAR数据的表示**
在PolSAR图像中,一个像素中包含的所有信息通常由一个Sinclair复数值矩阵表示:表示散射元素为垂直发射和水平接收极化,其他散射元素类似定义。在单站PolSAR平台上,。作为矩阵的向量表示,通常使用Pauli目标向量来获得多视场平均后的相干性矩阵。类似地,极化协方差矩阵。

**方法论**
本节首先介绍了CSFE-Net的整体框架,然后详细介绍了极化特征提取和循环一致性模块,同时逐一给出了损失函数的构建。

**实验**
本节首先描述了PolSAR数据集,然后详细分析了提出的CSFE-Net的实验设置和参数。接着讨论了重建数据、散射成分和提取的特征。最后,进行了消融实验以突出每个部分的性能。

**结论**
本文提出了一个结合数据驱动的深度学习模型和机制驱动的目标分解(TD)的PolSAR特征提取方法,即CSFE-Net。该模型将八个真实散射成分嵌入特征提取模块的权重矩阵中,使提取的特征具有相应的物理意义。此外,引入了循环一致性来细化提取的特征和重建的PolSAR数据,从而使模型能够更好地呈现真实的CRediT

**作者贡献声明**
月胡:撰写——原始草稿、软件、方法论;
李碧琪:撰写——审阅与编辑、资源、方法论、数据管理;
陈阳:监督、方法论、资金获取;
侯彪:可视化、软件、资源;
任波:资金获取、形式分析、数据管理;
焦立成:可视化、验证、软件。

**利益冲突声明**
作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。

**致谢**
本工作部分得到了中国国家自然科学基金(项目编号62401418)、广东省基础与应用基础研究项目(项目编号2023A1515110503)、国家自动目标识别重点实验室基础研究基金(项目编号WDZC20255250103)以及中国国家自然科学基金(项目编号62371373和62171347)的支持。
月胡于2019年在中国西安电子科技大学人工智能学院获得电路与系统硕士学位,目前正在该校人工智能学院攻读博士学位。她的研究兴趣包括遥感图像中的目标检测、深度学习模型的嵌入式部署以及模型压缩和加速。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号