一种用于SAR石油泄漏检测的改进型Pix2PixGAN样本生成方法

《Marine Pollution Bulletin》：An improved Pix2PixGAN sample generation method for SAR oil spill detection

　　•真实的SAR背景、溢油掩码以及随机噪声共同提升了样本的真实性、结构控制性以及多样性。•SPADE解码技术能够保留溢油边界和复杂的形态特征。•PatchGAN、LSGAN以及BCE损失函数则有助于提升纹理细节和结构精度。

引言
海洋石油泄漏属于最具破坏性的海洋污染形式之一。由船舶事故、海上平台泄漏或海底自然渗漏所释放的石油及其衍生物，会对海洋生态系统造成严重且长期的损害（Beyer等人，2016；Fuller等人，2004；Hayworth等人，2011）。因此，快速检测石油泄漏并准确评估泄漏范围，是海洋环境保护和应急响应的重要前提。合成孔径雷达（SAR）（Kong等人，2023；Gintauskas等人，2024；Argenti等人，2013）通过主动发射微波信号并接收来自海面的后向散射回波，能够在云层覆盖、降雨或夜间等复杂环境下实现稳定的大规模海洋监测。正因如此，SAR已成为用于实际石油泄漏监测的重要传感器。然而，基于SAR图像的石油泄漏检测仍面临诸多挑战（Shokr和Dabboor，2024；Alpers等人，2017）。基于深度学习的检测模型通常高度依赖大规模的标注数据集，而真实的石油泄漏样本获取成本高昂、耗时较长，且覆盖的场景范围往往有限。这就导致了训练数据量不足，分布多样性欠缺，进而限制了模型性能的进一步提升（Zhang等人，2023）。

近年来，以卷积神经网络（CNN）和视觉变换器为代表的深度学习方法在遥感图像解读领域取得了显著进展（Zhu等人，2017）。在SAR石油泄漏检测领域，U-Net、DeepLab、Faster R-CNN以及CNN与Transformer混合架构等模型已被成功应用于石油泄漏的语义分割和目标检测任务，使得检测精度不断提升（Huang等人，2022；Hasimoto-Beltran等人，2023；Dehghani-Dehcheshmeh等人，2023）。不过，这些模型的性能在很大程度上取决于训练样本的数量、质量以及场景的多样性。在实际应用中，真实的石油泄漏事件发生具有偶发性和不可预测性，其地理分布、石油类型以及成像条件都存在极大的不平衡性。因此，现有的公共数据集往往存在样本数量不足、场景覆盖不全的问题。

为解决样本稀缺问题，针对遥感图像和SAR图像的样本增强与生成策略可大致分为三类。第一类是传统的数据增强方法，如翻转、旋转、裁剪、亮度扰动、添加噪声以及基于失真的变换。这类方法因实现简单，且无需改变标注格式即可增加样本多样性，因而仍被广泛使用（Hao等人，2023；Zeng，2024；Dong等人，2024）。但对于SAR石油泄漏图像而言，此类像素级或几何变换可能会改变局部灰度统计特性、斑点模式以及油水边界特征，从而削弱石油泄漏暗区的一致性。第二类是基于物理或电磁散射模型的仿真驱动方法。这类方法通过建模成像几何结构、目标散射特性、海面粗糙度或油膜阻尼效应来生成SAR图像。近期研究显示，仿真驱动策略能够在样本有限的条件下生成具有物理合理性的合成样本，从而丰富SAR训练数据（Wang等人，2023b；Feng等人，2024）。不过，这类方法通常需要事先掌握成像参数、海况、风速、表面粗糙度以及油膜属性等信息，而这些在实际的石油泄漏监测中往往难以获取或并不完整。第三类则是数据驱动的生成方法，这类方法直接从现有样本中学习图像分布。近期研究表明，Pix2Pix cGAN、强化型GAN以及双判别器GAN架构能够为后续识别任务生成合成SAR数据（Araujo等人，2023；Liu等人，2024；Oghim等人，2024），同时扩散模型也被用于SAR图像合成以及SAR石油泄漏分割数据的增强处理（Qosja等人，2024；Moon等人，2024）。与传统增强方法和仿真驱动方法相比，基于GAN的方法无需对所有物理参数进行显式建模，能够自适应地捕捉真实SAR样本中的局部纹理、与斑点相关的模式以及石油泄漏的形态特征。因此，基于GAN的方法为解决SAR石油泄漏训练数据不足的问题提供了有效的技术途径。

自从GAN被提出以来，人们又开发出了许多基于GAN的模型，用以提升图像生成质量、训练稳定性以及可控性。在网络架构方面，DCGAN将卷积神经网络整合到GAN框架中，以提高图像的质量和多样性（Huang等人，2018），而PGGAN则采用逐步增长策略，生成分辨率更高且更稳定的图像（Karras等人，2017）。在损失函数方面，LSGAN用最小二乘损失替代传统的交叉熵损失，以提高收敛稳定性（Mao等人，2017），而WGAN引入了Wasserstein距离，用以缓解训练不稳定和模式崩溃问题（Arjovsky等人，2017）。BEGAN则进一步采用自编码器判别器和平衡策略，来稳定对抗训练过程（Berthelot等人，2017）。此外，CGAN还将条件信息引入GAN框架，使得生成器能够在特定的语义或属性约束下生成样本（Mirza和Osindero，2014）。

在条件生成方法中，Pix2Pix是一种经典的用于图像到图像转换的条件生成对抗网络。它采用编码器-解码器结构，结合重构损失与对抗损失，因此适用于跨域图像生成（Isola等人，2017；Huang和Belongie，2017）。Pix2Pix也被应用于SAR图像生成，例如Araujo等人（2023）就使用Pix2Pix cGAN生成SAR目标样本，用于自动目标识别。不过，标准版Pix2Pix在表现复杂SAR石油泄漏场景的能力上存在局限。在面积较大或对比度较低的石油泄漏区域，它可能会生成纹理均匀、边界模糊且细节过度平滑的图像。Pix2PixHD通过采用从粗到细的生成器、多尺度判别器以及特征匹配损失，改进了Pix2Pix，从而实现高分辨率图像的生成（Wang等人，2018），但当语义结构较为复杂时，生成的图像仍可能缺乏精细的纹理细节（Park等人，2019）。此外，标准版Pix2Pix仅通过Dropout隐式引入噪声，无法显式模拟SAR图像中与斑点相关的随机性，这可能导致生成的样本在噪声统计特性和纹理多样性方面与真实SAR图像存在差异（Zeng和Zhang，2021）。

为解决上述问题，本研究提出了一种基于Pix2PixGAN的改进方法，用于生成SAR石油泄漏样本。该方法结合了真实的SAR背景先验、溢油掩码约束、多通道随机噪声以及空间自适应归一化处理，旨在提升所生成SAR石油泄漏样本的真实性、结构一致性以及纹理多样性。随后，这些生成的样本会在下游的分割任务中进行评估，以此检验其作为补充训练数据的实际可用性。本研究的主要贡献如下：
1. 提出了一种条件性的SAR石油泄漏样本生成框架，旨在解决传统基于掩码的生成方法中缺乏真实的海面背景先验以及纹理多样性等问题。该框架通过同时运用真实SAR图像、溢油掩码以及多通道随机噪声，在保持图像级背景特征的同时，能够在结构约束下引入局部纹理变化。
2. 引入了空间自适应归一化、PatchGAN判别器以及分割一致性约束，以此提升对石油泄漏形态、边界过渡以及局部SAR纹理细节的保留能力。这些设计直接针对标准Pix2Pix生成过程中存在的掩码语义弱化、油水边界模糊以及纹理单调等问题。
3. 通过通用生成指标、与SAR相关的统计指标以及下游分割实验对生成的样本进行评估。此外，还利用自主构建的A Symphony–Yellow Sea数据集以及多种分割网络，进一步验证在标注过的SAR石油泄漏样本不足的情况下，这些生成的样本是否能够提供有用的补充训练线索。

数据集片段
SOS数据集
实验所使用的数据为公开可用的SAR石油泄漏（SOS）数据集。该数据集包含来自墨西哥湾的14幅SAR图像以及来自波斯湾的7幅SAR图像。墨西哥湾的图像是由ALOS/PALSAR传感器以HH极化方式获取的，而波斯湾的图像则由Sentinel-1A获取（Zhu等人，2022）。在对图像进行裁剪、旋转以及添加噪声处理后，该数据集被划分为两个针对不同传感器的子集：PALSAR子集和Sentinel-1子集。

模型整体框架
为解决SAR石油泄漏样本匮乏的问题，以及传统样本生成方法在同时保持背景真实性和石油泄漏纹理细节方面的困难，本研究基于条件生成对抗网络（cGAN）开发了一种SAR石油泄漏样本生成框架。该生成器的输入包括真实SAR图像、溢油掩码以及随机噪声。其中，SAR图像提供海面背景信息，而掩码则用于对石油泄漏区域进行约束。

参数设置与实验环境
为验证所提出的方法在SAR石油泄漏样本生成方面的有效性，本研究在统一的实验条件下开展了对比实验、消融实验以及下游分割验证实验。所有实验均在运行Windows 10系统、安装Python 3.9、torch 2.7.1、CUDA 12.6以及NVIDIA GeForce RTX 4060 Ti显卡的平台上进行。为确保不同数据集和模型之间的可比性，所有输入图像都被调整为256×256像素大小。这些设置均为实验提供了统一的基础条件。

结论
为应对真实SAR石油泄漏样本供应不足的问题，本研究开发了一种改进版的Pix2PixGAN框架，用于条件性的SAR石油泄漏样本生成。该方法将真实SAR图像、溢油掩码以及多通道随机噪声作为联合输入，并通过基于SPADE的空间调制、PatchGAN判别器、LSGAN对抗损失以及分割一致性约束，提升了海面背景的真实性以及结构的...

作者贡献说明
王慧桥：写作——审阅与编辑，写作——初稿撰写，可视化，验证，监督，软件，资源，项目管理，方法论，研究调查，资金获取，正式分析，数据整理，概念构思。万勇：写作——审阅与编辑，监督，资金获取，概念构思。张瑞：写作——审阅与编辑。戴永寿：写作——审阅与编辑，监督，概念构思。

资金来源
本研究部分得到了山东省海洋生态环境与灾害防治重点实验室在202408号项目下的支持，同时也得到了国家自然科学基金委员会与山东省联合基金的重点项目在U22A20586号项目下的资助。

利益冲突声明
作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。

致谢
我们衷心感谢Zhu等人提供了SOS数据集。

王慧桥|万勇|张瑞|戴永寿