**OilSegSARFormer:基于适配器混合Transformer骨干网络与门控细节精化语义解码器的SAR图像多类别溢油分割**
---
**简要说明:**
- **Backbone** 译为"骨干网络",是深度学习领域的标准术语
- **Gated Decoder** 译为"门控解码器",指通过门控机制控制信息流
- **Detail-Refined** 译为"细节精化",表示对细节进行精细化处理
- **SAR imagery** 保留缩写"SAR"(合成孔径雷达),为领域通用表达
《Marine Pollution Bulletin》:OilSegSARFormer: Adapter-Mix Transformer Backbone with Gated Detail-Refined Semantic Decoder for multi-class oil spill segmentation in SAR imagery
【字体:
大
中
小
】
时间:2026年10月24日
来源:Marine Pollution Bulletin 4.9
编辑推荐:
• 提出OilSegSARFormer用于多类别SAR溢油分割 • 构建包含5个类别的Sentinel-1 SAR语义分割数据集,涵盖溢油及其相似目标 • 本地适配器以较低开销注入SAR纹理与边缘先验 • 门控细节精化解码器融合深层语义与浅层细节 • 以28.98M参数实现7
• 提出OilSegSARFormer用于多类别SAR溢油分割 • 构建包含5个类别的Sentinel-1 SAR语义分割数据集,涵盖溢油及其相似目标 • 本地适配器以较低开销注入SAR纹理与边缘先验 • 门控细节精化解码器融合深层语义与浅层细节 • 以28.98M参数实现73.43%的mIoU和66.15%的溢油IoU
1. 引言
溢油是最为普遍、频发且危害严重的海洋污染形式之一(Zhu等,2021)。溢油不仅导致海洋和沿海地区的环境退化,还造成巨大的经济损失和社会问题(Cakir等,2021)。因此,准确的海域溢油检测对于有效应对油轮溢油事件、减轻油污染以及促进绿色安全航运和石油贸易的可持续发展至关重要(Chen等,2019)。
遥感技术目前在溢油监测中发挥着关键作用(Li等,2025;Kumar等,2025)。与传统光学传感器相比,SAR不受云雨等环境条件的影响,能够实现全天候、全时段成像(Chen等,2024;Zhang等,2023)。溢油事件中的油膜会抑制海面上自然存在的短重力-毛细波,从而改变海面粗糙度。这一效应会削弱Bragg散射,导致溢油区域相对于周围洁净海面在SAR图像中呈现为暗斑(Zeng和Wang,2020)。此外,某些其他自然现象——即溢油相似目标——也会减弱雷达后向散射,在SAR图像中产生暗斑。这些现象包括低风区、内波、破碎海冰、雨区和洋流(Latini等,2016)。此外,SAR图像本身具有高噪声水平、模糊边界和非均匀强度分布等特征(Li等,2024;Alpers等,2017)。这些因素会干扰溢油特征的精确定位与识别,从而影响检测精度。
为解决这些歧义问题,基于SAR的溢油检测取得了显著进展,从传统的阈值分割和机器学习发展到先进的深度学习范式。近年来,卷积神经网络(CNN)、基于Transformer的混合架构以及新兴的状态空间模型(如Mamba)在多尺度特征提取和长程依赖建模方面展现了卓越能力,显著提高了从复杂背景中区分溢油的性能。
尽管基于SAR的溢油检测取得了重大进展,但实现高精度和高鲁棒性的海洋溢油检测仍然是一个紧迫的挑战。首先,公开可用的SAR溢油检测数据集仍然相对稀缺,严重制约了数据驱动模型的泛化能力。然而,现有的大多数数据集主要关注二分类的溢油与背景提取,缺乏对低风区、雨区和海冰等复杂相似目标的细粒度多类别语义标注。其次,溢油与相似目标表现出高度相似的特征且存在极端的正负样本不平衡,导致模型容易产生误检。在SAR图像中,溢油、低风区和雨区均呈现为外观高度相似的暗斑。由于溢油区域通常仅占图像的很小一部分,常规的优化目标难以克服类别不平衡,导致在复杂背景下误检率较高。第三,没有任何单一的网络架构能够同时解决SAR溢油分割中的全局上下文建模和局部模糊边界的精细恢复问题。SAR图像覆盖广阔的视野,而溢油表现出多样化的形态,如细长条带或不规则斑块,需要强大的全局感受野来捕获宏观尺度的空间分布。然而,受SAR固有的斑点噪声影响,溢油边界往往模糊不清。传统CNN架构难以捕获长程空间依赖,而纯Transformer架构则在局部细节恢复和边界精化方面表现不足,导致分割输出中边界粗糙或目标破碎。为应对这些问题,我们提出了OilSegSARFormer——一种混合架构,从数据、模型和优化三个方面系统性地应对SAR溢油检测的挑战。
本研究的贡献总结如下:
(1)构建了一个面向海洋溢油及其相似目标的SAR语义分割数据集。引入SAM2辅助掩码生成,随后进行低质量类别移除、模糊边界的人工精化以及标准化预处理。所得到的像素级标注集涵盖五个类别——背景、低风、溢油、雨区和海冰——为海洋溢油检测的语义分割研究提供了高质量的基准。
(2)提出了一种Adapter-MIT骨干网络,该网络采用经过大规模预训练权重初始化的MIT架构,并通过迁移学习将通用视觉表示迁移到SAR溢油分割任务中。进一步嵌入轻量级本地适配器以增强编码器对特定任务的适应性,提高细粒度纹理和边界特征的提取能力。
(3)提出了一种基于FPN的门控细节精化语义解码器(GDRSD)及混合损失优化策略。在FPN自顶向下的多尺度特征融合基础上,设计了门控细节精化机制,通过语义增强和细节精化两条路径自适应地精化融合特征,缓解溢油区域的边界模糊和背景干扰。结合交叉熵和Lovász-Softmax的混合损失函数,该策略专门应对海洋场景中溢油与海水之间的类别不平衡问题,实现高精度的像素级溢油分割。
(4)进行了系统的对比和消融实验以验证所提方法的优势。与11个近期最先进的语义分割模型进行公平基准测试,证实了在精度和鲁棒性方面具有显著优势。预训练权重初始化的对比阐明了初始化策略的影响,模块化消融分析验证了每个组件的必要性,为SAR溢油分割建立了可靠的实验基准。代码和模型权重已公开发布于https://github.com/su-17-97/oilseg-open。
本文的其余部分组织如下:第2节回顾相关工作。第3节详细介绍所提出的OilSegSARFormer架构。第4节呈现实验设置和全面结果,包括数据集构建、实验环境、评估指标、配对统计显著性分析的对比实验、消融研究、定性分析以及在独立外部数据集上的泛化评估。第5节讨论实验发现、模型局限性以及所提方法的实际应用性。最后,第6节总结主要结论和贡献,并概述未来研究方向。
2. 相关工作
2.1 传统方法与机器学习方法
目前,基于SAR图像的海洋溢油检测研究主要沿三个方向发展(Al-Ruzouq等,2020;Keramea等,2021):传统阈值分割、机器学习方法和深度学习方法(Dong等,2023)。传统阈值分割方法在该场景下面临若干局限。全局阈值难以适应海面背景的非均匀性。局部自适应阈值在一定程度上缓解了该问题,但仍高度依赖于风场等外部参数的经验设置,且对异质背景中的动态对比度变化缺乏鲁棒性(Solberg等,2002;Topouzelis,2008)。此外,仅基于像素强度的阈值分割容易受斑点噪声影响,往往导致溢油边界分割不完整或与低风区等相似目标混淆,从而限制检测精度和泛化能力(Yu等,2017)。为克服阈值分割在特征表示和决策逻辑上的局限,研究逐渐转向整合多维特征与数据驱动分类的机器学习方法。Topouzelis和Psyllos(2012)利用随机森林对25个常用特征按重要性排序,发现仅保留4-9个核心特征(如复杂度和形状因子)即可维持84%以上的分类准确率。该结果表明溢油判别依赖于一小具有高度判别力的特征集,而非冗余的组合。Matkan等(2013)将SVM与Krogager极化分解和多尺度纹理特征相结合,在ALOS/PALSAR数据上实现了96.65%的总准确率。他们的结果验证了结合极化散射机制与空间纹理在抑制斑点噪声和增强溢油与海面间对比度方面的有效性。这些研究表明,机器学习通过数据驱动的特征选择和非线性分类,有效缓解了传统方法中对经验参数的依赖。然而,它仍然受限于手工特征设计中的先验假设。这一局限性促使研究转向深度学习的端到端表示学习。
2.2 深度学习方法
溢油检测的深度学习方法主要分为三类:基于CNN的语义分割网络、基于Transformer的混合架构,以及基于Mamba等状态空间模型的新兴序列建模架构。基于CNN的语义分割网络是溢油检测研究中最广泛采用的方法。Krestenitis等(2019)构建并公开发布了首个面向SAR溢油检测的五类别语义分割基准数据集,并系统评估了包括U-Net和DeepLab系列在内的主流深度卷积网络,其中DeepLabV3+在分割精度和推理效率之间取得了最佳平衡。Li等(2023)提出了一种双流U-Net架构(DS-UNet),该架构集成了基于Sobel的边缘提取分支(EEB)、CNN-Transformer混合编码器和跨尺度对齐模块。该框架融合了局部空间细节与长程全局依赖,显著抑制了SAR图像中的斑点噪声。在PALSAR和Sentinel数据集上,它在DSC、F1和HD等核心指标上持续优于最先进的方法。Chen等(2023)提出了ASA-DRNet——一种改进的DeepLabV3+框架,该框架整合了结合轴向自注意力模块和ResNet-18的混合骨干网络、优化的空洞空间金字塔池化(ASPP)模块以及多分辨率低层特征融合策略。通过按比例减少空洞卷积的膨胀率并应用二维分解,该框架在减少模型参数的同时提高了多尺度特征提取效率,并显著增强了溢油边缘和模糊边界的分割精度。Li等(2024)提出了一种新型多尺度特征图重融合网络,在U-Net解码器末端引入了多卷积层(MCL)模块、带通道注意力的特征提取模块(FEM)以及多阶段联合损失函数。该方法实现了高效的跨尺度特征交互和二次精化,增强了模型感知模糊边界和不规则溢油区域的能力。Cheng等(2024)提出了SD-OIL——一个两阶段溢油检测框架,该框架将基于社会支持量化模型(SSQM)的改进超像素生成模块(S3G)与DeepLabV3+语义分割网络相结合。SSQM创新地从个体功能和社区身份两个维度量化像素相似度,并采用光谱角制图器(SAM)作为超像素分割的相似度度量,有效抑制了SAR图像中的斑点噪声。S3G的超像素结果随后作为辅助信息指导DeepLabV3+进行精化分割。Cai等(2025)提出了LRA-UNet——一种轻量级残差注意力网络,该网络集成了深度可分离卷积、嵌入在残差编码器中的无参数SimAM注意力机制以及结合交叉熵、Dice和Sobel边缘感知损失的联合损失函数。该方法在显著减少模型参数和计算复杂度的同时,无参数的三维注意力权重增强了关键溢油区域和模糊边界处的特征响应。边缘感知损失进一步对边界分割质量施加了显式约束。
尽管基于CNN的方法在局部特征提取和边界优化方面取得了显著进展,但其固有的局部感受野限制了对SAR图像中长程语义依赖的建模能力。为克服这一局限,研究者将Transformer的全局自注意力机制引入分割框架,形成了基于Transformer的混合架构。Dehghani-Dehcheshmeh等(2023)提出了一系列混合CNN-Vision Transformer(ViT)网络模型,其中CNN提取的局部高层特征被送入Transformer模块进行全局上下文编码,随后由CNN解码。该方法成功地将局部纹理与全局信息整合,显著提高了复杂噪声图像中溢油边界的提取能力以及区分溢油与相似目标的能力。最佳混合模型(DL-ViT-2)达到了64.59%的IoU。Song等(2024)提出了OSDTAU-Net,该网络在TransU-Net架构基础上集成了带注意力门控机制的Transformer。作者从多场景Sentinel-1双极化数据构建了OS-PolSAR数据集,并融入了包括极化协方差矩阵和H/A/Alpha分解在内的多极化特征。该方法准确地区分了溢油与伪影,达到了97.09%的总准确率和89.54%的F1分数,并成功应用于墨西哥湾北部两个溢油事件的识别。Xie等(2025)提出了STDPNet,该网络纳入了近邻像素补偿方法(PPCM)以抑制SAR图像中船舶的亮斑干扰。
该模型集成了超视觉注意力Transformer(SVAT)与多分支尺度自校准模块(DCM),并在基于高分-3全极化SAR数据生成的G3S数据集上进行了评估。STDPNet在G3S、PalSAR和SOS数据集上均达到了最先进的分割性能,有效应对了复杂背景下精确油溢分割的挑战。Chai等人(2025)提出了TransOilSeg,一种新型检测框架,集成了迁移学习组件(TLC)和自适应注意力混合编码器(AAHE)。TLC利用大规模通用数据集进行梯度聚合与知识迁移,而AAHE则动态适应不同的数据特征,以精确捕获局部与全局信息。该框架有效克服了数据稀缺与视觉混淆问题,展现出强大的跨数据集泛化能力。Sun等人(2026)提出了MAF-UFormer,一种基于ConvNeXt骨干网络构建的多尺度对齐与融合U型Transformer网络。该模型引入了尺度感知对齐融合块(SAFB)和基于代理注意力的深度语义注意力块(DSAB),以实现高效的多尺度特征对齐与融合。实验表明,MAF-UFormer在多个数据集上取得了领先的F1分数,显著提升了复杂海面环境下小尺度油溢及其边界的检测能力。
近年来,随着状态空间模型(SSM)的出现,以Mamba为代表的新型序列建模架构开始因其在计算复杂度为线性以及强大的长程全局依赖建模能力而在油溢检测领域崭露头角。Chen等人(2025)提出了OSDMamba,这是首个专为油溢检测设计的基于Mamba的架构。OSDMamba利用Mamba的选择性扫描机制,在保留关键细节的同时显著扩大了感受野。其设计了融合ConvSSM与深度监督的非对称解码器,以增强多尺度特征融合并提高对少数类样本的敏感性。该方法成功克服了传统卷积感受野受限和数据的类不平衡问题,在M4D和MADOS两个公开数据集上均达到了最先进的检测性能,油溢检测准确率分别提升了8.9%和11.8%。Wang等人(2025)提出了上下文细节感知网络(CDANet),该网络创新性地整合了Mamba状态空间模型、残差多尺度交叉注意力机制(RMCA)以及膨胀正交特征融合策略(DOCA和ADSD),以结合全局语义与局部细节。实验表明,CDANet在Sentinel-1和GF-3数据上的F1分数分别为94.38%和90.43%,展现出强大的泛化能力与抗干扰鲁棒性。Song等人(2026)提出了跨域Mamba网络(CDMNet),以解决SAR图像中油溢类目标的严重干扰问题以及现有方法忽视频域特征的局限性。该网络采用跨域Mamba模块(CDMamba)联合建模空间与频率表示,以增强油溢判别能力,并辅以尺度感知金字塔池化模块(SAPP)和多级特征融合模块(MFFM),以实现对形态复杂目标的高保真边界提取。该方法在SOS和M4D数据集上均表现优异,大幅减少了类目标引起的虚警,为复杂海面环境下精确的油溢监测提供了高效可靠的框架。
**2.3 现有数据集**
M4D数据集(Krestenitis等人,2019)作为早期的基准,首次提供了覆盖油溢、类目标和船只的像素级语义分割标注,为分割模型的评价奠定了基础。然而,该数据集仅区分油溢与类目标,而未对类目标的子类别进行细粒度区分。此外,原始的分贝级后向散射值被压缩为8位图像,导致油溢与类目标之间微妙的物理散射差异丢失,削弱了模型提取精细特征的能力。SOS数据集(Zhu等人,2021)通过数据增强和样本选择策略部分缓解了类别不平衡问题,但其本质上仍是一个油溢与背景的二分类数据集。此外,其数据仅来源于两个特定历史事件——2010年墨西哥湾泄漏和2017年波斯湾泄漏,时空多样性有限,模型泛化能力受限。较新的OSLM数据集(Wang等人,2025)在长时间覆盖、全球地理范围、多极化模式以及原始分贝级物理量的保留方面取得了显著进展。然而,其标注方案本质上仍为二分类,专注于油溢与背景提取,未针对低风区、雨胞和海冰等具体类目标子类别提供细粒度多类别标签。因此,在OSLM上训练的模型无法学习区分油溢与特定类目标类型所需的判别特征,限制了其在细粒度多类别分割任务中的效用。
综上所述,尽管现有方法在特征提取、全局上下文建模和检测精度方面取得了显著进展,但它们主要面向将所有类目标聚合为单一类别的粗粒度任务。现有基准中缺乏细粒度多类别标注,加之油溢与类目标之间极端的视觉相似性以及严重的类别不平衡,仍持续限制着当前检测系统的实用价值。此外,在SAR斑点噪声存在的情况下,没有任何单一现有架构能够同时实现强大的全局语义一致性和精确的局部边界恢复。这些未解决的差距促使我们设计了本文提出的OilSegSARFormer,其详细内容将在下一节中介绍。

**3. 方法论**
**3.1 提出的模型**
给定一张输入的SAR图像,本文的海上油溢语义分割任务旨在将每个像素分配至五个预定义类别之一:背景、低风区(LW)、油溢(OS)、雨胞(RC)和海冰(SI)。然而,SAR成像固有的斑点噪声模糊了油膜与海水之间本就微妙的纹理差异。此外,油溢跨越广泛的尺度范围,呈现不规则的边界形状,且经常受到噪声遮挡。这些挑战对编码器的多尺度特征表示和解码器的跨层级特征融合策略均提出了严格要求。
现有基于Transformer的分割方法已在语义建模方面展现出强大能力,但它们通常通过基于MLP的拼接解码器不加区分地融合多尺度特征,难以同时保留深度语义一致性和浅层空间细节。对于SAR图像油溢分割任务,油膜的边界信息主要编码在浅层高频特征中。这种拼接方式使深层语义信号主导了解码过程,稀释了浅层中的精细边界线索,导致油膜轮廓模糊和小油斑漏检。为应对这些挑战,我们提出了OilSegSARFormer,一种专为复杂SAR场景下油溢与类目标的细粒度分割而设计的新型编码器-解码器架构。总体架构如图1所示。该模型遵循编码器-解码器范式,包含适配器混合Transformer骨干网络和门控细节精炼语义解码器。
编码器采用预训练的混合Transformer(MiT)作为骨干网络,通过四个阶段的层级下采样生成多尺度特征图C1、C2、C3、C4,空间分辨率逐步递减,语义抽象程度逐步递增。预训练权重为SAR图像特征提取提供了通用表示基础,但在捕捉SAR成像特有的散射机制和纹理模式方面仍存在局限。为解决这一问题,在编码器的两个最浅阶段引入了轻量级局部适配器。这些适配器采用瓶颈结构和深度可分离卷积来显式建模局部空间邻域关系,其输出以小残差缩放系数加至原始token序列中,在保留全局语义建模的同时增强了对精细边界的敏感性。为避免局部信息冗余,未在最深层阶段应用局部适配器,因为在这些阶段已经形成了稳定的高层语义表示。
在解码器端,四阶段编码器输出首先通过横向连接投影至统一通道维度,然后通过自顶向下路径逐步融合以构建特征金字塔。解码器随后分为两条功能解耦的路径。语义分支提取金字塔中最深两个层级的特征,通过上采样和卷积融合构建全局语义特征。细节分支直接从编码器浅层阶段的高分辨率特征中提取空间结构信息,然后通过卷积进行精炼。两条分支由门控融合模块进行自适应集成。门控网络基于语义特征与细节特征之间的互补性学习逐像素权重图,以残差形式控制细节信息向语义表示的注入,注入强度由门控权重调节。该设计在保持全局预测的同时选择性补充边界细节,并抑制细节噪声的干扰。融合特征随后与最高分辨率金字塔特征拼接,通过级联精炼模块对油膜边界等局部区域进行校正。精炼结果同样以残差形式加至粗预测上,然后通过双线性插值上采样生成最终的像素级分割结果。整个解码流程从全局语义出发,逐步引入局部细节和边界校正,实现了语义一致性和边界精度的双重目标。各组件的详细设计将在后续章节中介绍。
**3.2 适配器混合Transformer骨干网络**
编码器需要提取具有全局上下文感知能力的多尺度特征表示。MiT通过其层级结构和空间缩减注意力机制在全局建模能力与计算效率之间实现了平衡。此外,其混合前馈网络(Mix-FFN)隐式编码了局部位置信息,避免了显式位置编码在密集预测任务中带来的局限。因此,本文采用MiT作为编码器骨干网络。如图1所示,编码器由四个阶段组成,逐步进行下采样。每个阶段首先通过重叠卷积实现的补丁嵌入模块将输入映射为token序列。第一阶段采用步长为4的7×7卷积,将输入图像的空间分辨率降低至1/4。后续三个阶段各采用步长为2的3×3卷积,每次将空间分辨率减半。所得多尺度特征图的空间分辨率分别为H/4×W/4、H/8×W/8、H/16×W/16和H/32×W/32,通道维度分别为64、128、320和512。各阶段分别堆叠3、4、6和3个Transformer块,全部采用DropPath正则化,丢弃率从0线性增长至0.1。
如图2所示,我们在Transformer块的前端引入了局部适配器。标准的Transformer子块包含两个残差分支:第一个分支对输入进行层归一化,通过高效自注意力层提取全局依赖关系;第二个分支对中间特征进行层归一化,通过Mix-FFN执行非线性变换。两个分支各自通过残差连接与输入求和:
(1) z = x + DropPath(Attn(LayerNorm(x)))
(2) y = z + DropPath(FFN(LayerNorm(z)))
局部适配器的设计如图3所示。输入token序列首先通过层归一化,然后进入瓶颈子网络。第一个全连接层将通道维度压缩为原始尺寸的1/4(最少16个通道)。随后将token序列重塑为2D空间特征图,通过3×3深度可分离卷积、批量归一化和GELU激活函数处理以提取局部空间模式,最后由第二个全连接层恢复至原始通道维度。适配器输出乘以残差缩放系数α=0.1后加至原始输入:
(3) x' = x + α·FC2(GELU(BN(DWConv(FC1(LayerNorm(x)))))
)
局部适配器中的深度可分离卷积显式建模了局部空间邻域关系,将纹理和边缘先验注入早期高分辨率特征中。关于训练策略,适配器采用近零初始化以确保训练初期的稳定性。具体而言,第二个全连接层的权重从标准差为10?3的正态分布初始化。结合较小的残差缩放系数,这确保了在训练开始时适配器输出接近零,避免对加载的MiT预训练权重造成扰动。随着训练进行,适配器逐渐学会注入适应SAR领域特性的局部特征。局部适配器仅部署在编码器的第一和第二阶段,这是因为浅层特征具有最高的分辨率和最丰富的局部细节,适配器在此处收益最大。相比之下,深层特征已被抽象为高层语义表示,引入局部信息的收益有限,且可能损害全局语义一致性。
相应地,在第三和第四阶段,token序列直接输入标准Transformer子块中,不使用适配器。在Transformer块内,高效自注意力层通过空间缩减机制控制计算成本,如图4所示。在标准多头自注意力中,计算复杂度随序列长度呈二次方增长。为缓解这一问题,高效自注意力在计算键和值之前,通过步幅卷积压缩输入token的空间维度。具体而言,查询通过对原始输入的线性投影获得,保留完整的空间分辨率。对于键和值,输入首先被重塑为空间特征图,然后通过核大小和步幅均等于$r$的卷积以$r$倍因子进行下采样,随后进行层归一化和线性投影。注意力权重和输出特征的计算公式为:(4) $A=\text{Softmax}(\frac{QK^T}{\sqrt{d_k}})$ (5) $\text{Output}=A \cdot V$ 其中 $Q \in \mathbb{R}^{N \times d}$, $K \in \mathbb{R}^{N/r^2 \times d}$, $V \in \mathbb{R}^{N/r^2 \times d}$,$N$ 表示当前阶段的token数量,$d_k$ 表示每头的维度。空间缩减将注意力的计算复杂度从 $O(N^2)$ 降低至 $O(N^2/r^2)$。四个阶段的缩减比率$r$分别设置为8、4、2和1。这种配置使浅层阶段通过较大的缩减比率控制计算成本,而深层阶段保留全分辨率注意力,因为其空间维度已经很小。
下载:下载高分辨率图像(169KB)下载:下载完整尺寸图像 图2. 带有局部适配器的Transformer块架构。下载:下载高分辨率图像(139KB)下载:下载完整尺寸图像 图3. 局部适配器架构。
与注意力层配合使用的Mix-FFN如图5所示。Mix-FFN在全连接层之间引入了3×3深度可分离卷积,其计算公式为:(6) $y = \text{FC2}(\text{GELU}(\text{DWConv}(\text{FC1}(x))))$ 其中FC1将通道维度从$d$扩展为$4d$,FC2将其压缩回$d$。深度可分离卷积在扩展后的特征空间上操作,以低参数开销捕获局部空间模式。这使得MiT编码器能够在不使用显式位置编码的情况下隐式感知token之间的空间关系,从而避免了固定位置编码对可变输入尺寸和密集预测任务所施加的限制。
下载:下载高分辨率图像(165KB)下载:下载完整尺寸图像 图4. 高效自注意力架构。下载:下载高分辨率图像(141KB)下载:下载完整尺寸图像 图5. Mix-FFN架构。
### 3.3 门控细节精化语义解码器
编码器产生的多尺度特征图$C_1$, $C_2$, $C_3$和$C_4$具有不同的空间分辨率和语义层次,直接拼接或简单的上采样融合不足以充分利用各层级之间的互补性。深度特征具有丰富的语义上下文但缺乏空间细节,而浅层特征保留了精细的边界信息但判别能力较弱。不加区分地将两者融合容易使高频细节噪声污染语义特征,或者用深层语义信息淹没细节特征。为解决这一问题,我们提出了门控细节精化语义解码器。解码器首先通过特征金字塔网络进行自顶向下的语义整合来融合多尺度特征。然后将语义特征和细节特征分离为两个独立处理路径,一条专门用于维持全局语义一致性,另一条用于保留局部空间结构。门控融合模块对两条路径进行自适应特征整合,随后级联精化阶段产生最终的像素级分割预测。
具体而言,四个编码器阶段的特征图表示为 $C_i \in \mathbb{R}^{d_i \times H/2^{i+1} \times W/2^{i+1}}$, $i \in \{1,2,3,4\}$,$d_i$ 分别为64、128、320和512。它们首先经过侧向连接处理,通过1×1卷积将每个阶段的通道维度统一投影到解码器维度$d = 256$:(7) $p_i = \text{Conv}_{1\times1}(C_i), i = 1,2,3,4$ 然后基于这些投影构建自顶向下的特征金字塔路径。从最深层级$p_4$开始,在每一步中,将深层级的上采样特征与当前层级的侧向特征相加,随后进行平滑卷积以消除上采样引入的混叠伪影:(8) $\hat{p}_i = \text{Smooth}(p_i + \text{Up}(p_{i+1})), i = 3,2,1$ 其中$\text{Up}(\cdot)$表示双线性插值上采样至目标空间分辨率,$\text{Smooth}(\cdot)$是3×3卷积、批归一化和ReLU激活的级联。经过自顶向下的传播后,每个层级的特征$\hat{p}_i$已融入来自深层的语义上下文,为后续的双分支解码提供了多尺度特征基础。
在特征金字塔构建完成后,解码器将其输出路由至两个功能解耦的处理路径。语义分支旨在整合深层上下文信息,构建具有全局语义一致性的特征表示。如图6所示,将两个最深的FPN输出$\hat{p}_4$和$\hat{p}_3$双线性上采样至$p_1$的空间分辨率,然后沿通道维度拼接,再通过1×1卷积进行融合:(9) $f_{\text{sem}} = \text{Conv}_{1\times1}(\text{BN}(\text{ReLU}(\text{Concat}[\text{Up}(\hat{p}_4), \text{Up}(\hat{p}_3)])))$ 拼接后的特征通道维度为$2d = 512$,通过1×1卷积压缩回$d = 256$。通过仅使用两个最深的特征图,语义分支确保提取的特征具有足够的语义抽象性,为后续分割预测提供全局语义基线。
与此同时,细节分支独立处理浅层高分辨率特征以保留空间结构完整性。如图7所示,该分支仅使用来自编码器的第一和第二阶段原始特征图$C_1$和$C_2$,各自通过1×1卷积投影到解码器维度$d$:(10) $d_1 = \text{Conv}_{1\times1}(C_1), d_2 = \text{Conv}_{1\times1}(C_2)$ $d_2$被双线性上采样至$d_1$的空间分辨率,与$d_1$逐元素相加,然后通过细节精化子网络进行局部特征增强:(11) $f_{\text{det}} = \text{DetailRefine}(d_1 + \text{Up}(d_2))$ 其中$\text{DetailRefine}(\cdot)$由两个级联卷积块组成,每个包含3×3卷积、批归一化和ReLU激活。通过仅使用两个最高分辨率阶段的特征,细节分支最大限度地保留了油膜边界和海面纹理等精细空间结构,避免了深层语义信息对空间细节的稀释。
下载:下载高分辨率图像(158KB)下载:下载完整尺寸图像 图6. 语义分支架构。
两个分支的输出通过门控融合模块进行自适应融合,如图8所示。首先,将语义特征和细节特征沿通道维度拼接后输入门控网络:(12) $g = \sigma(\text{Conv}_{1\times1}(\text{BN}(\text{ReLU}(\text{Conv}_{1\times1}(\text{Concat}[f_{\text{sem}}, f_{\text{det}}])))))$ 其中$\sigma$表示Sigmoid激活函数,$g \in [0,1]^{d \times H_1 \times W_1}$是逐像素的门控权重图。门控输出$g$反映了细节特征在每个空间位置对语义特征的补充程度:在油膜边界等细节与语义特征不一致的区域,门控值趋近于1以允许细节注入;在语义表达充分的内部区域,门控值趋近于0以维持预测稳定性。融合特征的计算公式为:(13) $f_{\text{fuse}} = f_{\text{sem}} + g \odot (f_{\text{det}} - f_{\text{sem}})$ 其中$\odot$表示逐元素乘法。该融合策略以语义特征为基线,允许细节特征以残差形式在门控权重调制下进行局部修正,从而防止细节噪声干扰全局语义。融合特征随后经过Dropout(丢弃概率0.1)正则化,并通过1×1卷积分类层产生粗分割预测:(14) $\hat{y}_{\text{coarse}} = \text{Conv}_{1\times1}(\text{Dropout}(f_{\text{fuse}}))$
下载:下载高分辨率图像(174KB)下载:下载完整尺寸图像 图7. 细节分支架构。下载:下载高分辨率图像(157KB)下载:下载完整尺寸图像 图8. 门控融合模块架构。
为进一步改善边界质量,引入级联精化模块对粗预测进行局部修正,如图9所示。将融合特征$f_{\text{fuse}}$与特征金字塔中最高分辨率的特征$p_1$沿通道维度拼接,然后通过精化模块提取局部修正特征:(15) $f_{\text{ref}} = \text{RefineBlock}(\text{Concat}[f_{\text{fuse}}, p_1])$ 级联精化模块由两个级联的标准卷积块组成,每个包含3×3卷积、批归一化和ReLU激活,对融合特征进行局部修正。精化后的特征通过单独的1×1分类卷积层产生精化预测$\hat{y}_{\text{ref}}$。最终分割输出是粗预测和精化预测的残差组合:(16) $\hat{y} = \hat{y}_{\text{coarse}} + \hat{y}_{\text{ref}}$ 最终预测被双线性上采样至原始输入分辨率$H \times W$。总之,门控细节精化语义解码器通过双分支架构将全局语义建模与局部细节保留解耦。门控融合模块实现细节特征的按需注入,级联精化模块进一步利用高分辨率特征修正边界区域。这使得模型能够在保持全局语义一致性的同时,对油膜边界等局部区域进行针对性修正,从而提高了溢油分割的整体准确性和边界质量。
下载:下载高分辨率图像(173KB)下载:下载完整尺寸图像 图9. 级联精化模块。
### 3.4 损失函数
在语义分割中,标准交叉熵(CE)损失提供稳定且密集的像素级梯度,但其优化目标与最终评估指标——平均交并比(mIoU)(Berman et al., 2018)之间仍存在固有的优化差距。此外,在溢油分割中,背景与溢油类别之间的像素分布往往高度不平衡。为平衡训练收敛稳定性与边界精度,我们采用结合CE损失和Lovász-Softmax损失的加权混合损失函数,定义如下:(17) $L_{\text{total}} = \lambda_{\text{CE}} L_{\text{CE}} + \lambda_{\text{Lovasz}} L_{\text{Lovasz}}$ 其中$\lambda_{\text{CE}}$和$\lambda_{\text{Lovasz}}$是两项损失的平衡权重。交叉熵损失$L_{\text{CE}}$作为优化主干,在训练早期提供稳健的梯度指导。其公式为:(18) $L_{\text{CE}} = -\frac{1}{|\Omega_{\text{valid}}|} \sum_{i \in \Omega_{\text{valid}}} \sum_{c=1}^{C} w_c \cdot y_{i,c} \log \hat{y}_{i,c}$ 其中$C = 5$表示语义类别总数(背景、LW、OS、RC、SI);$\Omega_{\text{valid}}$是有效像素集合——通过引入忽略索引,模型在损失计算时自动排除无效或边界模糊的像素,从而增强对噪声的鲁棒性;$w_c$是为缓解长尾分布引起的类别不平衡而设置的可选类别权重;$y_{i,c}$和$\hat{y}_{i,c}$分别表示像素$i$的真实标签和模型预测的Softmax概率。
为直接优化mIoU指标,我们引入了Lovász-Softmax损失。Jaccard指数(IoU)是一个离散且不可微的分集函数,无法通过反向传播直接优化。Lovász-Softmax损失利用Lovász扩展理论将离散的Jaccard指数松弛为定义在Softmax概率上的连续凸代理损失。具体而言,对于每个类别$c$,损失首先计算预测概率与真实标签之间的绝对误差,按降序排列误差,然后计算排列后的误差向量与Jaccard指数次梯度之间的点积,从而实现近似的IoU优化。为确保训练稳定性,我们采用逐图像计算策略。与将整个小批量展平后计算损失的常规方法不同,该策略对批次中每幅图像独立计算Lovász损失,然后在批次内取平均:(19) $L_{\text{Lovasz}} = \frac{1}{B} \sum_{b=1}^{B} \text{LovászSoftmax}(p^{(b)}, y^{(b)})$ 其中$B$是批次大小,$p^{(b)}$和$y^{(b)}$分别是第$b$幅图像的Softmax预测和真实标签。该设计有效缓解了小批量中不同图像间类别分布变化引起的梯度波动,显著提高了优化稳定性。在实验设置中,超参数设置为$\lambda_{\text{CE}} = 0.8$和$\lambda_{\text{Lovasz}} = 0.2$。这种特定的权重方案旨在平衡训练稳定性与边界优化。CE损失作为主导项(权重0.8),提供密集且稳定的像素级梯度,确保训练早期快速稳定收敛。然而,单独的CE损失本质上对类别不平衡敏感,且缺乏对边界精度的直接优化。为解决这一问题,引入权重为20%的Lovász-Softmax损失作为针对性正则化器。它直接优化IoU指标,特别惩罚边界误分类,并提高了溢油等少数类别的召回率。这种混合策略有效克服了单一CE损失的边界模糊性和类别不平衡敏感性,同时保持训练稳定性,最终在评估中实现了更高的mIoU。
### 4. 实验与结果
#### 4.1 数据集
本研究构建的语义分割数据集基于OSF平台上公开可用的Sentinel-1 SAR多类别海洋暗目标数据集的SAR图像(Huang et al., 2026)。为高效生成像素级真值,采用了半自动标注流程。关键的是,作为对应空间提示的边界框直接提取自原始源数据集,每个标注实例对应一个框。这些有效提示经过非正维度过滤并转换为绝对像素坐标。同一场景内的所有有效框提示被批量处理以进行单次推理,使它们共享相同的图像嵌入。
推理过程采用纯推理模式,使用官方 SAM2.1 Hiera Base Plus 模型(检查点:sam2.1_hiera_base_plus.pt,配置文件:sam2.1_hiera_b+.yaml)在 bfloat16 混合精度下执行,未进行任务特定的微调。multimask_output 参数设置为 False,直接输出每个框对应的单个最高置信度二值掩码,无需对数几率阈值处理或候选筛选。经过初步筛选后,保留了 1044 个有效父场景(原始大规模 SAR 图像)。最终,生成的二值掩码被合并为一个统一的语义标签图,并按类别进行颜色编码:背景(黑色)、低风速区(黄色)、油 spill(红色)、降雨单元(绿色)和海冰(青色)。
鉴于 SAR 图像的固有歧义性,低质量目标的移除和边界细化完全依赖于海洋遥感专家的人工判读,而非自动化置信度评分或刚性的面积阈值。专家执行了统一的"原始图像–边界框–掩码"叠加检查,以修正三种典型错误:(i) 向背景海水的过度分割,(ii) 低对比度边缘的分割不足,以及 (iii) 由散斑噪声引起的局部偏差。边界沿可见的后向散射梯度进行了仔细的重绘,尊重形态学连续性(例如拉长的油污染和蜂窝状降雨单元)。每个精细化的掩码均由第二位研究人员进行独立的交叉验证以解决分歧,随后进行最终的可视化审查,以确保标签严格对齐并完全去除伪影。
标注完成后,对图像和掩码同时应用了参数化自适应裁剪机制,以消除边缘黑边和伪影。保留的父场景随后沿中心轴被均匀划分为四个不重叠的象限子图像,掩码同步裁剪,并将标签递归转换为局部坐标。SAR 图像被调整为与模型兼容的统一输入尺寸,仅保留包含目标实例的子图像作为训练样本。该过程最终产生了 2724 个高质量标注子图像。图 10 展示了裁剪过程、无目标子图像剔除以及按类别颜色编码的 ground truths 的示例。为防止空间信息泄漏,数据集划分严格在父场景层级执行,使用父–子映射关系。采用按类别平衡的分层 8:2 随机划分,将父场景专属性地分配给训练集或测试集,确保同一父场景的子图像不会同时出现在两者中。验证集未预先划分,而是在训练过程中使用固定随机种子(seed=42)从训练池中动态抽取 10% 的父场景及其所有对应子图像。该策略在保证可重复性的同时维持了测试集的绝对独立性。
下载:下载高分辨率图像(690KB) 下载:下载全尺寸图像
图 10. 数据集中的原始图像、处理阶段和 ground truths 示例。
注:标记有×的子图像不包含目标实例,已被排除。
4.2 实验设置
所有实验均在配备两块 NVIDIA GeForce RTX 3090 GPU(每块显存 24 GB)的 Linux 服务器上执行。模型在 PyTorch 2.5 中实现,使用 CUDA 11.8 和 cuDNN 进行计算加速。训练采用 PyTorch 原生的分布式数据并行(DDP)策略进行同步双 GPU 训练,启用自动混合精度(AMP)以 FP16 半精度浮点数执行前向和反向传播,显著降低内存消耗并加速计算,同时精度损失可忽略不计。使用 AdamW 优化器,配合组合式 Plateau-Cosine 学习率调度策略:前 80 个 epoch 使用 ReduceLROnPlateau,随后切换至 CosineAnnealingLR。最大范数为 1.0 的梯度裁剪被应用以防止梯度爆炸。所有模型均采用相同的超参数配置和数据划分以确保公平比较。详细的训练超参数列于表 1。
表 1. 训练超参数设置
| 类别 | 超参数 | 设置 |
|------|--------|------|
| 硬件 | GPU | 2 × NVIDIA GeForce RTX 3090(每块 24 GB)|
| 软件 | 操作系统 | Linux |
| | 框架 | PyTorch 2.5 |
| | CUDA | 11.8 |
| | cuDNN | 已启用 |
| 训练策略 | 分布式训练 | DDP(分布式数据并行)|
| | 混合精度 | AMP(FP16)|
| 优化器 | 优化器 | AdamW |
| | 初始学习率 | 1 × 10?? |
| | 权重衰减 | 1 × 10?? |
| | 梯度裁剪 | 最大范数 = 1.0 |
| | 梯度累积步数 | 2 |
| 批次与 epoch | 批次大小 | 16 |
| | 有效批次大小 | 32 |
| | 最大 epoch 数 | 200 |
| 学习率调度器 | Epoch 1–80 | ReduceLROnPlateau(耐心值 = 5,因子 = 0.5,最小学习率 = 1 × 10??)|
| | Epoch 81–200 | 余弦退火(最小学习率 = 1 × 10??)|
| 早停 | 耐心值 | 15 个 epoch |
4.3 评估指标
为全面客观地评估所提模型在 SAR 油污染检测任务中的语义分割性能,我们采用五种广泛使用的评估指标:平均精确率(mPrecision)、平均召回率(mRecall)、F1 分数、平均交并比(mIoU)和类别 IoU。这些指标从不同角度有效评估了模型的检测可靠性和空间定位精度,解决了 SAR 图像中常见的极端类别不平衡、边界模糊和复杂背景干扰等挑战。
设 TP_i、FP_i 和 FN_i 分别表示第 i 类的真阳性、假阳性和假阴性像素数,k 为语义类别总数。单类别的精确率和召回率首先定义为:
(20) Precision_i = TP_i / (TP_i + FP_i)
(21) Recall_i = TP_i / (TP_i + FN_i)
mPrecision 和 mRecall 分别为所有 k 个类别精确率和召回率的宏平均。这两个指标共同捕获模型在复杂海洋场景中抑制误报(如将低风速区、降雨单元及其他类似目标误判为油污染)和减少漏检的综合能力:
(22) mPrecision = (1/k) × Σ(i=1 到 k) Precision_i
(23) mRecall = (1/k) × Σ(i=1 到 k) Recall_i
每个类别的 F1 分数为其精确率和召回率的调和平均数。总体 F1 分数为所有 k 个类别 F1 分数的算术平均值。作为一个对类别不平衡高度敏感的综合指标,它确保了每个类别检测精确率和召回率之间的有效平衡:
(24) F1-score_i = 2 × Precision_i × Recall_i / (Precision_i + Recall_i)
(25) F1-score = (1/k) × Σ(i=1 到 k) F1-score_i
mIoU 计算预测掩码与 ground truth 之间在所有类别上的平均交并比。该指标是评估边界划定精度和整体空间分割质量的核心标准,对于在复杂海洋环境中准确区分真实油污染与周围背景区域至关重要:
(26) mIoU = (1/k) × Σ(i=1 到 k) TP_i / (TP_i + FP_i + FN_i)
Class IoU 衡量特定类别的分割精度,反映该类别预测掩码与 ground truth 之间的重叠程度。与对所有类别取平均的 mIoU 不同,Class IoU 单独揭示模型对每个类别的识别能力,有助于判断模型是否存在对油污染和各种类似目标的系统性漏检或误报:
(27) Class IoU_i = TP_i / (TP_i + FP_i + FN_i)
总之,这些指标相辅相成,从像素级分类的统计可靠性和空间边界的几何精度两个视角,共同为所提方法在复杂 SAR 油污染检测场景中的整体性能提供了严格的定量评估框架。值得注意的是,我们的评估框架采用了一套全面的多维度指标,包括平均精确率、平均召回率、F1 分数、mIoU 和逐类别 IoU。在 SAR 油污染分割的语境下,IoU 指标本质上对边界对齐和形状完整性高度敏感。任何边界细化方面的实质性改进——如减少向背景海水的过度分割或修复破碎的油污染轮廓——都会直接且定量地反映在 Class IoU 和 mIoU 分数的提升中。同时,F1 分数、精确率和召回率共同捕获模型在模糊边界处抑制误报和减少漏检的能力。因此,我们以这些指标为核心标准,全面评估整体分割精度和边界精度,确保对模型空间边界质量进行严格而完整的评估。
4.4 对比实验
为验证 OilSegSARFormer 的优越性,选取了 11 种代表性且成熟的语义分割方法进行对比分析。为确保比较的公平性和可靠性,所有对比方法在可用时均从其预训练权重进行微调,训练策略、数据增强方案和评估流程与本方法保持一致。评估指标包括 mIoU、F1 分数、mPrecision、mRecall 和参数量,以及每个细粒度类别的逐类别 IoU:背景(BG)、低风速区(LW)、油污染(OS)、降雨单元(RC)和海冰(SI)。定量对比结果呈现于表 2。
从表 2 和图 11 可以观察到,所提的 OilSegSARFormer 在所有四项综合评估指标上均取得了最佳结果。如图 11 所示,OilSegSARFormer 取得了 73.43% 的 mIoU,参数量约 28.98M,以大幅减少的参数量展现出相较于 Swin Transformer 等大规模模型的显著性能优势,体现了卓越的精度–效率权衡。具体而言,OilSegSARFormer 的 mIoU 为 73.43%,超越最接近的竞争者 OneFormer 2.29 个百分点,分别优于基于 Transformer 的 Swin Transformer 和 SegFormer 2.62 和 3.84 个百分点。在 F1 分数方面,本方法达到 84.14%,领先第二名 OneFormer 1.71 个百分点。在精确率和召回率方面,OilSegSARFormer 分别取得 85.19% 和 83.17% 的最佳结果,表明该方法在有效抑制错误分割的同时保持了强大的目标检测能力。OneFormer、Swin Transformer、DeepLabV3+、SegNeXt、OffSeg 和 SegFormer 构成第二梯队,mIoU 值集中在 69%–71% 区间,彼此之间性能差距较小。Mask2Former 和 RapidNet 略落后于这些方法。值得注意的是,TransOilSeg 和 OSDMamba 尽管专门针对 SAR 油污染检测而设计,但在这一细粒度多类别任务中表现欠佳。TransOilSeg 的 mIoU 为 67.32%(落后本方法 6.11 个百分点),而 OSDMamba 仅达到 59.62%(落后 13.81 个百分点)。这一差距源于任务粒度:现有方法在 M4D 等数据集上训练,这些数据集将类似目标聚合为单一粗粒度类别。相比之下,我们的数据集明确将它们解耦为细粒度子类别(低风速区、降雨单元、海冰)。这要求更高的特征辨别能力以区分相似暗斑之间微妙的散射差异,表明为粗粒度任务优化的架构需要特定适配以实现细粒度多类别区分。
表 2. 定量对比结果
| 模型 | 类别 IoU (%) | mIoU (%) | F1-score (%) | mPrecision (%) | mRecall (%) | 参数量 (M) |
|------|-------------|----------|-------------|---------------|------------|-----------|
| | BG | Low Wind | Oil Spill | Rain Cell | Sea Ice | | | | | |
| Offseg (Zhang et al., 2025) | 93.98 | 61.31 | 60.32 | 57.86 | 74.54 | 69.60 | 81.38 | 84.16 | 79.09 | 13.26 |
| Segformer (Xie et al., 2021) | 94.34 | 59.69 | 60.40 | 57.19 | 76.35 | 69.59 | 81.30 | 84.47 | 78.55 | 44.60 |
| SwinTransformer (Liu et al., 2021) | 94.46 | 61.35 | 61.11 | 59.23 | 77.89 | 70.81 | 82.21 | 84.22 | 80.38 | 87.50 |
| DeeplabV3+ (Chen et al., 2017) | 94.05 | 60.73 | 61.32 | 56.46 | 76.90 | 69.89 | 81.53 | 83.64 | 79.59 | 40.35 |
| Segnext (Guo et al., 2022) | 93.84 | 62.58 | 59.63 | 56.05 | 77.00 | 69.82 | 81.47 | 83.05 | 80.19 | 27.56 |
| Mask2former (Cheng et al., 2022) | 94.10 | 63.90 | 58.95 | 52.50 | 76.06 | 69.10 | 80.87 | 85.15 | 77.26 | 35.48 |
| OSDMamba (Chen et al., 2025) | 92.65 | 45.30 | 49.68 | 51.74 | 58.73 | 59.62 | 73.42 | 78.25 | 69.63 | 29.27 |
| Oneformer (Jain et al., 2023) | 94.20 | 67.72 | 59.90 | 56.45 | 77.45 | 71.14 | 82.43 | 84.34 | 80.70 | 36.39 |
| InternImage (Wang et al., 2023) | 91.05 | 35.75 | 44.71 | 44.07 | 52.57 | 53.63 | 67.97 | 73.06 | 64.10 | 29.17 |
| RapidNet (Munir et al., 2025) | 93.99 | 56.63 | 57.73 | 57.95 | 75.37 | 68.33 | 80.35 | 81.99 | 78.87 | 29.50 |
| TransOilSeg (Chai et al., 2025) | 93.63 | 58.28 | 58.07 | 52.99 | 73.65 | 67.32 | 79.58 | 82.44 | 77.02 | 105.57 |
| **Ours** | **94.64** | **67.61** | **66.15** | **60.37** | **78.37** | **73.43** | **84.14** | **85.19** | **83.17** | **28.98** |
下载:下载高分辨率图像(383KB) 下载:下载全尺寸图像
图 11. 各分割模型的 mIoU 与参数量对比。
油污染类别的分割精度是本研究关注的核心指标。在油污染类别上,OilSegSARFormer 取得了 66.15% 的 IoU,显著优于所有对比方法。排名第二的 DeepLabV3+ 在该类别上达到 61.32% 的 IoU,落后 4.83 个百分点。Swin Transformer、SegFormer 和 OffSeg 在油污染类别上表现水平相当,IoU 值集中在 60%–61% 区间。值得注意的是,尽管 OneFormer 在整体 mIoU 上排名第二,但其油污染类别 IoU 仅为 59.90%,低于大多数对比方法。这表明其整体性能优势主要源于对背景等多数类别的分割改进,而非油污染类别本身。类似地,尽管 Mask2Former 在 LW 类别上取得了相对较高的 IoU,但其油污染类别 IoU 仅为 58.95%,整体性能也不理想。此外,TransOilSeg 的油污染 IoU 仅为 58.07%,进一步证实了为粗粒度类似目标聚合优化的架构在细粒度油污染区分方面存在困难。
逐类别 IoU 结果揭示了不同方法在各分割类别间存在显著的性能差异。对于背景类别,所有方法均取得了较高的 IoU 值,我们的方法达到了 94.64% 的最佳结果,仅比 Swin Transformer 的 94.46% 高出 0.18 个百分点。这表明由于背景与目标区域的散射特性差异显著,所有方法都能很好地区分背景类别。在低风速区类别中,OneFormer 取得了 67.72% 的最佳 IoU,我们的方法紧随其后达到 67.61%,仅落后最佳结果 0.11 个百分点。我们提出的模型在降雨单元类别中取得了 60.37% 的最佳结果,Swin Transformer 以 59.23% 位居第二。然而,降雨单元类别在所有方法中的整体 IoU 相对较低,反映出该类别在 SAR 图像中空间形态的高变异性使模型难以形成稳定的类别表示,构成分割任务的主要挑战之一。在海冰类别中,我们的方法取得了 78.37% 的最佳 IoU,超出 Swin Transformer 的 77.89% 达 0.48 个百分点,超出 OneFormer 的 77.45% 达 0.92 个百分点。
背景类的交并比(IoU)在各方法间没有显著差异,表明与其他类别相比,该类的分割挑战相对较小。
总之,OilSegSARFormer 在整体性能和核心类别(如油污)方面均显示出明显优势。如图 11 中的性能 - 参数分布所示,我们的方法参数量少于 29M,位于图表的最优左上区域,在参数效率上显著优于大规模模型(如 Swin Transformer 和高度参数化的 TransOilSeg(105.57M)),同时在四项综合评估指标上全面超越了所有 11 种代表性对比方法。在关键的油污类别上,OilSegSARFormer 实现了 66.15% 的 IoU,比第二好的 DeepLabV3+ 提高了 4.83 个百分点,有效解决了现有通用分割方法在油污区域准确性方面的局限性。在逐类分析方面,OilSegSARFormer 在背景、雨胞和海冰类别上取得了最佳结果,仅在低风类别上落后于最高结果 0.11 个百分点,展示了均衡且鲁棒的多类分割能力。
为了进一步验证这些改进的可靠性,并解决单张 SAR 图像中像素在空间上相关而非独立分布的统计担忧,我们进行了严格的评估,将每张图片视为单个统计单元。我们没有聚合所有像素,而是基于每张图像计算每个模型的 mIoU 和油污 IoU,并进行配对比较。配对比较的定量结果总结于表 3 中。OilSegSARFormer 在所有竞争方法上均 consistently 实现了正的均值差异(Δ)。更重要的是,配对 t 检验得出的 p 值极小(所有 p<0.001),表明性能改进具有统计学上的高度显著性,并非由于随机机会。
为了直观地展示逐图像的优势,我们在图 12 和图 13 中绘制了配对散点图。每个点代表一个特定的测试图像;位于对角线(y = x)上方的点表示 OilSegSARFormer 在该图像上优于基线方法。结果令人信服:对于关键的油污类别,我们的模型在 70.7%、75.4% 和 76.1% 的测试图像上分别实现了比 DeepLabV3+、Swin Transformer 和 OneFormer 更高的 IoU。对于整体 mIoU,胜率分别为 66.8%、68.3% 和 70.5%。这种全面的逐图像配对分析严格验证了所提出架构的鲁棒性和优越性。
**表 3. 分割模型的逐图像配对比较。Δ 表示均值差异(我们的 - 基线)。**
| 模型 | 整体 mIoU | | 油污 IoU | |
| :--- | :---: | :---: | :---: | :---: |
| | **Δ** | **p 值** | **Δ** | **p 值** |
| DeepLabV3+ | +0.0283 | <1×10?? | +0.0595 | <1×10?1? |
| Swin Transformer | +0.0226 | <1×10?? | +0.0604 | <1×10?1? |
| OneFormer | +0.0318 | <1×10?1? | +0.0670 | <1×10?1? |
| Ours | – | – | – | – |
*下载:下载高分辨率图像 (394KB)*
*下载:下载全尺寸图像*
*图 12. mIoU 的逐图像配对比较。位于 y = x 对角线上方的点表示 OilSegSARFormer 优于基线方法的图像。*
*下载:下载高分辨率图像 (374KB)*
*下载:下载全尺寸图像*
*图 13. 油污 IoU 的逐图像配对比较。位于 y = x 对角线上方的点表示 OilSegSARFormer 优于基线方法的图像。*
**表 4. 消融实验结果。**
| 模型 | 类别 IoU (%) | | | | | | mIoU (%) | F1-score (%) | mPrecision (%) | mRecall (%) | 参数量 (M) |
| :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |
| | 背景 | 低风 | 油污 | 雨胞 | 海冰 | | | | | | |
| **A: MiT + U-Net 解码器 (基线)** | 94.33 | 60.93 | 62.64 | 58.37 | 78.52 | 70.96 | 82.30 | 83.72 | 81.00 | 50.44 |
| **B: MiT + FPN 解码器** | 94.29 | 61.32 | 61.91 | 58.01 | 78.48 | 70.80 | 82.18 | 83.16 | 81.36 | 27.08 |
| **C1: B+ 局部适配器 (浅层 2 阶段)** | 94.52 | 65.80 | 61.40 | 59.46 | 76.88 | 71.61 | 82.83 | 84.31 | 81.48 | 27.09 |
| **C2: B+ 局部适配器 (所有 4 阶段)** | 94.44 | 63.70 | 61.63 | 59.24 | 76.35 | 71.07 | 82.44 | 85.46 | 79.84 | 27.09 |
| **D: B+ 门控细节精细化语义** | 94.57 | 65.32 | 62.59 | 59.50 | 78.78 | 72.15 | 83.19 | 84.00 | 82.42 | 28.97 |
| **E: D+ 局部适配器 (浅层 2 阶段)** | 94.81 | 67.71 | 63.47 | 61.36 | 78.39 | 73.15 | 83.94 | 85.34 | 82.63 | 28.98 |
| **F: E+ 混合损失** | 94.64 | 67.61 | 66.15 | 60.37 | 78.37 | 73.43 | 84.14 | 85.19 | 83.17 | 28.98 |
### 4.5. 消融实验
为了系统地验证 OilSegSARFormer 中每个组件的贡献,我们设计了一个从基线模型开始的渐进式消融研究。所有消融模型均以相同的超参数、数据划分和评估协议进行训练。结果见表 4。
基线模型(模型 A)将 MiT 编码器与标准的 U-Net 转置卷积解码器相结合,在 50.44M 参数下实现了 70.96% 的 mIoU。用 FPN 解码器替换 U-Net 解码器(模型 B)实现了高效的多尺度特征聚合。这一替换将参数量从 50.44M 减少到 27.08M(减少 46.3%),同时 mIoU 保持在可比的 70.80%。这些结果表明,FPN 解码器在保持分割准确性的同时显著降低了模型复杂度,为后续模块集成提供了轻量级基础。
为了确定局部适配器的最佳放置位置,我们基于模型 B 进行了消融研究。我们设计了两种配置:对所有四个编码器阶段应用适配器(模型 C2)与仅对浅层两个阶段应用(模型 C1)。如表 4 所示,对所有阶段应用局部适配器(C2)得到的 mIoU 为 71.07%,低于仅对浅层两个阶段应用(C1,71.61%)的结果。我们将此性能下降归因于自然图像(用于 MiT 预训练)与 SAR 图像之间固有的特征分布偏移。浅层特征主要编码低级纹理和边缘,那里的域差距最为明显;因此,基于适配器的自适应在这些阶段最为有效。相反,深层特征捕获更通用的任务无关的高级语义表示。在更深阶段引入额外的适配器会带来不必要的参数扰动,破坏鲁棒的预训练语义表示,最终导致性能下降。因此,我们策略性地将局部适配器专门部署在前两个阶段。
在 FPN 解码器(模型 B)的基础上,进一步引入了门控细节精细化语义解码器(模型 D),将 mIoU 从 70.80% 提高到 72.15%,增益为 1.35 个百分点。这证明了双路径门控融合机制在缓解边界模糊方面的有效性。结合最优的编码器和解码器策略,模型 E(D + 浅层 2 阶段局部适配器)实现了 73.15% 的 mIoU,并在低风、雨胞和背景类别上获得了相应的增益。值得注意的是,与模型 D 相比,该模块仅增加了 0.01M 参数,充分展示了其成本效益。
最后,将训练损失函数从单交叉熵切换为所提出的加权混合损失(模型 F),将 mIoU 提高到 73.43%。虽然整体增益适中,但混合损失在核心的油污类别上取得了重大突破:其 IoU 从 63.47% 跃升至 66.15%,增益为 2.68 个百分点。CE 项确保了早期训练的稳定收敛,而 Lovász-Softmax 组件直接优化了 IoU 指标,有效提高了边界精度并缓解了类别不平衡。同时,F1-score 从 83.94% 提高到 84.14%,mRecall 从 82.63% 增加到 83.17%,表明混合损失显著增强了模型对油污目标的检测能力。
总之,所有组件的协同作用将 mIoU 从基线(模型 A)的 70.96% 提高到 73.43%(模型 F),并将油污 IoU 从 62.64% 提高到 66.15%,同时将参数量控制在 28.98M,在分割精度、关键类别性能和模型效率之间取得了良好的平衡。
虽然消融实验验证了所提出架构组件的内部有效性,但此类模型的实际部署本质上受限于 SAR 油污数据集规模有限。在这种数据稀缺的场景下,模型是否能从大规模预训练权重中获取有效的特征先验直接影响其在实际应用中的部署可行性。为了进一步调查这一外部因素,我们选择了四个模型——SegNeXt、OffSeg、Swin Transformer 和所提出的 OilSegSARFormer——并在两种条件下进行对比实验:有预训练权重和无预训练权重,以评估预训练权重对不同架构分割性能的影响。实验结果见表 5。
在整体性能方面,预训练权重对所有模型都产生了显著的积极影响,但不同架构的改进程度各异。没有预训练权重时,四个模型的 mIoU 集中在 56%-60% 范围内,其中 OilSegSARFormer 取得了 59.89% 的最佳结果,优于 Swin Transformer、OffSeg 和 SegNeXt——是所有从头训练的模型中最高的。加载预训练权重后,所有四个模型的 mIoU 都有 substantial 改进。
**表 5. 有预训练权重和无预训练权重的实验结果。**
| 模型 | 类别 IoU (%) | | | | | mIoU (%) | F1-score (%) | mPrecision (%) | mRecall (%) |
| :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |
| | 背景 | 低风 | 油污 | 雨胞 | 海冰 | | | | |
| **Segnext (无预训练)** | 91.86 | 44.68 | 43.87 | 44.03 | 60.16 | 56.92 | 70.95 | 75.50 | 67.39 |
| **Segnext (有预训练)** | 93.84 | 62.58 | 59.63 | 56.05 | 77.00 | 69.82 | 81.47 | 83.05 | 80.19 |
| **Offseg (无预训练)** | 92.42 | 49.70 | 42.85 | 48.02 | 55.47 | 57.69 | 71.74 | 75.47 | 69.84 |
| **Offseg (有预训练)** | 93.98 | 61.31 | 60.32 | 57.86 | 74.54 | 69.60 | 81.38 | 84.16 | 79.09 |
| **SwinTransformer (无预训练)** | 92.01 | 44.82 | 48.58 | 46.98 | 63.23 | 59.12 | 72.91 | 77.76 | 69.34 |
| **SwinTransformer (有预训练)** | 94.46 | 61.35 | 61.11 | 59.23 | 77.89 | 70.81 | 82.21 | 84.22 | 80.38 |
| **我们的方法 (无预训练)** | 92.10 | 47.30 | 53.84 | 47.90 | 58.33 | 59.89 | 73.71 | 75.55 | 72.05 |
| **我们的方法 (有预训练)** | 94.64 | 67.61 | 66.15 | 60.37 | 78.37 | 73.43 | 84.14 | 85.19 | 83.17 |
其中,Swin Transformer 表现出的增益最小,为 11.69 个百分点,而 OilSegSARFormer 显示出最大的增益,为 13.54 个百分点。在逐类结果方面,预训练权重的影响并非均匀分布在各类别中。背景类受预训练的影响最小,加载预训练权重后 IoU 仅提高 1.5-2.5 个百分点,这与背景区域相对简单的散射特性一致,这些特性很容易从头学习。相比之下,低风类最依赖预训练,所有模型的 IoU 均提高了 13-20 个百分点,表明低风区域的微妙散射模式需要预训练提供的强大特征先验才能有效区分。油污和雨胞类显示出中等程度的预训练增益,反映出这两类目标的分割受益于预训练提供的通用纹理先验和特定任务的架构设计。
在核心的油污类别上,OilSegSARFormer 的油污 IoU 从 53.84% 提高到 66.15%,增益为 12.31 个百分点——是四个模型中增幅最小的。相比之下,OffSeg 显示出高达 17.47 个百分点的增益。这一现象表明,OilSegSARFormer 的架构设计本身为油污目标提供了强大的归纳偏置,使得模型即使在从头训练的情况下也能在油污类别上取得相对较好的分割性能,而预训练权重在此基础上进一步释放了架构的潜力。相比之下,SegNeXt 和 OffSeg 在从头训练时仅实现了 43.87% 和 42.85% 的油污 IoU,几乎失去了有效的分割能力,严重依赖预训练权重来恢复性能。
总体而言,预训练权重对 SAR 油污分割的影响可以总结如下。首先,所有模型都受益于预训练,验证了大规模预训练在有限规模 SAR 数据集上的重要价值。其次,OilSegSARFormer 在有预训练的情况下取得了所有模型中最佳的性能,同时也在无预训练的情况下展示了最强的架构自学习能力,反映了所提出架构设计的鲁棒性。第三,预训练权重的影响并非均匀分布在各类别中,对于低风等具有微妙特征的类别,其影响尤为显著。
### 4.6. 定性分析
为了直观评估每个模型的分割性能,本节从测试集中选择了四个代表性样本,涵盖四个目标类别:低风(黄色)、油污(红色)、雨胞(绿色)和海冰(青色)。将 OilSegSARFormer 的分割结果与整体 mIoU 排名前三的对比方法——OneFormer、Swin Transformer 和 DeepLabV3+——进行了视觉比较,如图 14 所示。
第一行展示了低风类的分割结果。OilSegSARFormer 的预测在整体形态上与真值高度一致,表现出平滑的边界过渡,且没有明显的过度分割或欠分割。OneFormer 的主要分割区域相对接近真值,但在边界处出现轻微碎片化,部分边缘像素被误分类。Swin Transformer 在右上区域表现出过度分割。DeepLabV3+ 显示出最突出的过度分割问题,在主目标之外产生了多个小的孤立假阳性区域,表明该模型在边界处难以区分低风区域和背景。
在油污分割结果中,真值表现为沿对角线方向延伸的细长条。这类目标对分割模型的空间连续性和边界精度提出了很高要求。OilSegSARFormer 产生了边缘清晰的连续线条,与真值的一致性最高。虽然 OneFormer 大致捕获了油污条的位置,但其预测宽度明显窄于真值,某些片段不连续。Swin Transformer 表现出锯齿状和不规则的边界波动,而 DeepLabV3+ 显示出明显的边缘像素误分类。
在雨胞分割结果中,OilSegSARFormer 准确预测了三个近似圆形雨区域的位置、形状和大小,每个目标的边界清晰且没有相互粘连。OneFormer 的预测区域整体大于真值,相邻目标之间出现边界重叠。Swin Transformer 的边界划分不清晰。DeepLabV3+ 的分割结果相对接近真值,目标基本保持独立,但在边界精度上略逊于 OilSegSARFormer。
在海冰分割结果中,真值呈现出具有多级分支结构的复杂分布。
此类目标包含从主干到末梢的连续过渡结构,对模型捕捉精细分支细节的能力提出了严格要求。OilSegSARFormer忠实地复现了主干和主枝路径,仅在末梢细节处存在轻微的欠分割现象。OneFormer大致保留了主干路径的形态,但出现了小的内部空洞。Swin Transformer在一些分支处存在不连续性,精细分支的完整性降低。DeepLabV3+在主干覆盖方面表现良好,但在末梢分支处产生了小面积的虚假分割。下载:下载高清图片(583KB)下载:下载全尺寸图片图14. 分割结果。除图14中展示的具有代表性的成功案例外,我们进一步分析了测试集中典型的假阳性(FP)和假阴性(FN)错误,以评估模型对相似混淆现象的鲁棒性。基线模型中一种普遍的假阳性错误是将低风区域或降雨单元误分类为油溢,主要原因是这些现象具有相似的暗斑后向散射特性。OilSegSARFormer利用局部适配器捕获细微的纹理先验,并通过门控细节精炼语义解码器强制边界一致性,从而有效缓解了这一问题,显著减少了由相似现象引起的误报。相反,一种典型的假阴性错误涉及漏检小型或低对比度的油溢斑块。我们的混合损失函数,特别是Lovász-Softmax分量,直接优化少数类的IoU,增强了对这些易被忽略目标的召回率。尽管与竞争方法相比,OilSegSARFormer大幅降低了假阳性和假阴性率,但油溢与相似现象表现出几乎相同形态和纹理特征的极端情况仍然构成挑战,这凸显了在未来工作中引入极化或多时相特征的潜在价值。总而言之,在所有四个目标类别中,OilSegSARFormer在所有测试样本上均展现出最接近真实标注的分割结果,具有三方面优势。第一,边界精度高:分割区域的边缘平滑且紧密贴合实际目标轮廓,过分割和欠分割均得到有效抑制。第二,目标连续性强:对于形态复杂的目标,如细长形油溢条带和分支状海冰结构,模型能够保持完整空间连通性。第三,多目标区分能力强:对于空间相邻的独立目标,如降雨单元,不太可能发生融合或粘连。这些定性观察与前述定量实验结果一致,进一步验证了OilSegSARFormer在SAR海面油溢分割中的优越性。4.7. 泛化性评估。为进一步验证所提出的OilSegSARFormer的实用性和跨域鲁棒性,我们在独立的外部数据集——广泛使用的M4D基准数据集(Krestenitis等人,2019)上进行了零样本评估。关键在于,该评估未对模型进行任何重新训练或微调,严格测试了其在未见数据分布上的泛化能力。需要指出的是,两个数据集在类别定义上存在差异。我们的训练数据集将相似现象明确细分为细粒度子类别(低风、降雨单元和海冰),而M4D数据集将所有相似现象归并为一个粗粒度的"相似现象"类别,除此之外还包括背景、油溢、船舶和陆地。由于这种语义标签空间的根本差异以及固有的领域偏移,在零样本设置下,我们仅评估共享的"油溢"类别上的泛化性能。图15展示了M4D数据集上的定性分割结果。按照M4D数据集的可视化惯例,青色代表油溢类别,黑色代表背景(海面)。如观察所示,该外部数据集中的油溢目标呈现复杂形态,如细长和碎片化结构。模型成功捕获了大多数油溢区域的整体形态,但在高度碎片化区域观察到一些边界不完美和偶尔的漏检现象,这与零样本迁移的预期局限性一致。相比之下,OneFormer、Swin Transformer和DeepLabV3+在这些复杂区域中表现出更为明显的边界碎片化、不连续性和漏检现象。这些视觉结果表明,我们的混合架构展现出相对较好的泛化能力:配备局部适配器的Adapter-MiT骨干网络将SAR特有的纹理和边缘先验注入编码器,而门控细节精炼语义解码器通过解耦的语义-细节融合保持边界精度。这种协同设计使OilSegSARFormer能够提取部分领域不变特征,使其能合理泛化到未见的SAR成像条件下,尽管绝对性能仍低于域内水平,这在零样本场景下是典型的。下载:下载高清图片(499KB)下载:下载全尺寸图片图15. 外部M4D数据集上的分割结果(零样本)。青色:油溢。5. 讨论。大多数现有的SAR油溢检测方法将任务简化为二元的"油溢与背景"分类问题,或者仅区分"油溢"与"相似现象",而不对相似现象类型进行细粒度区分。由此产生的高假阳性率严重限制了油溢检测的实际应用价值。本文从多类别语义分割的角度出发,构建了涵盖背景、低风、油溢、降雨单元和海冰的五类分割体系,显式建模了油溢与各种相似现象之间的微妙散射差异,从而实现了油溢与相似现象之间的精确区分。实验结果表明,OilSegSARFormer在该任务上实现了73.43%的mIoU和84.14%的F1分数,持续优于11种代表性对比方法。更为关键的是,该模型在核心油溢类别上达到了66.15%的IoU,比第二佳的DeepLabV3+高出4.83个百分点。具体而言,局部适配器将SAR领域特有的局部纹理感知能力注入编码器;门控细节精炼语义解码器通过其解耦的语义和细节路径设计,平衡了全局语义一致性与局部边界精度;Lovász-Softmax损失弥合了训练目标与评估指标之间的优化差距。通过混合架构策略,OilSegSARFormer融合了Transformer的全局建模能力与CNN的局部特征提取优势,在油溢与相似现象的细粒度区分方面展现出明显优势。从架构机制的角度来看,OilSegSARFormer与近期专用方法存在根本性差异。OSDMamba采用Mamba的选择性状态空间模型与选择性扫描机制,在扩展感受野的同时实现线性计算复杂度,利用ConvSSM的非对称解码器进行多尺度特征融合。TransOilSeg集成了迁移学习组件(TLC)、梯度聚合算法以及结合CNN与多头注意力机制的自适应注意力混合编码器(AAHE),并配备自适应层以适应不同数据集的类别结构。类似地,CDANet将Mamba与残差多尺度交叉注意力相结合,以融合全局与局部特征。相比之下,OilSegSARFormer采用了Transformer-CNN混合策略:局部适配器通过浅层编码器阶段的深度可分离卷积显式注入SAR特有的纹理先验,而门控细节精炼语义解码器建立了功能解耦的语义与细节分支,并采用逐像素门控控制。这种双路径设计实现了残差形式的自适应细节注入,防止高频噪声破坏全局语义——这对于细粒度相似现象区分具有关键优势。在数据集构建方面,尽管OSDMamba和TransOilSeg在五个类别的数据集(海面、油溢、相似现象、船舶和陆地)上进行了评估,但其架构主要优化的是粗粒度区分任务,其中所有相似现象被归并为单一类别。相比之下,我们的数据集将相似现象明确细分为细粒度子类别(低风、降雨单元、海冰),要求更高的特征区分能力来识别形态相似的暗斑之间微妙的散射差异。这种任务粒度的根本差异解释了为何为粗粒度分类优化的架构需要特定适配才能用于细粒度多类别区分。值得进一步指出的是,本研究提出的多类别语义分割框架的意义超越了油溢检测准确性的提升。本研究纳入的相似现象类别——低风、降雨单元和海冰——本身就是SAR海洋遥感中具有相当应用价值的观测目标。低风区域的精细分割可以为海面风场反演和边界层气象研究提供空间分布的约束信息;降雨单元的自动识别有助于补偿星载微波传感器在瞬时降水监测中时空分辨率不足的问题;并直接支持极地航运路线通航性评估和海冰动态条件监测。将这些类别纳入统一分割框架进行联合训练,使模型在学会油溢识别的判别特征的同时,还能获得多种海洋现象的通用表征能力,为后续扩展至多任务协同遥感分析奠定了基础。预训练权重上的对比实验揭示了模型架构设计与训练策略之间的相互作用。所有四个测试模型在加载预训练权重后均表现出性能提升,验证了大规模预训练在有限规模SAR数据集上的重要价值。值得注意的是,OilSegSARFormer在所有从头训练的模型中达到了最高的mIoU(59.89%),其油溢IoU从无预训练时的53.84%提升至有预训练时的66.15%——在四个模型中增益最小。这一现象表明,该模型即使在没有预训练特征先验的情况下也能保持相对有效的分割性能。尽管OilSegSARFormer取得了令人满意的结果,但本研究仍有若干局限性。在星载或机载SAR油溢监测的实际运行场景中,模型通常需要在资源受限的嵌入式计算平台上进行近实时推理,以满足突发油溢事件的快速响应需求。当前架构尚未针对推理延迟和硬件部署约束进行专门优化,其在边缘设备上的吞吐量和延迟性能仍有待评估。6. 结论。为解决SAR海面油溢检测中油溢与相似现象之间细粒度区分的挑战,本文提出了OilSegSARFormer,一种混合语义分割架构。该架构在MiT编码器的浅层阶段引入轻量级局部适配器以增强局部纹理感知,设计了门控细节精炼语义解码器实现多尺度特征的解耦融合,并采用结合交叉熵和Lovász-Softmax的混合损失函数以优化分割边界质量。实验结果表明,OilSegSARFormer以28.98M参数量实现了73.43%的mIoU和84.14%的F1分数,油溢IoU为66.15%,比第二佳方法高出4.83个百分点——在五类中的四类达到最佳,在剩余一类中仅落后最佳结果0.11个百分点。局部适配器的设计为编码器端的领域适应提供了参考。仅增加0.01M参数开销,局部适配器在不扰动预训练特征分布的情况下带来了1.00个百分点的mIoU提升,表明通过轻量级适配器向预训练Transformer注入领域特有的局部先验是一种低成本的迁移增强方法。预训练权重上的对比实验也显示,OilSegSARFormer即使没有预训练,在所有测试模型中也取得了最佳性能,并表现出相对较低的预训练依赖性,表明合理的架构归纳偏置可以在一定程度上缓解对大规模预训练的依赖。在解码器方面,门控细节精炼语义解码器的双路径设计实现了按需的残差形式细节特征注入,平衡了全局语义稳定性和边界精度。消融实验进一步表明,FPN解码器在参数减少46.3%的情况下保持了与U-Net相当的性能,而Lovász-Softmax损失在不增加额外参数的情况下将油溢IoU提升了2.68个百分点,表明在数据受限的场景下,与任务特征相匹配的结构化设计往往比简单扩大模型规模更有效。未来,我们计划对OilSegSARFormer进行系统的模型剪枝和量化研究,以应对星载和机载应用场景中的载板数据处理需求,评估该架构在保持当前分割性能的同时进行进一步轻量化优化的潜力。同时,我们将探索结构重参数化和算子融合等推理优化策略,以进一步降低实际部署过程中的计算开销。CRediT作者贡献声明:吕新荣:监督、资源、项目管理、正式分析、概念化。苏浩沙:撰写——审阅与编辑、撰写——初稿、可视化、验证、方法论、调查。Christos Grecos:监督、软件、资源、正式分析。任鹏:资源、项目管理、资金获取、数据管理。吕新荣|苏浩沙|Christos Grecos|任鹏