基于门控轻量级卷积神经网络-Transformer融合模型的高效实时洪水分割技术,适用于在 triple-disruption 紧急情况下通过卫星互联网终端进行监测 作者:聂永贵(Yungui Nie)、史志国(Zhiguo Shi)、李建宁(Jianing Li)和葛慧玲(HuiLing Ge)

《Remote Sensing》:Gated Lightweight CNN-Transformer Fusion for Real-Time Flood Segmentation on Satellite Internet Terminals Under Triple-Disruption Emergency Conditions Yungui Nie, Zhiguo Shi, Jianing Li and HuiLing Ge

【字体: 大 中 小 】 时间:2026年05月05日 来源:Remote Sensing 4.1

编辑推荐:

  亮点 主要发现是什么? 提出了一种动态门控融合机制(DGFM),用于自适应平衡卷积神经网络(CNN)的局部特征和Transformer的全局上下文,以实现合成孔径雷达(SAR)洪水分割。这种门控的、轻量级的CNN-Transformer混合模型能够在仅使用CPU的卫星终端上进行实

  亮点
主要发现是什么?
提出了一种动态门控融合机制(DGFM),用于自适应平衡卷积神经网络(CNN)的局部特征和Transformer的全局上下文,以实现合成孔径雷达(SAR)洪水分割。这种门控的、轻量级的CNN-Transformer混合模型能够在仅使用CPU的卫星终端上进行实时推理(约0.22秒/帧),并实现了0.5814的mIoU和0.7028的F1分数。
基于质量的训练有效地利用了Sen1Floods11数据集中的弱标记数据,减少了对外部昂贵手动注释的依赖,同时保持了有竞争力的分割性能和跨区域泛化能力(精度=0.7481)。

主要发现的意义是什么?
这种轻量级的、仅使用CPU的设计使得在涉及网络中断、停电和道路堵塞的三重中断紧急情况下,能够在资源受限的卫星互联网终端上部署洪水映射。基于DGFM的融合方法为SAR洪水分割中局部特征和全局特征的融合提供了系统化的解决方案,促进了可靠的实时灾难响应。

摘要
在洪水灾害期间,现场操作经常面临“三重中断”,即网络中断、停电和道路堵塞。这使得地面蜂窝基础设施无法正常运行,并中断了通信链接。卫星互联网由于其广域覆盖和对地面损坏的抵抗力,部分恢复了紧急通信。然而,终端有限的计算能力、内存和不稳定的带宽限制了基于云的洪水分割提供接近实时的情况感知。因此,本文提出了一种适用于紧急终端的轻量级语义洪水分割框架,该框架使用了卫星互联网。该框架包括一个并行双分支设计:一个轻量级的U-Net风格的卷积神经网络(CNN)分支用于局部边界细节,以及一个紧凑的Transformer分支用于全局上下文。动态门控融合机制(DGFM)自适应地平衡了局部纹理和全局信息。在公共合成孔径雷达(SAR)数据集Sen1Floods11上的实验表明,这种混合架构在准确性和推理效率之间取得了平衡。所提出的方法结合了门控融合和质量感知训练。与轻量级CNN基线和使用相同协议的最新分割模型相比,所提出的配置(带质量感知训练的混合门控)在比较的融合变体中实现了最高的平均交并比和F1分数,同时在部署限制下保持了有竞争力的误报率和风险敏感性能。这符合紧急决策者的偏好。该框架为在三重中断条件下由低轨道卫星和地面网络支持的紧急系统提供了一个可部署的感知模块。

1. 引言
洪水是全球最具破坏性的自然灾害之一,每年造成巨大的经济损失和人员伤亡[1]。准确及时的洪水范围映射对于有效的紧急响应至关重要,但在极端灾害事件中,传统的地面监测往往不切实际。合成孔径雷达(SAR)因其昼夜通用、全天候的成像能力而成为洪水监测的主要数据来源[2,3],无论天气条件如何都能捕获淹没信息。然而,传统的SAR洪水分割严重依赖于集中式云计算,这需要传输大量原始SAR数据。这种方法无法满足紧急响应场景中对近乎实时情况感知的需求[4]。
在“三重中断”紧急情况下,挑战更加严峻,这些情况的特点是网络中断、停电和道路堵塞[5,6]。在这种情况下,地面通信基础设施和基于云的处理流程完全瘫痪。卫星互联网由于其广域覆盖和对地面损坏的抵抗力,已成为关键通信不可或缺的备份[7]。然而,卫星互联网终端面临资源限制,包括计算能力有限、内存受限和带宽不稳定[8,9]。这些限制阻碍了以云为中心的处理,因此需要转向终端侧的分割方法。这种方法直接在卫星终端生成决策就绪的洪水掩膜,无需依赖云资源。出现的核心应用问题是如何开发一种轻量级、实时且可靠的SAR洪水分割框架,以适应资源受限的卫星终端在三重中断条件下的需求。
尽管基于深度学习的洪水分割取得了显著进展,但由于三个技术差距,现有方法仍然不足以解决这一核心问题。首先,以U-Net[10]及其衍生模型[11]为代表的基于CNN的架构能够有效保留局部空间细节,但其固有的局部感受野可能导致SAR干扰因素(如地形阴影和黑暗的城市屋顶)的错误分类,这些干扰因素的辐射特性与水体相似[12]。其次,Transformer模型[13]及其高效变体(如Swin Transformer[14])改善了长距离上下文建模[15],但通常会带来难以在资源受限终端上容纳的计算开销[16,17],同时可能削弱精细边界细化。第三,现有的CNN-Transformer混合模型[18,19,20]大多是为高性能云环境设计的[21],并且通常依赖于静态融合策略(例如连接或平均),这些策略对SAR图像中的多样化洪水形态适应能力较差。此外,通用边缘推理方法[22,23]通常是为RGB基准或移动GPU设置开发的,没有充分考虑双通道SAR的特性或卫星互联网终端上的严格CPU独占部署限制[24]。此外,在三重中断条件下将自适应融合与风险敏感训练相结合以用于卫星终端洪水响应的工作仍然有限[25]。
为了应对这些差距,本文提出了一种针对紧急场景中的卫星互联网终端优化的轻量级并行CNN-Transformer融合框架。该框架采用双分支设计:一个轻量级的U-Net风格CNN分支使用深度可分离卷积(DSC)以低计算开销提取局部边界细节,而一个紧凑的Transformer分支捕获全局上下文依赖性以抑制SAR特定的错误分类。引入了样本级DGFM来自适应平衡这两个分支。为了使模型优化与紧急决策者的偏好保持一致,我们进一步在Sen1Floods11[26]上实施了质量感知训练,优先考虑高置信度标签并优化风险敏感指标,如F0.5和误报率(FAR)。
本文的主要贡献总结如下:
(1) 我们开发了一个以终端为导向的并行分割框架,明确平衡了计算效率和分割精度。通过针对终端侧CPU限制优化架构,该模型能够在紧急响应所需的狭窄决策窗口内实现实时情况感知。
(2) 我们引入了一种结合质量感知训练的样本级DGFM。这种方法通过轻量级MLP自适应地整合了局部和全局特征,显著提高了F0.5和FAR等风险敏感指标的性能。
(3) 我们深入分析了终端部署的权衡,重点关注模型复杂度与实际CPU推理延迟之间的关系[24]。这些实证发现为在资源受限的卫星-地面紧急链接上部署深度学习解决方案提供了实用指导。

2. 相关工作
2.1. 特定于SAR的洪水分割方法
由于其特有的成像能力,SAR图像能够在全天候和昼夜条件下进行洪水监测[2]。早期的洪水范围映射方法主要依赖于反向散射强度分析、变化检测和阈值划分方案[27]。随着深度学习的发展,全卷积网络和类似U-Net的编码器-解码器架构已成为端到端、像素级分割的常用方法。这些架构利用跳跃连接来恢复空间细节[10,28]。U-Net变体在Sen1Floods11等SAR洪水映射基准测试中展现了出色的性能,其中模型受益于保持细粒度边界的能力[11,29]。在干旱地区使用Sentinel-1进行洪水检测的研究也已被研究[30]。
尽管取得了这些进步,但由于SAR场景中的特定雷达不确定性,SAR洪水分割仍然具有挑战性。散斑噪声和雷达依赖的反向散射可能导致水和非水区域(例如地形阴影和黑暗的城市屋顶)之间的混淆,尤其是在非水区域表现出与淹没区域相似的辐射特性时[12]。虽然基于CNN的方法在提取局部空间细节方面有效,但它们受到有限感受野的限制,这可能降低它们对干扰模式的鲁棒性,而这些干扰模式的区分证据可能是上下文相关的而不是纯粹的局部性的。
基于Transformer的方法通过改进长距离上下文建模来解决这一限制。高效的Transformer设计(如Swin Transformer)在保持计算可行性的同时提高了全局依赖性捕获[14]。结合Transformer和CNN背骨的混合设计也已用于山洪检测[15]。然而,Transformer组件通常会引入较大的计算开销,并且在严格终端限制下可能提供较弱的边界细化[16,17]。此外,许多现有的SAR洪水分割研究主要优化了通用分割精度,而不是在紧急条件下的决策关键目标,其中误报和漏检可能会产生不对称的操作成本[25]。
2.2. CNN-Transformer混合融合策略
CNN-Transformer混合模型被广泛研究作为一种平衡保留局部细节和理解全局上下文的方法[18,19,20]。许多现有工作在特征融合和集成方式上有所不同。静态融合策略仍然很普遍。例如,TransUNet将Transformer模块整合到CNN瓶颈中以捕获全局语义[31],而SegFormer[32]使用分层Transformer编码器与轻量级解码器。CMTFNet将局部CNN特征与多尺度Transformer表示相结合[33]。然而,许多混合设计依赖于固定的融合模式(如连接或求和),这些模式不会随着场景不确定性的变化而改变局部与全局证据的相对贡献[20]。
这一限制对于SAR洪水分割尤为重要,因为局部边界与全局上下文线索的重要性取决于洪水形态和混淆条件(例如,碎片化淹没与开放水域区域以及强烈的阴影相关不确定性)。此外,混合架构通常在高性能计算环境中开发和评估。此外,将混合融合适应于CPU级别的终端部署尚不充分,其中延迟和内存预算有限[21]。
尽管已经引入了基于注意力和门控机制来提高其他视觉任务的适应性,包括用于分割的门控Transformer解码器[34],但它们在结合紧急导向的可靠性目标(例如针对卫星终端的场景)方面的使用仍然有限。特别是,尚未以结构化的方式将自适应融合与考虑误报成本的风险敏感训练相结合,用于定向部署[25]。
2.3. 面向终端部署的边缘推理
边缘推理对于及时响应灾难至关重要,因为它通过在数据采集附近进行推理来减少延迟和带宽压力[35,36,37]。在设计轻量级模型方面取得了相当大的进展,包括深度可分离卷积和运算效率高的架构[22],以及量化和支持剪枝等压缩技术[23]。还提出了高效的视觉Transformer和混合轻量级设计(例如MobileViT[38]和TinyViT[39]),以减少资源受限设备上的内存和计算开销。
然而,将此类边缘设计直接应用于卫星终端SAR洪水分割并非易事。许多轻量级边缘方法已在RGB基准或GPU导向平台上开发和验证。还使用无人机图像中的颜色线索探索了洪水映射[40],这与双通道SAR输入和在严格CPU独占限制下的散斑驱动的不确定性不同[24]。此外,卫星终端部署引入了严格的CPU独占推理限制和链接限制,包括有限的内存容量和不稳定带宽。这些限制并未始终与分割目标一起考虑[41,42]。
已经研究了卫星互联网和边缘-卫星工作流在危机通信和紧急管道中的应用。这些研究通常强调系统架构和数据预处理,以减少上行负担,而将分割模型的设计和可靠性留给了终端限制的概念层面[24,43]。重要的是,正如紧急相关文献中指出的那样,缺乏充分研究将自适应融合机制与风险敏感训练相结合,以适应三重中断限制,其中误报会带来显著的运营成本[25]。因此,很少有方法同时实现场景自适应融合、终端效率和与误报惩罚相一致的可靠性。
总体而言,现有研究在三个领域取得了显著进展:基于CNN的SAR分割中的局部细节保留、基于Transformer或混合架构中的全局上下文建模,以及适用于边缘部署的轻量级推理设计。然而,这些方法很少被集成到一个针对卫星终端紧急操作的单一目标中。当前方法很少同时处理场景自适应的局部-全局融合、双通道SAR输入上的CPU受限部署以及在不对称误报成本下的可靠性评估。因此,我们的研究采用了一种以终端为导向的并行CNN-Transformer设计,结合了动态门控融合和质量感知训练,并用效率和决策关键指标对其进行评估。

3. 方法论
本节详细描述了所提出的轻量级并行CNN-Transformer融合框架的架构和关键模块。在概述了整体结构后,介绍了动态门控融合模块(DGFM)和风险敏感优化策略。图1. 提出的并行CNN-Transformer融合框架的总体架构。具体而言,CNN分支使用了一个轻量级的U-Net风格的编码器,该编码器包含四个阶段的DSC。为了在保留高分辨率边界信息的同时降低计算复杂性,通道配置被设置为24–48–96–192。融合在解码器阶段进行:用于融合的局部特征图的分辨率是四分之一空间分辨率,通道数为96。同时,一个紧凑的Transformer分支被用来捕获长距离的上下文依赖性。Transformer分支应用了卷积补丁嵌入,补丁大小P = 16,步长P(非重叠分割),产生一系列补丁标记,这些标记由一个L = 2的Transformer编码器处理,该编码器具有多头自注意力(MHSA)和隐藏维度D = 128。Transformer编码器的输出进一步被重塑为全局特征向量,代表语义场景拓扑。为了结合这些多流特征,局部纹理特征和全局上下文特征通过提出的DGFM模块进行自适应整合。融合后的特征随后被传输到一个简约的分割头以生成最终的二值预测图。该框架的操作过程如下表示:

3.2. 多流特征提取分支
(1) 轻量级CNN分支:该CNN分支旨在处理SAR图像中水体的“局部一致性”。为了最小化参数数量,主要使用DSC作为构建块。每个阶段由3 × 3的DSC组成,随后是批量归一化(BN)和ReLU激活函数。通道容量从24增加到192,确保空间跳跃连接能够有效地将低级边界信息传递给解码器。该分支特别解决了SAR分割中常见的水陆边缘因斑点噪声而模糊的“边界泄漏”问题。
(2) 紧凑型Transformer分支:由于CNN的感受野有限,它们经常将地形阴影错误分类为水体,因此引入了Transformer分支以提供全局场景拓扑。我们使用补丁嵌入层来减轻分词过程中细粒度空间信息的损失。该分支由L = 2个具有MHSA的Transformer块组成。对于潜在维度d = 128,自注意力机制按[13]公式化,其中表示查询向量和键向量的维度:

在补丁嵌入之后,多头自注意力作用于补丁标记而不是原始像素。通过这种方式,嵌入产生了具有个标记的标记网格。每个标记总结了输入补丁中的一个非重叠区域。MHSA对此标记集进行全局混合,提供补丁级别的长距离上下文,而详细的空间细节主要由CNN分支承载。

在这种并行设计中,CNN路径通过深度可分离卷积和跳跃连接保留了高分辨率的空间结构,而Transformer路径将长距离依赖性总结为一个紧凑的全局描述符。Transformer分支主要编码场景级别的上下文,以消除与洪水相关的后向散射模式,而不是恢复精细的几何形状,后者由CNN分支负责。因此,这里没有采用密集的标记图。在卫星终端的CPU和内存限制下,这种紧凑的表示减少了与注意力相关的开销,使得混合模型适合近实时推理。

3.3. 动态门控融合模块
为了更有效地结合局部和全局特征,开发了DGFM模块来替代传统的静态融合策略,如串联或求和。受样本自适应表示需求的启发,根据当前输入样本的内容动态生成一个可学习的门控权重。DGFM的结构如图2所示。

图2. 提出的动态门控融合模块(DGFM)的结构。使用DGFM进行特征融合的程序总结如下:
- 全局摘要提取:为了捕捉局部空间特征的整体分布,在上进行全局平均池化(GAP)操作以获得摘要向量。在门控之前,CNN摘要和Transformer输出t都被投影到相同的维度;我们将投影后的摘要表示为,全局特征表示为。
- 联合描述符形成:将投影后的摘要和全局上下文特征连接起来,形成一个综合描述符ξ = Concat(v,t)∈(见方程(7))。
- 门控权重生成:联合描述符通过一个轻量级的两层MLP(隐藏维度128)。应用Sigmoid函数生成最终的门控标量权重。该权重控制融合比例,有效地充当一个“内容感知”的开关。
- 自适应特征细化:最终融合特征通过局部和全局特征的凸组合计算得出,其中全局特征被广播以匹配的空间维度。

DGFM模块的操作过程如下表示:

图3. 学习到的门控权重w的行为表现为一个“不确定性代理”。在Sen1Floods11测试集上的相关性分析显示,w与成本敏感的风险指标(Risk = 2FP + FN)保持Spearman等级相关性为?0.75。如图3和图4所示,不同地区(例如,斯里兰卡:0.57 ± 0.10;美国:0.60 ± 0.11)的分布表明,门控在不同的地理环境中是稳定的,这支持其作为终端侧部署的可解释信号的使用。

3.5. 分割头和训练策略
为了高效地将融合特征映射到最终掩码上,设计了一个简约的分割头。它由一个细化层和一个分类器组成,后面跟着一个单次双线性上采样操作。这种设计最小化了参数和计算延迟,这是基于我们的洞察,即前端并行编码器已经生成了高度区分性的特征。为了在类别不平衡和标签噪声的限制下优化框架,采用了一个复合损失函数:

该设计降低了潜在的噪声弱标签的权重,同时仍然利用它们的多样性进行表示学习。训练过程使用Adam优化器,学习率为,并采用余弦衰减调度。为了适应卫星终端有限的内存,实施了2的微批量大小并进行了梯度累积。默认模型超参数列在表1中。训练设置在表2中。

4. 实验和结果
在本节中,评估了提出的并行CNN-Transformer融合框架的性能。首先描述了数据集和实验设置,然后是一系列比较和消去研究。最后,在“三重干扰”场景下对该模型进行了压力测试,以验证其实际效用。

4.1. 数据集和实验设置
本文中的实验使用了公开可用的Sen1Floods11 SAR洪水基准数据集[26],该数据集包含具有VV/VH双极化通道的Sentinel-1图像。该数据集是使用Sentinel-1数据进行深度学习基础洪水分割的流行基准,并包括两个子集:“弱标记”和“手动标记”。 “手动标记”子集由专家以高标准手动注释,确保注释者间的一致性。为了利用所有可用数据,训练集包含了“弱标记”和“手动标记”子集中的样本,使模型能够从多样化的场景中受益。根据其在Sen1Floods11中的来源子集,每个训练样本被标记为弱标记或手动标记。在训练期间,弱标记和手动标记的样本被混合到相同的微批量中,无需额外的过采样或欠采样。通过第3.5节定义的样本级权重加权引入了质量意识。为了确保严格和可靠的评估,验证集和测试集仅包含高质量的“手动标记”补丁。这种策略,结合我们的质量感知训练协议,使模型能够从噪声较大的弱标签中有效学习,同时提供专家验证的真实值的客观评估。为了确保模型可以泛化并避免数据泄露,同一原始图像的补丁只出现在一个集合中。我们在训练阶段采用了数据增强技术[29],包括随机水平和垂直翻转(概率为0.5)、90°旋转以及±15%的后向散射值的辐射度抖动(以模拟SAR数据的强度变化)。

本文使用标准的语义分割任务评估指标:平均交并比(mIoU)、F1分数、精确度和召回率[44]。为了准确反映边缘部署场景,所有推理速度测试都在CPU平台上进行,并报告单个图像的平均处理延迟(批量大小=1)。训练使用初始学习率为10^-4的Adam优化器[45],结合余弦退火调度[46]和提前停止策略[47]。具体超参数列在表2中。

4.2. 评估指标
为了定量评估分割性能,我们采用标准的像素级指标:平均交并比(mIoU)、F1分数、精确度和召回率。此外,为了反映紧急情况下的不对称错误成本,我们使用一个成本敏感的风险项,该风险项是假阳性和假阴性的线性组合,权重由用户指定[48](见方程(16))。这些指数的数学公式定义为:

4.3. 与基准方法的比较实验
为了验证并行架构和动态门控融合模块(DGFM)的贡献,仔细比较了一些基准配置。Sen1Floods11测试集上的结果总结在表3中。表3. 不同模型在Sen1Floods11测试集上的性能比较(粗体文本代表最佳结果)。如表3所示,Hybrid-gated(我们的)配置结合了通过弱标签重加权的质量感知训练,实现了最高的mIoU为0.5814和F1分数为0.7028。值得注意的是,这种配置产生了最低的FAR(0.0173)和最小的Rask(2658.42)。这表明DGFM有效地利用了CNN分支的局部一致性和Transformer分支的全局上下文,特别是在减少“边界泄漏”和城市阴影误分类方面。

如图5所示,提出的训练协议下,训练和验证损失稳步下降并趋于收敛。图5. 提出的Hybrid-gated模型的训练和验证损失演变。图6显示了不同基准架构的mIoU和F1分数的统计比较。结果符合紧急情况下高精度情境感知的操作要求。Hybrid-gated(我们的)模型动态平衡了多尺度特征,以最小化成本敏感的风险,并防止由于错误报告而造成的有限救援资源的浪费,同时保持稳健的检测率。与标准融合策略(例如,平均和串联)相比,我们的门控机制对SAR图像后向散射的变化性具有更大的适应性。第4.5节提供了内部门控结构和质量感知训练协议影响的详细消去分析。

4.4. 与最先进方法的比较
为了全面评估该框架,我们将其与几个代表性的SOTA模型进行了比较,包括UNet++、DeepLabV3+和SegFormer-B0。所有模型都是从通道数为2开始从头训练的,以避免来自RGB预训练的领域偏见。ResNet-18骨干网络遵循标准的残差网络结构[49]。如表4所示,我们的混合门控(Hybrid-gated)模型在总体分割质量(mIoU 0.5814)方面优于所有现有的最先进(SOTA)基线模型。需要注意的是,由于斑点噪声和缺乏光谱信息,SAR任务中的绝对mIoU值低于光学RGB基准测试中的值。然而,我们的模型在相同的协议下提供了一个注重准确性的操作点,并具有竞争性的风险敏感行为。在效率方面,我们的延迟(0.2179秒/帧)与UNet++(0.2227秒/帧)相当,同时提供了显著更高的精确度。表4与最先进分割模型的定量比较(粗体文本代表最佳结果)。所提出的混合门控模型在mIoU方面优于UNet++(ResNet18)模型。一些SOTA基线模型(例如FPN和MAnet)在风险敏感指标上实现了更低的FAR和风险,这表明它们有不同的操作权衡。与SegFormer-B0相比,我们的模型实现了更高的mIoU(0.5814对比0.5678)和相当但略高的FAR(0.0173对比0.01),表明它们在不同的权重上进行了权衡,以优先考虑总体准确性。虽然由于斑点噪声和模糊的后向散射,SAR洪水映射中的绝对mIoU值通常低于光学基准测试中的值,但我们的方法在终端部署限制下提供了准确性和可靠性的实际平衡。图7展示了结果的定性可视化。图7在Sen1Floods11数据集上的洪水分割定性可视化(白色表示洪水区域,黑色表示非洪水区域)。在叠加列中,绿色表示真实洪水区域,红色表示预测的洪水区域。

4.5 结构消融和泛化评估
为了验证门控机制和训练协议的具体贡献,我们首先比较了不同的结构变体。为了进行公平比较,“混合门控(逐样本)”和“混合门控(我们的模型)”具有相同的架构、数据分割、优化器、增强和训练计划。唯一的区别是是否启用了质量感知的样本加权。如表3所示,逐样本门控变体的性能优于通道门控变体,mIoU分别为0.5123和0.4523。这证实了样本自适应权重分配更适合处理SAR图像的多样化后向散射特性。此外,引入质量感知训练(混合门控,我们的模型)显著提高了性能,mIoU从0.5123提升到0.5814。这些结果表明,当前协议受益于质量感知训练和融合架构的互补作用。为了进一步区分架构效应和训练协议的效应,我们在相同的数据分割、优化器、增强和训练计划下进行了额外的2 × 2分解比较。具体来说,我们比较了Hybrid-concat和Hybrid-gated模型,每种模型都采用了标准和质量感知训练。相应的结果总结在表5中。虽然表3报告了更广泛的架构变体,但表5提供了架构与训练属性的受控2 × 2分解。表5在统一设置下对融合架构和训练协议进行了因子化消融,包括在质量感知训练下的固定门控干预。在标准训练下,Hybrid-concat模型产生了比Hybrid-gated模型更强的基线。然而,在质量感知重加权下,Hybrid-gated模型有了显著改进,并成为最佳模型,表明DGFM在当前协议下对标签质量更加敏感。为了隔离Transformer深度和补丁大小的影响,表6在标准训练目标(无QA)下进行了受控消融。这使用了相同的数据分割、优化器、增强和计划,除了L和P。表6在标准协议下对Transformer深度和补丁大小的消融(用于敏感性分析)。在这种协议下,L = 1和P = 8在列出的深度和补丁设置中实现了最高的mIoU和F1分数。然而,L = 3降低了mIoU,这与斑点主导的SAR数据下优化难度增加以及训练多样性有限是一致的。补丁大小平衡了每个标记的空间支持、标记数量和全局自注意力的成本。

表3、表4和表5中的主要实验都采用了质量感知训练。因此,我们根据相同的协议重新训练了混合门控模型,数据分割、优化器和训练计划保持不变,同时每次改变一个结构因素。通过质量感知重加权,L = 2和P = 16实现了mIoU为0.5814和F1分数为0.7028。这与L = 1和P = 16时的mIoU为0.4800和F1分数为0.5826,以及L = 2和P = 8时的mIoU为0.5445和F1分数为0.6633进行了比较。因此,我们将L = 2和P = 16作为本文报告的所有质量感知配置的默认Transformer深度和补丁大小。最后,我们使用未见区域分割进行了跨区域泛化评估。模型在八个地区(玻利维亚、哥伦比亚、加纳、印度、湄公河地区、尼日利亚、巴基斯坦和巴拉圭)进行了训练,并在两个未用于训练的地区(斯里兰卡和美国)进行了评估。为了避免单一指标的偏差,我们报告了未见测试分割上的全部指标:mIoU = 0.5228、F1 = 0.6382、精确度 = 0.7481、召回率 = 0.6721、F0.5 = 0.6668、FAR = 0.0252、风险 = 3440.62和延迟 = 0.1480秒/帧。这些结果表明,在当前协议下具有良好的跨区域可转移性。然而,需要进行更系统的区域间和方法间的比较。

4.6 效率分析和通信影响
为了验证在资源受限的卫星互联网终端上部署所提出的并行框架的可行性,表7提供了所有模型的计算复杂性和资源消耗的定量分析。这包括参数数量、浮点运算次数(FLOPs)、峰值内存使用量和CPU推理延迟。表7计算复杂性和资源消耗的分析。整合DGFM仅引入了边际计算开销。混合门控模型的CPU延迟为0.2179秒/帧(表7),与Hybrid-avg(0.2501秒/帧)和Hybrid-concat(0.2576秒/帧)相当,验证了DGFM的轻量化设计。此外,通过现场终端端的分割,卫星应急链路的通信效率显著提高。具体来说,原始SAR图像补丁的载荷为256 KB,压缩成8 KB的二进制洪水分割掩码或矢量化的洪水边界多边形,更加精简。这种32倍的载荷减少(超过一个数量级和接近两个数量级)极大地减轻了卫星互联网链路的上行带宽压力,这对于在陆地通信基础设施瘫痪时的洪水应急响应尤为重要。

4.7 在紧急情况下的应力测试
为了评估模型在“三重中断”情况下的性能,我们进行了基于延迟的应力测试和成本敏感的风险分析。延迟应力测试的结果总结在表8中。表8不同CPU预算下的延迟应力测试结果。尽管像PAN这样的轻量级模型满足了100毫秒的CPU推理延迟预算,但它们的FAR很高。相比之下,我们的混合门控模型在每个补丁上满足了250毫秒的预算,同时提供了高度可靠的分割掩码。如表9和图8所示,在表9中的基线和混合融合变体中,随着假警报惩罚比率(CFP:CFN)的增加,我们提出的混合门控模型实现了最低的风险分数。特别是在2:1和3:1的比率下,这些比率模拟了优先考虑情况意识以防止有限救援资源错配的紧急情况,我们的模型显著优于基线模型。这表明DGFM有效地抑制了由城市阴影和SAR斑点噪声引起的误报,从而符合“三重中断”约束下“精度优先”的应急响应要求,其中每次救援行动都必须基于可信赖的证据。

5. 讨论
为了进一步阐明所提出的并行CNN-Transformer架构和DGFM的重要性,我们对特征表示和固定门控进行了定性分析,并评估了操作效率。

5.1 双分支特征协同分析
采用并行双分支架构的核心动机在于局部空间纹理和全局语义依赖性的互补性。为了研究每个分支的个体影响,我们检查了不同配置下的特征可视化结果。正如我们的定性研究中所观察到的,当Transformer分支被禁用时,模型主要依赖于轻量级CNN的局部感受野。虽然这保留了高分辨率的边界细节,但在复杂的后向散射区域(如城市阴影或山地地形)中经常导致误报,这些区域的辐射特性与SAR图像中的水体相似。相反,当CNN分支被移除时,Transformer成功捕获了长距离上下文来抑制这些误报;然而,得到的洪水掩码常常遭受“边界侵蚀”并缺乏细粒度的空间精度。通过采用DGFM,所提出的框架在两个分支之间实现了经验上的有利结合。CNN分支似乎支持精确的边界划分,而Transformer分支似乎提供了对抑制某些误报有用的场景级上下文。门控权重作为适应性的平衡信号,根据内容协调了局部和全局特征图。表5中的受控固定门控比较(第5-7行)进一步支持了样本自适应门控的好处。用固定常数替换学习到的门控权重(例如=0.5)与模型性能的显著下降相关,mIoU从0.5814下降到0.5598。这种模式表明,单一的固定融合权重可能无法完全适应我们数据中的后向散射多样性。相比之下,学习到的门控允许每个样本的分支贡献有所不同。

5.2 模型效率和部署可行性
在卫星互联网终端的背景下,计算效率与分割性能同样重要。为了评估所提出框架的实际部署可行性,我们进行了多维度权衡分析。表10总结了代表性基线和SOTA模型的准确性、延迟和风险概况。表10代表性模型的准确性-延迟-风险权衡总结。表10中的比较数据表明,虽然仅使用Transformer的模型提供了极低的延迟,但其分割准确性和高误报率使其不足以进行可靠的应急映射。相比之下,所提出的混合门控模型实现了最高的mIoU和F1分数。尽管其CPU延迟高于超轻量级SegFormer-B0,但仍保持在每个补丁250毫秒的预算范围内,这是近实时情况意识所需的。最重要的是,我们的模型在终端限制下保持了具有竞争力的风险概况2658.42,同时在检测精度和计算开销之间取得了平衡。结合表7中的复杂性分析,显示参数数量约为420万,这些结果表明,在边缘端硬件限制下,所提出的并行融合策略是一个以准确性为导向的强大操作点,而不是适用于每种延迟或风险敏感性的通用最优解。虽然这里没有测量功耗,但在电力受限条件下(例如停电期间的电池或发电机),我们的轻量化、仅使用CPU的设计是有利的。

5.3 “三重中断”场景中的重要性
该框架的实际价值在电力、通信和道路网络中断的场景中最为明显。传统的洪水映射流程依赖于将大量原始SAR数据回传到中央云服务器,这一过程在重大灾难期间往往会陷入瘫痪。通过在卫星终端直接进行智能分割,我们将“数据密集型”任务转变为“知识轻度”任务。传输二进制洪水掩码或矢量化边界数据所需的带宽不到原始图像传输所需的5%。这种边缘端处理能力在停电和通信中断期间至关重要,也称为“三重中断”场景。在这些事件中,由于基础设施严重受损,将大规模原始SAR数据回传到中央云服务器是不可行的。然而,在本研究中,这一部署论点是通过CPU延迟和载荷分析支持的,而不是在实际灾难期间的现场验证。这与第4.7节中的压力测试结果一致,其中所提出的模型在保持最低的成本敏感风险的同时,满足了每个补丁250毫秒的CPU延迟预算。5.4. 局限性和实际验证 本研究主要使用Sen1Floods11基准进行了验证。因此,报告的性能应结合该基准定义的数据分布来解读,其中包括场景统计、标签特征和典型的SAR城市阴影模式。尽管我们的跨区域评估及学习到的门响应的稳定性表明其泛化能力有限到中等,但当前结果仍可能受到未见采集配置和洪水形态变化的影响。从建模角度来看,Transformer分支的设计旨在严格遵守CPU端的延迟和内存限制。这导致在融合之前会将上下文信息进行激进压缩为场景级表示。因此,细微的局部淹没结构(例如狭窄的带状区域或碎片化的补丁)和细粒度的模糊性可能无法完全捕捉到。对Sen1Floods11测试集的预测进行定性检查后,发现我们的协议中有两种反复出现的失败模式:(1)对于非常狭窄的通道和高度碎片化的淹没区域,当局部对比度较弱时偶尔会出现漏检;(2)在阴影区域和其他地表覆盖类型中,由于VV/VH后向散射与开阔水域相似,会出现残余的误报。这些行为与上述的SAR模糊性和紧凑的上下文编码相一致。因此,在阴影/双重反射混淆严重的密集城市环境中,以及在与训练数据分布差异较大的情况下,失败模式可能会更加明显。未来工作将探索如何通过轻量化的、空间化的上下文来扩展Transformer路径。最后,虽然没有进行端到端的实地部署,但通过以部署为导向的评估严格检验了与应急响应相关的操作可靠性。这些评估包括在压力测试预算下的CPU延迟、成本敏感风险分析以及通信载荷考虑。这些评估证明了算法在严格操作约束下的稳健性。未来的工作将把这些评估扩展到其他基准(如UrbanSARFloods [51]),并追求更实际的验证,包括阴影模式测试和操作员反馈,以表征三重干扰环境下的真实世界可靠性。6. 结论 本研究提出了一个轻量级的、并行的CNN-Transformer融合框架,用于双通道SAR图像中洪水区域的语义分割。所提出的架构采用了并行的双分支设计,同时捕获低级空间细节和全局上下文依赖性。然后通过DGFM进行自适应整合,该框架与质量感知的训练协议相结合。在Sen1Floods11数据集上的实验结果证明了该模型的有效性和多功能性。使用相同的评估协议,该框架实现了最高的mIoU和强劲的F1性能。此外,表5中的分解消融和固定门比较支持了双分支融合和样本自适应门控对结果的贡献。定性检查还表明,我们的实验中SAR特定的错误(如阴影误分类和边界泄漏)较少。尽管该模型在未见区域的跨区域测试中表现出稳健性,但SAR采集设置的固有复杂性和多样的洪水形态仍然带来持续的挑战。为了提高框架的实际应用性和便于进行端到端的实地部署,未来的研究将把这些评估扩展到更广泛的基准数据集(如UrbanSARFloods数据集),以更好地考虑复杂的城市后向散射特性。此外,我们计划在活跃的灾害区域进行更多的实际验证,通过阴影模式测试来确保系统在全球“三重干扰”应急响应中的可靠性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号