一种具有双路径特征增强器和双向门控融合技术的轻量级网络,用于云检测
严 莫(Yan Mo)
陈 普辉(Chen Puhui)
白 少伟(Bai Shaowei)
肖 二宝(Xiao Erbao)
《Sensors》:A Lightweight Net with Dual-Path Feature Enhancer and Bidirectional Gated Fusion for Cloud Detection
Yan Mo,
Puhui Chen,
Shaowei Bai and
Erbao Xiao
【字体:
大
中
小
】
时间:2026年03月11日
来源:Sensors 3.5
编辑推荐:
摘要 云检测是遥感图像处理和定量应用中的关键预处理步骤。然而,现有的基于深度学习的模型通常依赖于计算密集型的主干网络来实现高精度,这限制了它们在资源受限的场景中的部署,例如在机载处理或边缘计算中。为了在精度和效率之间取得平衡,本文介绍了一种轻量级的云检测网
摘要 云检测是遥感图像处理和定量应用中的关键预处理步骤。然而,现有的基于深度学习的模型通常依赖于计算密集型的主干网络来实现高精度,这限制了它们在资源受限的场景中的部署,例如在机载处理或边缘计算中。为了在精度和效率之间取得平衡,本文介绍了一种轻量级的云检测网络。我们网络的核心创新有两大点:(1)一个双路径特征增强器,它在前端通过并行架构提取和融合多尺度特征,显著丰富了特征多样性和表示能力,从而减少了对复杂主干网络的需求;(2)一个双向门控融合模块,它通过门控注意力机制和动态卷积,将双路径特征增强器的多尺度特征与主干解码器的深度语义特征自适应地整合在一起,从而提高了特征的可区分性。在公共的HRC_WHU数据集上的全面实验表明,所提出的模型实现了96.31%的总体准确率和92.82的平均交并比,计算成本仅为12.04 GFLOPs,优于几种最先进的方法。这些结果验证了我们的方法有效地在高检测性能和计算效率之间取得了平衡,为高分辨率遥感图像中的实时、轻量级云检测提供了实用的解决方案。
1. 引言
随着卫星遥感技术的快速发展,高分辨率遥感图像已在众多领域得到广泛应用。然而,云层覆盖在遥感图像处理中构成了一个严峻的挑战,因为它阻碍了光学传感器捕获地表信息,导致数据丢失和后续应用中的潜在偏差[1]。因此,云检测一直是遥感社区中预处理研究的一个关键且具有挑战性的焦点。卷积神经网络(CNNs)[2]利用局部感受野、权重共享、平移不变性和池化,在提取光谱和地理空间特征方面表现出色,使得深度架构能够捕获对云检测至关重要的高级语义表示。DCNet [3]在编码器-解码器框架中整合了可变形卷积,以自适应地捕获云形态,解决了空间信息丢失的问题。然而,编码器-解码器架构面临着空间信息丢失和特征稀释的问题,这促使云检测方法从纯卷积结构转向全局特征提取技术,如注意力模块。一些研究[4,5]开始将注意力机制纳入UNet [6]。CDUNet [7]结合了空间先验自注意力(SPSA)和双向注意力机制,有效减少了特征冗余,并提高了网络检测云的能力。CDnetV2 [8]和CFCA-Net [9]进一步利用通道和空间注意力模块来细化特征图,并突出显示关键的色彩、纹理和空间云特征。张等人提出的云检测模型[10]结合了概率上采样和注意力机制来增强云区域,而SEUNet++ [11]和AFMUNet [12]则整合了轻量级的通道/空间注意力模块,以实现自适应的视野调整,提高了云检测性能。为了增强深度学习网络捕获复杂特征的能力,研究人员探索了多特征融合策略。张等人引入了CSD-Net [13],结合了多尺度特征融合(MFF)和可控深度监督与特征融合(CDSFF),有效捕获了云和雪的显著语义特征。王等人设计了ABNet [14],其中包含全尺度特征融合(AF)模块,使解码器能够整合所有分辨率的特征。GCDB-UNet [15]通过全局上下文密集块增强了UNet,提高了对薄云的检测能力。吴等人的基于边界的模型[16]加强了不同大小云的多尺度特征提取。CRSNet [17]采用了多尺度全局注意力模块,提高了通道和空间信息的准确性。BABFNet [18]使用边界预测分支来增强复杂区域中的云检测。GANet [19]引入了GFAM和PAPM,结合了空间细节和高级语义,同时提取多尺度全局特征。MCDNet [20]利用MSFF来补偿空间信息丢失,提高了对碎片化云的敏感性。此外,增强特征输入[21,22,23,24,25]证明了多特征融合在丰富网络云检测能力方面的有效性。CNNs在局部连接方面表现出色,但在全局上下文捕获方面存在不足,而Transformer(如ViT [26]和Swin Transformer [27])在全局特征提取和上下文理解方面表现出色。李等人提出了一种新的CS(云和阴影)检测算法CSDFormer [28],在编码器阶段特别使用了分层转换器结构来提取CS特征。每个转换器层都包含多个多头自注意力机制,用于计算像素的长距离连接性。一些研究将Transformer与CNN结合,以增强云检测网络。陆等人[29]和龚等人[30]将Swin Transformer和CNN结合,用于语义和空间细节提取。CNN-TransNet [31]采用了混合CNN-Transformer和差异特征增强,以提高云的区分能力。顾等人的[32]混合模型结合了轴向共享混合注意力和注意力引导模块,以实现高效融合。CD-CTFM [33]使用了轻量级的CNN-Transformer编码器-解码器与注意力门。MAFNet [34]将ResNet50和Swin Transformer与多分支注意力融合相结合。MMA网络[35]利用多尺度重叠块、PVT、条带卷积和多尺度全局聚合来丰富语义提取。这些混合方法展示了结合CNN和Transformer进行高级云检测的潜力。徐等人提出了一个具有梯度感知特征聚合的集成Transformer(TransGA-Net)[36]。该框架使用Transformer作为编码器,显著增强了全局特征和长期依赖性的建模能力。高等人提出了SwinCloud [37],用于热红外光谱范围内的云检测。该网络通过基于CNN的并行路径增强了Swin Transformer的窗口注意力模块,有效地对全局-局部信息进行了建模。周等人提出了一个双分支协作优化网络(DFC-Net)[38],通过双分支交互机制实现了跨尺度特征融合和细节增强,结合了全局上下文建模和局部细节感知。然而,最先进的云检测模型主要依赖于计算密集型的主干网络,导致参数数量庞大和推理速度缓慢。这限制了它们在资源受限平台(如边缘设备或卫星系统)上的部署。现有方法往往陷入一个权衡:它们要么通过增加网络复杂性来提高检测精度——牺牲了实用性——要么通过过度简化架构来优先考虑效率。这种简化特别削弱了模型表示弱特征(例如薄云)和精确边界的能力,这在城市景观和雪云共存等具有挑战性的场景中至关重要,从而从根本上限制了在这些条件下的检测性能。为了解决这些限制,本文介绍了一种轻量级的云检测网络。所提出的模型包括四个核心组件:双路径特征增强器、轻量级主干网络、渐进式特征金字塔解码器和双向门控融合模块。通过这种系统和以轻量化为导向的设计,网络在保持竞争性检测准确性的同时显著提高了计算效率。本工作的主要贡献总结如下:
我们提出了一个双路径特征增强器,部署在网络的前端。它由两个专用路径组成,分别捕获全局结构信息和局部细节特征。引入了一种自适应融合机制,有效地整合了来自两条路径的多尺度表示。这种设计显著丰富了输入特征的表达能力,并减少了对重型主干网络的依赖。我们设计了一个双向门控融合模块。它采用双向门控注意力机制,自适应地从多尺度特征流(由前端增强器提供)和深度语义流(来自主干解码器)中选择有信息量的特征。结合动态卷积和增强的注意力机制,该模块建立了“选择-融合-细化”的工作流程,在特征融合过程中保留了空间细节并加强了语义一致性。实验结果表明,所提出的网络在HRC-WHU数据集上实现了具有竞争力的检测精度,同时计算开销较低。这在精度和效率之间实现了有效的平衡,为在资源受限的场景中部署云检测模型提供了实用的解决方案。
2. 方法论
我们提出的轻量级云检测网络包括四个核心组件:双路径特征增强器、ResNet-18主干网络、渐进式特征金字塔解码器和双向门控融合模块。首先,双路径特征增强器提取丰富的多尺度上下文特征,以减少对复杂主干网络的依赖。这些特征随后由ResNet-18主干网络编码为深度语义表示。然后,渐进式特征金字塔解码器分层解码主干特征,而双向门控融合模块通过门控注意力和动态卷积自适应地将解码器的深度语义特征与前端增强器的多尺度特征合并。这种集成架构在检测精度和计算效率之间实现了有效的平衡。图1展示了模型的整体框架。
2.1. 整体设计理念
所提出的架构遵循一个渐进式细化流程,每个组件解决特定的挑战,其输出作为后续模块的优化输入。我们从包含复杂背景、噪声和不同云规模的原始遥感图像开始。直接将这些输入输入到深层主干网络中,将迫使它同时处理低级去噪和高级语义抽象,这两个相互竞争的目标降低了效率。因此,双路径特征增强器首先进行低级特征细化,抑制背景杂乱,同时放大云边缘和薄云等显著元素。这为主干网络提供了更清晰、更有结构的表示。由于增强器处理低级提取,ResNet-18主干网络可以将其有限的能力集中在通过渐进式下采样构建分层语义表示上,生成多尺度特征金字塔。这种功能解耦,其中增强器处理空间元素,主干网络处理语义抽象,证明了使用轻量级主干网络而不牺牲性能的合理性。主干网络的特征金字塔包含丰富的语义,但分辨率各不相同。直接连接这些特征通常会导致层次之间的语义不对齐。渐进式解码器通过自上而下的递归融合解决了这个问题:更深层次的语义特征逐渐与较浅的空间信息融合,而水平对齐确保了每次融合步骤之前的特征一致性。最后,我们必须整合两个语义上不同的流:富含空间元素的增强器输出和富含语义上下文的解码器输出。双向融合模块将两个流投影到一个统一的空间中,应用门控注意力进行通道级自适应重新校准,并使用动态卷积进行样本自适应的跨流交互,确保融合后的表示利用了两个流的优势。本质上,该架构从低级细化逐步发展到分层语义,然后是一致的多尺度解码,最后是自适应的跨流融合,每个组件的设计都是基于其在流程中的特定需求。
2.2. 双路径特征增强器
我们提出了一种分层双路径特征增强架构,通过注意力引导的增强和门控融合机制逐步整合多级特征。双路径设计的概念在之前的工作中已有探索,例如BiSeNet [39],其中空间和上下文路径并行操作以保留细节和捕获上下文。然而,我们的双路径增强器有根本的不同。首先,它被定位为主干网络之前的前端预处理模块,而不是网络中的并行分支。其次,它的目的是低级特征细化,使轻量级主干网络能够专注于语义建模。这种序列化解耦与BiSeNet的并行互补性形成对比。第三,其输出通过双向门控与解码器特征融合,而不是直接用于预测。这些区别将我们的增强器定位为输入细化机制,而不是分割主干网络。整个过程可以在图2中参考。这种设计能够从不同的特征源中自适应地提取互补信息:一个路径保留全局结构信息,提供稳定的基础,而另一个路径专注于提取和放大可能在基本表示中被忽略的局部细节特征(例如薄云和边缘细节)。提前分离它们可以防止全局结构被局部细节稀释,允许每个路径在融合之前进行专门化,之后通过细粒度权重调整优化最终的特征表示。
2.2.1. 注意力特征增强阶段
首先,原始特征通过注意力机制进行重新校准。此阶段生成空间-通道自适应注意力权重,这些权重在增强有用特征的同时抑制冗余信息:????,????=Split?(?????(????(Concat?(??,??)))) (1)其中,??? 是作为轻量级 1 × 1 卷积层实现的特征融合模块,它将连接的双路径特征(23?? 通道)缩减为 C 通道的紧凑表示,随后进行批量归一化和 ReLU 激活。这种设计在保持计算效率的同时,实现了高效的跨路径信息交换。???? 表示注意力模块,它首先应用全局平均池化来聚合空间信息,然后通过两层瓶颈结构(压缩比为 4)捕获通道间的依赖性,最后通过 Sigmoid 激活生成空间-通道注意力权重。输出被分为 ???? 和 ????,分别对应于基础路径和增强路径的注意力权重。这种机制使模型能够自适应地强调信息丰富的通道和空间区域,同时抑制冗余部分。然后通过元素级乘法获得增强特征:??enhanced=??⊙??????enhanced=??⊙???? (2)2.2.2. 门控融合阶段虽然注意力提供了空间-通道的重新校准,但自适应平衡两个增强流的相对贡献仍然是一个挑战。为了解决这个问题,我们引入了一种门控机制,该机制基于组合的特征上下文学习最优的融合权重:????,????=Split?(?????(????(Concat?(??enhanced,??enhanced)))) (3)其中 ???? 表示门控权重生成模块,它由两个连续的 1 × 1 卷积层组成:第一个层通过 ReLU 激活将通道维度从 C 降低到 ??/2,第二个层生成一个 2 通道的门控图。沿通道维度应用 Softmax 激活来规范化门控权重,得到满足 ???? +???? =?? 的 ???? 和 ????。这确保了两个特征流按比例竞争,它们的相对重要性根据每个空间位置自适应确定。这种设计使模型能够根据局部上下文动态确定每个特征流应贡献多少,而不是使用固定的融合比率。最终输出通过门控加权求和获得,该求和根据学习到的门控权重融合两个流:??enhanced=??enhanced⊙????+??enhanced⊙???? (4)这种加权求和确保了最终表示保留了来自基础路径的全局结构稳定性和来自增强路径的局部细节敏感性,它们的相对重要性根据每个空间位置自适应调整,这是相对于简单连接或加法的优势。2.3. 主干网络在所提出的架构中,主干网络承担着从预处理输入中提取层次化语义特征的关键功能。在仔细评估了计算效率和表示能力之间的权衡后,选择了 ResNet-18 作为基础主干网络。这一选择是基于前面的双路径增强模块已经生成了丰富且结构良好的初级特征。通过执行初始特征提取和细化,它降低了输入空间的复杂性,并为主干网络提供了一个更清晰、更具信息量的起点。因此,主干网络从低级特征学习任务中解脱出来,可以将其有限的容量集中在构建层次化语义特征金字塔上,使得像 ResNet-18 这样的轻量级架构足以完成任务。ResNet-18 主干网络包括四个连续的残差层,它们通过逐步下采样共同生成多分辨率特征金字塔。前向传播过程可以正式描述如下:??1?=?1?(??input)∈?64×??4×??4??2?=?2?(??1)∈?128×??8×??8??3?=?3?(??2)∈?256×??16×??16??4?=?4?(??3)∈?512×??32×??32 (5)这里,??? 表示第 i 个残差层,输出特征集 ? ={??1,??2,??3,??4} 构成了从 1/4 到 1/32 的分辨率特征金字塔。这种多尺度特征表示为后续解码器和支持分割头提供了丰富的空间和语义信息。为了加速收敛并提高泛化能力,主干网络使用在大型 ImageNet 数据集上预训练的权重进行初始化。这种初始化策略利用了从多样化视觉任务中学到的通用特征表示,有效地减轻了训练数据有限时的过拟合风险。2.4. 进阶特征金字塔解码器为了有效利用主干网络产生的多尺度特征金字塔,本研究设计了一个进阶特征金字塔解码器。通过横向连接、渐进式融合和门控机制,解码器实现了自上而下的多层次特征集成,最终生成高质量的分割特征图。2.4.1. 横向连接和特征对齐设 {??1,??2,??3,??4} 表示主干网络输出的特征金字塔,其中 ???? ∈?????×????×????。首先,通过横向卷积层将每个层次的特征投影到一个统一的特征空间:????=ReLU?(BN?(Conv1×1?(????)))∈?????×????×???? (6)这里 ???? 表示解码器的通道维度,???? 表示第 i 层的横向特征。此操作将具有不同通道数的编码器特征标准化为一致的维度,从而便于后续的融合操作。2.4.2. 自上而下的渐进式融合解码过程从最深的语义特征开始,逐步结合浅层空间信息。设 ???? 表示第 i 层的细化特征。多尺度融合中的一个关键挑战是不同层次特征之间的语义差距,其中更深层次的特征具有丰富的语义但空间细节粗糙,而较浅的特征包含精细的空间信息但语义有限。为了解决这个问题,我们在融合之前首先对齐分辨率和语义分布。对于 ?? =3,2,1(自上而下):????+1=Interpolate?(????+1,size=(????,????)) (7)这个上采样步骤通过将更深层次的特征对齐到当前层次的空间大小来解决分辨率不匹配的问题。????=????(????) (8)这里 ??? 进一步对齐横向特征的语义分布,以匹配上采样后的更深层次特征的语义分布,减少否则会降低融合质量的语义差异。这种两步对齐确保后续融合操作在空间和语义上都是一致的。????=Concat?[????+1,????]∈?2?????×????×???? (9)????=?????(????) (10)这里 ???? 表示门控跳跃连接模块,它自适应地调节来自不同来源的特征贡献。????=?????(????) (11)这里 ???? 是进一步优化特征表示的渐进式融合块。初始条件设置为 ??4 =??4,意味着最深的横向特征作为融合的起点。2.4.3. 输出特征生成在自上而下的渐进式集成之后,获得了最高分辨率的细化特征 ??1。随后通过输出投影层生成解码器输出:??output=??output?(??1) (12)这里 ??output 表示一个两阶段卷积投影,逐步将特征维度从 ???? 压缩到 ????/4。这种解码器设计有几个显著的优势:首先,横向连接有效地保留了编码器的空间细节。其次,渐进式融合机制确保了语义信息在不同层次之间的平滑传播。第三,门控跳跃连接增强了模型自适应选择特征重要性的能力。最后,水平对齐模块提高了特征之间的语义一致性。从特征优化和梯度传播的角度来看,这些设计选择通过在对融合之前对多尺度表示进行对齐,以及通过递归连接创建更短的反向传播路径来促进梯度流动,共同确保了特征的一致性。这些是相对于简单解码器架构的关键优势。2.5. 双向门控融合模块为了有效地将前端增强器提取的多尺度特征与主干解码器的深度语义特征集成,本研究提出了一个双向门控融合模块,如图 3 所示。该模块通过双向特征投影、门控注意力机制和动态卷积操作实现了多层次的自适应特征融合,显著增强了特征表示的丰富性和可区分性。图 3. 双向门控融合模块的示意图。2.5.1. 特征投影和空间对齐给定双路径特征 ??dual ∈?????×????×???? 和解码器特征 ??dec ∈?????×????×????,首先通过 1 × 1 卷积层将特征投影到一个统一的融合空间:??dual=Conv1×1?(??dual)∈?????×??×????dec=Conv1×1?(??dec)∈?????×??×?? (13)这里 ???? 表示预定义的融合通道维度。当输入特征之间的空间维度不匹配时,应用双线性插值进行空间对齐:??′dual=Interpolate?(??dual,size=(????,????)) (14)这种对齐操作确保了后续融合步骤的空间一致性,并为有效的特征交互奠定了基础。2.5.2. 双向门控注意力机制该模块的核心创新在于其双向门控注意力机制,它通过利用全局上下文信息生成通道自适应的门控权重。具体来说,首先通过全局平均池化提取通道级统计信息:??dual=GAP?(??′dual)=1??×?????∑??=1??∑??=1??′dual?(??,??) (15)为了建模通道之间的关系并生成自适应权重,我们将通道描述符通过一个瓶颈结构传递,该结构捕获通道间的依赖性:??dual=???(??2·ReLU?(??1·??dual)) (16)瓶颈中的压缩比 8 将通道信息压缩以学习通道关系的紧凑表示,而 Sigmoid 激活产生 (0, 1) 范围内的软门控值。这种设计使模型能够根据全局上下文强调相互依赖的通道,同时抑制不太相关的通道。其中 ??1 ∈?(????/8)×???? 和 ??2 ∈?????×(????/8) 是可学习参数,?? 表示 Sigmoid 激活函数。相同的计算过程也应用于解码器特征以生成 ??dec。最终,通过元素级乘法将门控权重应用到相应的特征上:??dual=??′dual⊙??dual??dec=??dec⊙??dec (17)这里 ⊙ 表示元素级乘法操作。这种机制使模型能够自适应地强调信息丰富的通道,同时抑制冗余或噪声较大的通道,从而在特征级别实现细粒度调节。2.5.3. 动态特征融合为了进一步提高融合性能,该模块引入了动态卷积操作。首先,沿通道维度连接双向门控特征。虽然门控注意力提供了通道级选择,但有效地融合两个流还需要捕获在不同样本间变化的空间交互。为了解决这个问题,我们引入了动态卷积,使其参数适应每个输入:??enhanced=?????(???(Concat?[??dual,??dec]))∈?2?????×??×?? (18)与具有固定内核的标准卷积不同,?? 生成基于输入特征的核权重,使得样本自适应的跨流交互成为可能。这允许模型捕获不同图像(例如,不同类型的云或背景)之间的变化特征关系,随后通过增强的注意力模块 ???? 进一步细化。2.5.4. 输出转换和特征细化最后,通过输出投影层生成高质量融合特征:??=Dropout0.1?(ReLU?(BN?(Conv3×3?(??enhanced)))) (19)该模块返回相同的特征对(??,??)以供后续处理,保持特征一致性,同时提供足够的语义信息。双向门控融合模块有几个显著的优势:首先,双向投影机制确保了来自不同来源的特征的有效对齐和交互。其次,基于全局上下文的门控注意力实现了通道级的自适应特征选择。第三,动态卷积操作增强了模型对输入变化的适应性。最后,完全可微的分端到端设计支持高效的梯度传播和参数优化。实验结果表明,该模块在复杂的视觉理解任务中有效地提高了特征表示的质量和可区分性。2.6. 损失函数本研究采用联合主辅助损失优化策略来平衡深度语义特征和浅层细节特征的学习。总体损失函数包括主要分割损失和辅助监督损失:?total=?main+??·?aux (20)其中 ?main 和 ?aux 都使用交叉熵损失函数。辅助损失权重 ?? 遵循线性衰减计划,并在训练过程中动态调整:???(??)=??begin+??end???begin??total·?? (21)这里,t 表示当前训练周期,??total 表示总训练周期数,而 ??begin 和 ??end 分别表示初始和最终的权重值。根据经验调整,我们设置 ??begin =0.5 和 ??end =0.4,因为这种线性衰减计划在初步实验中显示出比固定权重更好的收敛性。这种设计允许模型在训练初期更依赖辅助监督来保证稳定性,然后在后期逐渐转向主要任务的优化。3. 实验设置和结果本节详细介绍了实验中使用的数据集、参数配置和采用的准确性评估标准。在此基础上,我们进行了消融实验,以验证各模块的有效性和贡献。最后,我们对提出的模型与其他最先进方法在多个数据集上进行了深入的定性和定量比较分析,以全面评估其性能和鲁棒性。3.1. 数据集HRC_WHU 数据集 [41] 由武汉大学的 SENDIMAGE 实验室创建,用于高分辨率遥感图像中的云检测任务。该数据集包含 150 张来自 Google Earth 的高分辨率图像,覆盖了全球的各种区域,并包含五种主要的地物类型:水、植被、城市、雪地和荒地,如图 4 所示。在我们的实验中,HRC_WHU 数据集被裁剪成互不重叠的图像片段,每个片段大小为 256 ×256 像素。训练集包含 8800 个补丁,而测试集包含 2800 个补丁。图 4. HRC_WHU 数据集中的不同地物类型的云图像。(a) 图像,(b) 真实值。在 HR_WHU 数据集的真实值掩码中,像素值 0 和 1 分别代表背景和云。因此,在图4中,第b行的黑色像素对应于背景。为了增强数据集的多样性并提高模型的泛化能力,在训练阶段,我们采用随机裁剪和缩放技术将图像调整到指定的大小。裁剪区域的面积比例在75%到15%之间随机变化。3.2 实验设置和评估指标我们的实验是在配备NVIDIA RTX 3090 GPU(24 GB VRAM)的工作站上进行的,使用的是PyTorch 1.12.1、CUDA 11.6和cuDNN 8.4。所有模型都在FP32精度下训练了100个周期,批量大小为16,受到GPU内存的限制。我们采用了AdamW优化器(初始学习率:2 ×10?4,??1 = 0.9,??2 = 0.999),并应用了L2权重衰减(?? = 0.01)。采用了一种分段的学习率调度机制,包括一个热身阶段和一个余弦退火阶段:热身阶段(当?? ?warm时):???(??)=??init·????warm (22)余弦退火阶段(当?? ≥??warm时):???(??)=??min+(??max???min)·???(??)???(??)=0.5+0.5·cos?(??·?????warm??total???warm)(23)这里,??warm表示热身周期的数量,??init表示初始学习率,而??min和??max分别表示学习率的最小和最大界限。这种设计通过热身阶段确保了训练的稳定性,并在后续阶段通过余弦退火实现了精细的优化。为了确保可重复性,我们固定了随机种子,并报告了3次运行的平均结果。云检测性能的评估使用了多种广泛采用的定量评估指标,即准确性、精确度、召回率、F1分数和交并比(IoU)。以下是这些关键指标的定义:准确性=TP+TN/TN+FP+FN (24)精确度=TP/(TP+FP)(25)召回率=TP/(TP+FN)(26)F1分数=2×精确度×召回率/(精确度+召回率)(27)IoU=TP/(TP+FP+FN)(28)其中TP、TN、FP和FN分别代表真正例、假正例、假负例。平均IoU是所有类型(云和背景)的IoU的算术平均值。3.3 双路径中特征表示的分析双路径网络的实验结果揭示了明显的功能差异,具体分析如下。3.3.1 特征表示和注意力机制如图5所示,基础分支的特征图显示出相对较高的平均值(0.3031),表明激活的像素值较大,响应强烈。可视化结果显示,该分支保留了原始图像的大部分结构和内容信息,具有清晰的轮廓,表明其在学习全局和基本表示中的作用。相比之下,增强分支的特征图平均值较低(0.1931),意味着特征激活较为稀疏,整体响应更为均匀。然而,在具有显著纹理变化的区域,它的激活相对较高。这种现象表明,增强分支的功能不是面向全局重建,而是面向提取和放大图像中的局部细节信息。图5. 双路径网络的特征图和注意力可视化比较。此外,注意力图分析也证实了这种功能差异。虽然两个分支都关注云区域,这是云检测任务的预期,但仔细观察它们的激活模式会发现不同的但互补的专门化。基础分支的注意力权重更集中在信息丰富和纹理特征明显的区域,如云中心区域。相比之下,增强分支在整个图像中显示出更分散的注意力模式,在低对比度和纹理减弱的区域(如薄云)显示出更显著的响应,这些特征对于准确分类云层至关重要。这一点在图5中的绿色和蓝色框中得到了清晰展示,原始图像中的薄云区域在增强分支中显示出显著更高的注意力值,证实了其在恢复细粒度纹理细节中的作用。由于基础特征提取中的平滑处理,基础分支在这些区域的激活水平较低。在由粉色框标记的厚而均匀的云区域(外观平滑且纹理特征最少),增强分支的注意力值略高于基础分支,表明它即使在纹理缺失的区域也能有意义地贡献特征表示。总体而言,增强分支在所有类型的云中始终保持较高的注意力,特别是在细节恢复最为关键的薄云区域,同时在平滑和纹理缺失的区域也起着重要作用。尽管基础分支的绝对注意力值略低,但它提供了必要的结构背景。当与增强分支的连续增强效果结合时,它能够实现比单独任何一个分支更全面的云检测。3.3.2 注意力和熵如图6中的数据所示,基础分支和增强分支表现出不同的注意力模式和信息熵特征,强调了它们的互补作用。基础分支的特点是注意力分布分散(顶部30%的高注意力区域仅覆盖了图像的46.4%)和高的信息熵(15,972.31),确保了全局结构的全面覆盖和稳定保持。相比之下,增强分支采用了高度集中的注意力机制(顶部30%的高注意力区域覆盖了72.9%),结合了较低的信息熵(13,234.88),这有助于精确定位和增强关键区域的处理。这两个分支之间的这种协作动态为图像处理任务提供了有效的解决方案,成功平衡了全局保真度和局部细化。3.3.3 相关性分析如图7中的数据所示,空间相关性和激活值的分析揭示了基础分支和增强分支之间的高度功能差异和互补性,这通过它们极低的空间相关性(0.0107)和激活比较值(0.0041)得到了证实。这些低值反映了结构上的互补性而非噪声,因为散点图显示了聚集的分布(表明系统性的空间专门化),样本间的比较显示了跨图像的一致激活模式。这些统计证据证实了它们不同的但互补的角色:基础分支作为基础,提供了全局和稳定的结构表示,而增强分支则作为专门的增强器,负责精确恢复和增强基础分支通过选择性和微妙的激活调制而忽略或平滑掉的局部细节。因此,“全局基础”与“局部调制”的结合策略为高质量图像处理建立了一个有效的范式。3.4 解码双向门控融合模块的作用所提出的双向门控融合模块在多个测试样本中展示了出色的特征融合能力,如图8所示。其分层设计首先应用双向门控注意力机制来选择性地加权高分辨率细节和语义信息。这种“特征净化”对于后续的深度融合至关重要。图8. 双向门控融合模块中的特征选择和集成。对三个代表性样本(11_12.png、19_69.png、24_67.png)的定量结果证实了该模块的有效性。它实现了显著的特征能量增强(分别提高了6.26倍、7.37倍和7.04倍),这种非线性效应主要归因于动态卷积层。此外,该模块通过增强的注意力机制优化了特征分布,提高了语义一致性,同时保留了丰富的细节。特征多样性的稳定性显著提高(分别提高了1.32倍、1.42倍和1.45倍)。这反映在特征的标准差上,从解码器特征的0.455提高到了融合后的0.5386–0.6002,实现了分布广度和稳定性之间的理想平衡。值得注意的是,样本24_67.png尽管初始特征平均值较低(0.3291),但仍实现了7.04倍的能量增益和1.45倍的多样性提升,突显了该模块的强大适应性。最后,一个具有256通道容量的输出投影层确保了增强后的特征具有足够的表达能力,适用于后续的云检测任务,提供了高激活强度、丰富的多样性和强的区分能力。总之,该模块通过“门控选择→动态融合→注意力细化→容量保留”的串行过程构建了一个高效的流程。其核心优势在于执行自适应的、非线性的、多维的深度融合,从而结合了高分辨率细节的“广度”和语义信息的“深度”,生成了在能量和多样性方面都有显著提升的高质量特征表示。3.5 消融实验为了验证所提出的双路径架构、门控融合模块和辅助输出机制的各自贡献,我们进行了系统的消融研究。如表1所示,所有实验使用了相同的数据集和训练设置。我们通过逐步添加每个模块来定量评估性能改进。表1. 不同模块对HRC_WHU数据集性能影响的消融研究分析。我们的基线(M1)是一个标准的U-Net架构,具有ResNet-18编码器和由上采样层和卷积块组成的基本解码器。我们首先引入了双路径特征提取模块(M2)。这一添加带来了显著的性能提升,mIoU从89.04%提高到了90.91%(+1.87个百分点)。这证实了双路径设计的有效性,它通过其并行的基础路径和增强路径捕获了高级语义和多尺度细节,从而构建了更具区分性的特征表示。在双路径架构的基础上,我们集成了双向门控融合模块(M3)。结果显示mIoU进一步提高到了92.02%(比M2提高了1.11个百分点)。这表明简单的连接或添加对于融合来说是不够的。相比之下,门控机制适应性地学习了两个路径之间的相互依赖性,并动态调整了它们的贡献权重,从而实现了更高效和稳健的特征融合,充分利用了它们的互补优势。最后,我们将辅助输出监督集成到M3中,形成了我们提出的完整模型(M4)。该模型在所有指标上均取得了最佳性能,mIoU、F1分数和OA分别达到了92.82%、96.27%和96.31%。尽管辅助输出的绝对改进较小,但它在稳定训练过程和减轻深度网络中的梯度消失方面发挥了关键作用,从而对最终性能做出了贡献。总之,我们的消融研究展示了每个组件的累积效益。双路径架构是主要的改进来源(贡献了大约49.5%的总mIoU增益),确立了模型的基本能力。门控融合模块是一个关键的优化(贡献了大约29.4%),充分释放了双路径的潜力。辅助输出提供了必要的训练稳定性和正则化(贡献了大约21.1%)。这些结果共同验证了我们框架中每个提出的模块的必要性和协同效应。3.6 对比研究为了全面评估我们的模型,我们对HRC_WHU数据集与几种最先进的方法进行了比较分析。选定的竞争者包括基于CNN的(AFMUnet [12]、BABFNet [18])、基于Transformer的(CSDFormer [28])和混合架构(TransGA [36]、SwinCloud [37]、DFC-Net [38]),涵盖了当前领域中主要的网络范式。这一全面比较验证了我们两项核心创新的协同效应。首先,双路径特征增强器在前端丰富了输入表示,允许使用轻量级的骨干网络。其次,双向门控融合模块进一步细化了这些特征,最终提高了融合准确性和模型的区分能力,超越了现有的专门化或混合设计。所提出的模型在平衡计算效率和分类准确性方面取得了突破。如图9所示,我们的模型复杂度仅为12.04 GFLOPs,达到了所有竞争者中最低的水平——比第二高效的模型AFMUNet(15.74 GFLOPs)低大约30%。重要的是,这种卓越的效率是在不牺牲准确性的情况下实现的。该模型的整体准确率(OA)达到了96.31%,显著优于所有比较方法。它比排名第二的DFC-Net(95.82% OA)高出0.31个百分点,同时计算成本降低了大约58%。此外,与AFMUNet(93.11% OA)相比,我们的模型在参数复杂度相似的情况下实现了3.02个百分点的准确率提升。这表明我们的创新架构实现了高效的参数利用,以最小的计算负担提供了最佳的分类性能,从而为资源受限环境中的高精度视觉任务提供了理想的解决方案。图9. 基于参数、OA和FLOPs的模型效率比较。如表2中全面总结的,我们的模型在所有评估指标上均达到了最先进的性能。它的mIoU为92.82%,F1分数为96.27%,精确度为96.26%,召回率为96.29%,整体准确率(OA)为96.31%。值得注意的是,该模型在关键的mIoU指标上显著超越了强大的DFC-Net基线模型,优势达到了1.83个百分点。此外,我们的模型在保持顶级精确度的同时,还实现了最高的召回率,证明了在最小化误报和减少漏检之间的有效平衡。结果表明,我们的方法优于其他采用不同架构范式的先进模型,从而验证了所提出方法的优越性和有效性。表2展示了不同模型在HRC_WHU数据集上的评估指标比较。图10中的定性比较直观地凸显了我们的方法在各种具有挑战性的场景中的卓越性能。在第一行中,展示了一张清晰的云图像,所有基线模型在粗略层次上都表现出良好的检测性能。然而,我们提出的方法能够生成更细致的边界,并保留了云体更多的完整边缘细节。在第二行中,描绘了一个有薄云的城市场景,我们的方法在捕捉云边界和半透明区域(地面信息隐约可见)方面取得了更高的准确性,显示出更强的弱特征提取能力。图10展示了使用不同方法在HRC_WHU数据集上进行云检测的结果。(a) 图像,(b) 真实情况,(c) BABFNet,(d) CSDFormer,(e) TransGA,(f) AFMUnet,(g) SwinCloud,(h) DFC-Net,(i) 我们的方法。云和雪的共存对云检测构成了持续的挑战。如第三行所示,当云和雪在空间上是分离的时候,现有模型仍能保持基本的检测能力。然而,当薄云与厚雪层重叠时(第四行和第五行),这些模型难以区分两者,导致大量漏检或误分类。相比之下,我们的方法在这些复杂场景中仍能保持稳健和稳定的检测性能,显著优于所有现有方法。虽然我们的双路径设计并没有明确模拟云和雪之间的区别,但我们将这种性能提升归因于来自互补路径(全局结构和局部细节)的增强特征表示,以及动态选择每个区域最相关特征的自适应门控机制。这些特性共同提高了在复杂场景中的区分能力,即使在没有针对云雪分离的任务特定监督的情况下也是如此。关于明确的云雪区分的进一步研究将留待未来的工作。
4. 讨论
优势:基于全面的实验和分析,我们的模型展示了三个关键优势。首先,它在平衡计算效率和检测准确性方面取得了突破。该模型仅以12.04 GFLOPs的运算量,在HRC_WHU数据集上实现了96.31%的总体准确率和92.82%的平均IoU,大幅优于同类模型,为计算资源受限的机载或边缘部署提供了实用的解决方案。其次,该模型通过其双路径特征增强器和双向门控融合模块实现了高效的多级特征提取和融合。前端增强器采用并行架构来多样化输入表示,减少了对重型神经网络的依赖,而融合模块则利用门控注意力和动态卷积来适应性地结合语义和空间特征,显著提高了弱特征的捕获和边界保持能力。最后,该架构在复杂场景中表现出强大的鲁棒性。即使在薄云、城市景观和云雪共存的情况下,它也能持续保持高检测准确性,有效平衡了误报和漏检。其在多种环境下的卓越性能验证了所提出方法的有效性和通用性。
劣势:所提出的模型仅在三通道RGB图像上开发和评估,这限制了其利用近红外和短波红外波段中丰富光谱信息的能力。在当前仅使用RGB数据的实验背景下,这既是数据限制(输入缺乏光谱信息),也是模型限制(我们的架构是为三通道输入设计的)。这本质上限制了其在更精细的云分析任务(例如,区分冰云和水云)或细粒度云类型识别(例如,区分对流云和积雨云)方面的潜力。因此,该模型在某些复杂场景中的区分能力,特别是在光谱特征对准确检测至关重要的情况下,与使用多光谱或高光谱输入相比仍然有限。解决这一限制需要架构上的改进,以适应多光谱输入,这是我们未来工作的主要方向。
5. 结论与未来工作
在本文中,我们提出了一种用于高分辨率遥感图像中云检测的新型轻量级网络,有效平衡了准确性和效率。为了解决依赖计算密集型神经网络的现有模型的局限性,我们引入了两项关键创新:一种双路径特征增强器,它丰富了多尺度输入表示,同时减少了了对神经网络的依赖;以及一种双向门控融合模块,它在解码过程中自适应地整合了语义和空间特征。在HRC_WHU数据集上的实验表明,我们的模型实现了最先进的性能,OA为96.31%,mIoU为92.82%,而仅需12.04 GFLOPs的运算量——比同类方法效率高得多。该模型在处理薄云和精细边界等具有挑战性的特征时保持了高精度,同时没有牺牲效率。这些结果证实了我们的方法成功弥合了检测性能和操作实用性之间的差距。所提出的网络为资源受限的环境(如机载卫星处理和边缘计算)提供了高效、稳健的解决方案,提升了实时云检测能力。在现有的基于RGB的框架基础上,未来的研究将探索将其扩展到多光谱和多模态领域。一个主要方向是将架构泛化到多光谱输入,特别是利用VNIR和SWIR波段来推进边缘分析和精确的云类型识别。同时,我们计划将双路径特征增强器发展为自适应的多模态匹配模块。这一创新将使其能够从多样化的数据源中提取和融合互补特征,实现强大的多模态融合,而无需对特定模态的神经网络进行修改,从而保持了模型的轻量化和多功能设计原则。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号