一种具有双路径特征增强器和双向门控融合技术的轻量级网络,用于云检测 严 莫(Yan Mo) 陈 普辉(Chen Puhui) 白 少伟(Bai Shaowei) 肖 二宝(Xiao Erbao)

《Sensors》:A Lightweight Net with Dual-Path Feature Enhancer and Bidirectional Gated Fusion for Cloud Detection Yan Mo, Puhui Chen, Shaowei Bai and Erbao Xiao

【字体: 大 中 小 】 时间:2026年03月11日 来源:Sensors 3.5

编辑推荐:

  摘要 云检测是遥感图像处理和定量应用中的关键预处理步骤。然而,现有的基于深度学习的模型通常依赖于计算密集型的主干网络来实现高精度,这限制了它们在资源受限的场景中的部署,例如在机载处理或边缘计算中。为了在精度和效率之间取得平衡,本文介绍了一种轻量级的云检测网

  摘要 云检测是遥感图像处理和定量应用中的关键预处理步骤。然而,现有的基于深度学习的模型通常依赖于计算密集型的主干网络来实现高精度,这限制了它们在资源受限的场景中的部署,例如在机载处理或边缘计算中。为了在精度和效率之间取得平衡,本文介绍了一种轻量级的云检测网络。我们网络的核心创新有两大点:(1)一个双路径特征增强器,它在前端通过并行架构提取和融合多尺度特征,显著丰富了特征多样性和表示能力,从而减少了对复杂主干网络的需求;(2)一个双向门控融合模块,它通过门控注意力机制和动态卷积,将双路径特征增强器的多尺度特征与主干解码器的深度语义特征自适应地整合在一起,从而提高了特征的可区分性。在公共的HRC_WHU数据集上的全面实验表明,所提出的模型实现了96.31%的总体准确率和92.82的平均交并比,计算成本仅为12.04 GFLOPs,优于几种最先进的方法。这些结果验证了我们的方法有效地在高检测性能和计算效率之间取得了平衡,为高分辨率遥感图像中的实时、轻量级云检测提供了实用的解决方案。

1. 引言
随着卫星遥感技术的快速发展,高分辨率遥感图像已在众多领域得到广泛应用。然而,云层覆盖在遥感图像处理中构成了一个严峻的挑战,因为它阻碍了光学传感器捕获地表信息,导致数据丢失和后续应用中的潜在偏差[1]。因此,云检测一直是遥感社区中预处理研究的一个关键且具有挑战性的焦点。卷积神经网络(CNNs)[2]利用局部感受野、权重共享、平移不变性和池化,在提取光谱和地理空间特征方面表现出色,使得深度架构能够捕获对云检测至关重要的高级语义表示。DCNet [3]在编码器-解码器框架中整合了可变形卷积,以自适应地捕获云形态,解决了空间信息丢失的问题。然而,编码器-解码器架构面临着空间信息丢失和特征稀释的问题,这促使云检测方法从纯卷积结构转向全局特征提取技术,如注意力模块。一些研究[4,5]开始将注意力机制纳入UNet [6]。CDUNet [7]结合了空间先验自注意力(SPSA)和双向注意力机制,有效减少了特征冗余,并提高了网络检测云的能力。CDnetV2 [8]和CFCA-Net [9]进一步利用通道和空间注意力模块来细化特征图,并突出显示关键的色彩、纹理和空间云特征。张等人提出的云检测模型[10]结合了概率上采样和注意力机制来增强云区域,而SEUNet++ [11]和AFMUNet [12]则整合了轻量级的通道/空间注意力模块,以实现自适应的视野调整,提高了云检测性能。为了增强深度学习网络捕获复杂特征的能力,研究人员探索了多特征融合策略。张等人引入了CSD-Net [13],结合了多尺度特征融合(MFF)和可控深度监督与特征融合(CDSFF),有效捕获了云和雪的显著语义特征。王等人设计了ABNet [14],其中包含全尺度特征融合(AF)模块,使解码器能够整合所有分辨率的特征。GCDB-UNet [15]通过全局上下文密集块增强了UNet,提高了对薄云的检测能力。吴等人的基于边界的模型[16]加强了不同大小云的多尺度特征提取。CRSNet [17]采用了多尺度全局注意力模块,提高了通道和空间信息的准确性。BABFNet [18]使用边界预测分支来增强复杂区域中的云检测。GANet [19]引入了GFAM和PAPM,结合了空间细节和高级语义,同时提取多尺度全局特征。MCDNet [20]利用MSFF来补偿空间信息丢失,提高了对碎片化云的敏感性。此外,增强特征输入[21,22,23,24,25]证明了多特征融合在丰富网络云检测能力方面的有效性。CNNs在局部连接方面表现出色,但在全局上下文捕获方面存在不足,而Transformer(如ViT [26]和Swin Transformer [27])在全局特征提取和上下文理解方面表现出色。李等人提出了一种新的CS(云和阴影)检测算法CSDFormer [28],在编码器阶段特别使用了分层转换器结构来提取CS特征。每个转换器层都包含多个多头自注意力机制,用于计算像素的长距离连接性。一些研究将Transformer与CNN结合,以增强云检测网络。陆等人[29]和龚等人[30]将Swin Transformer和CNN结合,用于语义和空间细节提取。CNN-TransNet [31]采用了混合CNN-Transformer和差异特征增强,以提高云的区分能力。顾等人的[32]混合模型结合了轴向共享混合注意力和注意力引导模块,以实现高效融合。CD-CTFM [33]使用了轻量级的CNN-Transformer编码器-解码器与注意力门。MAFNet [34]将ResNet50和Swin Transformer与多分支注意力融合相结合。MMA网络[35]利用多尺度重叠块、PVT、条带卷积和多尺度全局聚合来丰富语义提取。这些混合方法展示了结合CNN和Transformer进行高级云检测的潜力。徐等人提出了一个具有梯度感知特征聚合的集成Transformer(TransGA-Net)[36]。该框架使用Transformer作为编码器,显著增强了全局特征和长期依赖性的建模能力。高等人提出了SwinCloud [37],用于热红外光谱范围内的云检测。该网络通过基于CNN的并行路径增强了Swin Transformer的窗口注意力模块,有效地对全局-局部信息进行了建模。周等人提出了一个双分支协作优化网络(DFC-Net)[38],通过双分支交互机制实现了跨尺度特征融合和细节增强,结合了全局上下文建模和局部细节感知。然而,最先进的云检测模型主要依赖于计算密集型的主干网络,导致参数数量庞大和推理速度缓慢。这限制了它们在资源受限平台(如边缘设备或卫星系统)上的部署。现有方法往往陷入一个权衡:它们要么通过增加网络复杂性来提高检测精度——牺牲了实用性——要么通过过度简化架构来优先考虑效率。这种简化特别削弱了模型表示弱特征(例如薄云)和精确边界的能力,这在城市景观和雪云共存等具有挑战性的场景中至关重要,从而从根本上限制了在这些条件下的检测性能。为了解决这些限制,本文介绍了一种轻量级的云检测网络。所提出的模型包括四个核心组件:双路径特征增强器、轻量级主干网络、渐进式特征金字塔解码器和双向门控融合模块。通过这种系统和以轻量化为导向的设计,网络在保持竞争性检测准确性的同时显著提高了计算效率。本工作的主要贡献总结如下:

我们提出了一个双路径特征增强器,部署在网络的前端。它由两个专用路径组成,分别捕获全局结构信息和局部细节特征。引入了一种自适应融合机制,有效地整合了来自两条路径的多尺度表示。这种设计显著丰富了输入特征的表达能力,并减少了对重型主干网络的依赖。我们设计了一个双向门控融合模块。它采用双向门控注意力机制,自适应地从多尺度特征流(由前端增强器提供)和深度语义流(来自主干解码器)中选择有信息量的特征。结合动态卷积和增强的注意力机制,该模块建立了“选择-融合-细化”的工作流程,在特征融合过程中保留了空间细节并加强了语义一致性。实验结果表明,所提出的网络在HRC-WHU数据集上实现了具有竞争力的检测精度,同时计算开销较低。这在精度和效率之间实现了有效的平衡,为在资源受限的场景中部署云检测模型提供了实用的解决方案。

2. 方法论
我们提出的轻量级云检测网络包括四个核心组件:双路径特征增强器、ResNet-18主干网络、渐进式特征金字塔解码器和双向门控融合模块。首先,双路径特征增强器提取丰富的多尺度上下文特征,以减少对复杂主干网络的依赖。这些特征随后由ResNet-18主干网络编码为深度语义表示。然后,渐进式特征金字塔解码器分层解码主干特征,而双向门控融合模块通过门控注意力和动态卷积自适应地将解码器的深度语义特征与前端增强器的多尺度特征合并。这种集成架构在检测精度和计算效率之间实现了有效的平衡。图1展示了模型的整体框架。

2.1. 整体设计理念
所提出的架构遵循一个渐进式细化流程,每个组件解决特定的挑战,其输出作为后续模块的优化输入。我们从包含复杂背景、噪声和不同云规模的原始遥感图像开始。直接将这些输入输入到深层主干网络中,将迫使它同时处理低级去噪和高级语义抽象,这两个相互竞争的目标降低了效率。因此,双路径特征增强器首先进行低级特征细化,抑制背景杂乱,同时放大云边缘和薄云等显著元素。这为主干网络提供了更清晰、更有结构的表示。由于增强器处理低级提取,ResNet-18主干网络可以将其有限的能力集中在通过渐进式下采样构建分层语义表示上,生成多尺度特征金字塔。这种功能解耦,其中增强器处理空间元素,主干网络处理语义抽象,证明了使用轻量级主干网络而不牺牲性能的合理性。主干网络的特征金字塔包含丰富的语义,但分辨率各不相同。直接连接这些特征通常会导致层次之间的语义不对齐。渐进式解码器通过自上而下的递归融合解决了这个问题:更深层次的语义特征逐渐与较浅的空间信息融合,而水平对齐确保了每次融合步骤之前的特征一致性。最后,我们必须整合两个语义上不同的流:富含空间元素的增强器输出和富含语义上下文的解码器输出。双向融合模块将两个流投影到一个统一的空间中,应用门控注意力进行通道级自适应重新校准,并使用动态卷积进行样本自适应的跨流交互,确保融合后的表示利用了两个流的优势。本质上,该架构从低级细化逐步发展到分层语义,然后是一致的多尺度解码,最后是自适应的跨流融合,每个组件的设计都是基于其在流程中的特定需求。

2.2. 双路径特征增强器
我们提出了一种分层双路径特征增强架构,通过注意力引导的增强和门控融合机制逐步整合多级特征。双路径设计的概念在之前的工作中已有探索,例如BiSeNet [39],其中空间和上下文路径并行操作以保留细节和捕获上下文。然而,我们的双路径增强器有根本的不同。首先,它被定位为主干网络之前的前端预处理模块,而不是网络中的并行分支。其次,它的目的是低级特征细化,使轻量级主干网络能够专注于语义建模。这种序列化解耦与BiSeNet的并行互补性形成对比。第三,其输出通过双向门控与解码器特征融合,而不是直接用于预测。这些区别将我们的增强器定位为输入细化机制,而不是分割主干网络。整个过程可以在图2中参考。这种设计能够从不同的特征源中自适应地提取互补信息:一个路径保留全局结构信息,提供稳定的基础,而另一个路径专注于提取和放大可能在基本表示中被忽略的局部细节特征(例如薄云和边缘细节)。提前分离它们可以防止全局结构被局部细节稀释,允许每个路径在融合之前进行专门化,之后通过细粒度权重调整优化最终的特征表示。

2.2.1. 注意力特征增强阶段
首先,原始特征通过注意力机制进行重新校准。此阶段生成空间-通道自适应注意力权重,这些权重在增强有用特征的同时抑制冗余信息:????,????=Split?(?????(????(Concat?(??,??)))) (1)其中,??? 是作为轻量级 1 × 1 卷积层实现的特征融合模块,它将连接的双路径特征(23?? 通道)缩减为 C 通道的紧凑表示,随后进行批量归一化和 ReLU 激活。这种设计在保持计算效率的同时,实现了高效的跨路径信息交换。???? 表示注意力模块,它首先应用全局平均池化来聚合空间信息,然后通过两层瓶颈结构(压缩比为 4)捕获通道间的依赖性,最后通过 Sigmoid 激活生成空间-通道注意力权重。输出被分为 ???? 和 ????,分别对应于基础路径和增强路径的注意力权重。这种机制使模型能够自适应地强调信息丰富的通道和空间区域,同时抑制冗余部分。然后通过元素级乘法获得增强特征:??enhanced=??⊙??????enhanced=??⊙???? (2)2.2.2. 门控融合阶段虽然注意力提供了空间-通道的重新校准,但自适应平衡两个增强流的相对贡献仍然是一个挑战。为了解决这个问题,我们引入了一种门控机制,该机制基于组合的特征上下文学习最优的融合权重:????,????=Split?(?????(????(Concat?(??enhanced,??enhanced)))) (3)其中 ???? 表示门控权重生成模块,它由两个连续的 1 × 1 卷积层组成:第一个层通过 ReLU 激活将通道维度从 C 降低到 ??/2,第二个层生成一个 2 通道的门控图。沿通道维度应用 Softmax 激活来规范化门控权重,得到满足 ???? +???? =?? 的 ???? 和 ????。这确保了两个特征流按比例竞争,它们的相对重要性根据每个空间位置自适应确定。这种设计使模型能够根据局部上下文动态确定每个特征流应贡献多少,而不是使用固定的融合比率。最终输出通过门控加权求和获得,该求和根据学习到的门控权重融合两个流:??enhanced=??enhanced⊙????+??enhanced⊙???? (4)这种加权求和确保了最终表示保留了来自基础路径的全局结构稳定性和来自增强路径的局部细节敏感性,它们的相对重要性根据每个空间位置自适应调整,这是相对于简单连接或加法的优势。2.3. 主干网络在所提出的架构中,主干网络承担着从预处理输入中提取层次化语义特征的关键功能。在仔细评估了计算效率和表示能力之间的权衡后,选择了 ResNet-18 作为基础主干网络。这一选择是基于前面的双路径增强模块已经生成了丰富且结构良好的初级特征。通过执行初始特征提取和细化,它降低了输入空间的复杂性,并为主干网络提供了一个更清晰、更具信息量的起点。因此,主干网络从低级特征学习任务中解脱出来,可以将其有限的容量集中在构建层次化语义特征金字塔上,使得像 ResNet-18 这样的轻量级架构足以完成任务。ResNet-18 主干网络包括四个连续的残差层,它们通过逐步下采样共同生成多分辨率特征金字塔。前向传播过程可以正式描述如下:??1?=?1?(??input)∈?64×??4×??4??2?=?2?(??1)∈?128×??8×??8??3?=?3?(??2)∈?256×??16×??16??4?=?4?(??3)∈?512×??32×??32 (5)这里,??? 表示第 i 个残差层,输出特征集 ? ={??1,??2,??3,??4} 构成了从 1/4 到 1/32 的分辨率特征金字塔。这种多尺度特征表示为后续解码器和支持分割头提供了丰富的空间和语义信息。为了加速收敛并提高泛化能力,主干网络使用在大型 ImageNet 数据集上预训练的权重进行初始化。这种初始化策略利用了从多样化视觉任务中学到的通用特征表示,有效地减轻了训练数据有限时的过拟合风险。2.4. 进阶特征金字塔解码器为了有效利用主干网络产生的多尺度特征金字塔,本研究设计了一个进阶特征金字塔解码器。通过横向连接、渐进式融合和门控机制,解码器实现了自上而下的多层次特征集成,最终生成高质量的分割特征图。2.4.1. 横向连接和特征对齐设 {??1,??2,??3,??4} 表示主干网络输出的特征金字塔,其中 ???? ∈?????×????×????。首先,通过横向卷积层将每个层次的特征投影到一个统一的特征空间:????=ReLU?(BN?(Conv1×1?(????)))∈?????×????×???? (6)这里 ???? 表示解码器的通道维度,???? 表示第 i 层的横向特征。此操作将具有不同通道数的编码器特征标准化为一致的维度,从而便于后续的融合操作。2.4.2. 自上而下的渐进式融合解码过程从最深的语义特征开始,逐步结合浅层空间信息。设 ???? 表示第 i 层的细化特征。多尺度融合中的一个关键挑战是不同层次特征之间的语义差距,其中更深层次的特征具有丰富的语义但空间细节粗糙,而较浅的特征包含精细的空间信息但语义有限。为了解决这个问题,我们在融合之前首先对齐分辨率和语义分布。对于 ?? =3,2,1(自上而下):????+1=Interpolate?(????+1,size=(????,????)) (7)这个上采样步骤通过将更深层次的特征对齐到当前层次的空间大小来解决分辨率不匹配的问题。????=????(????) (8)这里 ??? 进一步对齐横向特征的语义分布,以匹配上采样后的更深层次特征的语义分布,减少否则会降低融合质量的语义差异。这种两步对齐确保后续融合操作在空间和语义上都是一致的。????=Concat?[????+1,????]∈?2?????×????×???? (9)????=?????(????) (10)这里 ???? 表示门控跳跃连接模块,它自适应地调节来自不同来源的特征贡献。????=?????(????) (11)这里 ???? 是进一步优化特征表示的渐进式融合块。初始条件设置为 ??4 =??4,意味着最深的横向特征作为融合的起点。2.4.3. 输出特征生成在自上而下的渐进式集成之后,获得了最高分辨率的细化特征 ??1。随后通过输出投影层生成解码器输出:??output=??output?(??1) (12)这里 ??output 表示一个两阶段卷积投影,逐步将特征维度从 ???? 压缩到 ????/4。这种解码器设计有几个显著的优势:首先,横向连接有效地保留了编码器的空间细节。其次,渐进式融合机制确保了语义信息在不同层次之间的平滑传播。第三,门控跳跃连接增强了模型自适应选择特征重要性的能力。最后,水平对齐模块提高了特征之间的语义一致性。从特征优化和梯度传播的角度来看,这些设计选择通过在对融合之前对多尺度表示进行对齐,以及通过递归连接创建更短的反向传播路径来促进梯度流动,共同确保了特征的一致性。这些是相对于简单解码器架构的关键优势。2.5. 双向门控融合模块为了有效地将前端增强器提取的多尺度特征与主干解码器的深度语义特征集成,本研究提出了一个双向门控融合模块,如图 3 所示。该模块通过双向特征投影、门控注意力机制和动态卷积操作实现了多层次的自适应特征融合,显著增强了特征表示的丰富性和可区分性。图 3. 双向门控融合模块的示意图。2.5.1. 特征投影和空间对齐给定双路径特征 ??dual ∈?????×????×???? 和解码器特征 ??dec ∈?????×????×????,首先通过 1 × 1 卷积层将特征投影到一个统一的融合空间:??dual=Conv1×1?(??dual)∈?????×??×????dec=Conv1×1?(??dec)∈?????×??×?? (13)这里 ???? 表示预定义的融合通道维度。当输入特征之间的空间维度不匹配时,应用双线性插值进行空间对齐:??′dual=Interpolate?(??dual,size=(????,????)) (14)这种对齐操作确保了后续融合步骤的空间一致性,并为有效的特征交互奠定了基础。2.5.2. 双向门控注意力机制该模块的核心创新在于其双向门控注意力机制,它通过利用全局上下文信息生成通道自适应的门控权重。具体来说,首先通过全局平均池化提取通道级统计信息:??dual=GAP?(??′dual)=1??×?????∑??=1??∑??=1??′dual?(??,??) (15)为了建模通道之间的关系并生成自适应权重,我们将通道描述符通过一个瓶颈结构传递,该结构捕获通道间的依赖性:??dual=???(??2·ReLU?(??1·??dual)) (16)瓶颈中的压缩比 8 将通道信息压缩以学习通道关系的紧凑表示,而 Sigmoid 激活产生 (0, 1) 范围内的软门控值。这种设计使模型能够根据全局上下文强调相互依赖的通道,同时抑制不太相关的通道。其中 ??1 ∈?(????/8)×???? 和 ??2 ∈?????×(????/8) 是可学习参数,?? 表示 Sigmoid 激活函数。相同的计算过程也应用于解码器特征以生成 ??dec。最终,通过元素级乘法将门控权重应用到相应的特征上:??dual=??′dual⊙??dual??dec=??dec⊙??dec (17)这里 ⊙ 表示元素级乘法操作。这种机制使模型能够自适应地强调信息丰富的通道,同时抑制冗余或噪声较大的通道,从而在特征级别实现细粒度调节。2.5.3. 动态特征融合为了进一步提高融合性能,该模块引入了动态卷积操作。首先,沿通道维度连接双向门控特征。虽然门控注意力提供了通道级选择,但有效地融合两个流还需要捕获在不同样本间变化的空间交互。为了解决这个问题,我们引入了动态卷积,使其参数适应每个输入:??enhanced=?????(???(Concat?[??dual,??dec]))∈?2?????×??×?? (18)与具有固定内核的标准卷积不同,?? 生成基于输入特征的核权重,使得样本自适应的跨流交互成为可能。这允许模型捕获不同图像(例如,不同类型的云或背景)之间的变化特征关系,随后通过增强的注意力模块 ???? 进一步细化。2.5.4. 输出转换和特征细化最后,通过输出投影层生成高质量融合特征:??=Dropout0.1?(ReLU?(BN?(Conv3×3?(??enhanced)))) (19)该模块返回相同的特征对(??,??)以供后续处理,保持特征一致性,同时提供足够的语义信息。双向门控融合模块有几个显著的优势:首先,双向投影机制确保了来自不同来源的特征的有效对齐和交互。其次,基于全局上下文的门控注意力实现了通道级的自适应特征选择。第三,动态卷积操作增强了模型对输入变化的适应性。最后,完全可微的分端到端设计支持高效的梯度传播和参数优化。实验结果表明,该模块在复杂的视觉理解任务中有效地提高了特征表示的质量和可区分性。2.6. 损失函数本研究采用联合主辅助损失优化策略来平衡深度语义特征和浅层细节特征的学习。总体损失函数包括主要分割损失和辅助监督损失:?total=?main+??·?aux (20)其中 ?main 和 ?aux 都使用交叉熵损失函数。辅助损失权重 ?? 遵循线性衰减计划,并在训练过程中动态调整:???(??)=??begin+??end???begin??total·?? (21)这里,t 表示当前训练周期,??total 表示总训练周期数,而 ??begin 和 ??end 分别表示初始和最终的权重值。根据经验调整,我们设置 ??begin =0.5 和 ??end =0.4,因为这种线性衰减计划在初步实验中显示出比固定权重更好的收敛性。这种设计允许模型在训练初期更依赖辅助监督来保证稳定性,然后在后期逐渐转向主要任务的优化。3. 实验设置和结果本节详细介绍了实验中使用的数据集、参数配置和采用的准确性评估标准。在此基础上,我们进行了消融实验,以验证各模块的有效性和贡献。最后,我们对提出的模型与其他最先进方法在多个数据集上进行了深入的定性和定量比较分析,以全面评估其性能和鲁棒性。3.1. 数据集HRC_WHU 数据集 [41] 由武汉大学的 SENDIMAGE 实验室创建,用于高分辨率遥感图像中的云检测任务。该数据集包含 150 张来自 Google Earth 的高分辨率图像,覆盖了全球的各种区域,并包含五种主要的地物类型:水、植被、城市、雪地和荒地,如图 4 所示。在我们的实验中,HRC_WHU 数据集被裁剪成互不重叠的图像片段,每个片段大小为 256 ×256 像素。训练集包含 8800 个补丁,而测试集包含 2800 个补丁。图 4. HRC_WHU 数据集中的不同地物类型的云图像。(a) 图像,(b) 真实值。在 HR_WHU 数据集的真实值掩码中,像素值 0 和 1 分别代表背景和云。因此,在图4中,第b行的黑色像素对应于背景。为了增强数据集的多样性并提高模型的泛化能力,在训练阶段,我们采用随机裁剪和缩放技术将图像调整到指定的大小。裁剪区域的面积比例在75%到15%之间随机变化。3.2 实验设置和评估指标我们的实验是在配备NVIDIA RTX 3090 GPU(24 GB VRAM)的工作站上进行的,使用的是PyTorch 1.12.1、CUDA 11.6和cuDNN 8.4。所有模型都在FP32精度下训练了100个周期,批量大小为16,受到GPU内存的限制。我们采用了AdamW优化器(初始学习率:2 ×10?4,??1 = 0.9,??2 = 0.999),并应用了L2权重衰减(?? = 0.01)。采用了一种分段的学习率调度机制,包括一个热身阶段和一个余弦退火阶段:热身阶段(当??
4. 讨论
优势:基于全面的实验和分析,我们的模型展示了三个关键优势。首先,它在平衡计算效率和检测准确性方面取得了突破。该模型仅以12.04 GFLOPs的运算量,在HRC_WHU数据集上实现了96.31%的总体准确率和92.82%的平均IoU,大幅优于同类模型,为计算资源受限的机载或边缘部署提供了实用的解决方案。其次,该模型通过其双路径特征增强器和双向门控融合模块实现了高效的多级特征提取和融合。前端增强器采用并行架构来多样化输入表示,减少了对重型神经网络的依赖,而融合模块则利用门控注意力和动态卷积来适应性地结合语义和空间特征,显著提高了弱特征的捕获和边界保持能力。最后,该架构在复杂场景中表现出强大的鲁棒性。即使在薄云、城市景观和云雪共存的情况下,它也能持续保持高检测准确性,有效平衡了误报和漏检。其在多种环境下的卓越性能验证了所提出方法的有效性和通用性。
劣势:所提出的模型仅在三通道RGB图像上开发和评估,这限制了其利用近红外和短波红外波段中丰富光谱信息的能力。在当前仅使用RGB数据的实验背景下,这既是数据限制(输入缺乏光谱信息),也是模型限制(我们的架构是为三通道输入设计的)。这本质上限制了其在更精细的云分析任务(例如,区分冰云和水云)或细粒度云类型识别(例如,区分对流云和积雨云)方面的潜力。因此,该模型在某些复杂场景中的区分能力,特别是在光谱特征对准确检测至关重要的情况下,与使用多光谱或高光谱输入相比仍然有限。解决这一限制需要架构上的改进,以适应多光谱输入,这是我们未来工作的主要方向。

5. 结论与未来工作
在本文中,我们提出了一种用于高分辨率遥感图像中云检测的新型轻量级网络,有效平衡了准确性和效率。为了解决依赖计算密集型神经网络的现有模型的局限性,我们引入了两项关键创新:一种双路径特征增强器,它丰富了多尺度输入表示,同时减少了了对神经网络的依赖;以及一种双向门控融合模块,它在解码过程中自适应地整合了语义和空间特征。在HRC_WHU数据集上的实验表明,我们的模型实现了最先进的性能,OA为96.31%,mIoU为92.82%,而仅需12.04 GFLOPs的运算量——比同类方法效率高得多。该模型在处理薄云和精细边界等具有挑战性的特征时保持了高精度,同时没有牺牲效率。这些结果证实了我们的方法成功弥合了检测性能和操作实用性之间的差距。所提出的网络为资源受限的环境(如机载卫星处理和边缘计算)提供了高效、稳健的解决方案,提升了实时云检测能力。在现有的基于RGB的框架基础上,未来的研究将探索将其扩展到多光谱和多模态领域。一个主要方向是将架构泛化到多光谱输入,特别是利用VNIR和SWIR波段来推进边缘分析和精确的云类型识别。同时,我们计划将双路径特征增强器发展为自适应的多模态匹配模块。这一创新将使其能够从多样化的数据源中提取和融合互补特征,实现强大的多模态融合,而无需对特定模态的神经网络进行修改,从而保持了模型的轻量化和多功能设计原则。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号