基于Transformer深度学习网络的中分辨率成像仪夜间云检测增强方法
【字体:
大
中
小
】
时间:2025年10月14日
来源:Remote Sensing of Environment 11.4
编辑推荐:
本研究针对夜间云检测因光谱信息有限和二维真值数据获取困难而面临的挑战,提出了一种基于Transformer架构的夜间云检测框架TNCD。该研究利用CALIOP数据作为标签,基于MODIS近亿个样本段进行训练,有效整合空间特征并采用相对位置编码、层缩放和通道注意力机制。独立验证表明,TNCD在不同场景下均表现出稳健且一致的性能,总体准确率达93.26%,在冰盖区域超过90%。该算法避免了传统物理方法因使用较粗分辨率辅助数据而产生的模式噪声,并减轻了红外图像条纹对云检测的负面影响。更重要的是,研究强调了水汽吸收波段对冰盖区域夜间云检测的重要性,为夜间云检测提供了高精度、强鲁棒性的新方法,具备跨传感器应用的潜力。
在气象和气候研究中,云的监测扮演着至关重要的角色,它不仅关系到天气演变和气候变化的解读,还影响着全球水循环过程和辐射收支的调节。然而,当夜幕降临,卫星对地观测面临巨大挑战——没有了太阳光的照射,可见光通道失效,观测只能依赖有限的红外波段。这种“先天不足”使得传统的云检测方法,尤其是那些基于固定阈值的物理算法,在夜间常常“失灵”,准确率大打折扣。特别是在极地和亚极地冬季,漫长的极夜和冰雪覆盖的寒冷下垫面,更让云与雪、冰的区分变得难上加难,成为遥感领域长期存在的痛点。
尽管基于深度学习的语义分割网络(如U-Net)在白天云检测中表现出色,但它们严重依赖高质量的二维人工标注真值数据。到了夜间,可见光通道的缺失使得人工精确标注云边界几乎成为“不可能的任务”。此外,手动标注的数据集往往样本量有限、地理覆盖范围狭窄,难以捕捉全球多样化的云结构和红外响应特征,导致模型泛化能力不足。这些根本性限制,如同几座大山,阻碍了分割式网络在业务化夜间云检测产品中的应用。
为了突破这些瓶颈,一项发表在《Remote Sensing of Environment》上的研究另辟蹊径,提出了一个名为TNCD的创新型深度学习框架。该研究的核心思路是,不再强求难以获取的二维真值标签,而是巧妙地利用CALIPSO卫星上的CALIOP主动激光雷达提供的、在全球范围内分布可靠的一维垂直廓线数据作为训练标签。TNCD模型采用先进的Transformer架构,其创新之处在于能够处理二维的红外图像块(patch),并预测其中中心像素的标签(云或晴空),从而在无需完整二维云掩膜标签的情况下,有效学习云的空间结构和纹理特征。
研究人员为开展此项研究,主要运用了以下几项关键技术方法:首先,他们利用了Aqua卫星上的MODIS传感器的16个红外波段亮度温度数据,以及CALIPSO卫星的CALIOP Level 2云层产品作为地面真值,构建了大规模的匹配数据集(2011年全年用于训练,2017年特定月份用于测试)。其次,提出了TNCD模型架构,其核心包括序列提取模块(整合了通道注意力机制和相对位置编码)、Transformer编码器模块(采用相对位置偏置和层缩放策略)以及检测头(用于二分类)。训练过程采用AdamW优化器和二元交叉熵损失函数,在8块NVIDIA V100 GPU上完成。
独立验证结果表明,TNCD模型在夜间云检测任务上表现卓越。其总体准确率(OA)达到93.26%,F1分数为0.9509,均显著高于作为对比基准的传统物理算法产品MYD35(OA: 84.95%, F1: 0.8869)以及另一深度学习模型CloudCNN(OA: 91.62%, F1: 0.9387)。TNCD的生产者准确率(PA,即云检测的查全率)和用户准确率(UA,即云检测的查准率)均超过94%,显示出其既能有效识别出真实的云,又能最大限度地减少误判。
4.1.2. 针对太阳天顶角和地表类型的云检测评估
TNCD在不同太阳天顶角(SZA,从85度到161度)和不同地表类型下均表现出稳健的性能。特别是在黄昏时段(SZA < 100度),当短波红外热辐射受日光散射影响产生较大不确定性时,TNCD依然保持高准确率(>92%),而MYD35在此条件下的准确率则下降至约82%。 across various surface types, TNCD的OA在所有地表类型上均超过90%,即使在最具挑战性的冰盖(cryosphere)区域,其OA也超过了91%。相比之下,MYD35在冰盖区域的OA仅为76.98%,凸显了传统方法在该区域的严重局限性。
TNCD在不同云顶高度和云层层数条件下也表现出色。对于云顶高度在1公里以下的低云,TNCD的准确率为79.15%,虽有一定挑战,但仍优于MYD35的68.13%。随着云顶高度增加,TNCD的准确率稳定在93%以上。对于多层云,TNCD的准确率甚至超过99%。这表明TNCD能够有效应对从低云到高云的各种云况。
通过视觉对比发现,TNCD生成的云掩膜产品在多个方面优于MYD35。例如,在冰盖区域(如北极海冰),MYD35严重低估了云量,而TNCD则能准确识别;在高海拔地区(如阿尔卑斯山脉),MYD35易将寒冷晴空误判为云;对于薄卷云,TNCD的探测能力也更强。此外,TNCD结果中避免了MYD35因引入粗分辨率数值预报数据(如GDAS)而产生的规则模式噪声,也减轻了红外图像条纹噪声的影响,并且在不同下垫面(如海陆交界处)的过渡区域表现更连续自然。全球月平均云量分布图显示,TNCD与MYD35在大部分区域具有相似的空间模式,但在高纬度地区(>70°N/S),TNCD反演的云量更高,这与验证结果中TNCD在冰盖区域更高的准确率相一致,表明TNCD可能更真实地反映了这些区域的云况。
研究模拟了TNCD在不同中分辨率传感器红外波段配置下的性能。配置A(所有MODIS红外波段)和配置B(MODIS MYD35产品使用的9个波段)取得了最佳且相近的性能(OA均约93.3%)。随着波段数量减少(配置C模拟MERSI的6个波段,配置D模拟VIIRS的5个波段,配置E模拟SLSTR/AVHRR的3个波段),模型性能呈现下降趋势,但即使只有3个波段,TNCD的OA仍超过91%,F1超过0.93,显示出较强的鲁棒性。性能下降的主要原因在于冰盖区域,配置E在该区域对云顶高度在4-6公里范围内的云检测准确率显著降低。
深入分析表明,水汽吸收波段(如6.71 μm和7.32 μm)对于区分冰盖区域的云和冰雪表面至关重要。在温度逆温等复杂情况下,这些波段能提供更显著的亮温差异。TNCD结合Transformer架构的强大学习能力,能够有效利用这些波段的信息,从而在冰盖区域实现高精度的云检测。相比之下,仅依赖少数几个非水汽波段(如配置E)或传统物理方法(MYD35),在该区域的检测性能会大打折扣,尤其是在4-6公里云顶高度范围内出现明显的准确率低谷。
将TNCD应用于中国风云三号D星(FY-3D)的MERSI传感器数据,使用其6个红外波段进行训练和测试。结果表明,TNCD在独立测试集上的OA达到90.26%,F1为0.9285,显著优于业务化的MERSI云掩膜产品(MERSI CLM, OA: 71.35%, F1: 0.7772)。视觉对比显示,TNCD能更好地处理冰盖区域的云雪区分,对MERSI L1数据中存在的条纹噪声具有更强的鲁棒性,并能更清晰地描绘破碎云系的边界。尽管由于数据匹配角度较大(导致像元尺寸增大)和样本量相对较少等因素,性能略低于MODIS上的模拟结果,但仍证明了TNCD框架跨传感器应用的巨大潜力和实用价值。
研究也存在一些局限性。一是训练和验证均依赖于CALIPSO数据,其空间采样稀疏且过境时间固定,可能引入采样偏差,并影响模型对不同过境时间传感器(如MODIS Terra)的普适性。二是在冰盖区域,TNCD结果中的云边界有时会出现模糊现象,这可能与中心像素分类方式和该区域光谱混淆有关。
TNCD框架计算高效,单GPU处理整轨MODIS数据耗时不到4分钟,具备业务化应用潜力。其模块化设计易于扩展至其他云参数(如云顶高度、云相态)反演任务。通过生成初步的二维云掩膜,TNCD还可为未来开发分割式算法提供高质量的标注数据基础。
该研究成功开发并验证了TNCD这一基于Transformer的夜间云检测新框架。它有效克服了传统物理方法和现有深度学习模型在夜间,尤其是在冰盖等复杂场景下的检测难题。研究不仅证实了TNCD的高精度、强鲁棒性和跨传感器适用性,还特别强调了水汽吸收波段在提升冰盖区域夜间云检测性能中的关键作用。TNCD为生成可靠的全天候云检测产品提供了强有力的新工具,对改进天气预报、气候模型和全球辐射收支估算具有重要意义。未来的工作可集中于优化模型在极地边缘的细节表现,并探索将其应用于更广泛的遥感参数反演任务。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号