一种利用弱监督雨丝提取的视频降雨强度估计双通道框架

《Journal of Hydrology》:A dual-channel framework for video-based rainfall intensity estimation using weakly supervised rain streak extraction

【字体: 大 中 小 】 时间:2026年09月17日 来源:Journal of Hydrology 7.3

编辑推荐:

   摘要高分辨率时空降雨数据对于水文分析和城市洪水预警至关重要。利用现有城市监控摄像头,基于视频的降雨强度估算是一种潜在的、能够补充传统降雨观测手段的高分辨率方案。然而,现有大多数基于视频的方法将原始视频片段直接输入端到端模型进行降雨强度估算,且现有的雨丝提取算法无法适应复杂真实

  

摘要

高分辨率时空降雨数据对于水文分析和城市洪水预警至关重要。利用现有城市监控摄像头,基于视频的降雨强度估算是一种潜在的、能够补充传统降雨观测手段的高分辨率方案。然而,现有大多数基于视频的方法将原始视频片段直接输入端到端模型进行降雨强度估算,且现有的雨丝提取算法无法适应复杂真实日间场景。这阻碍了对有用视觉降雨特征的捕获,最终限制了估算性能。为克服这些局限,我们首先开发了一个弱监督雨丝提取框架,该框架采用自学习网络生成雨丝伪标签,从而实现弱监督条件下的自适应提取与知识蒸馏。其次,基于对视觉降雨特征形成机制的分析,我们设计了一个双通道降雨强度估算网络。该网络分别从未加工帧中提取全局视觉特征、从雨丝层中提取高频特征,然后进行时空融合以估算降雨强度。在两种不同成像条件下的监控视频实验中,结果表明该雨丝提取框架能够自适应地提取雨丝,同时减少背景干扰的影响。双通道模型在一台固定监控摄像头记录的六个独立降雨事件上进行了评估,覆盖降雨强度从0至1.1 mm/min的范围,NSE达到0.894,优于仅使用原始片段的端到端基线。这些结果证明了所提出双通道概念在基于视频的降雨强度估算中的有效性,并为未来水文应用提供了潜在的降雨感知方案。

引言

城市降雨径流模拟和洪水预警高度依赖高分辨率时空降雨数据(Berne et al., 2004, Ochoa-Rodriguez et al., 2015)。在全球快速城市化和气候变化的双重压力下,极端降水事件频发,严重加剧了洪水脆弱性(Fowler et al., 2021, Wu et al., 2026)。此外,城市景观高度复杂,密集的基础设施、广泛的非渗透表面以及人为热效应是其典型特征,这些因素导致降雨在时空上高度变化,从而降低了准确监测能力(Fowler et al., 2021, Pendergrass et al., 2017, Shepherd, 2005)。值得注意的是,未观测到的小尺度降雨变化可在水文模型中显著传播不确定性(Gires et al., 2012)。因此,对高分辨率降雨数据存在迫切需求。然而,传统观测网络(如雨量计、气象雷达和卫星系统)存在局限性,通常在部署成本、测量精度与时空分辨率之间面临权衡(McCabe et al., 2017, Sasidharan et al., 2023, Yan et al., 2023)。因此,克服这些局限以获取精确的高分辨率降雨数据仍是现代水文学的根本挑战。
机会感知和计算机视觉(CV)技术的最新进展为上述挑战提供了解决方案。城市广泛分布的监控摄像头能够捕获丰富的、直接反映降雨强度的视觉特征,CV技术可提取这些视觉特征并将其与降雨强度关联。借助快速信号传输和广泛的基础设施,这些摄像头采集的视频观测数据有望补充现有降雨监测网络(Jiang et al., 2019, Yan et al., 2023)。早期的基于视频的降雨强度估算方法主要依赖光学和气象模型估算雨滴大小分布(Allamano et al., 2015; Wang et al., 2022; Jiang et al., 2019),但受视频质量变化和雨幕效应影响,其在复杂现实场景中的适用性受到严重限制(Allamano et al., 2015, Jiang et al., 2019)。在深度学习发展的推动下,卷积神经网络(CNN)凭借强大的特征表示能力取代了传统的手工特征提取方法(Krizhevsky et al., 2017; LeCun et al., 2015)。近期研究广泛部署CNN从单帧视频中提取空间降雨特征(X. Wang et al., 2023; Yin et al., 2023, Zheng et al., 2023),随后集成序列建模算法,如长短期记忆(LSTM)网络(Rajabi et al., 2024, Zheng et al., 2024)和门控循环单元(GRU)(Rajabi et al., 2024, Manuel et al., 2025),以捕获时间动态特征,从而在测试监控场景下实现实时降雨强度估算。
尽管取得了这些进展,当前基于视频的方法仍存在局限,特别是在日间场景下。主要瓶颈在于视觉降雨特征提取不足,最终制约了估算性能。目前,大多数用于日间场景降雨强度估算的基于深度学习的方法以原始雨天帧或视频片段作为端到端神经网络的输入(Yin et al., 2023, Zheng et al., 2023, Rajabi et al., 2024, Zheng et al., 2024, Qin et al., 2025)。然而,鉴于日间场景降雨成像的光学复杂性,尽管深度学习模型能够从原始雨天帧中隐式学习降雨相关信息,但单一来源的输入可能无法充分捕获降雨的视觉特征。此外,这些模型还可能学习到由动态背景引起的与降雨无关的原始帧视觉模式,从而干扰降雨强度的准确估算(Qin et al., 2025)。此外,现有雨丝提取算法在实际部署中仍面临挑战:依赖物理先验的优化算法方法需要根据特定降雨强度手动调节系数,在实时部署中较为脆弱(Jiang et al., 2019; X. Wang et al., 2022; Zheng et al., 2023);针对特定场景设计专用滤波器的方法难以完全应对复杂真实情况(Manuel et al., 2025)。虽然近期视频去雨领域的深度学习网络在建模雨丝复杂时空分布方面表现优异(Sun et al., 2025; H. Wang et al., 2022; J. Wang et al., 2023; Yang et al., 2020, Yang et al., 2024, Yue et al., 2021),但这些架构从根本上是针对视觉图像恢复而非定量降雨强度估算进行优化的。因此,在复杂日间场景下实现自适应雨丝提取并有效融合视觉降雨特征,仍是提高基于视频降雨强度估算精度的关键挑战。
为填补这些关键空白,我们提出了一种新颖的双通道基于视频的降雨强度估算框架。该框架将弱监督雨丝提取框架与双通道降雨强度估算网络相结合。在知识蒸馏的驱动下,雨丝提取框架利用自学习网络生成雨丝伪标签,并采用弱监督策略精细提取雨丝,同时有效抑制背景噪声。该方法实现了在不同场景和可变视频质量下自适应提取雨丝。随后,双通道估算网络使用针对降雨不同视觉特征专门设计的特征提取器。通过融合机会感知与数据驱动建模,该框架为未来水文应用提供了潜在的高分辨率降雨观测补充来源。具体而言,本研究做出了几项关键贡献:首先,我们开发了一个弱监督深度学习框架,用于日间监控场景下鲁棒且自适应的雨丝提取,以克服高动态现实场景相关的挑战。其次,我们阐明了日间影像中降雨两种主要视觉特征的成像机制,为日间条件下的基于视频降雨强度估算提供了理论基础。最后,我们开发了一个双通道降雨强度估算网络,融合雨丝与原始帧视觉特征,以提高日间监控视频的降雨强度估算性能。

章节摘要

研究框架

所提出的基于视频的双通道降雨强度估算框架包含四个主要模块:数据预处理、雨丝自学习伪标签生成、弱监督精细雨丝提取以及双通道降雨强度估算(图1)。具体而言,数据预处理模块为训练雨丝伪标签生成网络和精细提取网络所需的样本做准备。基于雨丝的随机空间分布特性以及

弱监督精细雨丝提取

背景噪声表现出与雨滴相似的随机性,可能干扰雨丝检测。受知识蒸馏启发,我们分别使用以雨丝为主导的样本和带有干扰的背景主导样本来训练网络,使其在提取雨丝的同时避免不必要的干扰。对于以雨丝为主导的样本,自学习网络的输出被用作雨丝伪标签。

自学习雨丝伪标签生成的评估

按照上述高置信度感兴趣区域裁剪策略,自学习伪标签生成网络在以雨丝为主导的区域上进行了评估。生成的伪雨丝标签随后用于监督后续的精细提取阶段。如图5所示,中间去雨图像保留了主要背景结构,同时去除了对应雨天帧中大部分可见雨丝。生成的伪标签总体上一致

全面提取降雨视觉特征以实现可靠的基于视频降雨强度估算

机会感知和计算机视觉技术的进步使广泛分布的监控摄像头成为有前景的降雨强度估算替代传感器。然而,其实际有效性往往受到众包监控摄像头图像质量较低的制约。背景干扰和非雨特征的错误提取降低了这些降雨估算的可靠性。为解决这一问题,本研究提出了一个双通道框架,该框架

结论

本研究提出了一种基于视频的双通道降雨强度估算框架,探索了监控视频作为高分辨率降雨观测机会感知源的潜力。该框架旨在解决基于视频降雨强度估算中的两个关键挑战:复杂现实场景下自适应雨丝提取以及日间条件下的视觉降雨特征全面提取。跨越不同场景的实验

作者贡献声明(CRediT)

徐嘉睿(Jiarui Xu):撰写——初稿,可视化,验证,软件,方法论,数据管理,概念化。郭纳良(Naliang Guo):撰写——审阅与编辑,方法论,概念化。孙福宝(Fubao Sun):撰写——审阅与编辑,监督,概念化。吴峰(Feng Wu):撰写——审阅与编辑,监督,项目管理,资金获取,概念化。

未引用参考文献

Wang et al., 2022a, Wang et al., 2023a, Wang et al., 2022b, Wang et al., 2023b.

利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

致谢

我们感谢编辑和匿名审稿人提出的建设性建议和意见,这些意见和建议帮助提高了本文质量。
Jiarui Xu|Naliang Guo|Fubao Sun|Feng Wu
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号