基于视觉的降雨估算：早期融合与多尺度时间建模方法

《Advances in Space Research》：Vision-Based Rainfall Estimation with Early Fusion and Multi-Scale Temporal Modeling

　　

摘要

高分辨率降水数据对于城市水资源管理和水文建模而言至关重要。然而，传统方法存在时空分辨率较低且成本较高的问题。尽管基于视觉的降水估算方法被视为一种有前景的替代方案，但现有方法大多仅分析静态场景，或在处理动态背景干扰时效果不佳，从而导致预测精度不够理想。为解决这些难题，本研究提出了具有时空特征融合的多尺度Transformer框架（MSTrans-STFF）。该模型采用早期融合机制，将卷积神经网络提取的空间特征与通过光流技术获取的时间特征相结合。这一核心架构再通过多尺度时间池化模块和统计特征得到强化，从而显著提升了模型对动态干扰的抵御能力，减少了移动物体带来的特征失真。实验结果表明，与ResNet-LSTM和PatchTST相比，MSTrans-STFF在均方误差指标上分别降低了29.44%和26.60%，性能远超传统模型。作为传统雨量计网络的有力补充，MSTrans-STFF为精准的城市降雨监测提供了有效解决方案，同时也有助于提升洪水预警系统的性能。

引言

随着全球城市化进程的加速以及极端天气事件的频发，对高时空分辨率降水信息的需求日益迫切（Kim and Kim, 2020）。精确估算降雨强度不仅是城市暴雨预警系统、水文建模和灾害应对工作的关键要素（Zang et al., 2022），还为城市排水基础设施的优化设计提供重要数据支持（Muratoglu et al., 2023）。传统的降雨观测方法，如雨量计（Villarini et al., 2008）、天气雷达（Thorndahl et al., 2017）和卫星遥感技术（Li et al., 2023），虽然适用于大规模气象监测，但其高昂的部署成本、有限的覆盖范围、较低的分辨率以及不佳的实时性能等固有缺陷，使其难以满足现代城市环境对高密度、精细化降雨监测的需求。

随着城市视频监控网络的普及以及计算机视觉技术的快速发展，基于视觉的降雨估算已成为气象感知研究中的重要方向。视频数据具备独特优势，能够捕捉到雨滴轨迹、背景变化以及降雨强度的动态演变等丰富信息。这些宝贵的视觉资料为构建高分辨率城市降雨监测网络提供了前所未有的基础。与传统传感器相比，基于视觉的方法具有更高的成本效益、更广的覆盖范围，还能实现高频在线监测，因此特别适合在基础设施或资源匮乏的地区进行降雨监测（Alkhatib et al., 2023, Fiallos-Salguero et al., 2025）。

尽管具有巨大潜力，现有的基于视觉的降雨估算方法仍面临若干技术难题。早期的研究主要以静态图像为基础的建模方法为主，例如Shalaby等人（2024）提出的基于CNN的框架，以及Yin等人（2023）设计的irCNN架构。虽然这些方法在特定数据集上取得了不错效果，但它们本质上忽略了降雨的时间动态特性，这限制了它们的预测精度和响应速度，尤其是在降雨变化迅速的情况下。

为解决这些问题，本研究提出了具有时空特征融合的多尺度Transformer框架（MSTrans-STFF）。该框架的核心创新在于其早期融合机制，它将CNN提取的空间特征与光流技术获取的时间特征相结合。这一设计使模型能够在早期阶段就学习复杂的时空关联，有效减少移动物体带来的干扰，并利用运动信息更好地理解降雨动态。为克服单一尺度时间建模的局限性，该框架还加入了多尺度时间池化模块，从而能够捕捉不同时间粒度下的降雨演变规律，进而有效模拟突发性强降雨和持续降雨两种情况。同时，该框架还通过统计特征增强模块进一步优化输入特征，提升了模型对雨滴局部动态变化的敏感度。综上所述，这些设计共同构成了一套全面的解决方案，旨在突破现有方法的局限。

本研究的主要贡献可总结如下：

• 1.
  提出了一种端到端的时空特征融合框架（MSTrans-STFF），该框架通过早期融合图像中的空间信息与光流中的运动信息，提升了复杂场景下特征的表示能力。
• 2.
  设计了多尺度时间池化模块和光流统计特征增强机制，有效提升了模型在不同尺度下模拟降雨动态的能力和稳定性。
• 3.
  通过添加均值、标准差、最大值等关键统计描述符来增强光流特征，提升了模型对局部降雨动态的敏感度以及整体的识别能力。

大量的实验结果充分证明了所提框架的优越性。在与包括ResNet-LSTM（Qin et al., 2025）和PatchTST（Nie et al., 2023）在内的多种主流基准模型的对比中，MSTrans-STFF在平均绝对误差、均方根误差和均方误差等关键评估指标上均表现出最佳性能。尤其值得一提的是，与最新的代表性模型ResNet-LSTM相比，MSTrans-STFF的均方误差降低了29.44%。与另一种先进的时序Transformer模型PatchTST相比，其均方误差也降低了26.60%。这些结果不仅展现了该框架在视觉降雨强度估算任务上的出色性能，也证明了它作为传统雨量计网络的强大补充，能够为构建精准的城市洪水预警系统提供可靠的技术支持。

章节节选

相关研究

基于视觉的降雨估算方法通过利用摄像机捕获的视觉信息，成为一种极具成本优势的城市降水监测手段。早期的研究已经证实了从视觉观测中提取降雨相关信息的可行性。Garg和Nayar（2007）分析了雨水的视觉特征，为基于图像的降雨识别奠定了重要基础。随着深度学习技术的发展，基于图像的降雨估算方法得到了进一步

方法论

本节介绍了用于基于视频的降雨强度估算的多尺度Transformer框架——MSTrans-STFF。该框架在进入时间编码阶段之前，先整合基于CNN的空间特征和基于光流的运动特征，随后通过多尺度时间建模技术，捕捉不同时间粒度下的降雨动态变化（Wang et al., 2022a, Liu et al., 2021, Bertasius et al., 2021）。

数据集

本文的实验是基于Wang等人（2024）提出的SARID数据集进行的，该数据集最初是为城市环境中的基于音频的降雨强度估算而开发的。SARID包含了六次真实降雨事件对应的同步音视频数据，同时还配有以毫米/小时为单位表示的分钟级降雨强度标签，此外还包含来自校园气象站的温度、湿度、气压、风速等其他气象信息。根据

讨论

本研究的核心目标是解决传统基于视觉的降雨估算方法在处理动态干扰、时间建模以及多模态特征融合方面的固有缺陷。实验结果不仅证明了MSTrans-STFF框架的卓越性能，还揭示了一个重要原则：早期、深入的时空特征融合与多尺度时间建模的协同作用，是实现复杂环境下精准降雨强度估算的关键。

结论

本文提出了一种时空多尺度Transformer框架——MSTrans-STFF，用于解决从城市视频中估算降雨强度的问题。该框架创新性地实现了基于CNN的空间特征与基于光流的运动特征的早期融合，并通过多尺度时间池化模块有效模拟复杂的降雨动态。在包含了大量昼夜场景的SARID数据集上，所提出的

利益冲突声明

作者声明不存在任何利益冲突。

数据可用性

代码、训练好的权重以及数据集的使用说明将在论文被接受后公开提供。

致谢

本研究得到了中国国家自然科学基金（项目编号：41971365）以及重庆市建筑信息中心数字化转型能力建设科研项目的资助。

Jiangfan Feng|Lin Hu|Shaokang Dong