基于监控音频的气象适应性降雨强度测量：一种分层条件调制方法

《Measurement》：Meteorologically-adaptive rainfall intensity measurement from surveillance audio: A hierarchical conditional modulation approach

　　摘要
基于监控音频的降雨强度估算为传统雨量计和气象雷达提供了低成本、高覆盖率的补充手段。然而，现有方法往往孤立地处理声学信号，忽视了温度、湿度、气压和风速等影响降雨声音生成与传播的大气物理条件。这使得测量结果无法考虑环境因素，从而带来较大的不确定性。我们提出了MERIT-Net，这是一种具备环境自适应能力的测量方法，它将基于麦克风的声学通道与气象传感通道相结合。大气参数被编码后作为条件信号注入声学处理流程的多个阶段，从而实现环境自适应补偿，而此功能是之前的DART-Net和SARID方法所不具备的。两种技术机制支撑了这种双传感器融合：分层条件调制（HCM），这是一种三级特征级线性调制机制，能在声学网络的多个语义层次上实施环境补偿；以及监督对比回归（SupCon-Reg），它利用降雨强度的固有序结构，通过等频自适应分箱来实现基于物理原理的约束。在采用HPPO优化后的BFCC特征的SARID数据集上，MERIT-Net的R2值为0.9310，RMSE为0.4764毫米/小时，对应的初步扩展不确定度区间约为0.95毫米/小时，其RMSE比最优秀的基线方法降低了37%。该方法明确了环境条件在声学降雨测量中的关键作用，为构建低成本、高密度的城市降雨监测网络奠定了基础。

引言
可靠、高分辨率的降雨强度数据对于城市水文学、洪水预警、水资源管理以及气候变化应对至关重要[1]。然而，现有的测量技术都存在一定的局限性。地面雨量计能够提供直接、精确的点状测量数据[2]，但缺乏足够的空间密度来捕捉城市降雨的复杂性[3][4]。气象雷达虽具有广阔的覆盖范围，但其近地面精度较差[5][6]；而卫星遥感通常缺乏用于突发性洪水监测所需的时间分辨率[7][8][9][10]。这些限制促使人们开始研究利用现有城市基础设施作为分布式降雨测量节点的机会主义感知方案。其中，广泛部署的监控摄像头网络极具应用潜力。尽管基于视频的降雨估算已受到较多关注[11][12]，但它仍易受光照变化、遮挡现象的影响，且计算成本较高[13]。相比之下，声学方法对视觉干扰具有天然的抗性，所需的带宽更低，且能够在各种天气条件下持续工作。因此，基于音频的降雨估算已成为专用气象仪器的低成本替代方案。监控音频降雨强度数据集（SARID）[14]以及本期刊近期发表的判别性声学降雨变换器网络（DART-Net）[15]为这一测量任务建立了重要的基准。DART-Net通过结合HPPO优化的巴克频率倒谱系数、自掩码对比增强模块以及Transformer-BiLSTM架构，实现了0.827的R2值。随着城市水文气象感知技术及多传感器环境监测技术的发展[16][17][18][19]，以及无人机和摄像头监控技术的发展[20]，将辅助环境数据整合到测量系统中的需求愈发迫切。

尽管取得了上述进展，但仍存在一个根本性的测量缺陷：所有现有的声学降雨估算器都是在与实际测量环境完全隔离的情况下处理音频信号的。从物理层面来看，这是不合理的，因为降雨声音的生成、传播及其频谱特征都深受周围大气条件的影响。温度和湿度会改变空气密度和声音吸收特性；气压会影响雨滴的大小分布和终端速度；风速则会改变雨滴的撞击角度及背景噪声水平。SARID数据集虽然提供了这四种气象变量的同步测量数据，但无论是原始的SARID基线模型[14]还是DART-Net[15]均未加以利用。从测量角度来看，这意味着传感器系统实际上对其自身的运行条件“视而不见”，而这无疑会导致由环境因素引发的不确定性。

除了气象条件这一问题外，测量方法的另外两个方面也值得进一步研究。首先，当有辅助环境数据可用时，如何将其有效地整合到深度声学测量流程中，目前尚未得到系统性的探索。先前关于特征级线性调制（FiLM）的研究[21]表明，乘法形式的条件处理可能比简单的特征拼接更具表达能力，但究竟应在多级网络中的哪个位置注入条件信号，以及这种处理方式会对测量精度产生何种影响，这些问题仍未解决。其次，现有的降雨估算器依赖标准的回归损失函数，这些函数将每个样本视为独立个体，而忽略了降雨强度其实是一种具有序结构的物理量。这种序结构非常适合用于对比学习[22]，但对比学习原理很少以具有计量学意义的方式应用于连续回归任务中。

在本文中，我们通过将声学降雨强度估算问题重新定义为多传感器融合问题，来克服这些局限性：即同时处理声学信号与气象测量数据，从而获得更准确、更具环境适应能力的降雨估算结果。我们提出了MERIT-Net（气象增强型降雨强度变换器），这是一种能够将大气环境信息系统性地注入声学处理流程各阶段的测量框架。其主要创新点及两项辅助改进如下：
•气象条件融合：将温度、湿度、气压和风速编码为辅助环境信号，并将其融入声学处理流程中。这使得测量系统从单一的音频传感器转变为具备双重传感功能的声学-气象仪器，能够有效补偿因环境变化导致的信号偏差。
•分层条件调制（HCM）：这是一种基于FiLM的三级调制机制，它在对比增强处理以及全局时间池化之后，在Transformer的输出端注入气象信号。这种多层级调制能够实现环境自适应补偿，即在不同的语义层次上调整传感器的内部表示，而这种设计在以往的声学测量研究中尚未被探讨过。
•监督对比回归（SupCon-Reg）：这是一种等频自适应分箱机制，它可将连续的降雨强度数值转换为每个小批次内的伪类别。该机制无需预先设定离散化阈值，即可通过在嵌入空间中强化序结构，从而作为一种基于物理原理的约束手段，体现降雨强度的有序特性。

在SARID数据集上的实验表明，MERIT-Net的R2值为0.9310，RMSE为0.4764毫米/小时，其性能显著优于其他八种现有的深度学习模型。与现有的最佳纯声学方法DART-Net相比，其均方根测量误差降低了37%以上。系统的消融实验表明，引入气象变量是影响测量性能的最重要因素（对R2值的贡献为+0.076），而HCM（+0.041）、SupCon-Reg（+0.012）、混合增强技术（+0.006）以及频率通道注意力机制（+0.003）则分别带来了进一步的改进。这些结果说明，对于那些需要实际应用于现场的声学降雨测量系统而言，气象条件融合并非可选功能，而是不可或缺的组成部分。

第2节回顾了基于音频的降雨估算、条件调制以及对比回归方面的现有研究。第3节介绍了MERIT-Net的架构，第4节展示了实验结果，第6节则总结了未来研究的方向。