基于地面传感器网络数据增强预处理的数据驱动土壤水分预测

《Physics and Chemistry of the Earth, Parts A/B/C》：Data-driven forecasting of soil moisture based on enhanced pre-processing of data from on ground sensor networks

　　

提出了一种用于传感器网络原始数据预处理的算法。开发了用于预测土壤湿度的机器学习算法。预处理与建模技术的结合展现了更优的性能。

**1. 引言**

尽管土壤湿度仅占全球淡水的0.05%（Shiklomanov, 2000），但它在水文过程中起着至关重要的作用（Wasko等，2020）。准确测定土壤湿度对于降雨-径流过程的水文建模具有至关重要的意义（Zhuo和Han, 2016）。尽管近年来取得了显著进展，土壤湿度的准确测量和表征仍面临重大挑战，主要原因有二：(i) 数据收集的限制和(ii) 所采用的建模技术。

在数据相关问题方面，在大范围内收集具有足够空间分辨率和低延迟的高质量土壤湿度数据，对于开发有效的水文过程模型至关重要。基于地面的测量设备在精度和可靠性方面有了显著改进（Tauro等，2018）；与此同时，近年来遥感技术的重要性日益提升，这得益于卫星数据的广泛可用以及无人机（UAV）的日益普及（Xu等，2014）。尽管遥感产品具有诸多优势（Pietroniro和Prowse, 2002），但它们严重依赖地面传感器进行校准和验证（Blume等，2017）。此外，卫星通常缺乏所需的时间和空间细节，而无人机也不总能快速部署以捕捉基于事件的水文过程。对于此类过程，尽管由于逐点采样的特性而难以实现大范围空间覆盖，但地面传感器可能更为有效。物联网的最新发展进一步促进了密集地面传感器网络的部署，如先前的研究（Vikash等，2019；Vikash和Varma, 2020, 2021）所讨论的那样。

在建模技术方面，基于物理模型和数据驱动的方法传统上都被用于模拟降雨-径流事件期间的土壤-水动态。基于物理模型的方法通常依赖于流域内的经典质量平衡，利用Green-Ampt（Green和Ampt, 1911）或Richards（Richards, 1931）等模型估算入渗量。尽管这些模型在概念上较为稳健（Zanella等，2023），但其在流域尺度上准确参数化的困难限制了其大规模应用。

作为替代方案，近年来用于土壤湿度预测的机器学习（ML）算法引起了越来越多的关注（Ghanbarian和Pachepsky, 2022）。研究人员利用遥感数据和地面测量数据开发了机器学习模型。使用遥感的例子包括（Adab等，2020；Singh和Gaurav, 2023；Wang等，2024；Skulovich和Gentine, 2023；Lamichhane等，2025），而关注使用地面传感器对卫星信息进行校准和验证的研究包括（Orth等，2021；Babaeian等，2021）。

相比之下，仅有少数研究开发了完全依赖地面传感器的机器学习模型，且大多数针对农业应用（Rani等，2022）。Ahmad等（2010）使用支持向量机（SVM）从遥感衍生的热带降水和NDVI数据预测日土壤含水量。Teshome等（2024）应用深度学习回归网络以15分钟间隔预测土壤湿度，并将其性能与使用多种输入（电导率、露点温度、太阳辐射、相对湿度、降雨量、大气压力和温度）的传统机器学习模型进行比较。Prakash等（2018）测试了多元线性回归、支持向量回归和循环神经网络进行日土壤湿度预测（提前1天、2天和7天），发现多元线性回归在测试方法中表现最佳。类似地，de Oliveira等（2021）评估了多种机器学习算法以模拟时空变异性，发现随机森林最能重现根据探地数据克里金插值得出的土壤-水动态。

然而，农业应用与基于事件的水文情境之间存在若干特征性差异。首先是时间尺度：对于基于事件的水文应用，需要在暴雨事件期间和之后获取数据，以捕捉直接归因于降雨的土壤湿度动态。其次，鉴于遥感无法提供所需的适应性和即时性，在这些情境中，地面传感器的持续长期部署仍然是最可靠的数据来源，这也带来了额外挑战。在大型流域中高效部署土壤湿度传感器网络十分困难，因为土壤异质性使得捕捉潜在的入渗行为全谱系变得复杂。此外，对偏远地区的有限可及性、较差的连通性以及供电约束都可能损害数据的持续可用性和质量。与精心维护的监测系统或卫星衍生产品不同，低成本、密集分布的网络易受硬件故障、校准漂移、数据缺失和噪声水平升高的影响。因此，所收集的时间序列往往不完整或受损，需要大量的校正和预处理。

为弥补这些不足，本研究基于地面传感器网络收集的数据开发了基于机器学习的土壤湿度模型，并纳入了专门的数据校正和质量控制预处理程序。我们提出了一种专门针对复杂传感器网络的鲁棒预处理流程，该流程能够识别、清洗并选出现有数据中最具信息量的连续区间，确保用于建模的数据质量高且最大程度减少对人工插补的依赖。

**2. 方法论**

**2.1. 案例研究：传感器网络与数据集**

**2.1.1. 传感器网络**

我们在西班牙马德里Valdebebas都市农业公园安装了一个密集的土壤湿度传感器网络，用于远程监测基于事件的水文过程；见图1。现场共安装了55个土壤湿度传感器，覆盖面积约120,000平方米，以规则50 × 50米网格排列。

每个设备的配置如下（有关传感器和部署网络的更多技术细节见Sanz等，2024）：

- **硬件与传感器**：每个单元使用基于ESP32-PICO-D4的开发板作为主处理核心。每个板卡连接两根独立的耐腐蚀电阻式探针，安装深度为10厘米，用于测量土壤湿度。
- **数据采集**：每15分钟记录一次测量值并立即传输。为提高可靠性，每次测量值通过对10个传感器读数取平均获得。
- **连接与传输**：设备使用窄带物联网（NB-IoT）技术，一种低功耗广域网（LPWAN）。所使用调制解调器为QUECTEL BC660K，通过串行接口与ESP32通信。
- **电池**：电池平均寿命为11.24天。当电压降至2650-2750 mV以下阈值时，设备停止传输。

气象信息来自马德里市政府运营的胡安·卡洛斯一世气象站。这些数据包括环境湿度、温度和降水，由于负责机构对其进行常规质量控制，因此不需要额外的质量控制。这些数据通过降采样传感器数据以匹配气象站记录的逐时分辨率，与土壤湿度传感器数据集进行整合。

**2.1.2. 数据集**

采样期从2024年3月至2025年3月，每个设备每天记录约70个测量值，所有部署单元每天产生约1000个读数。

为说明所收集数据的特征，图2展示了一组散点图，包括各个传感器记录、两根探针之间的平均值、方差及供电电压。作为传感器整体数据结构的代表性示例，传感器1（var_s1）的方差中可观察到明显的交叉形模式，表明其噪声与自身的平均读数或其他变量基本不相关。相比之下，传感器2（var_s2）的方差与测量值之间表现出近乎线性的依赖关系，暗示存在系统性伪影和随机噪声。

对数据集的初步处理揭示了若干问题，使其无法直接用于机器学习模型的开发。最相关的数据质量问题总结如下：

- **不规则采样与数据缺失**：通信中断和电力故障导致时间序列间隔不均匀，缺失区间从几分钟到数天不等。如图3所示，每次中断的持续时间和频率在各设备之间差异很大，图中每条水平线代表一个传感器的活跃时段。图4提供了此类异质性的进一步证据：面板(a)显示了各设备的日采样频率分布，面板(b)展示了测量的周交易量，揭示了传感器中的不活跃时段和异步恢复情况。
- **频繁的异常值**：数据集中存在频繁的异常值，其中一些对应于罕见但真实的天气事件，如强降雨，而其他则源于传感器故障。
- **显著的方差差异**：连接在同一板卡上的两个传感器在计算方差上往往存在显著差异。图5展示了传感器读数、方差和电池电压之间的相关性热力图。观测到的测量值与方差之间的强相关性证实，部分方差来源于电子或放大效应而非环境变异性。此外，如图6所示，传感器数据的记录方差表现出巨大变异，差异达数个数量级。
- **同一设备间传感器的未解释差异**：即使在单个物理单元内，两个嵌入式探针偶尔也会产生不一致的信号。时间序列可能在一个或两个通道上显示突然的断点、偏移量变化、孤立峰值或零值，如图7所示。这些模式表明传感器存在瞬时不稳定或接触退化，这使下游校准和特征提取变得复杂。
- **电池相关问题**：电池耗尽及更换所需的时间导致额外数据缺失。此外，部分传感器输出对电池电压表现出可测量的依赖性，意味着较低的供电水平略微改变了其内部参考校准。这种电压敏感性不仅引入了信号中的低频漂移，还通过造成间歇性关断加剧了不规则采样问题。

**2.2. 代表性样本选择算法**

鉴于2.1.2节所述的数据结构和质量问题，开发了一种专门算法，用于自动提取适用于机器学习模型训练的高质量数据段。其目标不是校正原始测量值，而是识别既有效又能代表底层土壤湿度动态的时间区间。该过程实现为多阶段预处理流程，旨在确保可靠性并最大化训练数据的信息价值。它由三个主要步骤组成：(1) 设备筛选，(2) 区间分割与间隙检测，以及(3) 区间评分与选择。

**1. 设备筛选**

该初步阶段旨在仅保留具有稳定且数据填充充分的记录的传感器。设备满足以下所有条件方可被接受：
- 在任意两小时窗口（相当于归一化土壤湿度尺度上|Δ| > 0.1）内不存在超过10%变异的突然峰值或不连续性，这通常表明传感器或通信故障。
- 最低有效测量数量，定义为有效样本数量多于所有设备的全局平均值（本数据集中为1,391）。
- 同一设备的两根探针之间的皮尔逊相关系数至少为0.7，以确保内部一致性。
- 在任意两小时窗口（相当于归一化土壤湿度尺度上|Δ| > 0.1）内不存在超过10%变异的突然峰值或不连续性，这通常表明传感器或通信故障。

**2. 区间分割与间隙检测**

对于每个筛选后的设备，根据数据可用性将时间序列划分为连续段。在探索性分析期间测试了两种互补的间隙定义，以涵盖更换耗尽电池所需时间的最保守估计（覆盖普通周末或长假）：(i) 保守阈值为连续样本间间隔两个整天，(ii) 更宽松的阈值为五天。包含少于200个有效测量的段将被丢弃。

此外，仅保留了降水量、温度、相对湿度、风速和太阳辐射记录完整的区间，以确保所得数据集适用于多元建模。3. 区间评分与选择。每个剩余片段随后通过自定义评分函数进行评估，该函数在时长、密度、相关性和数据质量之间取得平衡。该评分偏好长时段、采样密集且传感器间相关性高的区间，同时惩罚异常值过多或土壤湿度持续极低的区间。正式定义如下（公式1）：

(1) Score = (t_end - t_start)^w1 · N^w2 · |corr12|^w3 · max(0, 1 - (f_o1 + f_o2)/2)^w4 × max(0, 1 - w_low · (1/N) Σ???? ??(4095 - Sensor1_i / 4095 < θ_low))

其中：
- t_end、t_start：区间中最后一个和第一个样本的时间戳。
- N：区间中的样本数量。
- corr12：传感器1与传感器2之间的绝对皮尔逊相关系数。
- f_o_j（j=1,2）：传感器j的异常值比例，异常值定义为超出[Q1-1.5IQR, Q3+1.5IQR]范围的数值。
- w1、w2、w3、w4、w_low：评分权重。
- ??(·)：指示函数（条件为真时为1，否则为0）。
- θ_low：低归一化土壤湿度阈值（默认值：0.02）。

最后，选取了五个得分最高的区间，每个区间分别关联不同的设备且采样密集，用于模型训练和评估。所选区间长度从27到38个连续天不等，包含641到908个小时观测值。

2.3. 机器学习算法

文献中使用了各种各样的算法和技术，如第1节中引用的参考文献所示。本文采用两步法：首先筛选大量算法；其次对表现最优异的算法进行微调。按照这一方法，我们评估了以下算法：

1. 随机森林回归（RFR）：是一种集成学习技术，在训练过程中构建多棵决策树，并输出其预测的平均值以提高精度并控制过拟合。与容易高方差和不稳定的单棵决策树不同，随机森林利用"群体智慧"原理，将多个弱学习器组合成强预测模型。它可以处理数值型和类别型预测变量，需要足够大的训练数据集以确保自助样本的多样性，并且对线性、独立性或预测变量的分布没有严格要求（与线性回归不同）。它还能较好地处理缺失值和不平衡数据，尽管在数据集非常小时性能可能会下降。随机森林可能会过拟合，尤其是在噪声数据且调优不足时。从数学角度看，RFR定义如下：给定训练数据集D = {(x_i, y_i)}????，其中x_i ∈ R^p为预测变量，y_i ∈ R为响应变量，随机森林对新观测值x的预测由公式（2）给出：

(2) f?(x) = (1/B) Σ??? T_b(x)

其中T_b(x)是在训练数据自助样本上构建的第b棵决策树的预测值。

2. Prophet：Prophet是一种基于加性模型的单变量时间序列预测方法，将非线性趋势与季节性、节假日效应及其他外生回归变量相结合。它需要包含时间戳和观测值的时间序列数据集（单变量），适用于日、周或月频率数据；亚日数据则更具挑战性。此外，它还需要足够的历史数据以捕捉趋势和季节性，建议至少包含一个完整季节周期。算法的核心思想是将时间序列y(t)表示为公式（3）：

(3) y(t) = g(t) + h(t) + s(t) + ε_t

其中：
- g(t)是分段线性或逻辑增长曲线，用于建模长期趋势
- s(t)是季节性成分
- h(t)代表其他用户提供的自定义事件
- ε_t是模型无法解释的波动误差项

3. 带外生回归变量的季节性和差分移动平均模型（SARIMAX）：该模型旨在处理非平稳和时间序列，同时允许纳入可能影响因变量的外部解释变量（外生回归变量）。该模型需要一个具有足够长历史记录的单变量因变量时间序列，并可选择性纳入外生回归变量。数学上，该模型可表示如下：SARIMAX(p,d,q)(P,D,Q)_s模型定义如下（公式4）：

(4) Φ_P(L_s)φ_P(L)(1-L)^d(1-L_s)^D y_t = Θ_Q(L_s)θ_Q(L)ε_t + β^T x_t

其中：
- y(t)是时刻t的观测时间序列
- L是滞后算子
- D和d分别是季节性和常规差分的阶数
- p和q分别是自回归和移动平均项的阶数
- P和Q分别是季节自回归（SAR）和季节移动平均项的阶数
- s是季节周期的长度
- φ(L)是非季节性AR多项式
- θ(L)是非季节性MA多项式
- Φ(Q)是季节性AR多项式
- Θ(Q)是季节性MA多项式
- ε_t是白噪声误差项
- x_t是外生回归变量向量
- β是外生回归变量的系数向量

4. 长短期记忆网络（LSTM）：是一种循环神经网络（RNN），旨在学习序列数据中的长期依赖关系。与容易遭受梯度消失和梯度爆炸问题的传统RNN不同，LSTM采用门控机制来控制信息在网络中的流动，使其能有效捕捉短期和长期时间依赖关系。

(5) f_t = σ(W_f x_t + U_f h_{t-1} + b_f)（遗忘门）
(6) i_t = σ(W_i x_t + U_i h_{t-1} + b_i)（输入门）
(7) c?_t = tanh(W_c x_t + U_c h_{t-1} + b_c)（候选细胞状态）
(8) c_t = f_t ⊙ c_{t-1} + i_t ⊙ c?_t（细胞状态更新）
(9) o_t = σ(W_o x_t + U_o h_{t-1} + b_o)（输出门）
(10) h_t = o_t ⊙ tanh(c_t)（隐藏状态更新）

其中：
- f_t、i_t、o_t分别是遗忘门、输入门和输出门（取值在0到1之间）
- c?_t是候选细胞状态
- c_t是更新后的细胞状态
- h_t是隐藏状态输出
- W*、U*是权重矩阵
- b*是偏置向量
- σ是Sigmoid激活函数
- ⊙是逐元素乘法

5. Transformer：Transformer架构最初为自然语言处理和机器翻译等序列建模任务而开发的深度学习模型，此后已成功应用于时间序列预测。与循环架构（RNN、LSTM和GRU）不同，Transformer完全依赖自注意力机制来捕捉序列元素之间的关系，从而实现高效的并行计算和长距离依赖建模。然而，Transformer通常需要大量训练数据，特别是在处理文本或多变量时间序列等高维输入时。Transformer的核心是自注意力机制。给定由矩阵X表示的输入序列，通过线性投影导出三个矩阵，即查询Q = XW_Q、键K = XW_K和值V = XW_V，其中W_Q、W_K和W_V为可学习权重矩阵。注意力机制计算值的加权和，权重由查询与键之间的相似度决定，如公式（11）所示：

(11) Attention(Q, K, V) = softmax(QK^T / √d_k) V

其中d_k是键的维度（用于缩放）。为提高表达能力，采用多头注意力。每个头使用各自的投影矩阵独立执行注意力计算，然后将输出拼接并进行线性投影，如下所示（公式12）：

(12) MultiHead(Q, K, V) = Concat(head_1, ..., head_h) W_O

其中每个头由公式（13）给出：

(13) head_i = Attention(QW_Qi, KW_Ki, VW_Vi)

其中W_Qi、W_Ki和W_Vi是第i个头的投影矩阵。在多头注意力块之后，Transformer应用残差连接，然后进行层归一化（见公式14）：

(14) Z = LayerNorm(X + MultiHead(Q, K, V))

随后，对每个位置独立应用位置级前馈网络（FFN），然后再应用残差连接和层归一化（公式15）：

(15) H = LayerNorm(Z + FFN(Z))

其中FFN通常是带ReLU激活的两层感知器（公式16）：

(16) FFN(z) = max(0, zW_1 + b_1)W_2 + b_2

3. 结果与讨论

3.1. 代表性数据集选择

我们使用表1中列出的值对第2.2节中提出的算法进行了参数化，并选择了表2中总结的算法、传感器和窗口。

图8展示了代表性设备的区间选择过程。第一个面板显示了完整的时间序列，其中选中的区间以绿色突出显示。第二个面板提供了该区间在后处理和归一化后的特写视图，展示了通过该流程实现的更高时间密度和整体数据质量。在选定代表性区间后，我们将数据按小时进行分组。

表1. 数据选择算法的参数化。

参数 | 值
最小阈值 | 可用记录均值 = 1391
设备间测量值的皮尔逊相关系数 | 0.7
突变尖峰识别标准 | 两小时窗口内变化超过10%
分段区间长度 | 至少200个连续数据点
超参数权重（w1, w2, w3, w4, w_low） | w1=1, w2=1, w3=2, w4=1, w_low=5, θ_low=0.02
排名标准 | 为每个有效传感器选取前五个区间

表2. 为构建预测算法所选定的传感器和时间段。

区间 | 设备ID | 开始日期 | 结束日期 | 天数 | 数据点数
1 | 898822066613233841 | 2024-09-17 | 2024-10-25 | 38 | 908
2 | 898822066608761716 | 2024-10-06 | 2024-11-08 | 34 | 734
3 | 898822066613233818 | 2024-09-17 | 2024-10-24 | 38 | 889
4 | 898822066613233780 | 2025-02-10 | 2025-03-09 | 27 | 641
5 | 898822066605450596 | 2024-09-17 | 2024-10-23 | 37 | 874

下载：下载高分辨率图片（806KB）下载：下载完整尺寸图片

图8. 设备8988228066613233841的完整数据集。选中的区间以绿色突出显示。

3.2. 土壤湿度建模

3.2.1. 输入与输出的探索性分析

我们探索了自回归和外生变量机器学习算法预测土壤湿度演变的可行性。

图9展示了数据的自相关结构，表明自回归方法非常适用，但数据集表现出极其有限的时间记忆性，如偏自相关函数所示（见图10），仅在滞后1和滞后2处显示强相关性，此后迅速降至接近零。

相反，探索性分析表明，气象变量与土壤湿度演变之间的相关性总体较弱且不一致，这表明外生变量算法的表现可能不如自回归算法。虽然在某些降雨事件与短期土壤湿度变化之间观察到了一定程度的关系，尤其是在时间间隔紧密的时间步处（见图11、图12），但与其余气象变量（以及完整降水数据集）的相关性较差（见图13）。

下载：下载高分辨率图片（460KB）下载：下载完整尺寸图片

图9. 代表性传感器土壤湿度读数的自相关函数。

下载：下载高分辨率图片（168KB）下载：下载完整尺寸图片

图10. 代表性传感器土壤湿度读数的偏自相关函数（PACF）。

下载：下载高分辨率图片（528KB）下载：下载完整尺寸图片

图11. 土壤湿度与降雨事件的演变。

下载：下载高分分辨率图片（503KB）下载：下载完整尺寸图片

图12. 土壤湿度与降水、温度和相对湿度之间的互相关系数。

下载：下载高分辨率图片（116KB）下载：下载完整尺寸图片

图13. 土壤湿度与气象变量之间的线性相关系数。

3.2.2. 土壤湿度建模

在分别使用完整数据集和选定区间运行初始模型，以及使用表3中呈现的每种可能的输入组合之后，我们观察到自回归方法具有更高的性能（见表4），并选择了LSTM网络和Transformer架构进行算法微调。为评估深度学习方法的价值，我们使用了一个简单的基线模型，即取最近观测值的均值。所有调优和验证运行均在每个选定的数据区间内通过交叉验证进行。为确保鲁棒的泛化能力，最终评估也在模型训练和验证期间未曾接触过的来自不同传感器和时间段的额外数据区间上进行。

对于LSTM和Transformer算法，模型架构、超参数（层数、隐藏单元数、注意力头数和dropout率）以及训练程序（包括优化器、学习率调度和批次大小）均基于贝叶斯优化（使用Optuna）和选定区间上的交叉验证进行选择。两个模型的性能在多个预测时域（提前1小时、8小时和24小时）上进行了评估。表5总结了主要评估区间中获得的结果，而Diebold-Mariano检验（见表6）用于评估两种选定算法超越基线的能力。

表3. 输入变量和特征工程。

场景 | 变量
完整输入集 | 传感器读数时间（Ts）、传感器电池（SV）、传感器1记录（SR1）、传感器记录2（SR2）、传感器1方差（S1V）、传感器2方差（S2V）、降水量（P_t，t=0，即记录土壤湿度的时刻）、相对湿度（RH, t=0）、电源电池（PB, t=0）、温度（T, t=0）、太阳辐射（SR, t=0）、风速（WV, t=0）、累计降水（从t=0到t=-1h, P_t1）、累计降水（t=0到t=-3h, P_t3）、累计降水（t=0到t=-6h, P_t6）、累计降水（t=0到t=-12h, P_t12）、日期（正弦变换, DS）、月份（正弦变换, MS）、日期（余弦变换, DC）、月份（余弦变换, MC）、小时（正弦变换, HS）、小时（余弦变换, HC）
v0 | PB, P_t, RH, T
v1 | P_t1, P_t3, P_t6, P_t12
v2 | P_t1, P_t3, P_t6, P_t12, DS-DC, MS-MC, HS-HC, T, HR
v3 | P_t1, P_t3, P_t6, P_t12, DS-DC, MS-MC, HS-HC
v4 | P_t1, P_t3, P_t6, P_t12, ML1（湿度记录，1个滞后）, MT, T, HR
v5 | P_t1, P_t, T, HR, ML1
v6 | P_t1, ML1, HR
v7 | P_t1, P_t, T, HR
v7 | P_t1, P_t, HR, T

表4. 基于完整数据集构建模型的性能指标。

模型 | RMSE | R2
线性回归器 | 0.0025 | 0.21
RFR | 0.0009 | 0.74
SARIMAX | 0.81 | 0.18
LSTM | 0.0010 | 0.72
SMAX+RFR | 0.002 | 0.27

如表5、表6所示，两种深度学习模型在所有预测时域上均持续优于基线模型，并且比外生变量方法提供了更好的预测能力。多个时域和回看窗口下的算法预测性能，以观测到的R2衡量，如图14、图15、图16、图17所示。例如，表7展示了在8小时预测时域下LSTM模型代表性运行的最佳配置。

表5. 不同预测时域下各模型的预测性能（RMSE, R2）。

结果对所有选定区间取平均值。

**模型** | **预测跨度（h）** | **RMSE（%）** | **R2**
---|---|---|---
LSTM | 1 | 0.29 ± 0.12 | 0.98 ± 0.02
Transformer | 1 | 0.37 ± 0.11 | 0.96 ± 0.02
基线 | 1 | 0.48 ± 0.09 | 0.93 ± 0.03
LSTM | 8 | 0.84 ± 0.30 | 0.74 ± 0.14
Transformer | 8 | 0.69 ± 0.38 | 0.83 ± 0.17
基线 | 8 | 1.44 ± 0.42 | 0.25 ± 0.19
LSTM | 24 | 1.27 ± 0.27 | 0.31 ± 0.20
Transformer | 24 | 1.10 ± 0.29 | 0.43 ± 0.21
基线 | 24 | 1.68 ± 0.20 | ?0.46 ± 0.27

**表6** 各回看周期内算法与基线之间的Diebold–Mariano检验。

**模型** | **预测跨度（h）** | **p值（均值）** | **p值（标准差）** | **p值（最小）** | **p值（最大）**
---|---|---|---|---|---
LSTM–基线 | 1 | 0.26 | 0.30 | 0.01 | 0.84
Transformer–基线 | 1 | 0.16 | 0.27 | 0.002 | 0.71
Transformer–LSTM | 1 | 0.27 | 0.22 | ≈ 0 | 0.56
LSTM–基线 | 8 | 0.16 | 0.27 | ≈ 0 | 0.64
Transformer–基线 | 8 | 0.15 | 0.26 | ≈ 0 | 0.61
Transformer–LSTM | 8 | 0.44 | 0.30 | 0.04 | 0.89
LSTM–基线 | 24 | 0.005 | 0.009 | ≈ 0 | 0.02
Transformer–基线 | 24 | 0.34 | 0.30 | ≈ 0 | 0.66
Transformer–LSTM | 24 | 0.11 | 0.18 | ≈ 0 | 0.43

**表7** LSTM和Transformer的超参数（8小时跨度，区间1）。

**超参数** | **LSTM** | **Transformer**
---|---|---
学习率（LR） | 0.00157 | 7.84×10??
权重衰减 | 2.46×10?? | 9.08×10??
丢弃率 | 0.18 | 0.22
批量大小 | 16 | 32
回看窗口 | 292 | 23
最大轮数 | 490 | 534
早停耐心值（PATIENCEES） | 40 | 57
梯度裁剪（CLIP_GRAD_NORM） | 2.76 | 3.36
嵌入尺寸（d_model） | – | 128
注意力头数 | – | 4
层数 | – | 3
前馈尺寸（d_ff） | – | 256

我们从两个方面进行了敏感性分析：第一，关于评分函数权重，允许其值在原始值上下50%的范围内变化；第二，关于预处理流水线。关于评分函数权重，我们观察到，当改变权重值时，选定的区间并未发生显著变化（仅当权重偏移至极端±50%时，只有两个区间发生了变化），且所得到的算法性能相似，如表8所示。性能指标对w_low参数更为敏感。

下载：下载高分辨率图片（423KB）
下载：下载完整尺寸图片

**图14** 采用单步迭代预测（上行，从t=1到t=预测跨度，基于前一次估计预测每个t步输出）的LSTM在不同预测跨度和回看窗口下，估计值与记录值之间的R2、MAE和RMSE值。

下载：下载高分辨率图片（430KB）
下载：下载完整尺寸图片

**图15** 采用单步迭代预测（上行，从t=1到t=预测跨度，基于前一次估计预测每个t步输出）的Transformer在不同预测跨度和回看窗口下，估计值与记录值之间的R2、MAE和RMSE值。

下载：下载高分辨率图片（449KB）
下载：下载完整尺寸图片

**图16** 采用多步预测（下行，单步输出大小为预测跨度的结果）的LSTM在不同预测跨度和回看窗口下，估计值与记录值之间的R2、MAE和RMSE值。

下载：下载高分辨率图片（423KB）
下载：下载完整尺寸图片

**图17** 采用多步预测（下行，单步输出大小为预测跨度的结果）的Transformer在不同预测跨度和回看窗口下，估计值与记录值之间的R2、MAE和RMSE值。

关于预处理流水线，完整流水线提供了更好的性能，如表9中的数据所示，该表汇总了仅运行预处理流水线前两个阶段所取得的结果。

**表8** 超参数权重w_low、w1、w2、w3、w4变化的敏感性分析。

**模型** | **绝对最大ΔR2** | **绝对最大ΔRMSE** | **变化**
---|---|---|---
LSTM | 0.011 | 0.04 | 1.5* w_low，保持w1、w2、w3、w4不变
LSTM | 0.0011 | 0.22 | 1.2* w_low，保持w1、w2、w3、w4不变
Transformer | 0.05 | 0.33 | 1.5* w_low，保持w1、w2、w3、w4不变
Transformer | 0.05 | 0.33 | 1.5* w_low，保持w1、w2、w3、w4不变

**表9** 对顺序预处理阶段的敏感性分析。相对于所提出的完整流水线的变化。

**处理技术** | **模型** | **设备数量** | **最大ΔR2** | **最大ΔRMSE**
---|---|---|---|---
设备筛选 | LSTM | 15 | ?0.043 | 0.482
区间分割与间隙检测 | LSTM | 10 | ?0.016 | 1.466
设备筛选 | Transformer | 15 | ?0.063 | 0.582
区间分割与间隙检测 | Transformer | 10 | ?0.036 | 1.639

**3.3 讨论**

关于土壤水分演变建模的研究通常基于高度可控的环境，在这些环境中传感器正常工作，数据集通常不会呈现损坏的数据、传感器故障或频繁的记录不一致（见例如Nguyen等人，2022年）。使用这样高质量的数据，这些研究通常将数据预处理限制为满足所选算法的特定要求（见例如Pan等人，2025年，Teshome等人，2024年或Kelley等人，2020年）。这些特征在用于监测水文过程的远程传感器部署中并不常见。因此，我们的方法专门设计用于处理受复杂数据问题影响的传感器网络的长期数据集。我们还通过依赖原始的、未修改的高质量区间而不是处理或纠正损坏的数据，从而与以前的方法有所区别，这种方法应更好地保留现象的底层本质。

数据预处理算法使预测模型实现了更高的预测精度。我们使用LSTM和Transformer模型的自回归方法取得了更高的性能，两者均优于基线。以前的研究使用深度学习回归网络（Cai等人，2019年）、人工神经网络（Cai等人，2019年）、LSTM（Datta和Faroughi，2023年）、Transformer（Liu等人，2025年）以及在某些情况下的K近邻（Yama?等人，2020年）取得了良好的性能。然而，与我们的工作不同，以前的研究都是在大量高质量数据集上运行的，因此算法可以在适当的条件下运行。Transformer算法实现了至少与LSTM相当的预测性能，证实了基于注意力的架构在捕捉水文和环境数据中长距离依赖关系方面表现优异的近期发现（见例如Yang等人，2024年）。与循环网络不同，Transformer并行处理整个序列并分配自适应注意力权重，这可能解释了其在发生不规则采样和风暴事件后的土壤水分骤变时表现优越的原因。因此，我们的比较支持了一种日益增长的共识，即Transformer架构可以补充甚至取代高分辨率水文预报中的循环方法。

我们的发现表明，对于预测土壤水分演变，自回归模型能够更好地捕捉土壤水分的复杂行为，这种行为受复杂物理定律支配并存在相当大的变异性。纳入预期决定土壤水分演变的气象变量会复杂化建模框架，并引入额外的不确定性，很可能还有噪声和较少信息量的特征，正如其他作者此前所指出的（Zubelzu等人，2024年）。尽管基于物理的方法对于深入了解底层物理现象具有价值（Shojaeinasab等人，2024年），但使用自回归模型大大简化了数据收集和管理，并且通常提供更好的预测能力。

本文所介绍的模型在8小时跨度内表现良好。当预测24小时前的土壤水分时，其性能大幅下降，这是预料之中的，鉴于偏自相关函数（见图10中的示例）。从实际角度来看，这意味着不推荐在24小时跨度内做出决策，因为在该范围内无法从当前观测中准确预测土壤水分。

尽管结果令人鼓舞，但仍有一些局限性值得考虑。所提出的选择算法专注于识别连续的、低噪声的区间，这不可避免地会丢弃部分可用数据集。虽然这提高了数据质量，但可能会使训练集偏向表现良好的时期，并低估极端水文事件。此外，LSTM和Transformer架构需要大量的计算资源（对于本文中呈现的计算，配备16 GB RAM的笔记本电脑需要数小时），并需要仔细调整超参数，这可能会限制其在低资源或实时监测环境中的应用。最后，依赖现场传感器网络意味着持续的硬件故障或空间稀疏的部署仍可能降低模型性能，尽管我们有预处理保障措施。本研究使用了部署在小流域中的有限传感器网络，该流域具有均匀一致的土壤物理性质。所提出的框架应在更广泛的范围内进行测试，涵盖具有空间分布式传感器网络和不同土壤性质的更大区域。文献广泛认识到土壤物理性质在大流域中的极端变异性，这使得在未来研究中扩大本工作的范围尤为重要。

所提出的预处理流水线为数据驱动算法实现高性能铺平了道路，因为数据已经过初步筛选以符合高质量要求。本工作进行的敏感性分析表明，当数据预处理不完整时性能较差。应进行进一步分析，以定义专门旨在建模某些事件（如极端事件）的配置。

**4. 结论**

在本手稿中，我们提出了一种土壤水分建模策略，该策略基于数据驱动算法，这些算法使用由一种新颖预处理算法选定的数据进行训练，该算法旨在从现场传感器网络收集的原始记录中识别最优数据段。

所提出的算法通过在稳健的预处理流水线中提取高质量、无间隙的时间区间，解决了在存在噪声和不完整数据集的情况下进行土壤水分预测的挑战。

评估结果表明，当使用精心选择的数据段进行训练时，深度学习模型在短期和中期预测跨度上均能实现强大的预测性能，仅需使用土壤水分时间序列中包含的信息，无需额外的输入变量。这些结果证实，严格的数据准备对于可靠的预测至关重要，并突出了深度学习方法即使在高度不规则和不完整的数据条件下也能提供稳健和可泛化的预测的能力。

**CRediT作者贡献声明**

R. Aguilar：撰写–初稿、软件、调查、数据整理。
Miguel A. Patricio：撰写–审阅与编辑、监督、资金获取、形式分析、概念化。
A. Berlanga：监督、方法论、资金获取、形式分析、概念化。
José M. Molina：撰写–审阅与编辑、验证、资金获取、形式分析、概念化。
S. Zubelzu：撰写–审阅与编辑、监督、资金获取、形式分析、概念化。

R. Aguilar | Miguel A. Patricio | A. Berlanga | José M. Molina | S. Zubelzu