基于CNN-LSTM-POT的异常检测方法,用于智能温室传感器数据:一种实时边缘部署方案 作者:舒军(Jun Shu)与杨登科(Dengke Yang)

《Future Internet》:CNN-LSTM-POT-Based Anomaly Detection for Smart Greenhouse Sensor Data: A Real-Time Edge Deployment Approach Jun Shu and Dengke Yang

【字体: 大 中 小 】 时间:2026年04月14日 来源:Future Internet 3.6

编辑推荐:

  摘要 传统的农业温室环境监测系统往往缺乏有效的异常检测机制,这可能导致环境调节不准确,并对植物生长产生负面影响。为了解决这个问题,本文提出了一种结合Zigbee和4G通信技术的温室监测系统,并采用CNN-LSTM-POT异常检测算法。该系统利用卷积神经网络

  摘要 传统的农业温室环境监测系统往往缺乏有效的异常检测机制,这可能导致环境调节不准确,并对植物生长产生负面影响。为了解决这个问题,本文提出了一种结合Zigbee和4G通信技术的温室监测系统,并采用CNN-LSTM-POT异常检测算法。该系统利用卷积神经网络(CNN)从多源传感器数据中提取局部空间特征,利用长短期记忆网络(LSTM)模拟长期时间依赖性。为了准确识别异常,应用极值理论中的峰值超出阈值(POT)方法对预测残差进行处理,从而实现自适应的动态阈值确定。实验结果表明,所提出的算法显著提高了异常检测精度,防止了错误数据干扰温室控制决策,并减少了传输到云平台的数据量,从而降低了计算开销。这项工作为智能农业温室中的数据监测和精确环境控制提供了可靠高效的解决方案。

1. 引言
全球人口的快速增长导致了对食物需求的增加,农业产量需要增加70%以满足预期需求[1,2]。然而,传统的增加农业产出的方法(如扩大耕地面积)面临重大限制。世界上大约30%的森林已经被转变为 agricultural land [3],而且进一步的土地开垦受到各种政治、经济和环境因素的制约 [4]。此外,最近的政策变化和全球性流行病也导致了农业劳动力的短缺,进一步加剧了与食品生产相关的挑战 [5,6,7]。因此,智能农业温室作为一种有前途的替代方案应运而生。这些温室有助于解决劳动力短缺问题,通过确保最佳生长条件、提高生产力并降低总体生产成本来显著增加食品产量 [8,9]。
将技术整合到温室管理的努力始于20世纪70年代,早期采用者认识到了计算机化控制系统的潜在好处。到了20世纪90年代,美国、日本和以色列等国家进一步推动了物联网(IoT)技术在农业中的应用,取得了显著成果。例如,日本通过基于微计算机的科学管理提高了温室的效率和盈利能力;而以色列则通过将滴灌技术与物联网技术相结合,即使在干旱的沙漠地区也能实现农业生产。进入21世纪后,对温室系统的研究兴趣和技术进步持续显著增长。
最近的发展表明,许多研究团队基于物联网(IoT)和无线传感器网络(WSN)技术创建了复杂的智能温室监测和控制系统。Ambarwari等人[10]使用Raspberry Pi和Node-RED实现了高度可靠的环境数据收集和可视化,存储成功率达到了99.76%。Jahnavi等人[11]开发了使用ZigBee协议的自动化温室控制系统。Madruga-Peláez等人[12]引入了一种低功耗无线传感器网络,重点优化了传感器节点的能耗。Pisanu等人[13]提出了一个低成本监测平台,支持有线和无线数据传输以及基于网络的可视化。此外,Shekarian等人[14]利用人工智能(AI)技术,特别是1D-CNN模型,提高了传感器故障检测和预测准确性。这些研究共同展示了精准农业的潜力,并为自动化控制和作物特定优化提供了途径。
尽管基于物联网的温室系统取得了进展,但由于网络中断、传感器故障或人为干扰,传感器数据异常仍然是一个持续存在的问题。如果这些异常未被检测到,可能会影响温室管理中自动化决策过程的准确性和可靠性。因此,将异常检测算法有效集成到温室监测系统中对于维护数据完整性和支持精确环境控制至关重要。
为了解决这些挑战,本文介绍了一种新的温室监测系统,该系统集成了一个强大的异常检测算法。所提出的系统在网关级别使用基于边缘的CNN-LSTM-POT模型进行异常检测,有效过滤错误数据,从而提高了自动化温室管理决策的可靠性,并显著减少了传输到基于云平台的数据流量,降低了计算和带宽需求。
本文提出的温室监测系统架构如图1所示。开发的监测系统包括用于收集温度、湿度和光照等实时环境参数的传感器。基于微控制器的数据采集模块(STM32F103C8T6)首先处理传感器数据,然后通过Zigbee模块将其传输给协调器,协调器再将数据转发给网关(基于STM32H743)。网关实现所提出的异常检测算法,以识别并去除异常数据点,从而确保数据质量。随后,经过验证的数据通过内置的4G通信模块传输到云平台。用户可以远程实时访问和监控环境状况,实现及时干预和明智的决策。

本文的其余部分结构如下:第2节回顾了与异常检测相关的现有方法和概念。第3节对所提出的异常检测算法进行了全面解释。第4节通过实验分析评估了算法的性能,证明了其有效性。第5节讨论了算法在网关内的实际实现细节,包括实验设置和参数设置。最后,第6节总结了这项研究的贡献,强调了关键发现,并概述了未来工作的潜在方向。

2. 相关工作
在无线传感器网络中,异常数据传输或接收可能由多种因素引起,包括传感器故障、电池耗尽或电压不稳定(导致数据跳跃或丢失)、由于节点移动或物理障碍引起的信号衰减,以及高温或高湿度等外部环境条件。这些异常数据对智能温室操作构成重大风险,可能导致不正确的控制决策并对作物生长产生不利影响。因此,将有效的异常检测算法集成到温室网关中对于确保数据可靠性和系统鲁棒性至关重要。
异常检测技术通常分为三种主要类型:基于统计的方法、基于偏差的方法和基于邻近性的方法[15]。
基于统计的方法:这些方法假设数据遵循某种概率分布。与预期分布显著偏离的观测值被视为异常。一个突出的例子是高斯混合模型(GMM),它假设数据来源于几个高斯分布的混合,每个分布都有其特征均值和方差。该模型估计每个数据点属于这些分布的概率,并将概率较低的点标记为异常。图2展示了这种方法的示例。
基于偏差的方法:这些方法量化数据实例与预定义分布模型或子空间结构的偏差程度,以识别显著的异常值。一个代表性的例子是主成分分析(PCA),它仅使用少数几个主成分重建原始数据。显示出较大重建误差的数据点被认为是异常的。
基于邻近性的方法:这些技术评估数据点之间的空间关系,可以进一步细分为三类:基于聚类的方法、基于密度的方法和基于距离的方法。
基于聚类的方法:数据点被分组到各个簇中,不属于任何簇的数据点被标记为异常。分类通常基于数据点与簇中心之间的距离,如图3a所示。
基于密度的方法:计算数据点周围的局部密度,并将密度显著低于其邻居的数据点识别为异常。这种方法如图3b所示。
基于距离的方法:与最近邻居相距较远的数据点被分类为异常。这一概念如图3c所示。
为了克服传统技术的局限性,近期研究引入了一系列创新算法,特别针对时间序列和多传感器数据的复杂性。
Zhang等人[16]提出了一种基于电力线通信(PLC)的无线传感器网络(WSN)异常检测算法,解决了WSN独特的部署特性、开放性和资源限制带来的挑战。该算法分析时间序列数据,并将图信号处理与聚类技术相结合,有效检测和定位局部和全局异常。实验结果表明其在降低网络通信开销方面的高检测准确性和有效性。
Nesrine等人[17]引入了一种基于时空(ST)和多变量属性(MVA)相关性的方法来检测WSN中的异常节点。该方法分析了同质传感器数据内的簇内和簇间时空相关性,并通过多变量属性规则结合环境背景,有效地区分了真实世界事件和恶意攻击或传感器故障等异常。在真实世界数据集上的实验证实了其准确捕捉传感器数据关系和识别故障节点的能力,从而减少了误报并提高了系统可靠性。
Kruthi等人[18]提出了一种基于聚类和深度学习的方法来检测多变量气体传感器数据中的异常。该方法针对复杂场景中的高精度异常检测,并在真实世界数据集上评估了各种无监督学习算法。结果表明,基于密度的聚类在检测全局和局部异常方面具有优越性能。
Hyunki等人[19]开发了一个基于生成对抗网络(GAN)的框架,用于检测和定位多变量时间序列数据中的异常。该方法将时间序列数据转换为距离图像,然后应用逐点卷积提取时间信息,并使用传统卷积捕获变量间的空间相关性。生成器学习正常数据分布以预测未来的距离图像,而异常评分函数(通过重建损失和判别器特征损失定义)有助于异常检测和定位。该框架在真实世界电厂数据上得到了验证,证明了其在识别异常事件和故障传感器方面的有效性。
Wataru等人[20]提出了一种基于机器学习的方法来检测异常车辆振动。利用安装在车辆上的压电传感器收集振动数据,并通过功率谱密度(PSD)和梅尔频率倒谱系数(MFCC)等特征提取技术进行分析。分类使用高斯混合模型和卷积神经网络进行。
Hu等人[21]提出了一种数据驱动的集成框架,用于水分配系统(WDS)中的异常检测和预警。该框架包括四个模块:单点异常检测、传感器序列分析、传感器序列相关性和定性分析组件。通过结合监测数据的时空特性,该框架显著提高了异常检测的可靠性和运营效率,支持清洁和可持续的水系统管理。
Mingu等人[22]提出了一种基于多通道传感器信号中逐通道重建误差的无监督异常检测方法。使用卷积自编码器(CAE)为每个通道生成重建误差,然后将其输入基于机器学习的异常检测模型以计算异常分数。在汽车传感器数据上的模拟和真实世界实验证实了该方法的有效性。与仅依赖平均重建误差的传统方法相比,该方法在异常率较低的情况下显著提高了异常检测精度。
Clementine等人[23]提出了一种用于农业IIoT的异常检测框架。针对农业中设备异构性和网络不稳定的挑战,该框架采用了统一的通信协议,确保设备互操作性,并引入了边缘/雾计算架构以在数据源附近处理数据。通过在边缘层部署隔离森林、自编码器和LSTM等机器学习算法,实现了从作物和环境数据中实时识别异常,减少了传输延迟和对云的依赖。这种方法使农民能够及时接收作物健康警报,便于快速干预和精确决策,从而提高农业生产和资源利用效率。
尽管这些方法取得了一些成果,但在智能温室环境中仍存在几个研究空白。首先,许多现有方法计算密集且需要大量资源,不适合在资源受限的边缘设备(如温室网关)上部署。其次,大多数方法依赖于静态阈值进行异常检测,难以适应温室传感数据的非平稳特性。
为了解决这些空白,本文提出了一种基于CNN-LSTM-POT的异常检测框架,专门为智能温室监测系统中的边缘部署设计。本项工作的主要创新如下:

1. 轻量级混合架构:提出的模型结合了卷积神经网络(CNN)用于局部特征提取和长短期记忆网络(LSTM)用于时间建模,以确保高预测准确率,同时保持适合边缘设备的计算效率。

2. 基于POT的自适应阈值调整:与固定阈值方法不同,POT模块根据预测残差的统计分布动态调整异常阈值,从而在非平稳环境中实现稳健的检测。

通过明确解决计算约束和动态数据特征带来的挑战,提出的CNN-LSTM-POT方法为智能农业温室中的异常检测提供了实用的解决方案。

3. 异常检测算法框架:本文提出了一种针对温室环境监测数据的新异常检测算法,该算法集成了CNN、LSTM网络和POT方法——统称为CNN-LSTM-POT模型。该算法首先使用CNN-LSTM结构预测未来传感器值,然后通过POT方法动态确定异常阈值。如果预测残差(定义为实际值与预测值之间的偏差)超过此阈值,则将相应的数据点分类为异常;否则,视为正常。为了实现实时检测,该算法采用了滑动窗口机制,利用历史数据进行实时建模和预测。具体来说,使用一个固定长度为N的滑动窗口,该窗口随时间连续移动。在每一步中,仅使用最新的N个数据点进行模型计算和异常判定。完整的异常检测过程如图4所示,并在算法1中正式说明。

在现实世界场景中,来自不同来源的传感器数据可能在单位尺度和数值范围上有所不同。直接将这些数据输入模型可能会影响训练收敛性和预测准确性。为了解决这个问题,在预测之前对原始数据应用最小-最大归一化,使用以下公式:
\[ x' = \frac{x - x_{min}}{x_{max} - x_{min}} \]
其中 \( x \) 是原始输入值,\( x' \) 是归一化后的值,\( x_{min} \) 和 \( x_{max} \) 分别是当前滑动窗口中观察到的最小值和最大值。当新数据点超出先前观察到的范围时,根据当前滑动窗口内的值动态更新归一化参数 \( x_{min} \) 和 \( x_{max} \)。这确保了归一化能够适应不断变化的数据分布,而无需全局统计数据,从而在时间步骤之间保持一致性和可比性。

4. **基于POT的异常检测算法**:
- 输入:传感器数据序列 \( X = \{x_1, x_2, \ldots, x_t\}
- 输出:异常检测结果

算法步骤如下:
1. 对每个时间步骤 \( t \),从滑动窗口中提取输入特征:\( X_w^{i,n}\)
2. 提取局部空间特征:\( f_{ae,t,3} = f_{ae,t,1} \cdot f_{ot,t,2} \)
3. 建模时间依赖性:\( h^{i,t,2} = L_S(T_{ae,t,3}) \)
4. 预测预期传感器值:\( \hat{x}_t = F_l(L_S(T_{ae,t,3}) \)
5. 计算预测误差:\( e_t = |x_t - \hat{x}_t| \)
6. 维护最近误差的滑动窗口:\( \hat{e}_t = \{e_{t-1}, \ldots, e_t\}
7. 适配广义帕累托分布(GPD)以满足初始阈值 \( u \):\( K(T_{ae,t,3}, u) \)
8. 计算动态异常阈值 \( \tau \)(位于第 \( (1 - \alpha) \) 分位数)
9. 确定异常条件:如果 \( e_t > \tau \),则将 \( x_t \) 标记为异常

为了进一步提高泛化性能并减轻过拟合,将正则化技术[24]集成到训练阶段。这些策略增强了模型在不同环境条件下的鲁棒性和适应性。

在上述算法中,\( \hat{e}_t \) 表示当前窗口内的误差集,\( \tau \) 是动态异常阈值,\( N \) 是滑动窗口的大小,\( \alpha \) 是表示假阳性率的显著性水平,\( u \) 表示初始阈值。

**3.1 CNN-LSTM异常预测模型框架**:
CNN是一种具有局部连接性和共享权重的前馈神经网络[25]。在时间序列建模的背景下,CNN能够有效地从输入数据中提取局部模式和高级特征,为LSTM网络的后续处理提供更多信息性和区分性表示。这种分层方法提高了模型的整体预测准确率[26]。

如图5和算法2所示,输入时间序列 \( X \) 首先经过一维卷积以提取特征,得到高阶特征矩阵 \( Z = (z_1, z_2, \ldots, z_n) \),其中每个特征向量 \( z_i = (z_{i,1}, z_{i,2}, \ldots, z_{i,n} \) 表示时间 \( t \) 的 \( n \) 个特征通道上的激活值。

**3.2 异常决策过程**:
在异常检测过程中,实时传感器数据被连续输入到活动滑动窗口中,并为每个数据点计算预测残差。为了准确区分异常观测值,本研究采用POT方法[27]动态确定检测阈值。与依赖固定阈值的传统方法不同,POT利用极值理论(EVT)通过GPD对超过基线阈值的值进行建模,从而实现适应性地调整阈值,反映数据的实际统计特性。

GPD的累积分布函数(CDF)表示为:
\[ F(\sigma) = 1 - \frac{1}{\left(\frac{\sigma - \delta}{1 + \gamma\sigma}\right)^{\frac{1}{\delta}} \]
在公式(6)中,\( \delta \) 是预测残差(预测值与实际值之间的差异),\( \sigma \) 是初始阈值,\( \gamma \) 是分布函数的形状参数,\( \beta \) 是分布函数的尺度参数。

最终动态阈值 \( \tau \) 可以使用GPD的逆累积分布函数估计:
\[ \tau \approx \sigma + \frac{\alpha^{(\log(\frac{\delta}{\sigma})}{(\log(\frac{\delta}{\sigma})^{\frac{1}{\gamma}) - 1}} \]
其中 \( \sigma \) 是初始设定的参考阈值,\( \alpha \) 和 \( \beta \) 是通过最大似然估计(MLE)估计的形状和尺度参数,\( \alpha \) 是期望的异常比例,\( N \) 是超过 \( \sigma \) 的异常样本的实际数量。

这种动态阈值机制使系统能够灵活且准确地检测突然或高幅度的异常,提高了异常检测算法在复杂和嘈杂环境中的适应性和鲁棒性。在本研究中,POT方法配置的分位数阈值为0.99来确定初始阈值 \( \sigma \),显著性水平为 \( \alpha = 10^{-4} \)。具体实现过程在算法3中描述。

**3.2.1 POT参数的敏感性分析**:
为了进一步验证所提方法的鲁棒性,并为实际温室环境中的参数选择提供实用指导,我们对POT方法的两个关键参数进行了敏感性分析:分位数阈值和显著性水平 \( \alpha \)。

如表1所示,随着分位数从0.90增加到0.99,F1分数从88.6%提高到92.2%,因为对极端残差的关注度提高了。然而,当分位数超过0.995时,F1分数下降到91.5%,在0.999时进一步下降到84.8%,表明过高的分位数会降低检测性能。表1显示,设置 \( q \) 太低会导致F1分数降低到82.8%,因为会错过异常;而设置 \( q \) 太高会导致F1分数上升到86.0%,因为假阳性增加。当 \( q \) 在 \( 10^{-4} \) 和 \( 10^{-3} \) 之间时,可以获得最佳的F1分数,平衡了在不同温室条件下的精确度和召回率。

**3.2.2 滑动窗口对检测延迟和准确性的影响**:
滑动窗口大小 \( N \) 的选择直接影响检测延迟和算法的敏感性。较小的 \( N \) 使模型能够更快地适应数据分布的变化,从而减少异常检测的延迟。然而,这也意味着模型在较少的数据上进行训练,因此可能更容易受到噪声的影响,导致POT的估计不够稳定。相反,较大的 \( N \) 提供更多的历史数据,使得模型和阈值估计更加稳健和稳定,但也会增加检测延迟,因为模型对新趋势的响应较慢,可能难以识别从新基线出现的异常。因此,最佳 \( N \) 是一个权衡,应根据温室应用的具体需求选择,平衡快速检测的需求和对假警报的容忍度。

**4. 算法性能评估**:
CNN-LSTM-POT异常检测模型利用精心选择的一组超参数来平衡模型复杂性、计算效率和检测准确率。该架构包括一个具有32个滤波器和(3, 1)核大小的1D卷积层(Conv1D),随后是两个使用tanh激活函数和0.2丢弃率以防止过拟合的LSTM层。模型使用Adam优化器进行训练,损失函数为均方误差(MSE),批量大小为64,训练周期为30个时代。

**4.1 基线模型的配置和校准**:
为了建立一个严格且公平的评估框架,所有基线模型——即LSTM、Beat生成对抗网络(BeatGAN)和Temporal Hierarchy One-Class(THOC)——都在严格控制条件下与提出的CNN-LSTM-POT模型进行了比较。这是通过标准化实验设置的三个关键方面来实现的:数据集划分、超参数优化和异常阈值确定。首先,为了确保时间一致性和结果可比性,所有模型都在相同的数据集分割上进行了训练和评估。数据按时间顺序分为训练集(70%)、验证集(15%)和测试集(15%),从而保持时间序列的顺序结构并防止数据泄漏。其次,为了保证每个模型都在其最佳状态下运行,通过网格搜索均匀进行了超参数调整,目标是最大化验证集上的F1分数。每个基线模型的最终最佳配置总结在表3中。

**3.3 在不同温室环境中的部署建议**:
- 对于稳定的温室环境,建议使用较高的分位数(0.995)和较低的 \( \alpha \)(5 × 10^{-5}),以减少假警报的同时捕获罕见但关键的异常。
- 对于动态的温室环境,适中的分位数(0.98–0.99)和较高的 \( \alpha \)(10^{-3})更适合保持对异常的敏感性,而不被噪声淹没。
- 对于未知或混合环境,建议从默认值(分位数 = 0.99,\( \alpha = 10^{-4} \)开始,并根据带有标记异常的小验证集或领域专家反馈进行微调。

**4.1.1 分位数阈值**:
通过增加分位数从0.90到0.99,F1分数从88.6%提高到92.2%,因为对极端残差的关注度提高了。然而,当分位数超过0.995时,F1分数下降到91.5%,在0.999时进一步下降到84.8%,表明过高的分位数会降低检测性能。

**4.1.2 显著性水平的影响**:
表2的结果表明,设置 \( q \) 太低会导致F1分数降低到82.8%,因为会错过异常;而设置 \( q \) 太高会导致F1分数上升到86.0%,因为假阳性增加。当 \( q \) 在 \( 10^{-4} \) 和 \( 10^{-3} \) 之间时,可以获得最佳的F1分数,从而在各种温室条件下平衡精确度和召回率。在THOC模型中,采用了其原始研究中推荐的一类样本边界阈值,并在验证集上对其进行微调以优化性能。通过协调这些关键的实验因素,模型之间的比较变得既透明又有意义,为评估所提出的异常检测框架的相对有效性提供了坚实的基础。

4.2 评估指标
为了评估CNN-LSTM模型的预测准确性,采用了平均绝对误差(MAE)作为主要性能指标。MAE的计算公式如下:
$$\mathbb{MAE} = \frac{1}{n} \sum_{n=1}^{n} |X'/X_i|$$
其中$n$是样本总数,$X'$是预测值,$X_i$是实际值。

为了评估算法的实时异常识别能力,使用了三个常用的分类指标:精确率(Precision)、召回率(Recall)和F1分数(F1-score)[28]。它们的定义如下:
$$\text{Precision} = \frac{\text{TP}}{\text{TP} + \text{FP}}$$
$$\text{Recall} = \frac{\text{TP}}{\text{TP} + \text{FN}}$$
$$\text{F1-score} = 2 \times \frac{\text{TP}}{\text{TP} + \text{FP}}$$
在公式(9)-(11)中:
- 真正例(TP):正确识别的异常样本数量。
- 假正例(FP):被错误标记为异常的正常样本数量。
- 假负例(FN):被错误标记为正常的异常样本数量。

为了对模型进行统计显著性测试,引入了平均差异(mean difference)、t统计量(t-statistic)和p值(p-value)。它们的定义如下:
$$\bar{d} = \frac{1}{n} \sum_{i=1}^{n} (X_i - X'_i)$$
$$t = \frac{\bar{d}}{\sqrt{s}}$$
$$s = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (X_i - X'_i)^2}$$
$$p = 1 - \frac{1 - t^2}{1 + t^2}$$

4.3 统计显著性测试
为了严格验证所提出的CNN-LSTM-POT模型的性能优势,我们进行了统计显著性测试。每个模型分别独立运行10次,使用不同的随机种子,并记录得到的F1分数。然后进行配对t检验(paired t-tests),将所提出的模型与每个基线模型进行比较。具体细节见表4。表4显示,与所有三种基线方法相比,所提出模型的性能提升在统计学上是显著的(p < 0.05),证实观察到的改进不是由于随机变异造成的。

4.4 损失评估
为了全面评估所提出的CNN-LSTM模型的训练动态和泛化能力,本节提供了损失曲线(loss curves)、训练配置(training configuration)和防止过拟合策略(overfitting prevention strategies)的详细分析。

该模型使用Adam优化器进行训练,初始学习率为0.001。这个学习率是基于初步实验平衡收敛速度和稳定性选择的;它允许模型在损失曲面上高效下降,而不会振荡或发散。使用批量大小为64来提供稳定的梯度估计,同时保持计算效率。数据集按时间顺序分为训练集(70%)、验证集(15%)和测试集(15%),以保持时间连续性并防止数据泄露。验证集专门用于在训练期间监控模型对未见过的数据的表现。

为了降低过拟合的风险,训练过程中加入了dropout正则化:在每个LSTM层之后应用了0.2的dropout率。这种技术会在训练期间随机停用20%的神经元,迫使网络学习更加健壮和分布式的表示,而不是依赖于特定的神经元。

图6显示了30个训练周期内的训练损失曲线和验证损失曲线。两条曲线都从一个相对较高的初始值(约0.225)开始,并且平行下降,最终在约0.025处收敛。整个训练过程中两条曲线的一致对齐表明学习轨迹稳定且有效,没有过拟合的迹象。这种紧密的跟踪证实了dropout正则化成功地防止了模型偏离验证数据分布。

总体而言,损失曲线显示出了强收敛行为、稳健的训练动态和高泛化能力,验证了为CNN-LSTM模型选择的超参数和正则化技术的有效性。

4.5 异常检测算法的评估
为了评估所提出的CNN-LSTM-POT模型在时间序列数据中检测异常的有效性,将其与三种广泛使用的基线算法进行了比较:LSTM、BeatGAN和THOC。下面提供了这些算法的简要描述:
- LSTM [29]:一种循环神经网络(RNN)架构,利用长短期记忆单元(Long Short-Term Memory units)来捕获序列数据中的长期依赖性。它广泛应用于工业物联网(IIoT)中的时间序列预测和异常检测。
- BeatGAN [30]:一种基于GAN的时间序列异常检测模型,生成器和判别器都使用双向LSTM。异常是根据重建误差来识别的。其主要机制涉及对正常数据分布的对抗性学习,增强了对异常引入的偏差的敏感性。
- THOC [31]:一种分层异常检测框架,结合了扩展卷积(dilated convolutions)和跳跃连接(skip connections)来学习多尺度时间特征。它采用了一类样本目标函数(one-class objective function)进行异常检测,特别适用于具有复杂周期性和长期趋势的时间序列数据。

图7使用三个评估指标(精确率、召回率和F1分数)比较了这四种模型的性能。结果表明,所提出的CNN-LSTM-POT模型在所有指标上的表现都优于其他方法,显示出卓越的泛化和异常检测能力。

4.6 边缘部署性能分析
为了在资源有限的边缘设备上实现高效部署,对所提出的CNN-LSTM-POT模型应用了两种优化技术,以显著提高运行效率,同时保持检测准确性:
- (1)模型剪枝(Model Pruning):CNN-LSTM模型中存在大量的冗余连接,特别是在全连接层(fully connected layers)和LSTM门控单元(LSTM gating units)的权重矩阵中,许多权重值接近零,对最终输出贡献很小。本文采用了一种基于幅度(magnitude-based pruning)的剪枝方法。首先在正常数据上训练模型至收敛,然后分析所有权重的绝对值分布,并设置一个全局阈值0.01。绝对值低于此阈值的权重被设置为零,并在推理过程中跳过。剪枝后,模型呈现出稀疏的连接结构,并使用压缩行存储格式(Compressed Row Storage format)进行存储,从而减少存储空间占用。为了进一步恢复准确性,对剪枝后的模型进行微调,使剩余权重能够适应剪枝引起的结构变化。
- (2)内存池化(Memory Pooling)和静态分配(Static Allocation):在边缘设备操作期间,频繁的动态内存分配和释放可能导致内存碎片化、分配延迟增加以及潜在的内存不足。考虑到STM32H743(1 MB)的内存资源有限,必须严格管理内存使用。本文采用了内存池化技术。在模型加载阶段,预先分析每层的输入/输出张量维度和中间缓冲区需求,以计算推理过程所需的最大内存空间。然后一次性从系统请求固定大小的内存池。在推理期间,所有张量都从该内存池中静态分配,并且内存区域可以在层计算之间重用(例如,前一层的输出空间可以在计算完成后立即分配给下一层使用)。

此外,还对所有模型在关键边缘部署指标上进行了全面比较,包括内存使用、推理延迟和能源消耗。详细结果见表5。表5显示,在STM32H743平台上,LSTM模型在内存使用、推理延迟和能源消耗方面的资源消耗最低。所提出的CNN-LSTM-POT模型在所有指标上都具有竞争性性能,而THOC和BeatGAN由于其更复杂的架构,显示出显著更高的资源消耗。总体而言,CNN-LSTM-POT模型在资源消耗和检测准确性之间取得了良好的平衡,其适度的资源需求使其能够满足STM32H743平台上的实时边缘部署要求。

5. 算法在网关中的应用
本研究在一个受控的温室模拟环境中进行,连续七天内从光强度、温度、湿度和CO2传感器收集了总共40,320个数据点(详见表6)。异常数据通过两种方法生成:正常操作期间的自然传感器漂移和人为引入的物理干扰(例如,突然增加的光强度、点燃火焰)。所有异常数据都通过手动验证、与冗余传感器的交叉验证以及与环境事件日志的相关性分析进行了标记。数据集按时间顺序分为训练集(70%)、验证集(15%)和测试集(15%),以确保时间序列的连续性和评估的公平性。

5.1 数据分布特征
为了全面了解收集到的数据集,我们分析了每种传感器类型的分布特征。光强度数据呈现双峰分布,峰值对应于白天的高峰期(约25,000–35,000勒克斯)和夜间的低谷期(低于500勒克斯)。温度读数遵循接近正态的分布,中心值约为24.5°C,标准差为3.2°C,反映了温室的气候控制系统。湿度数据呈现右偏态分布,值集中在65%到85%相对湿度(RH)之间,偶尔在通风事件期间降至50%RH以下。CO2浓度显示多峰模式,基线水平约为400–450 ppm,在植物呼吸高峰期间周期性升高至800 ppm。

5.2 昼夜和时间模式分析
所有传感器类型都观察到了显著的昼夜模式,这与温室的环境动态一致。光强度显示出最明显的昼夜周期,在黎明后(约6:00)急剧上升,在中午(12:00–14:00)达到峰值,随后在日落后(18:00)逐渐下降。温度与光强度有2–3小时的延迟,中午(14:00–16:00)达到峰值。湿度与温度呈现反比关系,在清晨(04:00–06:00)达到最大值,在温度高峰期间达到最小值。CO2浓度显示两个峰值:一个主要峰值在夜间(00:00–04:00)由于植物呼吸,另一个次要峰值在中午(12:00–14:00),可能与通风减少或人类活动有关。

这些时间模式在整个七天的收集期间保持一致,仅有轻微的变化是由于天气条件(例如,阴天导致光强度减弱和温度波动减弱)。

5.3 异常验证方法
所有检测到的异常数据都使用多种互补方法进行了严格验证,以确立可靠的基准真相。验证过程包括以下方法:
- 手动验证(Manual Verification):领域专家结合相应的时间戳和环境日志视觉检查传感器读数。例如,与记录的通风系统激活同时发生的温度突然升高被归类为正常事件,而没有相应执行器日志的温度激增被标记为潜在异常。
- 与冗余传感器的交叉验证(Cross-Validation with Redundant Sensors):每个温室节点包含相同类型的冗余传感器(例如,每个节点两个温度传感器)。冗余传感器之间的差异超过三个标准差时,会触发进一步的调查。如果一个传感器出现偏差,而其对应的传感器仍保持预期读数,则可确认存在异常的传感器。通过与环境事件日志进行相关性分析,温室控制系统维护了执行器事件的详细记录(例如,通风启动、加热周期、灌溉调度等)。将传感器读数与这些日志进行交叉比对,以验证观察到的偏差是否与正常的控制操作相对应。例如,在灌溉事件后出现湿度增加的情况被视为正常现象,而没有相应日志支持的类似变化则被认为是异常的。

为了评估所提出的CNN-LSTM-POT算法在网关层面的实际检测能力,设计了四种实验场景:
- 实验1(单个传感器,单个节点异常):对单个传感器进行干扰(例如,让光敏传感器暴露在强光下),以测试网关对孤立异常的响应能力。
- 实验2(多个传感器,单个节点异常):同时干扰单个节点内的多个传感器(例如,在节点附近引发火灾),以模拟传感器之间的关联故障。
- 实验3(单个传感器,多个节点异常):同时干扰多个节点上的同类型传感器(例如,让多个光敏传感器暴露在强光下),以测试空间分布异常情况下的检测性能。
- 实验4(多个传感器,多个节点异常):同时干扰多个节点上的不同类型传感器,以模拟大规模和异构的异常场景。

每个实验持续6小时,采样间隔为3分钟,每个场景重复50次。在没有异常检测算法的系统中,所有收集的数据都会上传到云端。相比之下,集成该算法的网关会在当地过滤掉异常数据,仅将正常数据上传到云端。通过比较两种情况下传输的数据量,可以推断出异常的数量,从而计算异常识别率(见公式(16))。实验结果如表7所示。所有实验均在受控的温室模拟环境中进行。未来的工作将涉及在实际温室中部署该系统,以进行更广泛的验证。

这些结果表明,所提出的算法在实际应用中具有很高的实用性和适应性。它可以显著减少上传到云端的异常数据量,从而减轻基于云的平台的安全带消耗和计算压力。然而,从表格中可以看出,在多节点、多传感器的实验中,识别率有所下降。主要原因可以归纳为以下几点:多传感器异常之间可能存在相关性,这些相关性类似于正常的环境波动,导致模型将相关异常误判为正常变化,从而造成漏检;此外,多节点、多传感器的场景具有最高维度的特征空间,在这种复杂的 high-dimensional 空间中,异常可能在多个维度上同时表现出细微的偏差,增加了模型区分异常和正常模式的难度。

本研究提出了一种新型的温室传感器数据异常检测算法,结合了卷积神经网络(CNN)、长短期记忆网络(LSTM)和极值理论(POT)方法。所提出的CNN-LSTM-POT框架有效结合了CNN的局部空间特征提取能力、LSTM的时间序列建模优势以及基于极值理论的自适应阈值调整机制。这种集成使得温室监测系统中的多源环境数据中的异常能够被准确且高效地识别出来。具体而言,CNN组件从原始传感器输入中提取多尺度的局部特征,LSTM组件捕获时间依赖性和演变趋势,POT组件则对重建误差的统计分布进行建模,以确定自适应阈值并分离异常。这三个模块协同工作,支持局部和系统级别的异常检测,提高了算法在嘈杂或变化环境条件下的鲁棒性和适应性。

实验表明,CNN-LSTM-POT模型在检测准确性、实时处理能力和边缘部署适用性方面优于基线方法。该系统大幅减少了上传到云端的错误数据量,降低了带宽消耗和服务器端处理负担。这些结果表明,所提出的框架为智能温室应用中的异常监测提供了一种实用、可扩展且可靠的方法,并具有在精准农业中广泛应用的潜力。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号