基于双状态隐马尔可夫模型的预测带越界连续段检测以降低大坝摆锤监测中的报警疲劳

《Electronics》:Reducing Alarm Fatigue in Dam Pendulum Monitoring: Streak Detection of Prediction-Band Transgressions with a Two-State Hidden Markov Model

【字体: 大 中 小 】 时间:2026年11月01日 来源:Electronics 2.9

编辑推荐:

  大坝摆锤监测会将超出预测带(prediction band)的读数标记出来,但自相关(autocorrelated)残差使这些越界(transgression)聚集成冗余警告的连续段(streak),从而造成报警疲劳(alarm fatigue)。本研究旨在通

  
大坝摆锤监测会将超出预测带(prediction band)的读数标记出来,但自相关(autocorrelated)残差使这些越界(transgression)聚集成冗余警告的连续段(streak),从而造成报警疲劳(alarm fatigue)。本研究旨在通过学习越界序列的正常行为,仅在越界持续性偏离该正常行为时发出警告,以降低报警疲劳。研究比较了三种检测器:高斯阈值基线(M0)、采用第99百分位数阈值的滑动窗口检测器(P99),以及学习连续段持续性的双状态隐马尔可夫模型(hidden Markov model, HMM)。将这些检测器应用于三座大坝(分别含1、23和4个传感器)的28个摆锤,并由一项可辨识性(identifiability)判据(20个传感器满足该判据)决定何时可信任HMM。在最具代表性的Dam2中,在可辨识传感器范围内,HMM相对于P99将标记记录数和标记事件数分别减少26.0%和33.3%;所提出的配置(可辨识处用HMM,否则用P99)则分别减少19.2%和25.8%,且各传感器之间存在差异。在一条具有习惯性连续段和已知漂移(drift)的合成序列上,HMM仅在12条记录之后标记出该漂移,而其他检测器(包括连续两次、三次和五次越界的规则)也标记了习惯性连续段。在操作层面,HMM以从每个传感器数据中学习到的持续性取代了此类手工设定的规则。
研究背景方面,大坝安全监测事关重大,摆锤监测是跟踪水平位移、反映结构对静水推力与温度变化响应的基本技术手段。大坝行为传统上采用水压-季节-时间(Hydrostatic–Season–Time, HST)模型解释,本研究并不提出新的预测模型,而是在既有对提升回归树(boosted regression trees, BRT)、随机森林(random forest, RF)、神经网络(neural network, NN)与HST模型进行贪心加权堆叠(greedy weighted stacking)的工作基础上,以支持向量机(support vector machine, SVM)替代RF,由该堆叠模型给出正常性带(normality band),其越界即为研究对象。尽管此类模型预测效果良好,但其运行部署面临虚假报警饱和的问题,即报警疲劳;该术语在医疗领域广泛使用,也在网络安全与工业界流行。传统阈值对高度自相关的序列往往不适用:残差中的序列相关使越界以簇状爆发形式出现,反复越界常使操作人员不堪重负,因此单凭一次越界触发警告并不合适。大坝文献已认识到警告过多问题,并提出若干抑制方式:依据当前荷载组合在历史数据中的代表性调整预测带宽度、跨多个传感器确认警告,或仅在越界持续若干连续读数后才发出警告;后者的所需持续性为先验固定并统一应用的参数,与各传感器在正常运行时越界聚集的强度无关,而从数据中调节该参数也并不简单:从机器学习角度看,该问题涉及缺乏标注异常(真实损伤记录稀少或不存在)以及误差自相关等数据相关挑战。本研究以逐传感器从训练期观测到的越界中学习到的持续性取代手工设定的持续性,从而仅在运行中越界行为偏离所学行为时发出警告。然而,一种在训练期学习越界本身随机模式、以过滤冗余警报并防止操作人员脱敏的方法仍然缺失;特别是隐马尔可夫模型(HMM)在大坝安全中鲜有应用,尽管其已是众多其他领域建模时间序列状态及其持续时间的成熟工具。更接近本研究思路的工作试图在大坝与结构工程内部使异常检测与警告更智能:Nguyen提出了实时贝叶斯框架,将异常显式预定义为结构基线中意外的运动学加速度(在隔离可逆环境影响之后),切换卡尔曼滤波(Switching Kalman Filter)随之在正常状态(基线加速度严格约束为零)与异常状态(加速度方差激活)之间切换,每当后验状态概率达到峰值即发出报警,且训练期无需标注失效数据;此外,Silva-Cancino等人提出基于核密度估计(kernel density estimation, KDE)的自适应阈值,依据数据代表性随老龄大坝演化进行调整,Tshireletso与Moyo将Prophet预测与高斯混合模型-隐马尔可夫模型(GMM-HMM)结合,以在关键越界发生前检测状态变化。处理此类序列时间结构的补充策略是滑动窗口分割,其已在结构健康监测(structural health monitoring, SHM)中确立用于识别局部模式与状态变化;由于窗口大小传统上任意固定,自相关函数(autocorrelation function, ACF)经证明在无监督时间序列比较分析中稳健后,已成为客观设定窗口的判据:Li等人将其与偏自相关结合以选取重力坝异常检测的最优长度,Yang等人同样依赖序列自相关设定窗口大小以避免任意选择。本工作的核心目标是开发并应用摆锤序列异常检测方法,通过学习越界模式来缓解报警疲劳;关键创新在于将越界不视为孤立事件,而视为其"正常"行为必须被学习的时间序列。研究比较三种作用于二值越界序列的检测器:(i) 固定窗口基线;(ii) 考虑自相关的ACF优化滑动窗口百分位检测器;(iii) 建模异常状态持续时间的HMM;并在三座大坝的28个摆锤以及一条具有习惯性连续段和已知起始异常(onset)的合成序列上,将其与实践中所用固定持续性规则进行比较,以显示在仍能检测真实异常的同时是否实现了标记减少。研究假设:对训练期观测到的越界进行统计刻画,可使操作人员仅在偏差的持续性偏离所学模式时收到通知,从而恢复对智能监测系统的运行信任。

研究人员开展了如下研究并得出结论:研究分为两部分,第一部分按方法出现顺序构建异常检测方法,分析每种方法出现的局限,并将这些局限与作为其解决方案的下一方法的引入相联系;第二部分检验HMM的可靠性,即可靠估计与否及其估计的稳定性。检测链为Phase 1将每个传感器原始读数转化为越界序列Z(通过度量机器学习模型误差并构建预测带),随后依次应用三种旨在识别连续越界的检测器,每种检测器均源于前一检测器的局限:M0(高斯阈值)在出现连续段时可能饱和,因其忽略越界的自相关;P99(采用第99百分位数的滑动窗口)通过度量越界的实际密度解决该饱和问题,但依赖窗口与百分位数的选择;双状态HMM则学习连续段的持续性模式。检测器并非完全独立:HMM以P99估计的阈值作为其某一参数的初始值,P99亦用于HMM不可辨识的传感器。HMM的验证包括可辨识性分析(逐传感器检验HMM能否可靠估计,即是否有足够信号区分正常状态与异常状态,并给出决定何时信任HMM、何时仅依赖P99的阈值)与对Baum–Welch初始概率的敏感性分析(度量HMM结果在多大程度上依赖训练算法起点,即估计的稳定性)。研究结论为:考虑连续段的自相关是必要的,忽略自相关的M0可标记整个验证期(Dam2中426条标记记录,而P99为261条),而P99通过在ACF定尺窗口内要求最低越界密度避免了该饱和;学习连续段的持续性可减少冗余标记,在Dam2可辨识传感器中,HMM标记142条记录和16个事件,而P99为192条和24个(分别减少26.0%和33.3%),在Dam2全部传感器上,所提出配置相对于P99将标记记录和事件分别减少19.2%和25.8%,相对于原始越界序列分别减少39.0%和78.5%,尽管减少幅度因传感器而异(可辨识传感器中位数为50.9%),与固定规则不同(其结果取决于r的任意选择),HMM的持续时间阈值由每个传感器的数据导出;该减少并未以漏检真实异常为代价,在合成测试中,HMM在习惯性连续段期间未发出标记,而原始序列、固定规则(r = 2、3、5)、M0和P99标记了5至52条记录,HMM在12条记录后检测到持续漂移,处于其学习阈值Lmod量级,并标记了87.0%的异常记录;HMM在可辨识时可可靠使用,发射分离度Δ = ρ ? ε随训练中可用证据增长(与平均和最大连续段持续时间的Spearman相关系数分别为+0.95和+0.87),在这些数据上校准的阈值Δ = 0.22将28个传感器中的20个判为可辨识,估计值在参考初始化附近稳定,仅pNN在约0.80以下有可感知影响。上述结果表明,在所测试条件下,HMM减少了冗余标记,同时仍以适度延迟检测到持续异常;但这些结果不构成其对各真实传感器检测性能的一般性度量,主要局限(特别是HMM建模越界的持续性而非其原因)在第3.4节详述,最具信息量的下一步是将合成异常测试扩展至各传感器真实序列并考虑其习惯性连续段,以逐传感器估计检测率与延迟。

关键技术方法方面(不超过250字):研究采用逐传感器预测模型,以水库水位、温度和降水等外部条件及其历史值的移动平均为输入,拟合BRT、NN、SVM与HST等候选模型,并以贪心加权算法(GWA)堆叠组合,通过块交叉验证(每块对应一年)以平均RMSE为判据选模;由训练期误差标准差与系数c = 2构建双侧预测带并生成二值越界序列Z;随后依次应用M0(30条记录固定窗口的高斯阈值)、P99(以残差ACF定尺窗口、取训练期窗口化越界率第99百分位数阈值)与双状态HMM(Baum–Welch估计参数,Viterbi解码状态,依pAA的几何分布导出持续时间阈值Lmod,显著性水平取0.05与0.01);可辨识性以发射分离度Δ = ρ ? ε ≥ 0.22判定,否则回退P99;并以Baum–Welch初始概率敏感性分析(distant、similar、reference-vs-Baum–Welch三个场景)检验稳定性;另构建一条受Dam1摆锤启发的合成序列(训练九年日读数2008–2016共3288条,验证2017年365条,含两个习惯性连续段与2017年10月1日起92条记录的已知漂移)进行已知异常测试。样本队列来源为西班牙三座大坝(一座拱形重力坝与两座重力坝,坝高45至90.55 m)在两项研究项目内监测的28个摆锤(Dam1为1个、Dam2为23个、Dam3为4个),因保密原因未给出坝名与确切位置。

研究结果方面,"异常检测方法(M0、P99与HMM)"一节比较三种方法与原始越界序列Z在三座大坝上的表现:M0未减少标记记录,反而相对于Z增加(Dam2为426对346,Dam3为245对123),但减少了标记事件(Dam2由107降至22,Dam3由32降至8)并减少了有标记的传感器数(Dam2由22降至18,Dam3由4降至3,Dam1唯一传感器不再产生标记),示例传感器P88098显示M0将验证期73.3%的越界记录扩大为100.0%的标记记录、六个越界事件合并为跨越整个验证期的单一事件,说明其阈值过于宽松;P99相对于Z和M0减少了标记传感器数(Dam2为18、Dam3为3、Dam1为零)与标记记录数(Dam2为261、Dam3为131),标记事件多于M0(Dam2为31对22)但更短且远少于Z,示例传感器P04626中P99在窗口内越界比例超过阈值时标记异常期首个记录而非首个越界即标记,P90710中P99将标记记录降至20.0%(M0为58.2%,越界为41.8%)并将七个越界事件变为四个短标记事件,表明P99仅在窗口内足够多记录越界超过阈值(训练期越界比例第99百分位数)时才标记,从而滤除孤立点与短连续段;HMM在可辨识传感器中标记记录与事件最少,Dam2(17个可辨识传感器)标记142条记录、16个事件,而P99为192条、24个,相对于P99分别减少26.0%与33.3%,相对于Z减少47.0%,每传感器平均标记记录由P99的11.3降至8.4,17个可辨识传感器中10个有标记(M0与P99为13个),Dam3两个可辨识传感器中HMM标记88条记录对P99的128条(减少31.2%)、7个事件对9个(22.2%),全部传感器上所提出配置在Dam2标记211条记录、23个事件,相对于P99减少19.2%与25.8%、相对于Z减少39.0%与78.5%,23个传感器中15个有标记(P99为18个),Dam3相对于P99减少标记记录30.5%、标记事件20.0%,但减少幅度因传感器而异(15个P99至少发出一个标记的可辨识传感器中,HMM相对P99标记记录减少中位数为50.9%,四分位距17.1–83.3%,其中4个传感器HMM去除P99全部标记,P90710两者标记数相同,P50991中HMM标记更多即23对6);与固定持续性规则相比,Dam2可辨识传感器中r = 3规则标记记录数与HMM相近(145对142)但标记事件几乎翻倍(29对16),r = 2时HMM将标记记录减少23.7%、标记事件减少61.0%,规则事件更多源于单个带内记录即中断标记并结束事件,而HMM将两条连续段之间的带内记录归入同一异常状态从而作为单一事件通知,更严格的r = 5标记记录更少(97)且事件相近(14),但固定规则标记多少仅取决于任意选择的r,而HMM的持续时间阈值Lmod由各传感器训练期连续段持续性导出,Dam1传感器对任意r均发出标记而HMM不发出(因其已学到该传感器的季节性连续段属正常),故无单一r值可在各传感器上复现HMM行为;示例P04626显示HMM将越界连续段检测为异常状态期,训练期识别出两个异常状态期,其中第二个将一带内记录同样归入异常状态(正确,因分隔两条连续段的孤立带内点不应中断异常),而孤立越界被归入正常状态(视为噪声),验证期中所有连续段均被归入异常状态但仅在状态持续时间相对于训练所学持续性异常长时才标记(达到给定持续时间的概率低于5%时标记并开始事件,随连续段延长概率降至1%以下则严重度提高,序列回到正常状态时标记结束),该传感器中P99与M0标记记录比例相同而HMM降至44.8%,三种方法均将验证期异常标记为单一事件,32与26条记录的差异来自事件边界(HMM事件开始更晚,为2024年5月对M0与P99的2024年2月,结束略早,为2025年8月对2025年9月),即HMM等待至连续段持续时间相对于训练所学异常停留异常长时才标记,该等待时间非手工设定参数而由传感器自身数据估计;Dam1摆锤P91039中M0、P99与HMM均未发出标记,而纯越界序列与固定持续性规则发出标记,HMM在训练期检测到连续段并将其分类为异常状态、与序列正常状态区分,验证期亦有按训练所学归为异常状态的连续段但不发出标记,因模型已在参数估计数据中见过该持续时间的连续段,故验证期连续段持续时间并非异常而属序列惯常行为,这与2.6节合成异常测试(基于受该摆锤启发的序列构建,具同类习惯性连续段时HMM同样保持沉默,而当持续异常持续时间超过训练所学时即标记)相符,因此Dam1无标记与其验证期连续段的惯常性一致而非检测器缺乏灵敏度;总体而言,HMM通过训练期识别连续段模式显著减少标记记录,在所测试条件下是减少冗余标记最多的方法。"HMM的补充分析"一节报告可辨识性与敏感性结果:可辨识性方面,分析1显示发射分离度随平均连续段持续时间(a)与最大连续段持续时间(c)增长、随短连续段(≤2条记录)后接长间隔(≥3条记录)的比例(b)下降,Spearman秩相关分别为+0.95、?0.55与+0.87,说明拟合达到的分离度反映可用证据质量,部分零分离传感器在某些单变量上与正分离传感器相似并不奇怪,因分离度取决于多因素组合;分析2显示解码置信度(越界记录上异常状态后验概率均值)随分离度增长,低于约0.2至0.25时给定越界后异常后验概率几乎不偏离0.5,高于此则接近1,两图均揭示一组分离度近乎为零且解码置信度处于或低于随机水平(后验均值≤0.5)的传感器,即坍缩至不可区分,故分离度低于0.22的传感器判为不可辨识并仅依赖P99。敏感性方面,个体分析在P91039与P90710上显示大幅降低pAA不改变结果(异常状态解码相同且模型仍可辨识),同等幅度降低pNN(约0.9至0.1)则显著改变状态解码并使HMM不可辨识,反转发射概率(高ε、低ρ)在两传感器中均使拟合不可辨识,其机理在于降低pAA意味着易离开异常状态故异常段少、与越界稀少一致而保持可辨识,降低pNN则等于说正常状态几乎从不持续、与由长串"0"构成且过程多数时间处于正常的序列矛盾,反转ε与ρ则同时断言通常处于正常且正常时多见越界、而Zt = 1实际稀少,该不一致可能阻止Baum–Welch收敛至一致解。distant场景(B1)先确定参考初始化下Baum–Welch最终估计跨传感器的自然变化范围(除pAA与ρ外参数离散度很低,ε极差仅0.036、pNN为0.114、πN与πA为0.132,pNN与πN集中于1附近、ε与πA集中于0附近,例外为pAA极差0.431–0.883即0.452、ρ极差0.259–0.831即0.573),再据此定义远离参考的压力场景;结果显示改变pNN的场景最具破坏性(仅改pNN的D1即使92.9%传感器不可辨识,与pAA组合的D7与D12完全破坏模型即100%不可辨识),仅改pAA(D2)、仅改ε(D3)或受控地改ε与ρ(D4)完全复现参考值,仅改ρ(D11)使越界归入正常状态比例升至22.8%且46.4%传感器不可辨识,ε与ρ组合(D5)增幅最大(26.9%,82.1%不可辨识),不强烈改变pNN的D8(πN)与D10(除pNN外全部取极端)则温和得多(17.8%与39.3%),故pNN是关键参数,转移块是完全错误初始化下最脆弱之处,ρ单独有效与B2中其几乎无关的差异可能在于变化幅度更大,D3与D4复现参考值说明所用ε压力值虽严苛但若ρ保持接近参考值则模型可吸收,D10与温和场景相似说明只要pNN保持合理值模型可容忍其余参数取极端,这与自然变化中范围狭窄且钉在边界(pNN与πN近1、ε与πA近0)的参数最决定结果相一致。similar场景(B2)显示仅转移块产生可感知偏差,发射块与初始状态块偏差及内部离散度几乎为零(最大绝对偏差1.6 × 10?5,即ε(0)与ρ(0)的±15%扰动下Baum–Welch收敛到与参考初始化相同的估计),转移块内偏差集中于未被直接扰动的参数:ε(相对偏差约38.9%)与πA(约29.6%)移动最远,而pNN与pAA本身几乎不动(2.8%与1.8%),ρ与πN亦然(5.1%与3.4%),逐传感器箱线图中位数与四分位距对所有参数几乎为0,表明绝大多数传感器估计几乎不动,ε与πA的高均值来自少数异常传感器(偏差达约520%与约300%)而非普遍偏移,中心趋势是稳定的;过渡块逐组合细分显示pNN取0.70的行出现可感知变化,而pNN取0.950与0.990时无论pAA如何均与参考一致(确认移动pAA无害、效应由降低pNN触发),pNN = 0.70时最大平均偏差仍出现在ε(+123.6%至+209.6%)与πA(+90.1%至+118.4%),所有中位数均为0表明变化非普遍而由少数异常传感器造成(全尺度下ε孤立点超过2000%,缩放至箱体则几乎所有传感器几乎为零),异常传感器很少且重复(P28558、P76702与P91942),且均随pNN = 0.70而不再可辨识,最大偏差集中于ε(P28558为2176.5%)与πA(P28558为1182.4%),确认平均偏差并非估计的真实偏移而是训练期连续段极少的少数传感器退化拟合的假象;将pNN从0.50扫至参考值0.97显示偏差仅在pNN低于约0.80时出现,从此至参考初始值所有曲线约为0,即模型对整个上段不敏感,低于0.80偏差阶梯式增长(ε在0.50处达约520%、πA约230%,其余参数平坦),不可辨识传感器百分比随之单调下降,从0.50处约57%至约0.80起稳定在约29%,两个转变重合,参考值0.97舒适地位于平坦区、远离约0.80的破坏阈值。reference-vs-Baum–Welch(B3)显示位移各有方向与幅度:pNN几乎不动(0.880–0.993,相对差异0.1%至9.3%)且通常略低于参考值0.97;pAA在所有传感器中系统性下降(最终估计0.431–0.883,相对差异7.1%至54.6%);ε方向最清晰,在100%传感器中下降(相对差异33.2%至93.7%);ρ行为混合(9个上升、11个下降)且变化范围最宽(3.4%至142.5%);参数间出现一致关系:pAA与ε在各传感器中反向移动(pAA几乎不偏的传感器ε偏得最多,反之亦然),pNN与pAA同向移动,ρ最极端的两种情况(126.0%与142.5%)对应参考初始ρ较低的传感器(0.308与0.222);pNN几乎不动是好迹象(其参考值0.97已很好反映现实),ε系统性下降亦属预期(其初值在整个训练期计算,而拟合结束时模型更好分离真正正常段即更干净者故ε趋于下降),pAA与ε的联合行为(均下降且彼此反向)指向模型在两者间分配拟合(当赋予异常状态更多持续性即高pAA时正常状态生成更少"1"故ε下降,反之亦然),故最终结果可由不同组合达到,但需注意ε接近零而pAA未下降的情形(过小ε会使甚至孤立越界点被计为异常,恰与所求相反),ρ是最可变参数但其两种极端似为孤立(始于很低参考初始ρ、被拟合强修正的传感器)而非普遍问题;总体无传感器保持完全相同(参考初始化非不动点)但移动与各传感器数据预期一致而非杂乱。归纳而言,个体案例、B1、B2与B3汇聚于同一结论:pNN是远为关键的参数(唯一在被降低时改变估计并可使模型不可辨识者),HMM在参考附近初始化下稳定、仅在pNN低于约0.80时退化,故参考值0.97舒适位于稳定区,ε与πA的高平均偏差反映少数连续段极少的不可辨识传感器而非不稳定性,故中位数应与均值并读;B3表明初始概率并非最终估计值而会变化以适应训练中所观测,pNN变化最小与其对可辨识性影响最大相一致,均支持参考初始概率的选择。"持续性估计的不确定性"一节显示各可辨识传感器的pAA精度取决于训练期离开异常状态的期望转移数nA(经前向-后向算法获得),除Dam1传感器(nA = 193.2)外nA较小(11.4至42.8),故pAA标准误为0.076至0.148(Dam1为0.023),持续时间阈值Lmod在各传感器间差异显著(Dam2与Dam3为5至9条读数,Dam1为26条),且其本身不确定:在pAA的95%区间边界处评估,下限处Lmod为4至5条读数、上限处多达21条,例如P50991的Lmod = 7、区间为5至13条读数;不确定性因而不对称:若真实pAA低于估计,阈值至多缩短四条读数(Dam2与Dam3)或八条(Dam1),即连续段至多比应标记时晚该读数数才标记;若真实pAA更高,阈值更长而HMM会比对严格必要更早标记某些连续段,属偏安全一侧的误差;故pAA的不确定性影响标记的确切起点但不妨碍HMM的使用。"已知异常下的行为"一节通过合成序列显示:训练期HMM可辨识(Δ = 0.813)并估计pAA = 0.764,故异常状态停留自Lmod = 13条记录起被标记,P99得窗口N = 9条记录与阈值θ = 0.667(即要求窗口内七次越界);验证期两个习惯性连续段(8与12条记录)短于Lmod,HMM在异常之外未发出标记,而所有其他检测器均标记之(Z在七个事件中标记19条记录含噪声所致孤立越界,固定规则对r = 2、3、5分别标记12、9、5条,M0标记52条因其30条记录窗口使标记在每个连续段后持续数周,P99标记两个事件共5条因两条连续段均在其窗口内达到所需七次越界即其阈值由越界密度而非连续段持续时间设定);所有检测器均检测到最终漂移(Z、固定规则与M0在前0至5条记录内,P99在6条后,HMM在12条后即异常状态停留达到Lmod时并自此连续标记至序列结束),HMM共标记92条异常记录中的80条(87.0%),而其他检测器为93.5%至100%;该测试说明早标记与报警疲劳之间的权衡:早标记的检测器不区分异常连续段与习惯性连续段,在出现一次或少数越界时即标记者(Z与固定规则)或忽略连续段自相关者(M0)最先发出漂移信号但也以之后用于真实异常的同一信号标记习惯性连续段,对操作人员而言漂移的首次标记看似先前那些最终无事的标记,此刻尚不能分辨该连续段将如习惯性者持续数日还是属持续变化,可能后果即标记被忽略,这正是报警疲劳的风险;HMM等待至连续段长于该传感器的正常值,不因一条读数越带而标记,而在连续段持续时间不再与训练所学相容时标记,故在习惯性连续段期间保持沉默、其首次标记出现在连续段已长于正常之时,代价是Lmod量级的延迟,该延迟相对于不回返漂移的持续时间很小且换来标记在发生时富有意义;P99减少报警疲劳但未消除之,其阈值基于窗口内越界密度而非连续段持续时间,故足够密集的习惯性连续段会超过阈值;HMM的延迟取决于pAA进而取决于各传感器习惯性连续段的持续时间,该测试的局限在3.4节讨论。"局限与未来工作"一节指出:越界原因方面,HMM不知越界缘由,其建模Zt的时间结构但未纳入环境协变量,故极端外部条件所致连续段与结构劣化所致者无法区分,此种情况下预测模型本身可能预测不佳,所得连续段将与结构性者同样被标记;不可辨识方面,连续段极少或仅单记录连续段时Baum–Welch不收敛至有用解而仅用P99,在所采用判据下28个传感器中8个如此,此外分离阈值Δ = 0.22并非理论最优或经验证的规则,而是在随后应用该阈值的同一批28个传感器上获得的校准值(依3.2.1节分析为最能区分可用模型与退化模型者),在这些数据上分类不依赖阈值在宽范围内的确切位置(无传感器分离度位于0.005与0.232之间,故该区间内任何阈值均给出相同的20个可辨识传感器,仅P76702的Δ = 0.232位于解码置信度变化带约0.2至0.25内,若阈值升至0.25它将变为不可辨识),由于阈值在这些数据上校准,它未必可迁移至其他传感器或大坝,应在彼处按同一程序重新校准;两个检测器的运行使用方面,所提出配置实际无需维护两套独立系统,P99对每个传感器计算、HMM在同一训练期拟合,可辨识性判据仅决定每传感器报告两者中哪一个标记,且每次更新训练期(即重新训练预测模型)时应重新评估可辨识性,因发射分离度随训练中可用证据增长,不可辨识传感器可随连续段积累而变为可辨识,反之短暂或平静的训练期可使可辨识传感器回退至P99,对操作人员而言无论哪个检测器发出标记其含义相同,即对特定传感器持续性不典型的连续段,在P99中以越界密度度量、在HMM中以持续时间度量;持续性估计的不确定性方面,训练期连续段少时pAA估计不确定度大,由其导出的严重度值为指示性而非保证,Dam2与Dam3中pAA仅由11至43次期望离开异常状态的转移估计、标准误至多0.148,故Lmod在95%区间内可由4变至21条读数,在该区间内标记至多延迟四条读数,而真实阈值更长只会使标记提前,故应随训练记录增长与连续段增多重新估计pAA与Lmod,在大坝监测中真实损伤记录稀少或不存在使训练几乎仅限健康运行,严重季节性极端外部条件所致长期持续越界连续段同样稀少,因此统计上无法可靠验证几何分布所依据的转移独立性假设(即离开异常状态的概率不取决于已持续多久),该要求不可检验故式(11)的理论持续时间失去作为精确物理概率的有效性,须作为严重度评分或持续性指标启发式解读,但这一形式局限并不损害方法检测异常的有效性:HMM在假定无结构问题的时期校准,学到与正常变异和传感器噪声相容的越界基线持续性,若劣化过程在验证期发展,将表现为远超所学随机界限的密集不间断连续段,使Viterbi序列异常长时间停留于异常状态,从而因其过长持续时间确保标记及时激活;几何假设方面,在具自身记忆的累积损伤(渐进裂缝、增长渗漏)下几何假设可能失效,此时几何分布低估长停留概率,但这使模型朝正确方向保守,因真正持续的停留比预期更令人意外并增加对结构异常的灵敏度;检测延迟方面,按设计检测器在连续段持续性相对于训练异常时才发出警告,这相对逐记录警告意味着延迟,该延迟是减少与正常运行相容越界所致警报的代价,在合成异常测试中HMM延迟为Lmod量级故取决于各传感器习惯性连续段持续时间(Dam2与Dam3为5至9条记录,Dam1为26条),将测试扩展至各传感器真实序列并考虑其习惯性连续段留待未来工作;数据方面,尽管Dam1仅贡献一个传感器,它是有价值的案例,其序列呈清洁、强季节性、主要受温度支配的模式,为摆锤记录中常见且代表检测器在运行大坝监测中将面临的典型行为,此外28个传感器中23个属Dam2故汇总结果主要反映该坝,Dam1与Dam3(分别1个与4个传感器)的结果应谨慎解读;未来工作方面,刻画被标记时期的外部情境(以辨别其是否与训练条件相似)超出本文所研究检测器范围,是未来工作的自然方向且可解决上述主要局限,此外大坝配备覆盖大坝安全不同方面的多种监测装置,计划在其他传感器类型上评估该方法以对整体大坝安全提供更全面的评估。

讨论与结论部分译文:自动化大坝安全监测将每个摆锤读数与数据驱动模型的预测带比较,但自相关残差使带越界以连续段形式出现,故逐记录警告使操作人员不堪冗余标记。本工作将越界视为其正常行为在训练中学得的时间序列,并在三座大坝的28个摆锤与一条合成序列上比较三种检测器(M0、P99与双状态HMM)以及实践中使用的固定持续性规则。主要发现如下:考虑连续段的自相关是必要的,忽略自相关的M0可标记整个验证期(Dam2中426条标记记录,而P99为261条),而P99通过在ACF定尺窗口内要求最低越界密度避免了该饱和;学习连续段的持续性可减少冗余标记,在Dam2可辨识传感器中,HMM标记142条记录和16个事件,而P99为192条和24个(分别减少26.0%和33.3%),在Dam2全部传感器上,所提出配置(可辨识处用HMM,否则用P99)相对于P99将标记记录和事件分别减少19.2%和25.8%,相对于原始越界序列分别减少39.0%和78.5%,尽管减少幅度因传感器而异(可辨识传感器中位数为50.9%),与固定规则不同(其结果取决于r的任意选择),HMM的持续时间阈值由每个传感器的数据导出;该减少并未以漏检真实异常为代价,在合成测试中,HMM在习惯性连续段期间未发出标记,而原始序列、固定规则(r = 2、3、5)、M0和P99标记了5至52条记录,HMM在12条记录后检测到持续漂移,处于其学习阈值Lmod量级,并标记了87.0%的异常记录;HMM在可辨识时可可靠使用,发射分离度Δ = ρ ? ε随训练中可用证据增长(与平均和最大连续段持续时间的Spearman相关系数分别为+0.95和+0.87),在这些数据上校准的阈值Δ = 0.22将28个传感器中的20个判为可辨识,估计值在参考初始化附近稳定,仅pNN在约0.80以下有可感知影响。上述结果表明,在所测试条件下,HMM减少了冗余标记,同时仍以适度延迟检测到持续异常;但这些结果不构成其对各真实传感器检测性能的一般性度量,主要局限(特别是HMM建模越界的持续性而非其原因)在第3.4节详述,最具信息量的下一步是将合成异常测试扩展至各传感器真实序列并考虑其习惯性连续段,以逐传感器估计检测率与延迟。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号