基于AutoGluon Tabular的海上油气生产实时自动化异常检测与部署误报评估

《Petroleum Research》：Automated Real-Time Anomaly Detection in Oil Production Using the AutoGluon Library

　　

海上油气生产系统会产生连续的多变量传感器数据流，易出现缺失值、冻结读数和工况漂移等不规则现象。由于非平稳性、类别不平衡以及现有模型严重依赖人工特征工程，异常检测仍具挑战性。传统机器学习与阈值方法在不同油井和生产工况下常缺乏可扩展性与运行可靠性。该研究提出一种基于AutoGluon Tabular的自动化异常检测流程（pipeline），可无缝管理预处理、模型选择、超参数调优和集成学习（ensemble learning）。与以往依赖人工特征或单一模型的研究不同，该框架提供可复现的自动化机器学习（AutoML，Automated Machine Learning）解决方案，优化准确率、计算效率和误报抑制，从而在海上环境中实现实时、低维护监测。研究提出一种使用AutoGluon Tabular（v1.6.1）的全自动异常检测流程。系统标准化预处理，包括类型归一化、插补以及移除恒定或冻结通道，并训练一组模型组合：用于稳健方差降低的袋装树（bagged trees；RandomForest、ExtraTrees）、用于细粒度交互的梯度提升树（gradient-boosted trees；LightGBM、CatBoost、XGBoost），以及用于平滑非线性映射的表格多层感知机（MLP，Multilayer Perceptron；NeuralNetFastAI、NeuralNetTorch）。模型在单一目标F1分数（F1-score）上使用留出划分（hold-out split）进行选择，并在适用时采用早停（early stopping）。其得分通过训练在折外预测（out-of-fold predictions）上的二级堆叠加权集成（level-2 stacked weighted ensemble）进行融合，以去相关误差。最终阈值校准（threshold calibration）建立单一F1最优操作点（F1-optimal operating point）用于报告和部署。在按井分组的留出划分上取得了强预测性能。最佳F1分数由LightGBM获得（0.9823），紧随其后的是堆叠加权集成（0.9821）和XGBoost（0.9779）。LightGBM达到精确率（precision）0.9932、召回率（recall）0.9715和受试者工作特征曲线下面积（ROC-AUC，Receiver Operating Characteristic Area Under the Curve）0.9941，在所有12种配置中F1范围为0.9595至0.9823。在60-s决策节奏（60-s decision cadence）下，误报率（false-alarm rates）范围约为每天25至58次报警，其中基于袋装的集成（bagging-based ensembles）产生最低报警负担。提升树和神经网络替代方案表现出较低的预测和运行性能。该研究提出面向部署的海上异常检测AutoML框架，并在完整的3W数据集（3W dataset）上进行了评估，包括真实、模拟和专家生成实例。其主要贡献是将端到端自动化与运行指标（如每日误报数）结合为单一可复现工作流。该框架旨在对已知异常类型进行实时监测，并为未来跨井和现场验证提供实践基础。

Ahmed Farid Ibrahim、Subhan Aliyev和Badr A. Mohamed围绕海上油气生产异常检测开展研究。研究背景是海上生产系统依赖高频多变量传感器连续记录压力、温度和流量，数据存在缺失值、冻结读数、非平稳性和类别不平衡；传统静态阈值和规则报警在启井、油嘴调节等工况转换时易产生大量误报，而放宽阈值又会漏检渐变故障。既有监督集成方法在3W数据集上精度较高，但常依赖人工特征、单模型或大量调参；无监督和序列模型虽能提升时序敏感性，却增加计算、调参和跨井扩展成本，且缺少对每日误报等工作负载指标的报道。因此，作者构建基于AutoGluon Tabular（v1.6.1）的全自动异常检测框架，以可复现方式统一预处理、模型选择、超参数调优和堆叠加权集成，并在完整3W数据集上系统比较12种配置，引入60-s决策节奏下的每日误报数（FA/day，false alarms per day）作为部署相关指标。其意义在于降低无专门机器学习团队采用异常检测的门槛，并为实时监测已知异常类型提供带误报预算的低维护方案。

作者采用的主要关键技术方法可概括为：使用完整3W数据集（Vargas et al., 2019），包含真实、模拟和专家生成（hand-drawn）实例；真实实例来自2012—2018年21口已识别井，遍历1,984个CSV文件，经有效性过滤和窗口构建后得到737,281个有效窗口、来自1,459个实例，训练/验证/测试窗口分别为251,253、190,678和295,350。以180 s窗口、60 s步长构建样本，窗口按其末观测标注；缺失、冻结和零值检测后，对不超过30 s的内部缺口线性插值，窗口平均有效比例低于0.50者剔除，残余缺失以通道中位数填补；各通道在实例内以有效观测中位数和标准差归一化并裁剪至±10个标准差。输入包括压力、温度和气举流量等5个通道。AutoGluon Tabular（v1.6.1）训练RandomForest、ExtraTrees、LightGBM、CatBoost、XGBoost、NeuralNetFastAI和NeuralNetTorch等候选模型，以F1选择、早停、折外预测上的二级堆叠加权集成和验证集F1阈值校准0.633进行评价；指标包括Accuracy、Precision、Recall、F1、ROC-AUC，以及FA/10⁶和60-s决策节奏下的FA/day。

研究结果如下。4.1 比较性能：通过12个AutoGluon模型在分组留出测试集上的混淆矩阵和指标比较，发现各模型F1为0.9595—0.9823、Accuracy为0.9379—0.9722、Precision为0.9890—0.9952、Recall为0.9267—0.9715、ROC-AUC为0.9892—0.9956；LightGBM取得最高F1（0.9823），堆叠加权集成次之（0.9821），XGBoost为0.9779，CatBoost为0.9735；袋装模型F1较低但Precision最高（0.9947—0.9952），ExtraTrees（Entropy）的ROC-AUC最高（0.9956）。精确率近乎饱和，模型排序主要由召回率驱动；分组测试下假阳性约占正常窗口1.7%—4.0%，假阴性约占异常窗口2.9%—7.3%，残余误差反映对未见井的泛化。4.1.1 预测性能—训练效率权衡：通过训练时间与F1比较，完整AutoGluon累计拟合约5.8 min，LightGBM以2.5 s取得最高F1，XGBoost以2.4 s列第三，NeuralNetTorch和NeuralNetFastAI分别需100.1 s和145.7 s且F1为0.9709和0.9675；该数据集上未出现精度必须以训练时间换取的关系，堆叠集成边际拟合6.6 s但实际继承全部基学习器成本。4.1.2 运行可靠性与误报性能：通过将误分类折算为FA/10⁶和FA/day，发现误报范围为3,565—8,339 FA/10⁶，即24.8—58.0 FA/day；RandomForest（Entropy）最低（24.8 FA/day）但漏检7.11%异常窗口，LightGBM为36.6 FA/day、漏检2.85%，约以每增加一次误报换回二十个异常检出；仅RandomForest（Entropy）、CatBoost、XGBoost、堆叠加权集成和LightGBM位于误报—漏检Pareto前沿，NeuralNetFastAI负担最高且被支配，袋装模型抑制误报的优势主要集中于RandomForest（Entropy）。4.1.3 ROC与精确率—召回率分析：通过阈值无关曲线评估，LightGBM的ROC-AUC为0.9941、PR-AUC为0.9979，堆叠加权集成为0.9945和0.9981，XGBoost为0.9934和0.9977；ExtraTrees（Entropy）ROC-AUC最高但F1排名第十一，说明排序质量与操作点质量并不等价，阈值调整可在灵敏度与误报容忍度间权衡。

讨论部分总结：部署时应以性能退化触发再训练，例如滚动验证缓冲上F1持续30天下降超过2个百分点，或在修井、更换油嘴、人工举升转换等重大干预后触发；运行中监测预测置信分布漂移，可用Kolmogorov–Smirnov检验、群体稳定性指数（PSI，Population Stability Index）或自编码器重构误差；阈值可按井或油田的成本系数重新校准。局限包括仅使用3W单一基准；预处理参数为固定物理选择；分组划分不能完全消除分布偏移；监督框架受闭世界假设限制，未覆盖新型故障；部分异常类以模拟或手绘实例为主；重叠窗口高估有效样本量；窗口长度和步长敏感性未系统分析。未来应评估其他公共或专有数据、系统分析预处理参数、采用重复分组交叉验证、引入分布外（OOD，out-of-distribution）检测层并开展窗口敏感性研究。

研究结论部分译为：该研究提出基于AutoGluon Tabular（v1.6.1）的全自动海上油气生产异常检测框架，并应用于包含缺失值、冻结读数和类别不平衡的3W数据集。主要发现是：LightGBM取得最高F1（0.9823），精确率0.9932、召回率0.9715、ROC-AUC 0.9941，堆叠加权集成（0.9821）和XGBoost（0.9779）紧随其后；12个模型F1为0.9595—0.9823、ROC-AUC为0.9892—0.9956，说明学习器选择不如特征表示质量和评价协议重要；梯度提升模型在F1上领先，袋装集成获得最高特异度和最低误报率，模型选择取决于漏检与操作员工作负载何者主导成本函数；60-s决策节奏下误报率为24.8—58.0 FA/day，最低为RandomForest（Entropy），最高为NeuralNetFastAI，五个模型位于误报—漏检Pareto前沿；按井和实例分组划分去除观测级随机划分的泄漏，更真实评估对未见井的泛化。上述结果确认，该AutoML驱动集成框架为海上生产系统已知异常类型提供面向部署、全自动、低维护、高精度且具有量化误报预算的监测方案，可适用于实时监视、早期故障检测和工业石油作业数字化转型。