选择性报告与评估协议塑造田纳西伊士曼过程（TEP）深度学习故障检测的证据：系统综述与Meta分析

《Machine Learning and Knowledge Extraction》：Selective Reporting and Evaluation Protocol Shape the Evidence on Deep Learning Fault Detection in the Tennessee Eastman Process: A Systematic Review and Meta-Analysis

　　

深度学习在田纳西伊士曼过程（TEP）故障检测中的报告增益尚未被综合。在本系统综述中，研究人员将研究回顾性注册于OSF Registries，并检索Scopus与Web of Science Core Collection中2017年至2026年报告深度学习方法场景级结果的期刊文章。结果按故障场景以随机效应模型（random-effects models）合并，并分别针对报告故障检测率（FDR）的监测方案与报告每类召回率（per-class recall）的监督分类器进行。266条记录中纳入101项研究。大多数场景几乎被完全检测，但监测研究对IDV 3、9和15的检测率仅为15.8%、11.2%和18.0%，而分类器报告的每类召回率分别为94.8%、87.2%和81.9%。困难场景被报告得最少，检测率每增加10个百分点，报告比值比为1.26（95% CI 1.21～1.32）。在按评估范式特异性插补下，省略这些场景使监测研究的已发表平均值提高约6.8个百分点，该估计依赖假设。与同一实验中最强比较器相比，在远离检测上限的场景对中，所提方法有32%劣于或持平。大多数场景几乎没有提升空间，困难故障的进展需要完整且可比的报告。

1. Introduction：论文指出工业过程事故常源于诊断失败而非传感缺失，故障检测与诊断（FDD）研究围绕TEP展开；TEP提供41个测量变量、12个操纵变量和21个预设故障场景，成为诊断可靠性评估的参考环境。方法由多元统计过程控制、主成分分析（PCA）与偏最小二乘（PLS）、核方法、支持向量机发展至深度学习架构；报告增益多为正但幅度有限，且指标命名、报警设计、故障覆盖和任务定义造成不可比性。机器学习元研究提示泄漏、发表偏倚和选择性结局报告可能扭曲基准结果，现有TEP文献缺乏定量合成，本文以研究和故障场景对为单位设定四项合成目标。

2. Materials and Methods：本综述按PRISMA 2020和PRISMA-DTA报告，方案在数据提取前撰写并回顾性注册于OSF Registries；偏离已声明，排除理由编码。2.1. Eligibility Criteria：采用PICO框架，人群为TEP原始或再发布模拟数据上的故障检测或诊断；干预为深度架构；比较器为同一实验同一数据划分下作者运行的不同方法；主要结局为按故障场景分解的数值率，即监测FDR或分类每类召回率或可精确转换量，FAR为次要结局；限定2017—2026年英文或西班牙文期刊文章。2.2. Information Sources and Search Strategy：2026年8月30日检索Scopus和Web of Science Core Collection，单一检索式由三个概念块以AND组合，基准块检索标题、摘要和关键词，架构与任务块限标题，并限定年份和期刊文章；用最新综述引用检查敏感性；补充检索仅用于估计遗漏文献，不加入主合成。2.3. Selection Process：双去重后对全部记录进行全文评估，因摘要常不暴露结局；不确定记录由通讯作者按书面标准裁决；结局标准曾由FAR联合要求修正为场景级FDR并重评，9条记录因此纳入。2.4. Outcome Definitions and Metric Harmonisation：FDR和FAR分别在故障条件和正常操作条件下定义，分别对应敏感性和1减特异性；指标按分母统一，监测FDR可由漏检率（MDR）转换，FAR可由1减特异性转换；分类研究提取每类召回率，不与监测FDR在主分析中合并；拒绝精确率、全测试集每类准确率、故障活跃段FAR和检测延迟作为率；FAR在独立正常数据测量时作为结局，阈值在测试数据上调至目标FAR时拒绝。2.5. Data Extraction：采用固定schema，每研究、故障场景和方法一条记录，数值须可定位到表格；使用NotebookLM辅助定位候选表，审计发现转写准确但选择有误，故全部101项研究重提取；多配置时选最高平均Youden指数（FDR?FAR）或最高平均FDR，每研究一个统计量；提取最弱和最强可采比较器，并编码评估范式、架构家族、FAR报告模式和数据来源。2.6. Assessment of Risk of Bias and Reporting Completeness：QUADAS-2不适用于模拟基准，采用四项工具评估场景集完整性、正常测试数据FAR、数据来源声明和同实验可采比较器；合成层面按ROB-ME组织。2.7. Synthesis Methods：2.7.1. Primary Synthesis of Scenario-Level Detection：对IDV 1—21的logit率以DerSimonian and Laird随机效应模型分别合并监测FDR和分类每类召回率；名义二项方差按n=800用于加权，并非抽样误差模型；用cluster bootstrap和REML联合HKSJ调整验证；FAR在研究层面合并；敏感性分析包括二项—正态GLMM、不同n、留一、全场景限制、Braatz数据限制和双变量模型。2.7.2. Heterogeneity, Subgroups and Meta-Regression：对IDV 3、9、15和21按评估范式、FAR报告模式、家族、完整性和数据来源分层；混合模型分离完整性与范式；回归检查时间趋势；架构家族纳入率用卡方、置换和Fisher检验。2.7.3. Selective Fault Reporting：将场景省略作为报告现象，以46项全场景研究报告的合并检测率作难度指数，拟合二项回归，bootstrap传播不确定性，并用GEE按研究聚类；以同范式合并值重建研究均值，辅以delta调整和多种插补作敏感性。2.7.4. Within-Study Contrast Between Proposed and Comparator Methods：在同研究同数据划分内计算logit检测率差即log OR，分别对最弱和最强比较器随机效应合并，主要基于56项研究984对；方差取二项方差之和并忽略相关性；统计劣于和持平比例，排除99%检测上限对，并作阈值敏感性和选择乐观性分析。2.7.5. Reporting Bias and Certainty of the Evidence：因精度随数据版本变化，未用常规小样本效应检验；报告偏倚通过场景选择和FAR报告分析评估；用改编GRADE评级；分析在Python 3.11等环境中复现。

3. Results：3.1. Study Selection：检索515条，去重266条，全文评估后纳入101项、排除165项；143项因无可提取场景级检测率，10项结局不充分，5项语言不符，1项非深度核心模型；2项扩展模拟故障编号不等，主合成含99项和1805个研究—场景观测；补充检索643条去重记录，检索到主检索全部266条并新增377条，估计遗漏约73项，主语料覆盖约58%合格期刊文献。3.2. Characteristics of the Included Studies：101项研究发表于2017—2026年、41种期刊，2020年后每年8—18项；自编码器63项，Transformer与注意力11项，卷积网络8项，混合及其他6项，生成模型5项，深度信念网络3项，循环网络3项，图神经网络2项；监测研究72项，监督分类29项；Braatz数据43项，原始模拟24项，修订或扩展模拟10项，Rieth数据3项，非等价扩展2项，未声明19项。3.3. Architecture Dependence of Outcome Reporting：266条筛选中纳入率随家族显著不同（χ²=35.2，df=7，p<0.001）；自编码器纳入率56.8%，Transformer与注意力26.8%，卷积网络26.7%，循环网络13.6%；重建类54.2%对卷积、循环和Transformer类23.7%，Fisher精确检验p<0.001；标题限制使主语料过度代表标题含自编码器的研究。3.4. Detection Performance by Fault Scenario：监测FDR在11/21场景超过94%，6个场景超过99%；分类器在18个场景每类召回率超过94%；困难场景监测FDR分别为15.8%、11.2%和18.0%，IDV 21为58.7%，预测区间宽；分类器每类召回率为94.8%、87.2%和81.9%；207个困难场景观测呈双峰，68.6%低于50%，20.3%高于90%，高于90%的42个观测中37个来自分类器；完整报告监测者的困难故障检测更低，混合模型中完整报告OR为0.23，调整范式后为0.66，分类相对监测的OR为44。3.5. False Alarm Rate：38项按场景报告FAR，32项仅全局值，31项无可提取FAR；70项合并FAR为2.58%（95% CI 2.01～3.31），预测区间0.38%～15.5%；46.5%的场景FAR低于1%，26.4%为零，11.8%超过5%，6.7%超过10%；困难场景FAR中位数3.0%、上四分位数9.0%，其他场景为1.0%和2.5%；29项中23项困难场景FAR更高，中位差3.0个百分点，符号检验p=0.002。3.6. Selective Reporting of Fault Scenarios：IDV 1和8在94/99项研究中报告，IDV 3、9、15和21分别在70、68、69和56项中报告；难度指数每增加10个百分点检测率，报告OR为1.26（95% CI 1.21～1.32），bootstrap为1.24～1.33，GEE为1.25；各范式均成立；仅46/99项报告全场景；53项不完整研究中48项报告至少5个场景，39/48项发表均值更高，平均高估4.0个百分点（95% CI 1.9～6.1），监测研究高估6.8个百分点（n=29），分类研究为?0.3个百分点（n=19）；不同插补和delta调整下方向稳健，大小依赖假设。3.7. Advantage over the Comparator Within the Same Experiment：82项有可采比较器，56项同时有最弱和最强比较器（984对）；对最弱比较器，21个场景OR均大于1，IDV 3、9、15的OR为6.24、4.33和4.78；对最强比较器OR为1.1～6.2，IDV 3、9、15为2.45、1.36和2.27，IDV 9的CI含1；984对中劣于最强比较器245对（24.9%），持平191对（19.4%），多数持平在99%上限；排除301个上限对后，劣于或持平216/683对（31.6%），阈值0.5和1个百分点时升至40.4%和47.0%；对最弱比较器相应为8.7%；56%对中提出方法达到97%以上，增益取决于比较器低于该水平的程度。3.8. Temporal Trend：其他场景斜率?0.43个百分点/年（95% CI ?1.21～0.35，n=97），困难场景1.85（?1.57～5.27，n=71），无变化证据；困难场景区间兼容无变化和大幅增益；加权或排除2026年不变。3.9. Robustness of the Findings：困难场景监测估计在REML联合HKSJ、二项—正态混合模型和cluster bootstrap下变化小于0.3个百分点；调整区间IDV 3为10.5%～22.9%，IDV 9为7.2%～16.8%，IDV 15为13.0%～24.2%；n从160至4800变化小于1点；留一估计为14.5%～16.6%、10.3%～11.8%和16.5%～18.9%；分类估计最多变化4.2点；最差配置使监测估计降至13.7%、10.3%和15.5%，对最强比较器IDV 3和15仍有利（OR 1.88和1.85），IDV 9的CI含1；Braatz限制使监测估计降至10.4%、8.6%和15.7%；2000个58%随机子集再现范式分离；双变量模型70项总检测88.6%（95% CI 85.6～91.0）在FAR 2.64%（2.07～3.35）下，logit相关近零（?0.02），跨研究无阈值效应。3.10. Reporting Completeness and Certainty of the Evidence：99项中46项（46%）报告全场景，70项（71%）报告测得FAR，80项（81%）声明数据，82项（83%）有可采比较器；GRADE改编总结主要发现及证据确定性。

4. Discussion：4.1. The Synthesisable Evidence Is Not a Sample of the Field：合并估计主要描述重建类监测方法，不应外推为TEP深度学习总体；判别架构因任务和指标不同而报告不足；重建监测天然产出FDR和FAR，分类器自然输出准确率、每类召回率和F1；每类召回率严格于二分类检测；分类器见过标记故障样本，问题更易，FAR常缺失。4.2. What the Exclusions Reveal About Reporting Practice：多数排除因结局不可提取而非人群或干预不符，约束在报告而非研究活动；将控制限名义显著性当FAR、在测试数据上调阈值至零、将故障活跃但质量恢复段计为FAR、以FDR表示false detection rate等，使同一标签不指同一量；首次提取的选择错误也源于表格布局和标签歧义。4.3. A Benchmark Solved on Most Scenarios and Open on the Rest：检测上TEP像两个基准；多数场景无有意义的提升空间，确认饱和；IDV 3、9、15监测仅检测十分之一二，十年无进展证据；这些故障偏差小且被控制吸收，长期视为接近不可检测；困难场景FAR更高，部分差异可能反映阈值位置而非学习内容；分类器高率不是指标产物，因每类召回率低估二分类检测，可能利用监督签名或信息泄漏，需数据划分信息和探测检测限的数据集。4.4. Selective Scenario Reporting and Missing False Alarm Rates：省略困难故障的理由是已知不可检测且模糊方法差异；省略场景检测最低；按同范式合并值插补，监测发表均值高约7点，分类几乎不变；大小依赖假设，若省略更差则更大；最有利假设仍约2点膨胀；机制类似临床选择性结局报告；补救是预先固定并完整报告场景集，困难故障展示而非删除，总体均值按全集计算；完整研究报告困难故障检测约低四分之一，但调整范式后大部分差异消失；31%无FAR，32/70仅全局FAR，无FAR的检测率是半个结果。4.5. What the Within-Study Comparisons Show：同研究比较保持数据划分，提出方法平均领先但幅度取决于比较器；对最弱OR可达两个数量级；对最强OR约1～6，若干场景CI含1，远离上限约三分之一对劣于或持平；多数持平在99%上限，不计为不利；比较仍因配置选择和基线默认设置偏向提出方法；有信息量的是与等努力调优最强替代方法比较。4.6. Recommendations for Reporting：提出TEP检测研究最低报告标准，无需额外实验，使研究可用于未来合成。4.7. Limitations：标题限制提高精确度但遗漏其他术语，补充检索覆盖约58%合格文献且未提取额外记录；无引文检索；排除会议和中文期刊；回顾性注册；单评审无重复评估，架构和范式按规则和摘要编码无独立双编码；原研究非为合成设计，阈值调优、报警后处理未量化、训练变异少报；数据划分少描述；TEP为模拟且无慢退化；二项方差假设800样本和独立，仅用于加权；区间描述发表结果散布而非检测器精度；分类按每类召回率合并为检测下界，不与监测水平可比；选择性报告膨胀为敏感性结果；每研究一个统计量丢弃信息；最弱比较为声称优势上界，最强比较仍因不等调优偏向提出方法。

5. Conclusions：多数场景检测率接近100%，自期初保持；70%研究报告FAR，平均约2.6%；IDV 3、9、15监测检测11%～18%，无时间改进证据；分类每类召回率82%～95%，属不同且更易协议，无数据划分信息无法判断；困难故障最少报告，插补下省略使监测均值高约7点；对最强比较器约三分之一可改善场景对劣于或持平；未来方向包括评估上将检测与诊断分开、由混淆矩阵导出分类器二分类检测和FAR并固定完整场景集，基准上采用低故障幅度、多操作模式、长运行和按模拟运行无泄漏划分，方法上发展机理与数据混合、迁移学习、可解释集成和核方法调优并与等努力强基线比较，合成上更新综述并采用最低报告标准作提取模板；多数场景增益受检测上限约束，IDV 3、9、15进展需完整、预设和可比的报告。