公共部门人工智能项目中面向概率型KPI估计的Delphi–Monte Carlo框架

《Systems》：A Delphi–Monte Carlo Framework for Probabilistic KPI Estimation in Public-Sector AI Projects

　　

公共部门组织在往往缺乏纵向绩效数据可供参考的情况下，就必须对人工智能（AI）采纳决策作出承诺。本研究提出并初步演示了一种用于公共部门AI项目中概率型关键绩效指标（KPI）估计的Delphi–PERT–Monte Carlo框架，应用于哈萨克斯坦电子政务环境。研究人员采用三轮修正Delphi研究，邀请20位领域专家参与（胜任力阈值K ≥ 0.70）。技术-组织-环境（TOE）框架结构化了在三种AI情景（S0：无AI；S1：部分自动化；S2：高级AI）与四项KPI（周期、成本、风险侦测、流程透明度）下的专家征询。类别化百分比区间响应通过文档化的区间到中点映射规则转化为PERT分布，并经10,000次Monte Carlo迭代模拟。所有输出反映结构化专家信念，而非观测绩效数据。在S2下，周期效应方向模糊（P50 = ?0.5%；bootstrap 95% CI：[?5.0%, +13.5%]）；成本持续为正（P50 = +13.7%），反映55%专家预期近期实施成本上升；风险侦测（P50 = +5.8%；CI：[+3.7%, +12.8%]）与透明度（P50 = +8.2%；CI：[+2.5%, +8.8%]）呈温和但稳定的正向效应。第三轮达成80%共识接受率。该框架为专家数据稀缺情境下生成概率型规划输入提供了可复制、经敏感性检验的程序；哈萨克斯坦案例是其首个中亚应用。

研究背景与问题提出

公共部门数字项目处于与私营技术倡议不同的结构位置，其评价维度同时涵盖透明度、问责、合法合规与公共价值创造，AI采纳由此成为重塑数据治理与组织惯例的社会技术转型。现有AI项目管理文献多停留在功能能力定性评估，数字政府研究虽刻画制度复杂性却未产出概率型绩效基线，而Delphi与Monte Carlo方法虽有数据稀缺下的分析潜力，却从未被整合用于公共部门AI项目KPI估计。哈萨克斯坦具备“中央快速投资、正式战略承诺、机构能力不均、程序约束强”的典型制度配置，成为检验该问题的合适场域。研究人员因此开展一项方法学先行研究，目标是把场景化专家判断转为可复用的概率规划输入，而非给出高精预测。

发表与意义

论文发表于《Systems》，其首要贡献是方法管道（Delphi–区间到中点–PERT–Monte Carlo）的文档化、敏感性与可复制性；理论贡献在于证明“通用影响感知”与“场景条件期望”是可分离构念，并将TOE框架扩展为概率征询输出的解释透镜；实践意义是指出公共AI投资案应以治理质量承诺为框架，而非近期成本或进度节约。

主要技术方法（≤250字）

研究人员自哈萨克斯坦数字政府生态中目的性抽样，经两阶段筛选（资格门槛+复合胜任力系数K=0.5(Kc+Ka)≥0.70）保留20人同质子面板（2026年5月5–14日完成三轮）。三轮修正Delphi：R1校准场景与胜任力、R2采集类别化百分比区间KPI带、TOE十五因子重要性、调节项与自信度，R3反馈聚合结果并评共识。类别带经区间到中点映射（含开放上限保守取值）转数值，以向量P10/P50/P90作PERT（Beta缩放）参数，固定种子42下每格10,000次Monte Carlo迭代；稳健性经B=1000 bootstrap重采样、三档中点敏感性与Kendall’s τ跨轮检验。

研究结果

1. 1.
   引言：界定研究缺口与RQ1（专家预期KPI变化范围）和RQ2（对面板构成与映射假设的稳健性）。
2. 2.
   文献综述：分AI作为增强能力、数字政府独有管理环境、数据稀缺下Delphi+Monte Carlo、研究缺口四节，确立方法整合必要。
3. 3.
   材料与方法：给出五阶段设计、S0/S1/S2情景操作化、四项KPI定义、Kc/Ka推导、匿名协议、带到中点规则（如“+10–20%增加”→+15pp，“>30%改善”→+35pp）、PERT拟合公式μ_PERT=(lo+4ml+hi)/6及Beta形参约束≥0.1。
4. 4.
   结果：面板20人全员留存，K?=0.76(SD=0.05)；R1场景真实度均约3.1–3.25（谨慎接受）；R2中S2周期模态为“+10–20%延长”(35%)，成本55%选增支，风险/透明模态均为“≤10%改善”(各40%)；TOE中信息安全(M=3.80)、变更准备(M=3.65,SD=0.88)居首，政府监管评分最低(M=2.70)。R3 KPI共识接受80%，周期同意最低(M=3.00,SD=1.62)显真实分歧；TOE Kendall’s τ=0.091(p=0.651)示重要度与同意度非同序。模拟显示S2周期P50=?0.5%(CI跨零)、成本P50=+13.7%(P10=+5.6%)、风险P50=+5.8%(CI[+3.7,+12.8%])、透明P50=+8.2%(CI[+2.5,+8.8%])；S1相应更温和。
5. 5.
   讨论：概率现实校正了技术乐观叙事——治理质量维度（风险、透明）先稳增，效率维度（周期、成本）近期不成立；通用评分高≠场景预期正（周期通用M=3.45最高但模拟近零，成本通用最低却模拟最一致正）；TOE绑定架构决定P10/P90归属，组织准备、数据质量、信息安全为前提非并行任务；方法边界明确为单国单面板“初步演示”非广泛验证，bootstrap仅内稳非外推。
6. 6.
   结论译述：在专家数据稀缺情境中，Delphi–PERT–Monte Carlo管道能把类别专家判断转为可规划的概率KPI包络；哈萨克斯坦案例下高级AI近期预期为风险侦测与流程透明度温和正增、成本正增、周期方向不定；公共AI立项应框定为治理质量承诺，并以S1先行、数据治理与信息安全前置为条件；该框架可迁移但分布须本地重征询，不可直移数值。

全文严格浓缩自上传文档，未引入外部推测，专业术语首现附括注英文缩写，上下标以呈现，无HTML转义、无svg、无表格。