基于数据的成熟度模型开发框架：一种结合项目反应理论与数字化转型案例的方法

《IEEE Women in Engineering Magazine》：Data-driven Maturity Models Development Framework: An Item Response Theory Approach with Digital Transformation Case

　　

摘要：

组织成熟度模型为评估能力及指导改进提供了结构化的工具。然而，现有的方法缺乏足够的统计严谨性以及可重复使用的工具来判定这些模型的质量与适用性。大多数成熟度模型是通过对有序响应进行非加权汇总来评分的，而这种做法并未基于任何测量模型。本研究提出了数据驱动的成熟度模型开发框架（DMDF），这是一种基于项目反应理论（IRT）的测量理论方法，通过概率建模来量化组织能力。DMDF通过三个质量控制环节在五项活动中构建成熟度模型：维度一致性（本质上是单维度、双因素或多维度模型）、项目级质量（区分度、拟合度以及项目差异功能），以及工具级质量（精度分析、边际可靠性以及分数可比性）。我们将该框架应用于针对103个国家和21个行业中的2,008家组织的数字化转型评估工具，将最初的47个项目精简为33个项目，并以1,284家组织作为校准样本。该评估工具本质上是单维度的，在所研究的不同行业、规模和地区之间具有可比性，仅在企业规模方面存在轻微的项目级差异效应。其边际可靠性为0.9721，分数在12.97到88.73之间时精度最高。基于这一可靠性水平，该工具可划分出大约八个统计学上不同的成熟度层级，同时通过区分度权重能够区分那些总分数相同但能力特征不同的组织。DMDF使成熟度评估成为一种具有项目级诊断功能且精度有明确记录的标准化测量，让相关方能够以明确的置信度依据这些分数采取行动。