《Machine Learning and Knowledge Extraction》：What PISA Measures and What It Misses: A Two-Stage LLM-Based Alignment of IT Workforce Skills with Educational Proficiency
编辑推荐：
将信息技术（IT） workforce需求与教育评估对齐对于弥补技能缺口至关重要；然而，此前尚无语料库将IT任务推理映射至国际学生评估项目（PISA）熟练度水平。本文介绍了一种基于大语言模型（LLM）的框架，该框架将IT能力与PISA 2022以及经济合作与发
将信息技术（IT） workforce需求与教育评估对齐对于弥补技能缺口至关重要；然而，此前尚无语料库将IT任务推理映射至国际学生评估项目（PISA）熟练度水平。本文介绍了一种基于大语言模型（LLM）的框架，该框架将IT能力与PISA 2022以及经济合作与发展组织（OECD）学习指南针2030对齐，利用了O*NET v30.2（职业信息网络）、ESCO v1.2.1（欧洲技能、能力、资格与职业）、PISA描述符和OECD定义。该框架分两个阶段运行：阶段1通过LLM标注和跨模型验证，将562条IT任务陈述与最低PISA 2022熟练度水平对齐；阶段2通过任务嵌入的语义聚类和对95项ESCO横向技能的双向差距分析，将此映射扩展至OECD学习指南针2030。研究人员使用Gemini 2.5 Flash，对562个任务标注了数学、阅读和科学素养的最低PISA水平（第一阶段）。标注可靠性通过五项模型交叉验证进行评估，与一名盲测人类领域专家（视为参考基准，非黄金标准）在一个分层抽样的100任务样本（占语料库的17.8%）上进行比较，一致性从一般（Gemini 2.5 Flash，κ = 0.29）到中等（Claude Haiku 4.5，κ = 0.50；LLaMA 3.3 70B，κ = 0.44）不等。偏倚校正敏感性分析确认，在考虑了主要标注者的系统性高估后，分布性发现保持稳定，且针对O*NET能力评级的普通最小二乘法（OLS）校准对齐提供了方向性似然支持。经验证的任务通过K-Means嵌入并聚类成25个技术概况，每个概况均依据OECD维度进行分类。该框架扩展至24个聚类中的95项ESCO横向技能。双向分析揭示，尽管每个PISA熟练度水平至少有一个横向技能聚类涉及，但33%的此类聚类（涵盖创造性、伦理、社会情感和性格能力）完全处于PISA认知范围之外。这种边界映射识别了基于PISA的对齐在何处有效，以及全面准备度评估需要哪些补充工具。
**研究背景与问题**
教育系统与劳动力市场之间的认知差距长期困扰政策制定与课程设计。信息技术（IT）职业是OECD经济体中增长最快、薪酬最优且认知需求最为复杂的领域之一，要求从业者不仅具备技术知识，更需在数学、阅读和科学三个维度上进行高阶推理。然而，现有的教育评估（如国际学生评估项目PISA）衡量的是学生完成义务教育后能做什么，而职业框架（如O*NET）描述的是员工在岗位上的任务要求，二者之间缺乏直接的认知水平映射。此前研究从未将职业任务陈述以PISA熟练度水平（Proficiency Level）标注，导致无法量化学业成就与岗位认知需求之间的差距。为填补这一空白，研究人员提出了一个基于大语言模型（LLM）的框架，旨在将IT职业能力与PISA 2022及OECD学习指南针2030（OECD Learning Compass 2030）对齐。该论文发表在《Machine Learning and Knowledge Extraction》。
**关键技术方法**
研究人员主要利用LLM（以Gemini 2.5 Flash为主）进行两阶段标注与对齐。第一阶段通过零温度提示将562条IT任务陈述（源自O*NET v30.2和ESCO v1.2.1）映射至PISA 2022数学、阅读和科学素养的最低熟练度水平，并使用五个不同模型（Gemini 2.5 Flash、Gemini 2.5 Pro、Claude Haiku 4.5、Gemini 3 Flash Preview、LLaMA 3.3 70B）与一名盲测人类领域专家在100个任务样本上进行交叉验证，通过线性加权Cohen’s Kappa评估一致性，并采用普通最小二乘法（OLS）回归校准O*NET能力评分以提供方向性似然支持。第二阶段利用Sentence-BERT嵌入对已验证的任务进行K-Means语义聚类，形成25个技术概况，再对每个概况进行OECD维度分类，最后通过双向差距分析将框架扩展至24个聚类共95项ESCO横向技能，以界定PISA认知覆盖的边界。
**研究结果**
**4.1 数据准备与LLM标注**
研究人员从O*NET中筛选出28个IT相关职业（基于SOC大类11和15），获得562条核心任务陈述，并从ESCO中提取6618项技术技能关系和2996项横向技能。LLM标注的JSON解析成功率为100%，模型报告98.9%的赋值为“高置信度”，且严格遵循PISA域不对称性（科学素养无1c子级别）。
**4.2 LLM验证步骤**
通过100个任务样本的五模型交叉验证，Claude Haiku 4.5与人类专家的一致性最高（加权Kappa = 0.496，接近中等），LLaMA 3.3 70B次之（κ = 0.436），而主要标注器Gemini 2.5 Flash的一致系数为0.286（一般）。定向分析显示Flash在科学素养上系统性高估平均1.04个级别。OLS回归证实数学（β0=1.416, β1=0.879）、阅读（β0=?0.839, β1=1.260）和科学（β0=?3.087, β1=1.917）的斜率递增，表明科学推理是IT职业中最具区分度的认知维度。
**4.3 OLS收敛似然性检验**
将LLM标注的PISA级别与O*NET校准基准比较，三个领域的Pearson相关系数介于0.234–0.372（p<0.05），平均绝对偏差（MAD）除阅读（1.015）外均低于1.0，提供方向性支持，但属于半循环校准而非独立验证。
**4.4 敏感性分析与偏倚校正**
基于100个验证样本的偏倚校正（数学?0.62、阅读?0.86、科学?1.04个级别）显示，校正后IT任务集群的中位PISA需求从Level 4降至Level 3，但Level 3+覆盖率仍维持在80–100%，证明Level 3是防御性的认知下限。
**4.5 聚类与IT能力需求概况构建**
通过K-Means（k=25）将562个任务聚类为25个技术概况，尽管Silhouette得分较低（0.062–0.082），但语义标签清晰。20个集群（83.8%的任务）在三个领域中位数均达到Level 4以上，最高需求集群（Level 5–6）集中在研究与高级系统开发。OECD维度分类显示，64%的集群以“TC01创造新价值”为主要维度，20%以“SK01认知与元认知技能”为主，而知识维度（KN01–KN03）从未作为主要驱动因素。科学素养是唯一100%集群要求Level 4以上的领域。跨域相关性中等至强（数学–科学r=0.735），且阅读需求平均高于数学0.40个级别。
**4.6 子角色PISA概况比较**
按功能将任务归为7个子角色（如软件开发、安全、管理）进行Kruskal–Wallis检验，三个领域均存在极显著差异（数学H=76.18, p<0.001；阅读H=49.35；科学H=49.19）。数据与研究和数据库子角色在三个领域均达Level 5，而网络与基础设施和QA与测试稳定在Level 4。软件开发在阅读和科学上达Level 5但数学仅Level 4，安全仅在科学上达Level 5，证实IT部门在认知需求上并非单一体。
**4.7 标注分析**
高置信度任务集中在高端PISA级别（总分均值13.4），而中低级别任务（7.3）更模糊。网络与基础设施子角色的MAD最高（>1.1），安全子角色最低（<0.7），阅读素养在五个子角色中MAD超过1.0，表明LLM对阅读需求的理解与O*NET书面理解评分存在系统偏差。
**4.8 横向技能差距**
对24个ESCO横向技能聚类的双向分析表明：仅4个集群（17%）获得PISA完全覆盖，12个（50%）部分覆盖，8个（33%）完全无覆盖。无覆盖集群涉及创造性、伦理、社会情感和性格能力（如创造性思维、道德准则遵守、团队协作、积极态度）。反向分析显示所有PISA水平（1a–6）均被至少一个横向集群触及，但数学和科学Level 6仅部分覆盖。研究据此将无覆盖集群归纳为创造性能动性、伦理尽责、协作智能和倾向弹性四大领域，并提出类似PISA两轴架构（认知复杂度与情境广度）的草案级别描述。
**结论总结与讨论**
研究发现IT职业在所有技术集群中均需PISA Level 3以上的认知推理（校正后仍一致），科学素养而非数学成为主导认知维度（44.5%标注为科学，64%集群在Level 5–6）。PISA测量了IT工作依赖的认知能力，但遗漏了33%的ESO横向技能领域，且仅提升PISA分数无法解决这一横向准备度缺口。框架的可重用性允许其他领域直接复制（仅需修改SOC前缀），且标注语料库和验证结果已在Zenodo发布。局限性包括依赖单一人类专家参考基准、聚类Silhouette得分低以及OLS校准的半循环性质。未来工作应扩展至其他行业、采用聚合或密度聚类方法、纳入纵向招聘数据，并针对四个无覆盖领域开发配套的熟练度描述符（如协作智能Level 1 “参与指导性团队任务”至Level 4 “在模糊情境中领导多利益相关者协作”）。
