生成式人工智能模型赋能课程分析：高等教育课程图谱绘制中以人为中心的方法

《Computers and Education: Artificial Intelligence》：Leveraging GenAI models for Curriculum Analytics: A Human-Centered Approach for Curriculum Mapping in Higher Education

　　

摘要专业翻译 生成式人工智能（Generative Artificial Intelligence, GenAI）为高等教育中的课程图谱绘制（Curriculum Mapping）提供了可扩展且可解释的支持。本研究提出了一种加权技能映射（Weighted Skill Mapping）方法，用于捕捉各项评估任务中不同技能的侧重程度。研究人员采用GPT-o3-mini模型，结合零样本（Zero-shot）与链式思维（Chain-of-Thought, CoT）提示策略，对澳大利亚某大型公立大学商学学士（会计学）专业三年制课程中19门核心课程的48项评估任务进行了技能权重映射，并与专家标注的基准数据进行了对比验证。研究结果显示，GPT-o3-mini在零样本与链式思维提示条件下均与专家评审结果达到了高度一致（Krippendorff's alpha = 0.81）。基于Messick（1994）效度框架并以人为中心的人工智能（Human-Centred AI, HCAI）验证结果表明，链式思维提示策略在内容（Content）、实质性（Substantive）和可推广性（Generalisability）三个维度上均获得了更高的专家评分与更优的评审者间一致性（Cohen's Kappa最高达0.88）。研究进一步发现，模型在团队合作（Teamwork）与口头沟通（Oral Communication）技能的映射上表现接近完美，而在国际视野（International Perspective）与自我管理（Self-Management）技能上存在系统性识别不足或误判。本研究证实了GenAI作为课程协同评审工具的可行性，其生成的加权映射与自然语言解释能够有效支持课程质量保障与专业认证流程，但研究同时强调，人类专家在验证与修正AI输出中的核心作用不可或缺。

论文解读文章

一、研究背景与问题提出

在高等教育领域，课程设计质量直接决定人才培养成效。课程图谱绘制作为系统化识别课程中知识、技能与能力要素嵌入位置与方式的方法，是高校开展教育质量保障和专业认证的基础性工作。然而，传统课程图谱绘制高度依赖人工评审，学术人员或课程委员会需逐门审阅课程大纲、评估任务描述，并手工记录各项专业技能、知识与素养的覆盖情况。这一过程存在三重困境：其一，主观性强，不同评审者、不同学科之间的判断差异显著，导致映射结果不一致；其二，资源消耗大，高频次的课程评审难以为继，课程变更难以被及时记录和追踪，进而引发课程漂移（Curriculum Drift），即实际课程内容与既定培养目标之间的系统性偏离；其三，传统方法通常仅记录技能“存在”或“缺失”的二元状态，无法反映同一评估任务中不同技能对最终成绩贡献度的差异。

早期课程分析（Curriculum Analytics, CA）领域尝试引入基于规则的系统与自然语言处理（Natural Language Processing, NLP）模型（如BERT、RoBERTa等）来提升映射效率，但这些方法仍依赖大量人工标注数据，且缺乏可解释性，难以在不同学科与情境间迁移。生成式人工智能（Generative Artificial Intelligence, GenAI）的兴起为上述问题提供了新的解决路径。已有研究表明GenAI可辅助领域专家完成课程图谱绘制任务，但现有研究大多停留在二元技能映射层面，未能捕捉技能权重的细微差异，也缺乏对模型推理过程有效性的系统性验证。基于此，本研究旨在探索GenAI模型生成加权技能映射的可行性、可靠性及其在不同评估情境下的表现差异，并通过以人为中心的人工智能（Human-Centred AI, HCAI）验证框架评估模型输出的有效性与可解释性。该论文发表于《Computers and Education: Artificial Intelligence》。

二、主要技术方法

研究人员采用了两阶段研究设计。第一阶段为技能映射生成阶段，使用OpenAI的GPT-4o（gpt-4o-2024-11-20，温度参数设为0）与GPT-o3-mini（o3-mini-2025-01-31，中等推理强度）两个模型，对澳大利亚某大型公立大学商学学士（会计学）专业三年制课程中19门核心课程的48项评估任务进行技能权重映射。研究比较了四种提示（Prompting）策略：零样本（Zero-shot）、少样本（Few-shot）、链式思维（Chain-of-Thought, CoT）以及逐项分解（One-by-one with zero-shot）。所有模型输出均与两位资深教学专家协同构建的加权映射基准数据进行对比，采用Krippendorff's alpha系数评估一致性。第二阶段为以人为中心的有效性验证阶段，两位专家基于Messick（1994）效度框架中适配的内容（Content）、实质性（Substantive）与可推广性（Generalisability）三个维度，采用5级Likert量表对最优模型配置（GPT-o3-mini结合零样本与链式思维提示）生成的权重及推理理由进行评分，并计算Cohen's Kappa（线性加权）评估专家间一致性。

三、研究结果

3.1 RQ1：GenAI技能映射性能的模型、提示策略与技能类型差异

研究结果显示，GPT-o3-mini在零样本与链式思维提示条件下均取得了与专家基准最高的Krippendorff's alpha值（均为0.81），显著优于GPT-4o在四种提示策略下的表现（0.71–0.77）。在技能层面，GPT-o3-mini在团队合作（Teamwork，零样本α=0.82，链式思维α=0.87）与口头沟通（Oral Communication，零样本α=0.84，链式思维α=0.72）两项技能上达到了接近完美的专家一致性；问题解决（Problem-Solving）在链式思维条件下达到α=0.72；书面沟通（Written Communication）与伦理意识（Ethical Awareness）分别处于中等与一般水平；而国际视野（International Perspective）在两种提示策略下均呈现负值（α=-0.19与α=-0.15），自我管理（Self-Management）在零样本下为α=-0.03，链式思维下为α=0.53。基于此，研究剔除了GPT-4o，保留GPT-o3-mini的零样本与链式思维两种配置进入后续验证阶段。

3.2 RQ2：基于人类专家验证的GenAI推理可靠性评估

人类专家验证结果显示，链式思维提示策略在三个效度维度上的平均评分均高于零样本策略：内容维度（3.83 vs 3.20）、实质性维度（3.31 vs 3.15）、可推广性维度（3.49 vs 3.97，零样本在此维度略高）。在评审者间一致性方面，链式思维策略在所有维度上均显著优于零样本，Cohen's Kappa值分别为内容0.82、实质性0.81、可推广性0.88。专家定性反馈揭示了模型的主要系统性缺陷：自我管理技能被错误识别（占评论的51.2%），模型常将时间管理等同于自我管理；国际视野技能未被识别（37.2%），模型过度依赖“国际”等显性关键词而忽略隐含的全球性情境；伦理意识在特定学科（法律、审计）情境中常被遗漏（16.3%）；书面沟通技能被过度加权（7.0%）；团队合作与口头沟通存在个别低估（各2.3%）；问题解决技能偶发定位错误（1.2%）。

3.3 RQ3：不同评估类型下GenAI推理可靠性的差异

按评估类型聚合的专家评分显示，链式思维提示在案例分析（Case Study）类评估中表现最优，内容维度平均评分达4.38，实质性维度为4.00；反思性评估（Reflective Assessment）在内容维度达4.17；考试（Examination）在内容维度为4.06。零样本策略在可推广性维度上于考试类评估中表现突出（4.53）。书面作业（Written Assignment）类评估在两种提示策略下的可推广性评分均较低（零样本3.14，链式思维2.55），表明模型在该类评估上的映射稳定性有待提升。

四、讨论与结论

研究讨论部分指出，GPT-o3-mini优于GPT-4o的原因可能在于前者是针对推理任务优化的模型，而技能映射本质上是一项多准则比较判断任务，需要模型同时解析评估描述中的行为与认知线索、权衡最多七项候选技能的相对重要性并确保权重总和为100%，这类结构化推理任务正是推理优化模型的优势领域。关于提示策略，零样本与链式思维表现相当且优于少样本与逐项分解，这与“标注示例必然提升性能”的常见假设相悖。研究提出三种可能解释：少样本示例选择偏重描述丰富性而非技能覆盖均衡性，可能引入示例诱导偏差；七项技能存在语义重叠，示例可能窄化模型对技能边界的理解；推理优化模型可能已具备隐式任务分解能力，外部示例反而冗余甚至干扰。逐项分解策略表现不佳的原因在于其剥离了跨技能比较的语境信息，而权重分配本质上是关系性任务。

研究结论强调，GenAI模型能够作为课程协同评审工具，在技能识别与权重分配层面提供与人类专家高度一致的输出，其生成的加权映射与自然语言解释可显著降低课程图谱绘制的人力成本并提升评审频率，从而有效缓解课程漂移问题。然而，模型在国际视野、自我管理等技能上的系统性缺陷表明，GenAI尚不能完全替代人类专家。以人为中心的人工智能验证框架确保了AI输出在内容、实质性及可推广性维度的有效性，人类专家在修正模型误判、补充情境化理解方面的核心作用不可替代。该研究为高等教育机构将GenAI纳入课程质量保障与专业认证流程提供了实证基础与可操作的方法论路径。