多AI对比研究：一项通过刻意设计的小规模氨厂任务培养化学工程设计评估性判断能力的实证研究

《Education for Chemical Engineers》：Multi-AI comparison for developing evaluative judgment in chemical engineering design: An empirical study using a deliberately small-scale ammonia plant task

　　

摘要 生成式人工智能（GenAI）工具能够针对开放式工程设计问题生成流畅但存在缺陷的解决方案，这对传统以答案产出为导向的评估方式构成了挑战。本研究探索了一种多AI对比评估模式，该模式强调评价性判断：学生运用核心化工原理，对相互竞争的GenAI生成设计的质量、合理性和可信度进行批判性评估的能力。本文报告了在高年级化工设计课程中开展此类多AI对比活动的首批实证研究之一。二十名大四学生评估了GenAI为一个有意小规模氨生产装置（年产1000吨）生成的概念设计方案。该产能被刻意设定为远低于典型的商业规模氨工厂，以探究学生是否会批判性地审视嵌入在GenAI生成回答中的规模依赖性假设。基于评价性判断理论和ICAP框架，本研究通过一个基于可观察工程标准（质量/能量平衡、通过GHSV进行反应器尺寸计算、循环/排放逻辑以及系统级能量核算）的结构化编码框架来操作化评价性判断。对学生报告的分析表明，90%的学生识别出了反应器尺寸计算中的不一致之处，55%的学生识别出了质量平衡问题，而只有25%的学生识别出了系统级能量的遗漏。这些具体的检出率和盲点为GenAI丰富的设计课程的评分标准开发提供了实践指导。研究发现表明，多AI对比通过使不确定性和有缺陷的假设显现出来，引发了实质性的评价性推理。这种可迁移的评估设计将重点从答案生成转向基于证据的批判和论证，更好地将化工教育与GenAI时代专业判断需求相结合。

引言 化工设计课程在培养学生解决开放式、非明确定义问题的能力方面发挥着核心作用，这些问题类似于专业工程实践。与分析性课程中定义明确、有标准答案的问题不同，设计问题要求学生整合技术知识、评估相互竞争的约束条件，并在不确定性下行使判断力。这种工程判断力的培养被广泛公认为一个核心教育目标，并明确体现在认证框架和专业能力模型中，包括工程与技术认证委员会（ABET）的框架（ABET, 2023）。

与此同时，随着大语言模型（LLMs）的最新进展，生成式人工智能（GenAI）工具得到了快速采用，这些工具能够针对复杂的技术提示词生成结构化、流畅的回答。这些系统的教育意义不仅在于其技术能力，还在于它们如何通过中介化在什么算作知识、权威和论证来重塑认知实践（Williamson和Eynon, 2020）。尽管GenAI可以支持头脑风暴、总结和程序性指导等活动，但它也可能生成看似合理但包含错误假设、不完整推理或违反基本物理原理的输出。在工程设计场景中，这些问题尤其具有严重后果，因为错误可能难以检测，并且可能被自信的描述性解释所掩盖。

现有文献在工程和STEM教育中的AI研究方面，主要关注学生对AI辅助工具的感受、学习支持和生产力提升（Kasneci, 2023; Zhai, 2022）。然而，这些研究也引发了对过度依赖AI的担忧，以及当GenAI生成的输出被视为权威时批判性思维的削弱。越来越多的学者认为，核心教育挑战不在于学生是否使用AI，而在于他们是否能够在学科知识框架内批判性地评估和情境化GenAI生成的信息（Quinn和Lin, 2025）。近期关于GenAI与评估的研究进一步表明，传统的评估形式，特别是那些强调个人解决方案产出和程序性流畅性的形式，在AI丰富的环境中越来越不充足，引发了对学生表现的有效性、真实性和可解释性的担忧（Bobula, 2024）。

近期的实证研究展示了将GenAI整合到STEM和工程作业中的日益多样化的方法。在化工教育中，GenAI已被整合到案例研究活动、流程设计练习、可持续发展导向的评估和基于仿真的课程中。例如，Keith等人（Keith et al., 2025）考察了ChatGPT v3.5在化工教育中的整合与评估，而Zaki等人（Zaki et al., 2024）探索了GenAI辅助的真实场景评估在化工中的应用，特别是在旨在促进开放式推理和工程知识应用的可持续发展场景中。这些实施通常将GenAI定位为头脑风暴、起草、解释或初始解决方案生成的支持性或生成性工具，而评估仍然主要围绕学生最终输出的质量展开。然而，一小部分但日益增长的研究开始将注意力转向学生对AI生成输出的批判性评估。例如，Bearman等人（Bearman et al., 2024）认为，对生成式AI的评价性判断应该成为核心教育能力，强调学生评估AI生成内容的质量、可信度和局限性，而不仅仅是借助AI帮助产出答案的能力。然而，大多数现有研究依赖于与单一AI系统的交互，很少考察跨多个GenAI工具的对比如何在工程设计场景中暴露出相互矛盾的假设、基于遗漏的失败和认知不确定性。本研究通过在高年级化工设计课程中操作化多AI对比来扩展这一文献，将GenAI输出定位为工程批判的对象而非主要解决方案来源。

一个有前景的方向是利用GenAI输出作为使不确定性显现并引发评价性推理的学习和评估资源。关于主动参与的研究表明，让学习者面对不完美或相互矛盾的解决方案可以触发更深入的反思和评估（Chi和Wylie, 2014）。从这一视角来看，GenAI生成的回答可以充当"批判对象"，揭示隐藏假设、暴露推理错误并突出认知不确定性。然而，大多数课堂实施依赖于单一AI系统，限制了学生观察模型输出间的差异性、矛盾性和不确定性的能力。

为了填补这一空白，本研究在高年级化工设计课程中引入了一项迷你项目作业，学生需要咨询并对比多个GenAI工具的回答来解决一个开放式的、现实的设计问题。该作业不评估解决方案的正确性，而是测量学生辨别矛盾、评估合理性以及论证对AI输出信任决策的能力。这种方法将焦点从AI性能转移到学生的评价性过程上，为如何整合GenAI以强化关键专业胜任力提供了洞察。

在本研究中，工程判断被概念化为评价性判断：在不确定性下对作品质量、合理性和可靠性做出知情决策的能力。评价性判断越来越多地被认可为可学习的、与专业实践紧密相关的核心能力，并与元认知调节密切相关（Boud et al., 2018; Tai et al., 2018）。它超越程序性正确性，包括审视假设、检测遗漏和论证来源冲突时的信任依据。在GenAI中介的语境中，这些能力尤为重要，因为流畅的语言可能掩盖不正确或不完整的推理。

部分节选 评价性判断作为GenAI中介的化工教育中的核心教学目标

传统化工设计课程的评估通常奖励技术合理方案的产出。然而，生成式人工智能（GenAI）通过使流畅、结构良好的设计叙述唾手可得，从根本上颠覆了这一模式，即使这些叙述包含细微错误、非物理假设或关键遗漏。作为回应，教学学术日益呼吁超越限制工具使用的评估设计，转而……

课程背景与参与者 本研究在一所大学的最终年度学士学位课程中的高年级本科化工设计课程中进行。选课学生已完成物料与能量平衡、化学反应工程、分离过程和化学热力学等核心课程。在此阶段，学生需要将先前知识综合应用于开放式的、具有工业现实性的设计问题，这些问题需要在不确定性下做出判断。

该群体由20名……组成

结果 对20份学生个人提交的作业的分析揭示了学生在评估GenAI生成设计输出和行使工程判断（作为评价性判断）方面的模式具有一致性。结果围绕学生识别出的反复出现的技术问题（RQ2）以及学生如何论证跨工具可信度判断的模式（RQ1, RQ3）进行主题化组织。包含代表性摘录以说明常见的推理策略。

为支持复制多AI对比作为教育技术评估设计

本研究证明，多AI对比的主要教育价值不在于提高解决方案的正确性，而在于当学生面对流畅但相互矛盾的GenAI生成回答时所引发的评价性推理。在该作业中，跨工具的不一致创造了具有教学生产力的认知不确定性：学生被促使审视假设、回顾第一性原理并论证哪些输出是可信赖的。从教育技术的角度……

结论 本研究展示了如何在GenAI存在的情况下，重新设计化工教育中的评估以保持其有效性和教学意义。通过要求学生咨询、对比并批判性评估多个GenAI生成的设计回答，该评估将重点从解决方案产出转移到概念化为评价性判断的工程判断上——这是一种在GenAI中介的学习中日益成为核心的必要专业胜任力。

作者贡献 作者构思了本研究，设计了评估方案，收集并分析了数据，撰写并修订了手稿。作者阅读并批准了最终手稿。

CRediT作者贡献声明 Moulay Rachid Babaa：写作——审阅与编辑、写作——初稿、可视化、验证、调查、形式化分析、数据管理、概念化。

伦理审批与参与同意 本研究分析的是作为常规课程评估的一部分所产生的学生作业。在评分完成并发布最终课程成绩后，获得了所有参与者的知情同意。这种做法确保了参与决定是独立做出的，不会受到任何对评估结果的影响。学生被告知其匿名课程作业可用于研究目的，且参与完全自愿，不影响成绩。

生成式AI及AI辅助技术在写作过程中的声明 在准备本文期间，作者使用了Grammarly来提高文章的可读性和语言质量。使用该工具后，作者根据需要审阅并编辑了内容，并对出版物的内容承担全部责任。

资金 作者未获得任何特定资金支持本研究。

利益冲突声明 作者声明不存在已知的可能与本文报告的工作相冲突的竞争性财务利益或个人关系。

致谢 作者感谢副校长Bakhtiyor Yuldashev在推进人工智能教育实施方面提供的支持和领导，这促进了本研究的开发和执行。

Moulay Rachid Babaa 乌兹别克斯坦塔什干新乌兹别克斯坦大学化学与材料工程系，100007，乌兹别克斯坦