人工智能素养作为一种实验性实践：学生作为探究者

《Communications of the ACM》：AI Literacy as Experimental Practice: Students as Investigators

　　摘要：目前学术界仍在讨论是否可以向不同专业的本科生教授AI素养，如果可以，应该如何教授。本文报告了一个案例研究：一个为期三周的期中项目，该项目被嵌入到乔治梅森大学的一门面向所有学生的“AI普及”课程中。学生们设计了推理任务，对广泛使用的聊天机器人进行了对照比较，并评估了答案的正确性和解释的有效性。通过实践体验，没有STEM背景的学生了解了消费者聊天机器人的能力范围，记录了那些“听起来正确但推理错误”的模型存在的系统性缺陷。更重要的是，学生们掌握了如何评估AI输出的方法。这个期中项目使他们从被动用户转变为主动的研究者。他们热切希望分享自己的发现，因此成为本文的合著者。我们在这里为教育工作者和更广泛的科学界提供了一个将AI素养转化为实验实践的具体例子。然而，这种方法并不局限于课堂环境，它向任何用户展示了如何测试AI系统，而不是盲目信任它。

问题：当流畅性掩盖了脆弱性时

一名大二学生让聊天机器人检查她的微积分作业。聊天机器人的解释清晰细致，最终答案也与教科书上的示例一致，她自信地提交了作业。后来，在与助教的回顾中，她发现其中三个中间步骤违反了基本的代数规则。如今的消费者聊天机器人会在输出答案的同时提供解释，这些解释的语气和结构类似于人类教师的教学方式。这种形式在教学上具有说服力，从而隐含着可靠性。告诉学生“不要信任AI”是无效的；86%的学生表示已经在学习中使用了AI，其中89%的学生专门将其用于作业。尽管从概念上讲，解释这些系统是基于概率预测的，但这并不一定能转化为实际的验证行为。学生在考试中可以定义“幻觉”，但仍然会在瞬间接受一个看似合理的回答，尤其是当这个回答包含一个看似合理的推理过程时。知道系统可能出错并不等同于能够发现错误、解释错误的原因，以及识别出正确答案背后的无效理由。在一个解释成为产品组成部分的世界里，AI素养必须包括系统的检查习惯，而不仅仅是概念上的理解。

我们的方法：一项关于评估的教学案例研究

本文报道了一个案例研究：一个为期三周的期中项目，该项目被嵌入到乔治梅森大学的一门面向所有学生的“AI普及”课程UNIV 182中，该课程由Shehu设计，适用于没有STEM背景的学生。期中项目要求学生团队为消费者聊天机器人设计推理测试，并评估两个不同的结果：答案的正确性和解释的有效性。这种区分迫使学生们练习在日常使用中很少被注意到的区分。在三周的时间里，学生们以小组形式设计了100多个原创的推理任务，每个任务在四个不同的聊天机器人上进行了测试，并在需要时记录了320多个带有后续解释的回答。这项任务既是课程学习效果的评估，也是实验设计、测量和批判性思维的指导性实践。

本文提供了以下内容：我们描述了一个可复制的教学设计，包括推理任务的分类体系、一个简洁的示例来说明任务设计的空间，以及一个将答案正确性与解释有效性区分开来的控制协议。我们报告了当学生应用这一协议时所取得的成果，并通过定量 summarization 和案例分析展示了聊天机器人的解释流畅性如何与有效的推理过程不同。我们展示了如何通过AI工作室、证据追踪和评分协调来促进学生的发现，并以实用性的复制指南作为结尾。由于学生们亲自进行了研究并渴望公开分享他们的成果，他们在这篇文章中作为共同研究者出现。

任务：三周时间，十个任务，四个聊天机器人

期中项目的核心挑战是从一个常见问题出发：消费者聊天机器人能否“进行推理？”课程将其转化为一个设计问题：如果你想系统地测试这一点，你会怎么做，以及如何证明你的结论？每个由三到五名学生组成的团队设计了十个任务，并在四个聊天机器人上进行了测试。对于每个回答，团队记录了完整的对话过程，并评估了两个独立的方面：答案的正确性和解释的有效性。答案的正确性对学生来说较为熟悉，因为它类似于常规的评分方式。解释的有效性则更为复杂。学生们被告知要展示他们的推理过程，但很少被要求判断这些过程是否合理。要做到这一点，评估者需要检查中间步骤是否遵循既定规则，保持内部一致性，并且确实支持最终的输出结果。

为什么选择聊天机器人推理作为期中项目？期中考试是一个有效的检查点，可以用来测试学生对概念的理解。在UNIV 182课程中，学生们已经学习了从数据中学习、评估和偏见、常见的失败模式，以及现代大语言模型（LLM）的基本架构，包括基础语言模型和策略对齐的对话系统之间的区别。因此，期中项目利用了这个问题“这些聊天机器人能否进行推理？”作为三个能力的整合工具：在约束条件下进行实验设计、区分结果和理由，以及将批判性AI素养付诸实践。

实用的推理任务分类体系

由于UNIV 182中的大多数学生都是实验设计的初学者，教师提供了一个轻量级的推理任务分类体系，作为一种共享的语言，帮助团队多样化任务设置，避免将一次成功的互动误认为是普遍能力，并描述任务的真正要求。项目规范定义了六类任务：模式完成、转换规则、空间和视觉推理、在简单约束下的计算、关系和逻辑推理以及类比推理，每个类别的例子都包含在文章附带的ACM数字图书馆资源中。这些分类体系受到了Abstraction and Reasoning Corpus (ARC)基准测试的启发，但课程并没有直接指向ARC，而是让学生自己将这一分类体系应用到实际任务中。学生们必须根据这个分类体系构建多样化的、可评分的任务集，同时不假设任何模型训练数据之间的特定重叠。实际上，这个分类体系还作为一种共同语言，帮助学生描述失败的模式，例如“正确答案但理由错误”，以及对微小约束变化的敏感度。

一个打开设计空间的例子

期中项目的规范包括了一个诊断性推理任务的示例：“ABCD → ABCD。根据相同的规则，OOPPQQRR应该变成什么？”乍看之下这个任务似乎很简单，但它旨在展示当聊天机器人必须推断出一个隐含规则、将其应用于结构不同的输入，并用解释来捍卫结果时，行为可能会有何不同。在课堂讨论中，这个示例通过实际操作展示了如何在不增加数学复杂性的情况下变化任务要求，因为第一个例子建立了隐含的规则，而第二个例子测试了系统是否能够泛化这个规则而不是即兴创造一个新的规则。教师提供了与Grok 4的交互示例，并使用了引导性问题，如“这个系统在这里做什么？”“你认为这算解释吗？”以及“你如何评估解释的有效性？”来演示项目的要求：观察、论证和评分。

控制比较协议

为了保持实验的可解释性，团队需要在所有系统中保持输入的一致性。每个任务必须使用相同的文字提交给所有四个聊天机器人。当聊天机器人仅给出答案而没有解释时，学生们会要求提供一个解释，以便评估解释的有效性。团队记录了完整的互动过程，包括任何后续的对话，并在0-100的评分范围内给出了答案正确性和解释有效性的评分，同时提供了书面的理由。

成果和课堂内的实践环节

团队提交了简洁的书面报告和使用教师提供的模板的简短幻灯片展示。报告中包含了任务集、原始对话记录、分数以及每个分数的理由，而展示环节要求团队清晰地传达他们的主要观察结果，并明确指出他们的证据支持或不支持什么。这些成果共同构成了从主张到证据再到解释的完整证据链，使学生有机会练习从观察结果中得出结论。此外，课堂上还有“AI工作室”的扩展工作环节，团队在这里起草任务、测试早期版本并调整评分标准，教师在过程中提供了即时反馈，指出某个任务是否过于简单、过于模糊而无法评分，或者是否真正具有启示性，以及如何判断一个解释是否有效。

为什么团队合作是必要的

基于团队的工作使工作量变得可行，并促进了富有成效的辩论。学生们经常讨论解释是否真正遵循了任务的语义，模型是否引入了未明确说明的假设，或者部分得分是否合理。这些辩论不仅仅是副产品，它们本身就是学习成果的一部分，因为它们促使学生们明确标准并基于证据进行协调。

同意、隐私和数据管理

由于期中项目产生的成果可能会在课程结束后仍然存在，因此设计和数据处理中考虑了学生的同意权和数据管理。学生的合著者提供了明确的、自愿的同意声明，这些声明是独立于评分过程收集的，以减少强迫的风险。学生还被告知公开署名的长期影响，以及合著并不会影响课程成绩。虽然团队提交了原始的对话记录作为课程成果的一部分，但我们只报告了汇总的模式和代表性摘录，以避免侵犯隐私。因此，定量结果应该被视为对课堂证据的描述性总结，而不是聊天机器人优势的声明。乔治梅森大学的机构审查委员会审查了这项工作，并确定它符合45 CFR 46.104(d)第4类的豁免条件（STUDY00001028，2026年3月11日确定）。

学生们的发现

共有十一个团队完成了这项任务；十个团队提供了标准化的数值分数，使得结果可以在不同团队之间进行汇总。每个团队在自己设计的任务集上对四个聊天机器人进行了测试，产生了表1所示的团队绩效分布。为了汇总报告，我们在收到所有提交后定义了一个“Quantitative Core”（QC）标准：指那些在两个指标上都取得合格成绩的团队。那些只报告定性发现、省略了其中一个指标或使用了替代系统的团队（例如，某个团队使用Gemini代替Claude）也被包含在表1中，但为了排除偏见或评分标准的重新调整，这些团队被排除在表2的相关列之外。表2总结了每个聊天机器人在各项指标上的平均表现，并明确列出了参与团队的人数，因为不同聊天机器人和指标的有效样本量不同。表1中的数据分散是有意安排的，因为这种差异本身就是任务教学的一部分。

本文提供了什么

我们描述了一个可复制的教学设计，包括推理任务的分类体系、一个简洁的示例来说明任务设计的空间，以及一个将答案正确性与解释有效性区分开来的控制协议。我们报告了团队应用这一协议时所取得的成果，并通过定量总结和案例分析展示了聊天机器人的解释流畅性如何与有效的推理过程不同。我们还展示了评估过程如何通过AI工作室、证据追踪和评分协调来实现学生的发现，并以实用的复制指南作为结尾。由于学生们亲自进行了研究并愿意公开分享他们的成果，他们在这篇文章中作为共同研究者出现。核心观点并不在于某个系统“获胜”，而在于即使在一个简短的、由学生设计的探究集中，答案的正确性与解释的有效性之间也并无保证，而且表现对于提示设计和评分标准非常敏感。学生团队 repeatedly观察到了答案正确性与解释有效性之间的差距。在许多情况下，模型虽然产生了正确的答案，但其给出的理由却违反了既定规则，或者跳过了必要的步骤，或者引入了提示中未明确指定的假设。在其他情况下，模型提供的解释在逻辑上是一致的，但最终得出的答案却是错误的。这种区分很重要，因为这项任务要求分别对答案和解释进行评分。解释的有效性从一种抽象的关注点（比如“幻觉”）变成了一个具体的评估目标。

学生们普遍认为，简单且他们非常熟悉的任务在诊断能力上较弱。聊天机器人在处理直接的算术问题、简单的序列以及具有明确、常见规则的提示时表现较好。在课堂上，这成为了一个设计上的教训。当早期的尝试几乎得到满分时，教师会引导学生修改提示，使其需要更长时间的步骤跟踪、交互约束或更少使用固定的形式。特别是在空间描述和多步骤转换方面，提示的诊断能力得到了显著提升。学生们记录了在这种情况下反复出现的几种行为：忽略既定规则、默默地添加新规则、产生一个过于自信的答案（这些答案与中间步骤不符），或者给出的解释描述了一个程序但实际上执行了另一个程序。一些团队报告说，格式的变化（包括基于表情符号的相同规则变体）可能会以他们未曾预料的方式改变结果。在实践过程中，我们得出一个有用的观察结果：一旦学生们意识到目标不是“欺骗”聊天机器人（尽管这对许多学生来说是一个很大的激励），而是通过证据揭示其局限性，推理任务就变得更加复杂和富有创造性。

**表1. 团队（提交结果）**

| 团队名称 | OpenAI GPT | Grok | Perplexity | Gemini | Team 2 | Team 5 | Team DeMarco | Carter Jones | Reason Rangers | Cookie Cutters | Team One |
|---------|---------|--------|---------|---------|---------|---------|---------|---------|---------|---------|
| 计算机任务得分 | 100/95 | 100/90 | 60/60 | 90/100 | 90/85 | 100/60 | 90/70 | 80/90 | 90/90 | 90/90 |
| 解释有效性得分 | 100/100 | 100/100 | 85/80 | 100/100 | 80/80 | 85/80 | 50/– | 50/– | 90/– | 80/– |
| – | – | – | – | – | – | – | – | – | – | – |

**表2. 每队来自期中提交的定量结果。每个条目表示答案/解释的百分比。**“–”表示该团队没有评估该聊天机器人或未报告该指标。一些提交包含了定性发现，但没有标准化百分比分数；这些在表2中包含以保持完整性，但未计入定量统计中。”

**图1. 符合质量控制的团队中聊天机器人的整体表现（平均值 ± 标准差）：** OpenAI GPT 5、xAI Grok 4、Anthropic Claude 4 和 Perplexity。**

**“失败”的几种表现形式：** 经过团队们的讨论，得出了以下结论：“消费者聊天机器人在处理规则明确的简单结构化任务时通常表现良好，但在需要空间模拟、多步骤转换、严格遵循约束或适应格式变化的任务中却容易出错。”一些团队将聊天机器人的行为描述为“模仿推理”：它们可以给出看似合理的叙述，并部分遵循规则，但在不同类型的问题中缺乏一致性。学生们学会了如何提出有逻辑的问题，并以适当的警示来传达基于证据的解释。

以下是一些关键的学生观察结果及其与具体读写能力的关联：

- **流畅的自我反思但不收敛**：一个团队提到Claude 4经常以“我明白了”这样的自信态度开始，但在生成长篇、类似人类的“思考”文本时变得犹豫不决（比如“让我试试...哦，不对”）。学生们认为这是模型在模拟思考过程，即使没有找到正确解决方案。
- **自我矛盾的行为**：另一个团队观察到模型会宣布答案错误，然后多次重复同样的推理过程却无法纠正错误。学生们将其描述为聊天机器人“与自身逻辑冲突”，即生成自我纠正的信号却没有实际的修正。
- **过度复杂化导致信息丢失**：当引入更多提示（从而增加交互上下文）时，一些团队的答案准确性和解释质量下降，尤其是ChatGPT和Perplexity。
- **规则遵循与泛化能力**：一个团队总结道，他们测试的模型“是优秀的规则遵循者，但不是可靠的泛化思考者”。他们通过多个实例得出这个结论：模型可能正确地重述了规则，但在类似情况下却执行错误；或者在一种表达方式下成功，但在另一种方式下失败（例如，当规则用表情符号表示时）；或者通过捷径得出正确答案却无法在提示的语义范围内给出合理解释。

**从“AI是魔法”到“AI是可测试的工件”**：许多本科生最初将聊天机器人视为能够按需生成流畅文本的高效助手。在这种观念下，人们倾向于将机器人的输出视为权威结果，并将其解释视为系统“理解”的证据。期中考试的设计旨在打破这种默认态度。学生们被要求将聊天机器人的输出视为需要评估的论点，并将系统本身视为可测试的对象。通过三个设计调整实现了这一转变：首先，学生们自己设计了探究任务；其次，他们在不同系统间保持提示不变，以便对比差异；最后，他们同时评估了输出和解释，从而发现了新手用户容易忽略的问题（如正确答案 accompanied by 无效的理由或看似合理的解释却支持错误答案）。

**学生们通过测量“推理能力”学到了什么：** 这项任务迫使学生们将一个模糊的公众问题——“聊天机器人能推理吗？”——转化为可量化的指标。学生们通过以下三个经验学会了几个重要的概念：
1. **推理是多方面的**：一个系统可能在某些任务中表现优异，但在其他任务中却表现脆弱。
2. **正确答案可能基于错误的理由**：区分答案的正确性和解释的有效性要求学生们定义什么是有效的理由，包括规则遵循、内部一致性以及中间步骤与最终结论的一致性。
3. **提示设计至关重要**：提示的细微变化（如用词、具体性或约束的清晰度）会影响答案和解释的质量。这项任务将提示设计视为影响系统可靠性的关键因素。
4. **评估方法的重要性**：通过期中考试，学生们学会了将聊天机器人的输出视为需要验证的假设，并优先考虑可复制的证据而非自信的表达方式。
5. **双重角色：评估成为发现的过程**：从将AI视为神奇的工具转变为将其视为可测试的对象。
6. **失败模式是有教育意义的**：学生们发现了聊天机器人在推理过程中可能出现的多种失败模式，这些模式与实际使用中的信任问题直接相关。

**教学效果的体现：** 延长的课堂活动（我们称之为“AI工作室”）有助于将抽象的概念变为具体的实践经验。这些活动为背景各异的学生提供了进行技术工作的时间，并通过即时反馈明确了质量标准。基于小组的工作方式让学生们将系统测试视为小型研究流程，包括了系统分配、并行试验以及日志的共享与协调。这种结构让学生们了解了可重复性的重要性，以及为何关于AI的科学声明需要明确的规则和评估标准。对于 shorter 的课程，可以减少提示的数量；对于时间较长的课程，则可以增加提示的数量。聊天机器人的数量会根据可用性进行调整。分类法应该保持为一个框架，但教师可以根据课程（学习）目标的不同来强调不同的类别。如果需要，评分标准可以简化，前提是保持答案和解释的分离。交付物也可以改变，只要学生需要提供来源追踪并说明注意事项。资源和要求方面，该项目可以使用 commonly available 的免费消费者级聊天机器人，以及普通的协作工具（如共享文档用于记录和分析）来实施；在我们机构，学生可以访问内部文件共享平台。值得注意的是，提供给学生的最主要资源是教师在工作室中的时间，以便对提示设计和评分标准提供即时反馈。在我们的设置中，每周进行三到四次每次 60 到 75 分钟的工作室会议（课程每周进行两次，每次会议时间限制为 75 分钟），这足以让团队保持协调并取得进展。

在处理评分和意见不一致时，团队可能会对一个与学习目标核心相关的问题感到困惑：什么才算是一个有效的解释。我们建议在第一周开始时，通过一个围绕共享示例的简短校准练习来 Start。教师使用 ABCD → ABCE 任务来实现这一目的：全班一起对一个聊天机器人的互动进行评分，从而在团队起草自己的评分标准之前明确了三个标准，即规则遵循性（解释是否遵循了提示的限制？）、内在一致性（步骤之间是否连贯？）和对齐性（指定的步骤是否产生了最终答案？）。在第一周和第二周的工作室会议中，当团队在自己的日志中遇到模糊情况时，这些标准始终被明确列出，例如，对于单个违规步骤可以给予部分分数。在第三周，对同一互动给出不同评分的成员会回到提示文本，指出具体的中间步骤，并在能够证明标准被违反时重新评分；团队在是否为每个聊天机器人指定一个评分者或使用多个评分者方面存在差异，因此我们将最终的评分视为学生标注的课堂测量结果，而不是基准标签，并将正式的评分者间检查作为后续课程设计的指导。当分歧得到记录和合理解释时，是可以接受的。实际上，学生从辩论中学到的东西与从评分中学到的东西一样多。

表 4 列出了反复出现的实施挑战以及解决这些挑战的实际干预措施。

**表 4. 挑战与解决方案：**

| 挑战 | 解决方案 |
|-------------|------------------------------|
| 提示太简单（聊天机器人回答完美）| 工作室反馈：“这可能在训练数据中见过。能否使其更具诊断性？” |
| 提示太模糊（多个有效答案） | 如果学生注意到了这一点并相应评分，则可以接受。这有助于教学构建有效性。 |
| 学生希望停留在答案正确性上 | 要求每次响应都附带解释。明确说明这为什么重要。 |
| 评分耗时过长 | 团队可以分工评价聊天机器人并共享日志，或者一起评分以保持一致性。 |
| 学生对自己使用的聊天机器人有抵触情绪 | 重新定位为调查者而非支持者。问“你观察到了什么？”而不是“哪个最好？” |

**成功的标志：** 当学生争论解释是否有效时，当团队根据初步尝试修改提示时，当报告包含关于模糊性或评分不确定性的明确说明时，以及当演示优先考虑令人惊讶的行为和证据而非排名时，该作业就成功地实现了目标。最明显的标志是学生的转移：他们开始能够说明如何在日常使用中验证解释。

**适应不同情境：** 在较短的课程中，可以通过减少提示数量和系统数量来缩小范围。对于技术专业的学生，教师可以要求通过控制的改写和稳定性检查来进行提示敏感性分析。对于大班教学，可以使用一个共享的提示池，团队从中选择并完善一部分，以保留学生的设计同时提高可比性。在异步或在线格式中，可以用同伴评审代替工作室会议，团队发布提示并接收关于清晰度、诊断价值和评分能力的评论。最后，等到这篇文章被阅读时，消费者聊天机器人的格局可能已经发生了变化。对于有兴趣复制这个中期项目的教师，这里有三点实用建议：具体的系统不如选择四个能力大致相当的现代聊天机器人重要；这个练习适用于任何这样的组合。由于拒绝和受政策影响的输出可能比我们观察到的更为常见，它们可以作为数据评分，而不是被视为失败的尝试，因为它们是最终用户会遇到的部分。聊天机器人还可能提供额外的功能，包括思维、研究、网络访问和持久记忆；教师应在第一周之前决定是使用默认设置还是关闭这些功能，并在整个选定的系统中保持这一选择的一致性。

**影响与结论：** 作为课堂实践的评估**

本文从一个教学挑战开始：学生正在使用消费级聊天机器人，但大多数人缺乏判断流畅解释何时可靠、何时不可靠的框架。我们在 UNIV 182 课程中的回应是将聊天机器人视为研究的对象，并将学生定位为调查者而非消费者。在三周的时间里，没有任何 STEM 背景的学生设计了推理提示集，对广泛使用的聊天机器人进行了控制比较，并评估了答案的正确性和解释的有效性。从这个角度来看，该项目提供了一个实用的替代方案，其中聊天机器人被视为分析的对象，并成为学习的材料。学生被评估的是他们是否能够构建一个可辩护的测试，记录从提示到输出再到评分的整个过程，并传达注意事项。重点从是否使用了 AI 转移到了是否负责任地评估了 AI。作为基准式评估的补充，该项目突出了在日常使用中影响信任的互动特征。在课堂数据中，最具有意义的问题不仅限于错误的答案，还包括那些听起来像指导性内容但实际上违反了限制的解释，以及系统在受到挑战时进行详细阐述而不是进行修改的行为。对于最终用户而言，可靠性包括在改写、重新陈述的限制和轻微格式变化下的稳定性。

我们以一个警告、一个局限性和一个机会作为结论。警告是教师必须管理访问条件。我们的比较使用了免费的消费者级聊天机器人，学生不应感到被迫购买付费订阅才能参与或获得“更好”的结果。局限性在于这是一个具有实证副产品的教学干预，而不是一个受控的基准研究。作业提前规定了每个团队需要遵循的内容：分类法、答案正确性和解释有效性的区分、控制比较的协议，以及工作室和同意的结构。团队编写了不同的提示，应用了略有不同的评分标准，并与不断发展的消费界面进行了互动，因此总体数字应被视为描述性总结，而不是决定性的排名。在提交后做出了两个分析选择：用于聚合的定量核心数据和学生观察的短篇故事分组。

**机会与贡献：** 我们希望这个案例研究能为 AI 素养的培养提供一条可复制的途径，作为实验性的课堂实践。值得注意的是，这一机会超越了课堂的范围。轻信是最容易的道路，而我们在本文中介绍的实践教会任何用户抵制这种倾向；去测试 AI 系统，而不是接受它的结果，通过找出它的缺陷及其影响程度来了解它的能力。自信而流利的无意义内容是人工智能现在可以大规模产生的能力。这里展示的工作教会了人们如何识别这些内容，并判断在关键时刻这些系统是否可信。

**补充材料：** 附录和更多内容可以在以下在线补充材料中找到：[链接]。

**致谢：** 教师感谢 UNIV 182（2025 年秋季）的所有学生在整个学期中的持续好奇心、专业精神和热情。