《Journal of Chemical Education》：Can You Help ChatGPT Get an “A” in Organic Chemistry? Teaching Effective Prompting of Large Language Models for Reaction Prediction
编辑推荐：
随着生成式人工智能（AI）工具如大型语言模型（LLM）的普及，它们在化学科学中的应用日益广泛。尽管LLM在众多化学任务中表现出色，但最优性能仍需恰当使用，包括合适的提示技术。化学学生通常未接受有效使用LLM的策略培训，尤其是非写作任务。在此，研究人员报告了一项
随着生成式人工智能（AI）工具如大型语言模型（LLM）的普及，它们在化学科学中的应用日益广泛。尽管LLM在众多化学任务中表现出色，但最优性能仍需恰当使用，包括合适的提示技术。化学学生通常未接受有效使用LLM的策略培训，尤其是非写作任务。在此，研究人员报告了一项活动，旨在向有机化学学生介绍如何使用ChatGPT等LLM预测化学反应结果，特别是基础有机化学课程中讲授的烯烃加成反应类型。该活动使学生接触分子表示、化学反应数字化、用于评估性能的训练-测试（train-test）分割实践，以及可推广的LLM提示策略，即五“S”（Five “S”）提示编写方法和上下文学习（in-context learning, ICL）。研究人员在美国和奥地利的化学学生中测试了该活动，并通过匿名前后测调查进行评估。调查数据显示，学生认为他们实现了学习目标，并且该活动令人愉快。由于化学学生未来职业生涯中不可避免地会与LLM互动，在化学背景下教授有效且批判性使用这些工具的最佳实践至关重要。
**论文解读：面向有机化学学生的大型语言模型反应预测提示教学研究**
**研究背景与问题**
近年来，大型语言模型（Large Language Models, LLM）在化学研究领域展现出巨大潜力，尤其在有机化学问题回答、分子结构解析和反应预测方面，最新模型（如GPT-4o、Llama-3.1-405B等）甚至在某些基准测试中超越人类专家。然而，LLM的最佳性能依赖于恰当的提示（prompting）技术，而化学学生通常缺乏有效使用LLM的系统训练，尤其是针对非写作任务（如反应预测）。现有教育研究多关注LLM在化学教育中的局限与挑战，但少有具体活动指导第一学期有机化学学生如何利用LLM进行反应预测。因此，研究人员开发了一项3小时的活动，旨在教授学生通用且可推广的LLM提示策略，并将其应用于烯烃加成反应预测，以弥合这一教学空白。该论文发表在《Journal of Chemical Education》。
**研究内容与结论**
研究人员设计并实施了一项包含分子表示学习、化学反应数字化、训练-测试分割实践以及LLM提示策略（五“S”方法和上下文学习）的教学活动。该活动在美国福特汉姆大学（Fordham University）和奥地利格拉茨大学（University of Graz）的首学期有机化学学生中进行了测试，分别涉及18名和30名学生。通过匿名前后测调查（采用五点李克特量表）评估学生感知的学习效果和体验。调查结果显示：两校学生均认为达到了学习目标（中位数=5），包括机器学习概念、五“S”提示策略和上下文学习（in-context learning, ICL）策略；改进后的活动使学生在格拉茨更满意（如对GenAI能力的信心、整体积极性显著提升，p<0.05）；学生提示能力自我评价在活动前后有显著提升（U=1519, p<0.001, 效应量r=0.554）。结论表明，该活动能有效提升学生有效提示LLM的能力，且活动本身令人愉快。
**主要关键技术方法**
活动主要采用以下关键技术方法：（1）分子表示方法：IUPAC名称和简化分子输入线输入系统（SMILES）字符串，用于数字化反应物和产物；（2）五“S”提示框架：设置场景（Set the Scene）、具体化（Be Specific）、简化语言（Simplify your Language）、结构化输出（Structure the Output）、共享反馈（Share Feedback）；（3）上下文学习（in-context learning, ICL）：在提示中提供少量示例（few-shot）以指导模型输出，无需重新训练；（4）训练-测试分割：要求学生从各自教科书（Smith或Clayden等）中收集约10个烯烃加成反应（分别来自氢硼化-氧化、卤化或卤醇形成三类），将其中部分作为上下文示例（训练集），其余用于测试预测准确性。学生群体来源明确：福特汉姆大学（美国纽约私立大学）和格拉茨大学（奥地利公立大学）的第一学期有机化学学生，均为化学专业本科生。
**研究结果**
- **分子表示（Molecular Representations）**：通过比较IUPAC名称和SMILES在LLM预测中的表现，发现IUPAC名称的预测一致性优于SMILES，但SMILES作为机器可读格式对理解数字化有价值。活动最终将IUPAC作为核心表示，SMILES作为可选内容。
- **LLM提示（LLM Prompting）**：引入五“S”方法后，学生从非化学示例（如“狗叫什么？”）入手，再转向烯烃反应提示。结果显示，使用五“S”策略的提示显著优于简单提示，模型输出的相关性和结构化程度更高。
- **上下文学习（In-Context Learning, ICL）**：学生在ICL提示中提供3个训练示例，测试其他未包含的反应。初步研究发现，提供5–10个示例即可获得合理预测，但模型在立体化学方面表现较差，尤其当训练集中缺乏立体中心时。
- **教师观察与活动改进**：首次实施（福特汉姆）发现学生容易混淆IUPAC和SMILES、对活动终点不明确、以及未明确处理立体化学。改进后（格拉茨）活动明确要求使用IUPAC、强调立体化学（至少一半示例包含立体中心）、提供共享电子表格模板，并增加ChemDraw入门指导。改进后学生整体满意度更高，活动时长仍控制在3小时内。
- **调查结果（Survey Results）**：共14名福特汉姆学生和29名格拉茨学生完成调查。前测显示两校学生GenAI使用背景相似（仅通用和化学相关使用频率有微小差异）。后测中，改进后的活动使学生在自信心、态度和整体体验方面显著提升（p<0.05），但自评学习目标达成度无组间差异（均中位数5）。预-后测对比显示，学生对自己编写有效提示的信心显著增强（p<0.001），但对GenAI答案的信心和直接使用答案的倾向未改变，表明活动培养了批判性使用态度。
**讨论与结论翻译**
讨论部分总结：活动成功引入有机化学学生使用LLM进行反应预测，涉及分子表示、数字化、训练-测试评估及可推广的提示策略。调查数据表明学生认为活动有效且愉快，增强了使用AI工具的信心。随着学生在学术和非学术环境中越来越多地与LLM交互，以及未来在化学或其他领域继续使用AI工具，在化学背景下教授LLM使用的最佳实践至关重要，无论是现在还是未来该领域持续发展之时。
结论：研究人员开发了一项新活动，向有机化学本科生介绍使用LLM进行有机反应预测，重点关注烯烃加成反应。该活动使学生接触分子表示、化学反应数字化、训练和测试数据评估，以及可推广的LLM提示策略。研究人员在美国和奥地利的学生中测试了该活动，并通过匿名调查获得反馈。调查数据表明，学生认为该活动有效且令人愉快，并提升了他们使用AI工具的信心。学生在学术和非学术环境中与LLM的互动日益增多，且未来在化学或其他领域的职业生涯中很可能继续与AI工具互动。因此，在化学背景下教授LLM使用的最佳实践，无论是现在还是随着该领域未来持续发展，都至关重要。
