大语言模型在环境健康与职业健康化学课程教学问卷中的表现评估

《Scientific Reports》：Performance of ChatGPT-5.5, Gemini 3, and copilot 2026 in answering chemistry course questions: a cross-sectional study

　　

摘要

化学、环境健康与职业健康在历史上一直密切合作发展。本研究旨在评估大语言模型（LLM）在回答环境健康与职业健康专业用于教学目的的化学课程问卷中的表现。本研究为2026年开展的横断面研究。研究采用了一份包含50道选择题的问卷，主要使用波斯语，包含少量英语术语和公式，并将其提供给大语言模型（ChatGPT-5.5、Gemini 3和Copilot 2026）作答。采用混淆矩阵分析评估模型表现，并进一步使用Cochran's Q检验、McNemar配对比较检验及点二列相关分析对研究数据进行评估。各LLM的平均敏感度、特异度和准确率分别为0.81、0.29和0.68。Gemini 3表现出较高的水平，取得了最高的敏感度（0.85）、特异度（0.56）和准确率（0.80）。ChatGPT-5.5的敏感度最低（0.76），而Copilot的特异度最低（0.07），准确率为0.62。模型表现与问卷特征之间未发现显著相关性；然而，所有模型在需要识别错误选项的否定框架题目上表现均较差。本研究为LLM在化学相关问题中的表现提供了一些初步见解，未来尚需进一步研究。