生成式人工智能使用与健康信息学本科生应用型高阶认知表现：一项七校横断面病例情景评估研究

《Advances in Medical Education and Practice》：Generative Artificial Intelligence Use and Applied Higher-Order Cognitive Performance Among Health Informatics Students: A Multicenter Cross-Sectional Case-Based Assessment Study

　　

背景：生成式人工智能（generative artificial intelligence, GenAI）被大学生广泛使用，但将常规使用与已证实的高阶认知表现联系起来的证据有限，尤其在健康信息学（Health Informatics）教育中。目的：考察沙特阿拉伯健康信息学本科生中GenAI使用与应用型高阶认知表现之间的关联。方法：在这项多中心横断面研究中，来自七所沙特大学的431名学生的便利样本于2026年5月至7月完成在线问卷。GenAI使用为自报（使用时长、频率、每周小时数、学术使用强度、负责任使用和正式AI培训）。表现采用新开发的、经专家评审的30项病例情景评估（case-based assessment）测量批判性思维、问题解决和决策制定（加权0–3评分；总分0–90），远程无监考完成。采用非参数检验和带异方差稳健（heteroscedasticity-robust, HC3）标准误及大学固定效应的分层回归。结果：431名参与者中，425名（98.6%）报告既往使用GenAI。平均总分为57.14/90（标准差[standard deviation, SD] 15.41）。GenAI使用频率、时长和每周小时数与表现无关。学术性GenAI使用强度（academic GenAI-use intensity）显示未调整的弱负相关（ρ = ?0.15），但调整大学后无关联（B = 0.10；95%置信区间[confidence interval, CI] ?1.61至1.80）。加入大学固定效应使R²从0.080增至0.287。正式AI培训（formal AI training）与表现呈负相关（B = ?3.48；95% CI ?6.40至?0.56）。结论：在该便利样本中，常规GenAI暴露与新开发病例情景评估的表现无独立关联，而不同大学间得分差异较大，原因本研究无法识别。由于设计为横断面、暴露为自报且独立完成无法验证，这些发现为关联性，且该工具需要外部验证。健康信息学项目可能受益于关注学生如何使用GenAI，而非使用频率。

研究背景与问题：生成式人工智能（generative artificial intelligence, GenAI；可生成文本、解释、代码等内容的AI系统）自ChatGPT公开释放后迅速进入高等教育，用于信息检索、学术写作、头脑风暴、编码、反馈和问题解决；在健康专业教育中还用于病例生成、形成性评价、模拟患者互动、科学写作、考试准备和个性化学习支持。其利弊取决于学生如何参与生成内容。认知卸载理论认为，人们常将认知工作委托给外部工具，这可释放高阶推理容量，也可减少技能发展所需的练习；用于GenAI时，同一工具既可能在学生批判、验证、比较和修订输出时成为认知脚手架，也可能在学生未评价即接受答案时成为认知替代。调查证据显示，较重依赖AI工具与较低自报批判性思维和认知努力相关；大型现场实验发现，无限制GenAI访问改善练习任务表现，却降低随后无协助考试表现；相反，结构化GenAI支持干预报告高阶思维获益。因此，单用使用频率可能不足以指示教育影响，因为其不能区分AI辅助思考与AI替代思考。健康信息学学生是检验该问题的相关群体：国际课程建议要求毕业生整合医疗、信息技术、数据治理、互操作性、隐私和组织决策知识，并判断信息系统的质量与安全；这些毕业生还将选择、实施和评价AI赋能的临床系统，其独立判断能力重要。同时，大语言模型已在传统健康信息学课程评估中具有竞争力，GenAI也开始整合进课程。高阶认知表现（higher-order cognitive performance；应用知识、分析信息、评价备选方案并在不熟悉情境中形成可辩护解决方案的能力）适合用病例情景评估（case-based assessment；以真实情景问题测量应用推理的评估）测量。既往GenAI教育研究多依赖自报有用性、信心或感知认知改善；研究人员早前定性研究探索健康信息学学生对GenAI的体验及对学习和独立思考的感知影响，但未测量已证实表现；沙特阿拉伯健康信息学学生的多中心数据有限。因此，本研究考察GenAI使用模式是否与在无AI协助下完成的病例情景评估所测应用型高阶认知表现相关，主要结局为病例评估总分，批判性思维、问题解决和决策制定得分为次要结局；假设在控制学术和机构因素后，简单GenAI暴露指标与表现关联有限。

研究人员开展了一项多中心分析性横断面研究，于2026年5月至7月在七所沙特大学纳入健康信息学本科二至四年级及实习年学生，最终431名完成30项病例评估，其中425名GenAI使用者进入回归。结论为：常规GenAI暴露与新开发病例情景评估表现无独立关联；大学间得分差异较大且原因未能识别；正式AI培训与表现负相关但不应作因果解释；由于便利样本、自报暴露和未验证独立完成，发现为关联性，工具需外部验证。其意义在于提示健康信息学项目不应把GenAI使用频率视为收益或风险标志，而应关注学生如何使用GenAI，并需采用监督性或真实性评估来评价独立推理。

主要技术方法：该研究为多中心分析性横断面研究，采用便利抽样，于2026年5月至7月在七所沙特大学（Imam Abdulrahman Bin Faisal University、King Saud bin Abdulaziz University for Health Sciences、University of Hail、Qassim University、Jazan University、Umm Al-Qura University和Saudi Electronic University）纳入健康信息学本科二至四年级及实习年学生，样本队列来源为上述七校便利样本，应答率无法计算。工具包括自报GenAI使用问卷和经七名专家评审、13名学生预试验的30项病例情景评估，覆盖批判性思维、问题解决和决策制定，按0–3加权评分，总分0–90。统计采用Cronbach’s α和McDonald’s ω评估信度，Spearman相关、Mann–Whitney U检验、Kruskal–Wallis检验、Benjamini–Hochberg校正，以及含HC3标准误和大学固定效应的分层线性回归，并估计ICC(1)。

研究结果：
Participants：通过描述性统计，433份回答中2人拒绝知情同意，余431名；全部完成30项病例评估；6名（1.4%）从未使用GenAI而未回答GenAI使用条目，回归分析纳入425名GenAI使用者。女性274名（63.6%），20–22岁190名（44.1%），实习年123名（28.5%）为最大组；每所大学贡献39至80名参与者。
Patterns of Generative AI Use：通过问卷描述，ChatGPT为主要平台（228名；53.6%），其次为Gemini（116名；27.3%）；多数有1–2年经验（172名；40.5%），每周数次使用195名（45.9%）、每日使用105名（24.7%）；每周使用最常为1–3小时（193名；45.4%）；169名（39.8%）报告正式AI培训。学术使用均分3.40（SD 0.83），考试准备最频繁（均分3.69；64.9%经常或总是），统计学最少（均分3.26）。负责任使用均分3.88（SD 0.75）；认识到AI可能生成不准确信息得分最高（3.98），将AI输出与科学参考文献比较得分最低（3.76）。
Cognitive Performance and Reliability：通过描述统计和信度分析，平均总分57.14（SD 15.41；中位数53.0；范围30–90）；问题解决均分19.46（SD 5.16），批判性思维19.21（SD 6.19），决策制定18.48（SD 6.29）；总分偏度0.71，Shapiro–Wilk W = 0.926，p < 0.001，分布偏离正态。30项评估内部一致性良好（α = 0.873，95% CI 0.855–0.890；ω = 0.893）；决策制定α = 0.751、批判性思维α = 0.719可接受，问题解决α = 0.663（ω = 0.774）低于常规阈值；学术使用量表α = 0.886、负责任使用量表α = 0.758可靠。病例条目校正项–总相关0.15–0.55；C10（大数据仪表盘）和P3（系统中断）低于0.20；条目难度0.49–0.74。
Performance by University：通过Kruskal–Wallis检验和ICC估计，大学平均总分从SEU的45.8（SD 7.7）至IAU的68.0（SD 18.2）（H = 120.72，p < 0.001，η²_H = 0.271）；总分ICC(1) = 0.27，约四分之一变异位于大学间。得分离散度亦不同：IAU和UQU上四分位数接近满分（90分中分别为88和87），SEU和UoH得分更集中。
Bivariate Associations：通过Spearman相关、Mann–Whitney U检验和Kruskal–Wallis检验并经FDR校正，使用频率（ρ = ?0.05，pFDR = 0.41）、每周小时（ρ = 0.01，pFDR = 0.92）、使用时长（ρ = 0.08，pFDR = 0.24）和负责任使用（ρ = 0.05，pFDR = 0.43）与总分无关；学术GenAI使用强度与总分呈弱负相关（ρ = ?0.15，pFDR = 0.014），但与各域关联经校正后不显著；GPA（ρ = 0.17，pFDR = 0.005）和学年（ρ = 0.17，pFDR = 0.005）与总分正相关。总分按性别（女性58.3 vs 男性55.1；p = 0.011，rank-biserial r = 0.15）、正式AI培训（受过培训54.7 vs 未培训58.9；p = 0.001，r = 0.18）、学年、GPA、主要平台和大学不同，但不按使用频率或每周小时不同；除大学（η²_H = 0.271）外效应量均小。
Multivariable Analysis：通过含HC3标准误和大学固定效应的分层回归，第1层人口学与学术特征解释4.6%变异，GPA（B = 2.25，p = 0.004）和学年（B = 1.97，p = 0.013）显著；加入正式AI培训与GenAI暴露后R²增至0.072，培训负相关（B = ?4.56，p = 0.002），时长、频率、每周小时不显著；加入学术使用与负责任使用量表仅增ΔR² = 0.008（学术使用B = ?1.76，95% CI ?3.55至0.02，p = 0.053）；加入大学固定效应使R²从0.080增至0.287（校正R² = 0.259）。最终模型中学术使用系数接近零（B = 0.10，95% CI ?1.61至1.80，p = 0.912），频率、时长和每周小时系数亦接近零，95% CI排除每单位增加大于约2.3分（0.15 SD）的效应；正式AI培训仍负相关（B = ?3.48，95% CI ?6.40至?0.56，p = 0.020），GPA和学年不再显著；Breusch–Pagan检验p = 0.43，所有方差膨胀因子（variance inflation factor, VIF）低于2.2。

讨论总结：主要发现是GenAI使用几乎普遍，但频率、时长和每周小时与无协助病例情景评估表现无关联；学术使用强度与表现的弱负相关在大学调整后消失，暴露指标置信区间排除超过小效应；大学间得分差异显著，正式AI培训与略低得分相关。与既往多报告学生感知GenAI改善学习、信心或批判性思维的研究相比，本研究测量已证实表现而非感知，未发现常规暴露与应用推理独立关联；差异可能在于感知获益不一定反映独立证实能力变化。已有客观测量中，结构化要求参与AI输出的干预报告高阶思维获益，无限制访问改善辅助练习但损害随后无协助表现。这些符合认知卸载理论：使用频率混合不同行为，从要求GenAI批评自身分析到复制答案，可能相互抵消；因此校内近零系数不表明GenAI使用不重要，而表明简单暴露指标未捕捉关键使用方面；自报负责任使用与表现无关，可能因问卷报告的验证行为不反映实际解题参与质量。大学占解释变异最大份额，但研究只显示校间得分差异而不能解释原因；原文列举课程与评估实践、学生构成、各校应答者选择、项目形式（如SEU largely e-learning）、课程与情景内容匹配及不外部求助指令依从性等可能解释，但均未测量；两校较宽上限可能反映子组准备更强或未验证外部协助，数据不能区分；主要分析后果是学术GenAI使用与表现的未调整负关联似反映校间而非校内差异，未控制机构的分析可能高估关联。正式AI培训负关联不应解释为AI教育有害；培训仅为自报是/否单项，无内容、时长或提供者信息；反向因果可能，如信心较低学生寻求培训，残余混杂不能排除；现有培训可能侧重工具操作和提示而非批判评价AI输出，但本研究不能检验。教育意义上，政策不应把GenAI使用频率作为收益或风险标志；教育者可通过要求学生对照权威来源验证输出、论证决策和识别错误来塑造使用方式，而非限制访问；传统书面作业日益可被大语言模型回答，独立推理评估需监督或真实性形式，如病例情景评估、模拟和口试；本病例评估经外部验证后可作健康信息学此类工作的起点。优势包括多中心设计、采用表现型结局而非自报感知、工具专家评审和预试验、适用于非正态结局和聚类数据的分析。局限包括横断面设计不能因果推断；便利抽样且受邀人数未知，参与者可能系统不同于非参与者，限制普适性；GenAI暴露、负责任使用和培训为自报，可能有回忆和社会期许偏倚；病例评估为新开发，虽经专家评审和预试验且总体内部一致性良好，但问题解决子量表信度低于0.70，两个条目项–总相关低，领域结构未经因子分析确认，效度未 against external criteria或其他环境建立，需外部验证，领域结果尤应谨慎；评估远程无监考，不使用GenAI、其他资源或他人帮助的依从性无法验证，完成时间未记录，不可能快速或慢速回答无法识别，得分应视为意图独立表现，任何外部协助最可能抬高得分，若在较重GenAI使用者中更常见会使关联偏向零；仅七所大学，校间差异可描述但不能解释，机构层面因素不能建模；动机、先验知识、学习策略和教学质量等未测因素可能影响表现，发现可能不能外推至沙特健康信息学项目之外。未来需纵向重复表现评估和随机教育试验比较结构化GenAI整合方法以确立因果效应；应测量学生–AI互动质量（如提示、验证和批判评价）而非仅频率；在监考或时间戳条件下实施表现评估；直接测量机构特征，最好跨足够机构允许多层建模；并在项目和国别间外部验证病例评估，包括验证性因子分析。

研究结论翻译：在这项多中心横断面研究中，GenAI使用在健康信息学本科生中几乎普遍，但使用频率、时长和每周小时与新开发病例情景评估表现无独立关联。不同大学间得分差异较大，原因本研究无法确定；正式AI培训与表现负相关，但该发现不应作因果解释。鉴于便利样本、自报暴露和未验证独立完成，这些发现为关联性。其提示健康信息学项目应关注学生如何使用GenAI，包括验证AI输出和维护独立专业判断，而非关注使用频率。