《Journal of Surgical Research》：Can Artificial Intelligence Replicate Human Qualitative Analysis?
编辑推荐：
格雷森·P·斯廷格（Grayson P. Stinger）|贾玛卡·韦斯特福尔-斯奈德（Jamaica Westfall-Snyder）|斯图尔特·R·卡特（Stewart R. Carter）|莎拉·A·海耶克（Sarah A. Hayek）|瑞安·K·沙巴汉（Ryan K.
格雷森·P·斯廷格（Grayson P. Stinger）|贾玛卡·韦斯特福尔-斯奈德（Jamaica Westfall-Snyder）|斯图尔特·R·卡特（Stewart R. Carter）|莎拉·A·海耶克（Sarah A. Hayek）|瑞安·K·沙巴汉（Ryan K. Shabahang）|凯特琳·A·杨（Katelyn A. Young）|莫亨·M·沙巴汉（Mohsen M. Shabahang）|克里斯蒂·L·布昂帕内（Christie L. Buonpane）
肯塔基州路易斯维尔市路易斯维尔大学医学院（University of Louisville School of Medicine, Louisville, Kentucky）
摘要
引言
定性研究在外科教育中对于探索复杂的社会现象至关重要。然而，主题分析耗时较长，需要方法论专业知识，并且本质上容易受到解释性偏见的影响。人工智能（AI）越来越多地被用作支持定性分析的工具，尽管其在解释复杂抽象概念方面的作用仍不明确。本研究的目的是通过将AI生成的主题与人类生成的主题进行比较，来评估生成式AI是否能够对抽象概念进行定性主题分析。
方法
我们使用了两项先前完成的主题分析的转录文本进行了二次比较分析，这些分析研究了普通外科住院医师申请者如何定义“健康”（wellness）和“参与度”（engagement）。人类生成的主题是通过归纳式沉浸-结晶法（inductive immersion-crystallization approach）得出的。然后使用ChatGPT 4.0版本对相同的去标识化转录文本进行分析，每个数据集生成四个主题，且不进行迭代优化。人类生成和AI生成的主题在概念重叠、一致性以及解释一致性方面进行了描述性比较。
结果
共采访了117名申请者。视觉映射显示，人类生成和AI生成的主题在“健康”和“参与度”方面存在显著的概念重叠，AI没有生成任何独特或矛盾的主题。人类分析师倾向于生成区分个体和群体层面的独立主题。相比之下，AI生成的主题将这些层面整合为更广泛的、关系性的概念，同时保留了核心主题内容。
结论
生成式AI与人类主题分析在结果上表现出显著的一致性。当作为辅助分析工具并在适当的人类监督下使用时，AI可以提高外科教育研究中定性方法的效率和可访问性，而不会替代解释性判断。
引言
定性研究方法在外科教育研究中发挥着关键作用，因为它能够深入探索定量方法难以捕捉的复杂现象。然而，这些方法需要大量的时间和专业知识，并且容易受到分析师视角和经验的影响，从而产生主观性和潜在偏见。随着对人工智能（AI）兴趣的增长，基于AI的工具已被探索作为教育和医学中定性分析的潜在支持手段。
尽管先前的研究已经证明了使用AI辅助定性分析的可行性，1, 2, 3 但AI在此过程中的适当角色仍不清楚。现有研究主要集中在技术、课程或内容相关的话题上，因此尚不清楚生成式AI是否能够有意义地处理诸如“健康”和“参与度”这样的抽象社会构建概念。与技术或评估领域不同，这些概念缺乏单一的正确解释，需要细致的理论洞察，这引发了关于AI辅助定性分析局限性的重要问题。
本研究的目的是通过直接比较AI生成的主题与人类定性分析得出的主题，来评估生成式AI是否能够对抽象的社会构建概念进行定性主题分析。通过研究来自同一定性数据集的人类生成和AI生成主题之间的重叠和差异程度，本研究旨在更好地理解AI在解释外科教育中的复杂社会和专业现象方面的能力和局限性。
章节片段
研究设计
2021年，我们的研究小组进行了两项独立的定性研究，采用了主题分析方法。这些研究在一场全国性会议上进行了展示，但未随后发表：
•普通外科住院医师申请者如何定义“健康”。学术外科大会，2021年2月（线上）。
•普通外科住院医师申请者如何定义“参与度”。学术外科大会，2021年2月（线上）。
这两项原始研究均被Geisinger机构豁免了全面审查。
参与者人口统计
共有117名普通外科住院医师申请者参与了访谈过程，并对两个问题都作出了回答，每项研究获得了117份回应。同一组申请者提供了两个数据集的资料。其中51%的申请者为女性，美国医学执照考试第一阶段和第二阶段的平均分数分别为227分和241分。
人类生成的主题
从人类生成的分析中，出现了四个总体主题。
1)时间：存在与有效性
讨论
定性方法是外科教育研究的重要组成部分，特别适用于旨在理解社会现象、群体互动、生活经历、参与者的观点、态度和信念的探索性研究。5, 6, 7 然而，传统的定性方法由于需要多名编码员、共识会议和较长的时间线而耗时较长。8 此外，定性分析还受到解释的影响
会议报告
这项工作在2025年学术外科大会上以“Quickshot”口头报告的形式进行了展示。
关于生成式AI和AI辅助技术在写作过程中的声明
在准备这项工作时，作者使用了ChatGPT（OpenAI，旧金山，加州）4.0版本作为研究方法的一部分，从访谈转录文本中生成主题分析，然后将其与人类生成的主题进行比较，这是研究的主要目标。该工具还有限地用于协助手稿的组织、语法和清晰度的改进。所有AI生成的输出都经过了作者的审查、编辑和验证，作者对此承担全部责任
CRediT作者贡献声明
格雷森·P·斯廷格（Grayson P. Stinger）：撰写——初稿、方法论、形式分析、概念化。贾玛卡·韦斯特福尔-斯奈德（Jamaica Westfall-Snyder）：撰写——审阅与编辑、可视化、形式分析、数据管理、概念化。斯图尔特·R·卡特（Stewart R. Carter）：撰写——审阅与编辑、可视化、方法论、概念化。莎拉·A·海耶克（Sarah A. Hayek）：撰写——审阅与编辑、调查、形式分析、数据管理、概念化。瑞安·K·沙巴汉（Ryan K. Shabahang）：撰写——审阅与编辑、方法论、形式分析、数据
