提示工程对大型语言模型性能的影响：ChatGPT-4在2023年手外科自我评估考试中的表现分析

本研究针对大型语言模型(LLMs)在医学考试中的应用瓶颈，系统评估了GPT-4在手外科认证考试(SAE)中的表现及其对提示工程的响应。研究人员通过对比GPT-4在提示前后对200道考题（含图像题）的作答情况，发现其原始正确率达67%，虽经5套历年试题训练后提升至71%，但差异无统计学意义(p=0.51)。该研究首次证实LLMs具备通过骨科专科考试的能力，为AI在医学教育评估中的应用提供了实证依据。

　　

在人工智能技术突飞猛进的今天，大型语言模型(Large Language Models, LLMs)如ChatGPT已展现出惊人的文本处理能力，但其在专业医学领域的应用仍存在关键疑问：这些模型能否理解复杂的临床知识？能否通过专科医师的资格认证考试？特别是在需要结合影像学资料的手外科领域，模型的图像解析能力更面临严峻挑战。2023年手外科维护认证(MOC)自我评估考试(SAE)正是一个理想的测试平台，它包含文本、图像等多种题型，能全面检验AI的医学认知水平。

研究人员开展了一项开创性研究，首次系统评估了最先进的GPT-4模型在手外科专科考试中的表现。这项发表在《Journal of Hand and Microsurgery》的研究采用严谨的实验设计：首先用2023年SAE的195道考题（排除5道视频题）进行基线测试，随后用2014-2020年5套历史试题对模型进行"训练"，最后重新评估模型在2023年考题上的表现。研究团队特别关注了图像题（占39.5%）与文本题（58%）的差异，并采用Fisher精确检验进行统计分析。

研究结果部分呈现了多项重要发现：

1. 基线表现：未受提示的GPT-4正确率达67%，远超50%的及格线，其中文本题正确率(75%)显著高于图像题(56%)。

2. 提示效果：经历史试题训练后，总体正确率提升至71%，但统计学分析显示差异不显著(p=0.51)。值得注意的是，图像题正确率提升10个百分点至66%，而文本题反而微降1个百分点。

3. 能力边界：模型展现出对骨科专业知识的理解能力，但在影像学解释方面仍存在局限。

讨论部分指出，虽然提示工程未能显著提升模型性能，但GPT-4已展现出成为医学教育辅助工具的潜力。该研究首次证实：当前最先进的LLMs能够通过骨科专科认证考试，这一发现为AI在医学继续教育、模拟考试等场景的应用铺平了道路。研究也揭示了模型的技术瓶颈——对影像学资料的处理能力仍有提升空间，这为下一代多模态AI的开发指明了方向。

这项研究的创新性在于：首次将LLMs的评估场景延伸到骨科亚专科领域，建立了标准化的AI医学能力评估框架。作者BF等人在结论中强调，随着深度学习技术的进步，未来LLMs可能发展成为医学生和医师的有力辅助工具，但当前仍需谨慎看待其在临床决策中的直接应用价值。研究结果为医学教育工作者和AI开发者提供了重要参考，也为后续研究如GPT-4 Turbo等新模型的评估奠定了基础。