《》：Comparative accuracy of large language models and orthopaedic clinicians in knee osteoarthritis and tibial plateau fracture classification systems
编辑推荐：
摘要背景多模态大语言模型（LLMs）能够处理X光影像，但其在骨科分类体系中的准确性仍需进一步评估。本研究比较了四种大语言模型与骨科医师及住院医师在分类任务中的准确率。方法本横断面研究纳入100例病例，来源于Radiopaedia数据库，其中Kellgren–Lawrence、
摘要 背景 多模态大语言模型（LLMs）能够处理X光影像，但其在骨科分类体系中的准确性仍需进一步评估。本研究比较了四种大语言模型与骨科医师及住院医师在分类任务中的准确率。
方法 本横断面研究纳入100例病例，来源于Radiopaedia数据库，其中Kellgren–Lawrence、Ahlback、Schatzker、Hohl和Moore以及AO Foundation/Orthopaedic Trauma Association（AO/OTA）各20例。每例包含正位和侧位X光片。5名骨科医师、5名住院医师和4种大语言模型对相同病例进行评估，共获得1400次分类评估。三名独立高级骨科医师建立了共识参考标准。人工智能评估于2026年4月使用标准化土耳其语提示完成，未提供分类定义或示例，仅记录首次响应。由于无法获得配对的病例级分类数据，分析采用描述性方法。
结果 骨科医师总体准确率为91.2%（456/500），住院医师为70.2%（351/500），大语言模型为51.0%（204/400）。大语言模型在Kellgren–Lawrence分类中准确率为70.0%，Ahlback为68.8%，AO/OTA为67.5%，Hohl和Moore为28.8%，Schatzker为20.0%。特定模型的准确率分别为：Claude Opus 4.1为58.0%，GPT-5.5为57.0%，Gemini 2.5 Pro为45.0%，DeepSeek-VL2为44.0%。骨科医师在所有五个分类体系中的观察准确率均为最高。
结论 大语言模型的分类准确率在不同分类体系间存在差异，总体低于骨科医师和住院医师。这些结果仅限于所选教育数据集和评估条件，不能确立教育或临床应用价值，需在更大、更具代表性的数据集中进行验证。
引言 大语言模型（LLMs）最初为自然语言处理和文本生成而开发，现已扩展为能够处理文本和图像的多模态系统。其在放射学中的潜在应用包括报告生成、影像解读、患者沟通和医学教育。然而，特定评估任务中的表现并不必然意味着在临床实践中可靠或有用，因此任务特异性评估至关重要[1]。
已有研究探讨了多模态大语言模型在肌肉骨骼影像解读中的表现及其在放射学教育中的潜在应用[2]、[3]。这些发现引发了对这些技术的兴趣，同时也强调需区分模型在选定任务上的表现与已证实的临床或教育收益。模型响应的准确性和一致性需在确立其常规适用性之前进行进一步评估。
膝关节相关骨科分类体系提供了一个考察多模态大语言模型解读X光发现并将其归入特定类别能力的场景。骨关节炎分级和胫骨平台骨折分类涉及不同的X光特征和分类结构，使得可在不同任务中考察其表现。与骨科医师和住院医师的直接比较有助于刻画模型相对于不同经验水平临床医生的表现。然而，跨越多个膝关节相关分类体系的比较仍然有限。
本研究旨在评估四种多模态大语言模型在Kellgren–Lawrence、Ahlback、Schatzker、Hohl和Moore以及AO Foundation/Orthopaedic Trauma Association（AO/OTA）分类体系中的X光分类准确率，并以专家共识参考标准为基准，描述性比较其表现与骨科医师及骨科住院医师的表现。
章节摘要 研究设计 本横断面对照研究评估了四种多模态大语言模型、五名骨科住院医师和五名资深骨科医师的X光分类准确率。纳入五个分类体系：Kellgren–Lawrence、Ahlback、Schatzker、Hohl和Moore以及AO/OTA。每个分类体系选取20例病例，共100例，每例由正位和侧位X光片表示。全部14名评估者对相同病例进行评估，共计1400次评估。
结果 共100例病例，涵盖五个X光分类体系各20例，由五名骨科医师、五名骨科住院医师和四种多模态大语言模型进行评估。共产生1400次分类评估：骨科医师500次，骨科住院医师500次，大语言模型400次。
骨科医师在500次评估中正确分类456次（91.2%），骨科住院医师正确分类351次（70.2%），大语言模型正确
讨论 本研究的主要发现是，受评的多模态大语言模型总体分类准确率为51.0%，在不同膝关节相关分类体系间差异显著。骨科医师的观察总体准确率高于受评模型。大语言模型在Kellgren–Lawrence和Ahlback分类中的表现优于Schatzker和Hohl和Moore分类。这些结果描述了在所选数据集上的表现。
结论 在本研究条件下，受评的多模态大语言模型显示出可变的X光分类准确率，在骨关节炎分类中的表现优于所选胫骨平台骨折分类。骨科医师的观察总体准确率高于受评模型。这些结果仅限于评估期间所使用的特定数据集、提示方案及模型配置。本研究不能确立
CRediT作者贡献声明 Ahmet Yi?itbay： 写作——审阅与编辑，写作——初稿撰写，可视化，验证，监督，软件，资源，项目管理，方法论，调查，资金获取，形式分析，数据整理，概念化。Serhat Y?ld?r?m： 可视化，项目管理，方法论，资金获取，形式分析，数据整理。
资金支持 本研究未获得公共、商业或非营利部门基金机构的任何专项资助。
伦理声明 本研究使用从
Radiopaedia.org 教育数据库中获取的公开且完全匿名的X光影像。研究期间未接触任何患者可识别信息、机构病历或个人健康数据。由于本研究不涉及患者直接参与或干预，且仅分析公开可获取的教育材料，根据相关准则，无需机构审查委员会批准和知情同意。
利益冲突声明 作者声明不存在可能影响本论文所报告工作的已知竞争性经济利益或个人关系。
Ahmet Yi?itbay|Serhat Y?ld?r?m
