大型语言模型在口腔颌面修复学中的跨语言性能评估：一项多模型比较研究

《BMC Oral Health》：Cross-lingual performance of large language models in maxillofacial prosthodontics: a comparative evaluation

本研究针对AI在专科医疗领域的应用可靠性问题，开展了大型语言模型(LLM)在口腔颌面修复学中的跨语言性能评估。研究人员通过45道基于《Clinical Maxillofacial Prosthetics》教材的多选题，系统比较了ChatGPT-4o、Gemini 2.5 Flash、Claude Sonnet 4和DeepSeek V3在土耳其语和英语中的表现。结果显示LLMs在两种语言中均保持稳定性能（准确率68.9%-81.1%），且模型间无显著差异（p>0.05），证实了其在多语言口腔医学教育中的潜在应用价值。

　　

在数字化技术飞速发展的今天，口腔颌面修复学作为修复学中技术含量最高的分支领域，正面临着前所未有的机遇与挑战。颌面部缺损患者往往需要个性化的修复方案来恢复面部形态和咀嚼、发音等生理功能，而传统的修复体制作过程复杂耗时，对临床医生的专业要求极高。随着人工智能技术的迅猛发展，大型语言模型在医疗领域的应用日益广泛，但其在专科医学知识问答中的准确性和跨语言一致性仍有待验证。

正是在这样的背景下，Irem Sozen Yanik及其团队在《BMC Oral Health》上发表了这项开创性研究，旨在系统评估四种主流大型语言模型在口腔颌面修复学领域的跨语言表现。研究人员设计了一套严谨的评估体系，通过45道精心设计的多选题，对ChatGPT-4o、Gemini 2.5 Flash、Claude Sonnet 4和DeepSeek V3进行了土耳其语和英语的双语测试。

研究方法的核心技术

本研究采用基于权威教材《Clinical Maxillofacial Prosthetics》的题库开发策略，由三位修复学专家共同设计45道五选项多选题，覆盖该领域19个核心章节。通过AI辅助翻译和人工校对确保双语问题语义一致性，采用盲法评估和3点式评分体系（0-2分），由三位具有五年以上临床经验的修复学专家对LLMs回答的准确性和解释质量进行同步评分。统计分析使用Friedman检验和Wilcoxon符号秩检验比较模型性能，Spearman相关系数评估跨语言一致性。

研究结果

模型间性能比较

统计分析显示，四种大型语言模型在英语（p=0.128）和土耳其语（p=0.729）版本中均未表现出显著性能差异。在英语测试中，Gemini 2.5 Flash以81.1%的准确率（平均分1.62±0.12）位列第一，而Claude Sonnet 4和DeepSeek V3在土耳其语中均达到78.9%的准确率。值得注意的是，尽管存在数值差异，但这些差异均未达到统计学显著性水平，表明当前主流LLMs在该专业领域的表现趋于接近。

跨语言性能一致性

模型内语言对比结果显示，所有LLMs在土耳其语和英语版本间的性能差异均不显著（p>0.05）。ChatGPT-4o在两种语言中表现最为稳定，准确率分别为71.1%（英语）和72.2%（土耳其语）。Claude Sonnet 4在土耳其语中的表现（78.9%）优于英语（68.9%），但差异未达显著性（p=0.070）。这一发现挑战了以往研究中"英语性能优于非英语"的普遍结论，提示现代LLMs在特定专业领域的跨语言能力可能已显著提升。

性能相关性分析

Spearman相关性分析揭示了强烈的跨语言正相关关系。ChatGPT-4o的英语与土耳其语得分之间存在强相关性（r_s=0.707, p<0.001），其他模型也显示出中度至强相关性。在英语环境中，Gemini与ChatGPT表现出高度相关性（r=0.746, p<0.001），Claude与DeepSeek也显著相关（r_s=0.703, p<0.001）。这种一致性模式表明，尽管LLMs在绝对性能上相似，但它们在不同语言和任务中保持了相对稳定的排名顺序。

讨论与结论

本研究通过严谨的实验设计证实了大型语言模型在口腔颌面修复学领域具有稳定的跨语言性能。与以往研究不同，本研究未观察到LLMs在土耳其语和英语之间的显著性能差异，这可能反映了现代LLMs在多语言训练数据均衡化方面的进步。特别是考虑到土耳其语属于资源相对较少的语言，这一发现更显重要。

研究结果支持了LLMs在多语言口腔医学教育中的潜在应用价值。模型间性能的相似性表明，不同架构的LLMs在专业领域知识处理上可能正在趋同。而强烈的跨语言相关性则提示，LLMs可能已经发展出某种程度的概念抽象能力，能够超越表面语言形式而捕捉专业知识的本质。

然而，研究者也指出了若干局限性。缺乏提示工程优化可能低估了LLMs的实际潜力，而纯文本评估模式未能检验多模态能力。此外，专业术语的精确性和临床推理的深度仍需进一步验证。

该研究的实践意义在于为多语言口腔医学教育提供了实证支持，特别是在非英语国家的牙科培训中，LLMs有望成为有效的辅助教学工具。未来研究应探索LLMs在更复杂临床场景中的应用，并建立相应的质量控制标准。

总之，这项研究为AI在专科医学教育中的可靠应用提供了重要证据，标志着跨语言医学知识处理进入了一个新阶段。随着技术的不断进步，大型语言模型有望在全球化医疗教育中发挥越来越重要的作用。