《Diagnostics》：Classification Performance of General-Purpose Multimodal AI Chatbots Versus Expert Radiologists in the Winter Classification of Impacted Mandibular Third Molars on CBCT-Derived Images
编辑推荐：
背景/目的：锥形束计算机断层扫描（cone-beam computed tomography，CBCT）可提供三维解剖细节，用于下颌阻生第三磨牙分类，但通用型多模态人工智能（artificial intelligence，AI）聊天机器人在该任务中的分类性能尚
背景/目的：锥形束计算机断层扫描（cone-beam computed tomography，CBCT）可提供三维解剖细节，用于下颌阻生第三磨牙分类，但通用型多模态人工智能（artificial intelligence，AI）聊天机器人在该任务中的分类性能尚不清楚。研究人员比较了五种通用多模态AI聊天机器人服务与专家口腔颌面放射学医生使用相同标准化CBCT衍生图像组合时的Winter分类性能。方法：回顾性评估114颗下颌阻生第三磨牙。每颗牙导出轴位、冠状位、矢状位多平面重组及一张三维表面渲染组成单张JPEG图像，通过网页界面用相同结构化提示（以FDI编号38或48指定目标牙）提交给ChatGPT、Gemini、Copilot、Perplexity、Grok五种多模态AI聊天机器人。每颗牙作为独立病例在清空会话中单独提交。两名委员会认证的口腔颌面放射学医生独立分类相同JPEG组合以建立裁决参考标准。计算准确率、平衡准确率、宏平均召回率、精确率、F1分数、各类别灵敏度与特异度（附精确95%置信区间）及Cohen’s kappa，并将各服务准确率与多数类（无信息）基线比较。结果：裁决参考标准含近中倾斜（mesioangular，n=28）、远中倾斜（distoangular，n=9）、垂直（vertical，n=25）、水平（horizontal，n=46）、倒置（inverted，n=6）；无横向（transverse）病例，六类谱系不完整。两放射学医生观察者间一致率80.7%（92/114），Cohen’s kappa 0.688（95% CI 0.571–0.805）。ChatGPT准确率41.2%（95% CI 32.6–50.4），Copilot 30.7%（23.0–39.7），Gemini、Perplexity、Grok均为24.6%（17.6–33.2）。无服务超过40.4%多数类基线（ChatGPT对基线p=0.85）。各服务平衡准确率≤23.8%，与参考标准一致率为轻微至无（kappa ?0.003至0.097，95% CI均含0）。无服务正确分类远中倾斜（0/9）或倒置（0/6），但这两类样本极少、估计很不精确。结论：在所测网页界面、提示、图像组合与测试期内，通用多模态AI聊天机器人服务按Winter系统分类下颌阻生第三磨牙并未优于平凡多数类分类器，与专家裁决参考标准的一致可忽略。结论仅适用于所测消费级聊天机器人服务及静态CBCT衍生组合，不能推广至所有多模态AI模型或专用牙科AI系统。
研究背景方面，下颌第三磨牙因磨牙后区空间不足或萌出路径异常常发生阻生，个体水平患病率约36–37%，牙水平约46%，且下颌更常见并可引起临床并发症。Winter分类用于描述阻生牙相对于相邻萌出第二磨牙长轴的倾斜角度，Pell and Gregory分类则描述与下颌支及??平面的关系，本研究仅关注Winter分类。传统全景片受重叠与畸变限制，锥形束计算机断层扫描（cone-beam computed tomography，CBCT）可三维评估牙齿、牙槽骨与下牙槽神经管（inferior alveolar canal，IAC）等结构。现有牙科AI多聚焦泛用检测、龋病诊断或全景片分割，基于CBCT且采用临床分类系统的比较研究很少，尤其是不同AI系统对下颌阻生第三磨牙角度分类的评价存在空白。该研究发表于《Diagnostics》。
主要关键技术方法方面，研究经Biruni大学伦理委员会批准，回顾性连续筛选18岁及以上、因各类牙科指征行CBCT者，最终纳入114名患者各1颗下颌阻生第三磨牙（牙位38或48），双侧阻生时随机选一颗，每颗作为独立病例。由一名不直接参与参考判读的口腔颌面放射学医生固定生成轴位、冠状位、矢状位多平面重组加三维表面渲染的2×2单张JPEG组合；五种通用多模态AI聊天机器人（ChatGPT、Gemini、Copilot、Perplexity、Grok）在2026年1–2月通过网页免费/标准层、清空会话、相同英文提示按FDI编号问诊；两名≥3年经验的口腔颌面放射学专家盲法独立判读同一静态JPEG组合，分歧由资历更高者裁决形成adjudicated reference standard。统计用Wilson/Clopper–Pearson区间、精确二项检验、Cochran’s Q、配对McNemar（Holm校正）、Stuart–Maxwell、Bowker及Cohen’s kappa。
研究结果部分，1. Introduction：研究人员指出CBCT较全景片更利于第三磨牙与下颌管关系评估，但通用多模态聊天机器人在Winter角度分类中的表现未被比较；预设H0为各聊天机器人准确率等于多数类基线且五服务间无差异，H1为低于两专家间一致率（仅描述），H2为服务间准确率不同。
- 2.
Materials and Methods：研究人员用Carestream CS9600导出固定布局、固定窗宽窗位与三维参数的组合图，去除可识别信息；参考标准以矢状面长轴夹角定义六类：近中倾斜11–70°、远中倾斜11–70°、垂直≤10°、水平71–110°、倒置>110°、横向为颊舌向；样本量经G*Power按w=0.36、df=5、α=0.05、power=0.80算得99例并纳入114例。
- 3.
Results：人群均值年龄25.9±6.9岁，女性69.3%；两专家一致92/114（80.7%），kappa 0.688（0.571–0.805），重测kappa 0.854与0.812。参考分布为近中28、远中9、垂直25、水平46、倒置6、无横向。ChatGPT准确率47/114=41.2%（kappa 0.097），不劣于40.4%基线（p=0.85），水平灵敏度78.3%但特异度仅42.6%，远中/倒置0正确。Copilot 35/114=30.7%（kappa 0.077），将105/114标近中，近中灵敏度100%而特异度10.5%，显著低于基线（p=0.036）。Gemini 28/114=24.6%（kappa 0.002），109/114标近中，显著低于基线（p<0.001）。Grok 28/114=24.6%（kappa 0.001），111/114标近中，与Gemini个案对错完全相同。Perplexity 28/114=24.6%（kappa ?0.003），106/114标近中。五服务平衡准确率19.4%–23.8%，宏F1 8.1%–18.5%；Cochran’s Q显示服务间不全相同（p<0.001）但Holm校正后无配对显著；Stuart–Maxwell显示预测与参考边际分布均显著不同（p<0.001）；左右侧准确率无显著差异（Fisher p≥0.545）。
讨论部分，研究人员强调所测消费级多模态聊天机器人未超越无信息基线，四家服务高度集中输出单一标签，更符合响应类别偏倚而非图像理解；与K?l??等任务专用Faster R-CNN、Orhan等CBCT专用深度学习、Makrygiannakis等Diagnocat全景检测、Chopra等纵向预测相比，本研究的六类角度分类对通用模型更难。人类专家用相同静态组合仍获substantial一致，说明静态格式不是聊天机器人表现差的主因；差异更可能来自训练目标——专用卷积/Transformer架构端到端学像素级角度线索，通用服务缺牙科细调。局限性包括：罕见类与小样本（无transverse、远中9、倒置6）使零灵敏度的95%上限仍达33.6%/45.9%；服务非版本固定、网页路由可变；单次提交无法估重复性、允许一次重答引入retry偏倚、仅单英文提示与固定类别顺序；参考由资深者裁决而非独立第三人；单中心单协议；静态图不等同全体积DICOM交互。
结论部分翻译：本研究使用标准化CBCT衍生图像组合评估五种通用多模态AI聊天机器人服务对下颌阻生第三磨牙的Winter分类性能，并以判读相同组合的专家口腔颌面放射学医生建立的adjudicated reference standard比较。在本样本中，没有任何服务比平凡多数类分类器更准确：最高为ChatGPT的41.2%，与40.4%无信息率无差别，且与参考标准的一致对各服务均为轻微或不存在，所有kappa置信区间含0。输出高度集中于个别标签，说明观察所得准确率更易用响应类别偏倚解释，而非图像解释。次要观察是无服务正确分远中或倒置，但仅9例远中、6例倒置、无横向，零灵敏度的精确95%上限为33.6%与45.9%，因此本数据只描述Winter谱系中小而不完整子集上的行为，不能证明这些朝向绝对超出通用多模态系统能力。与为明确放射学目标开发验证的专用深度学习系统不同，本研究所测服务并非为结构化放射分类设计；结果重申CBCT诊断工作流中AI须严格验证，通用图像任务表现不能必然迁移到专科分类。由于人类读者判读相同静态组合仍达substantial一致，输入格式本身不能解释聊天机器人结果。综上，在所测界面、版本、提示、图像组合与窗口内，通用多模态AI聊天机器人不能提供可用的Winter分类，不建议该任务独立使用；结论限于所测服务与条件，不推广至一般多模态AI或专用牙科AI。未来应构建并用大样本标注CBCT、放射学家真值训练的专用架构，确认性评估应包含重复运行、罕见类前瞻均衡、提示鲁棒性测试与版本控制。
