《Diagnostics》:Five Multimodal AI Configurations Versus Anaesthesiologists for Pecto-Intercostal Block Classification in an Archived-Image Reader Study of a Prospective CABG Cohort
编辑推荐:
背景/目的:本研究比较了五种通用多模态人工智能(multimodal AI)配置与麻醉医师在超声引导下胸肋间筋膜平面阻滞(pecto-intercostal fascial plane block, PIFB)扩散分类中的表现。方法:这项存档图像阅读器研究采用
背景/目的:本研究比较了五种通用多模态人工智能(multimodal AI)配置与麻醉医师在超声引导下胸肋间筋膜平面阻滞(pecto-intercostal fascial plane block, PIFB)扩散分类中的表现。方法:这项存档图像阅读器研究采用了一项前瞻性队列,共纳入120例美国麻醉医师协会(American Society of Anesthesiologists, ASA)分级III级的成年患者,这些患者在单一中心接受择期孤立性冠状动脉旁路移植术(coronary artery bypass grafting, CABG)。2026年6月,五种免费人工智能配置与三位专家对相同的8至10帧左侧图像进行了分类。直接二元比较使用了每位专家的标签,涉及115例阻滞接受者;另有5例无阻滞对照独立分析。高级专家在设定最终参考标准前审阅了专家标签,从而排除了独立的专家-人工智能准确性比较。基于参考标准的平衡准确率定义为平均敏感性和特异性。结果:四种配置的直接平衡一致性为42.3%至53.9%,而Kimi K2.6为55.4%至64.9%。人工智能在17/25次无阻滞分类中声称存在扩散;所有20次人类分类均表明无扩散。基于最终参考标准的平衡准确率,专家为76.9%至91.9%,人工智能为44.6%至66.9%,此结果依赖于专家知情的参考标准。疼痛分析为探索性。结论:直接比较既不能确定解剖学准确性,也不能证明独立的专家优越性。局限性包括单一中心、操作者和超声系统;选择性帧;免费访问;缺乏原始人工智能输出、可重复的先验效能计算或非招募日的资格记录。
研究背景与现存问题
胸骨正中切开术后疼痛可能持续存在,慢性胸骨后疼痛仍是重要的后遗症。加速康复指南推荐多模式阿片类药物节约型围手术期护理。胸肋间筋膜平面阻滞(pecto-intercostal fascial plane block, PIFB)是一种区域麻醉技术,通过在胸大肌与肋间外肌之间沉积局麻药,靶向胸肋间神经的前皮支。然而,当代随机证据存在矛盾:一项多中心导管-based浅表胸骨旁试验发现,虽然72小时阿片类药物暴露量降低,但疼痛或恢复质量未改善;另一项三臂试验则未发现恢复质量、疼痛或镇痛消耗量的改善。
筋膜平面阻滞的临床效果部分取决于局麻药是否到达并在目标平面内扩散。超声虽能使组织平面、针道和注射物扩散可视化,但图像获取和判读仍依赖操作者。专用辅助系统在健康志愿者、外部验证和模拟环境中展现出鼓舞人心的性能,一项随机模拟研究表明初级麻醉医师的持续阻滞视图获取能力有所提高。但这些研究未能证明临床阻滞成功率的提高、并发症减少或患者结局改善,且专家注释间的显著差异警示不应将单一观察者视为解剖学真理。
通用多模态大语言模型及相关消费级人工智能系统可在无需研究者引导的任务特定训练或微调的情况下,通过图像输入进行查询。放射学和超声研究报告了模型和情境依赖的假阳性负担及虚构发现。在一项放射学研究中,90天后重复评估的20幅图像样本中准确性下降。Turan等人报告ChatGPT-4在111例患者的147幅异质性区域阻滞图像中对解剖标志和阻滞成功分类具有高准确性,但该单模型、混合任务、原始准确性设计无法确立跨产品的性能,也无法评估故意阴性无操作图像的表现。更广泛而言,单次查询评估无法测量系统内部的可重复性,而系统间的不一致不应被描述为系统内部的不可靠性。
研究内容与意义
本研究比较了五种公开可访问的多模态人工智能配置与三位经验丰富的麻醉医师,使用相同的存档超声图像集和高级专家最终参考标准(该参考标准基于三位专家分类的知情信息)。主要问题是分类接受治疗参与者中成功与非成功扩散时与该参考标准的一致性。直接与每位专家的比较、三类别分类、五例同意无阻滞图像对照以及与术后疼痛的关联为次要或探索性分析。该研究并非旨在建立等效性或非劣效性。
关键技术方法
研究人员采用单中心前瞻性观察队列设计,于2026年6月进行存档图像阅读器练习。研究对象为土耳其布尔萨健康科学大学Bursa Yuksek Ihtisas培训与研究医院麻醉与复苏科收治的120例ASA III级成年择期孤立性CABG患者。图像采集使用Mindray M5便携式超声系统和7L4s线阵换能器(标称频率7.5 MHz)。研究人员从每例参与者的左侧PIFB录像中提取8至10帧代表性图像,并以PNG格式导出。五位人工智能配置(Gemini 3.5 Flash、Claude Sonnet 4.6、GPT-5.5 in ChatGPT、Grok 4.3和Kimi K2.6)通过免费消费者账户的标准网络界面进行零样本单次查询。所有600次查询均在2026年6月完成。研究人员提交相同提示词,要求返回三个预设类别(1=成功,2=斑片状/不足,3=失败/无局麻药)之一的整数。统计分析包括Wilson 95%置信区间、10,000次参考分层参与者自助重抽样用于平衡准确率和配对差异,以及累积logit混合模型用于探索性疼痛分析。
研究结果
- •
参与者流程与基线特征:120例参与者均提供完整图像集和九份分类,共产生1080个分类。115例接受治疗参与者构成主要读者分析队列,其中86例(74.8%)被高级专家最终参考标准判定为成功,29例(25.2%)为斑片状/不足,无一例判定为失败/无局麻药。五例无阻滞对照全部被判定为失败/无局麻药。
- •
参考分类与评分者分布:在接受治疗参与者中,人工智能配置的三类别线性加权κ范围为-0.094至0.210,专家范围为0.539至0.820。三类别Fleiss κ,三位专家为0.324,五种人工智能配置为-0.101。完全一致率分别为70/115和1/115例。
- •
专家投票模式:三位专家多数票在所有115例接受治疗病例中均等于高级专家最终参考标准。三位专家一致同意的有70例;其余45例中,最终参考标准与两位专家多数票匹配,恰好一位专家不同。无接受治疗病例出现两位专家偏离最终参考标准的情况。
- •
二元最终参考标准估计与直接AI-专家一致性:专家相对于参考标准的平衡准确率为76.9%至91.9%,人工智能配置为44.6%至66.9%。四种人工智能配置的置信区间包含50%。所有15个配对平衡准确率差异均显示专家与最终参考标准的一致性更高,范围从-47.3至-10.1个百分点。在与三位专家的直接比较中,四种人工智能配置的平衡一致性为42.3%至53.9%,Kimi K2.6为55.4%至64.9%。
- •
探索性无阻滞图像对照:五例无阻滞对照中,高级专家最终参考标准和三位专家均返回类别3(20/20人类分类)。五种人工智能配置中,仅8/25(32.0%)选择类别3,9/25(36.0%)选择类别2(声称部分扩散),8/25(32.0%)选择类别1(声称成功阻滞)。因此,17/25(68.0%)的人工智能响应在未注射任何局麻药的情况下声称存在局麻药。
- •
术后疼痛与补救镇痛:探索性疼痛分析中,参考标准定义的成功扩散与术后24-48小时较低疼痛相关,但效应大小取决于模型和估计量。补救曲马多在参考标准成功组中使用更多,限制了将后期疼痛差异归因于阻滞扩散的可能性。
讨论与结论
在本存档图像阅读器研究中,三位麻醉医师与高级专家最终参考标准的一致性高于五种测试的消费级人工智能配置。然而,高级专家在设定参考标准前审阅了他们的分类,因此专家一致性可能受到偏向,该比较无法独立证明专家优越性。与每位专家的直接比较避免了使用专家知情的最终参考标准,同时保留了主观比较标签。四种人工智能配置的直接平衡一致性接近0.5,Kimi的点估计值较高,但因专家而异且不确定性较大。这补充而非独立验证了最终参考标准的结果,不支持每种人工智能配置在诊断上均劣于每位专家的统一论断。
临床和技术任务应保持区分。PIFB用于胸骨切开术镇痛,但随机试验和汇总证据报告了对术后疼痛的异质性影响。超声扩散并非双侧镇痛程度或持续时间的已验证替代指标。人工智能发现是2026年6月免费消费级配置的快照,每例一次查询无法测量配置内部的可重复性。五例无阻滞对照组是经同意的解剖图像对照,而非失败的尝试阻滞。其缺乏进针和注射帧使其结构上可识别,尤其是对经验丰富的人类读者。尽管如此,25次人工智能分类中有17次声称存在部分或完全扩散。这一小型事后对照分析识别了所测试图像集中的错误,但无法估计总体幻觉率、一般临床安全性或对真正操作失败的敏感性。
术后疼痛是单独的探索性关联,而非图像参考标准的验证。参考标准定义的成功扩散与24-48小时较低疼痛的相关性变得更为明显,而非即时效应,且该组的补救曲马多使用更频繁。缺失的补救时间记录、后期护理、混杂因素、双侧操作的左侧分类以及通气相关的缺失数据阻止了对阻滞的因果归因。
研究结论:在115例接受治疗参与者中,与每位专家的直接比较显示,四种2026年6月消费级人工智能配置的二元平衡一致性为42.3%至53.9%,Kimi K2.6为55.4%至64.9%。作为背景,专家间的定向二元平衡一致性范围为57.7%至72.4%。在五例探索性无阻滞图像对照中,25次人工智能分类中有17次声称存在部分或完全局麻药扩散,而所有20次人类分类均表明不存在。这些发现涉及与主观读者标签的一致性和对选定无阻滞图像的响应,而非独立的解剖学准确性或专家诊断优越性。最终参考标准比较仍依赖于专家知情的非独立参考标准。该研究未确立自主临床适用性或其他人工智能配置的性能。