护士评估变异性与多模态生成式人工智能模型在基于图像的伤口评估中的一致性研究

《Healthcare》:Variability in Nurses’ Assessments and Concordance of Multimodal Generative AI Models in Image-Based Wound Assessment

【字体: 大 中 小 】 时间:2026年10月24日 来源:Healthcare 3.4

编辑推荐:

  摘要专业翻译 背景/目的: 基于图像的伤口评估在经验丰富的护士之间可能存在差异。本研究考察了护士间评估变异性,以及护士评估与三种多模态生成式人工智能模型之间的一致性。方法: 本探索性横断面比较研究中,18名具备伤口护理专业知识的护士以及ChatGPT、Gemi

  
摘要专业翻译 背景/目的: 基于图像的伤口评估在经验丰富的护士之间可能存在差异。本研究考察了护士间评估变异性,以及护士评估与三种多模态生成式人工智能模型之间的一致性。方法: 本探索性横断面比较研究中,18名具备伤口护理专业知识的护士以及ChatGPT、Gemini和Claude三个模型,独立评估了来自西班牙莱昂的30张去标识化伤口图像,涵盖七个评估与治疗相关领域。护士间一致性采用众数占比(modal shares)和Gwet's AC1系数进行汇总。与护士众数集(nurse modal set)的一致性要求模型回答与护士众数集中的任一回答完全匹配。总体置信区间通过按病例聚类自助重抽样(case-clustered bootstrap resampling)进行估计。本研究未建立独立的临床参考标准。结果: 分析量化了护士间一致性以及模型与护士众数集的一致性,而非诊断准确性。护士间一致性在伤口病因学领域最高(平均众数占比71.3%;AC1为0.520),在主要敷料选择领域最低(43.7%;AC1为0.163)。与护士众数集的总体一致性为:Gemini 63.3%(95%置信区间56.7–70.0),ChatGPT 48.6%(40.5–56.2),Claude 44.8%(38.6–51.4)。在探索性比较中,Gemini与护士众数集的总体一致性比ChatGPT高14.8个百分点,比Claude高18.6个百分点。在210项病例-领域任务中,模型间完全一致占38.6%。结论: 基于图像的伤口评估在经验丰富的护士之间存在差异,模型与护士众数集的一致性因评估领域和所评估系统而异。与护士众数集的一致性反映的是与专家组最频繁选择回答的吻合程度,并不确立临床正确性、临床有效性或解决临床模糊性的能力:仅基于图像的评估、小规模目的性样本以及对护士衍生比较器的依赖限制了结果解读。在模型能够支持伤口护理决策之前,需要在临床背景下并对照独立参考标准进行进一步验证。

论文解读

一、研究背景与问题

伤口是异质性的临床问题,其评估涉及病因学、创面床组织、湿度、感染、创缘周围状况、愈合轨迹及患者背景等多个维度,并最终指向管理方案的制定。慢性伤口尤其源于血管、代谢、炎症、机械和行为等多重因素的相互作用;图像虽能呈现部分局部特征,但无法捕捉疼痛、气味、灌注、全身体征、合并症或治疗史等信息。因此,合格的伤口护理既需要结构化观察,也需要结合临床背景的推理判断。
伤口评估的变异性可能影响文档记录和治疗计划制定。临床医生可能对同一伤口组织做出不同分类,这种判断差异可能源于视觉信息模糊、术语使用不一致、准备程度差异或合理的患者特异性考量。在此背景下,人工智能技术为支持护士伤口护理决策提供了机遇。然而,大多数现有应用是专用系统,需针对特定任务进行训练、校准和临床验证。而广泛可用的多模态生成式人工智能模型(包括ChatGPT、Gemini和Claude)能够处理照片和自然语言指令以生成伤口评估或管理建议,但通用模型与专用伤口护理系统应加以区分——不能想当然地认为它们能够准确解读伤口特征并推荐适当的管理方案。因此,在通用多模态生成式人工智能模型被视为支持伤口护理决策的可靠工具之前,必须将其输出与专家临床判断以及临床医生之间已有的变异性进行对照评估。这一区分至关重要,因为模型与单个临床医生之间的分歧可能反映模型错误,也可能反映视觉信息的真实模糊性或专家之间本就有限的一致性。

二、研究目的与开展的研究

本研究旨在回答以下研究问题:多模态生成式人工智能模型生成的临床决策在多大程度上与专家护士评估伤口图像时的决策趋同或分歧,且这种一致性水平是否随任务层面护士间一致性的不同而变化。
具体研究目标包括:分析专家护士在基于图像的伤口评估和治疗相关决策中的变异性,并量化三种广泛可用的多模态生成式人工智能模型与护士众数集的一致性;量化护士在五个伤口评估维度(伤口病因学、主要创面床组织、湿度水平、感染体征、创缘周围状况)的一致性;分析治疗相关决策的变异性,特别是确定主要治疗目标和选择主要伤口敷料;描述护士回答在病例-领域任务中的集中程度变化;评估模型间一致性及每个模型与护士众数集在各评估和治疗相关领域的一致性;识别模型与护士之间的对齐和分歧模式,并探索一致性是否随任务层面护士间一致性分层而变化。

三、关键技术方法

研究人员开展了一项探索性横断面比较一致性研究。研究从西班牙西北部一所大学医院及相关初级保健中心前瞻性获取30名患者的临床照片,每名患者贡献一处伤口,使用同一部iPhone 17 Pro在约50厘米距离、4800万像素分辨率下拍摄,选取一张照片作为每个病例的标准化视觉信息。病例通过目的性配额抽样选择,涵盖压力性损伤、静脉溃疡、动脉溃疡、糖尿病足溃疡和二期愈合手术伤口五类,每类六例。18名具备伤口护理专业知识的注册护士通过Google Forms结构化问卷独立评估全部30张图像,涵盖七个领域。三种模型(GPT-5、Gemini 2.5 Flash、Claude Sonnet 4.6)通过API接口接收匿名伤口照片和标准化西班牙语提示词,要求以JSON格式输出结构化回答。统计分析采用众数占比和Gwet's AC1系数衡量护士间一致性,以病例为抽样和重抽样单位进行20,000次自助重抽样估计置信区间,并采用符号置换检验进行配对比较。

四、研究结果

护士间一致性分析: 伤口病因学领域护士间一致性最高(平均众数占比71.3%,Gwet's AC1为0.520);主要组织类型和渗出液/湿度平均众数占比均为65.6%;创缘周围状况、感染体征和主要治疗目标变异性较大;主要敷料选择众数占比最低(43.7%),Fleiss' kappa也最低(0.095)。三种一致性指标的整体模式表明,临床解释性和治疗相关决策的变异性最大。
模型与护士众数集的一致性: 总体一致性Gemini为63.3%(133/210),ChatGPT为48.6%(102/210),Claude为44.8%(94/210)。领域特异性估计显示,感染体征领域一致性范围为23.3%至46.7%,创缘周围状况为40.0%至43.3%,主要治疗目标为46.7%至66.7%,主要敷料选择为30.0%至46.7%,伤口病因学为60.0%至86.7%。
留一护士分析: 护士总体一致性中位数为57.1%,范围为49.0%至63.3%。Gemini与完整护士众数集的总体一致性为63.3%,与观察到的最高个体护士一致性持平;ChatGPT和Claude则低于观察到的护士范围。
按护士众数占比分层的探索性分析: 在众数占比≥70%的任务中,Gemini一致性为91.5%,ChatGPT为78.7%,Claude为63.8%;在50%至<70%层中分别为64.6%、41.4%和35.4%;在<50%层中分别为40.6%、37.5%和45.3%。ChatGPT和Gemini的一致性随分层递减,Claude无单调模式。
补充分析: 三个模型完全一致出现在210项任务中的81项(38.6%),伤口病因学最高(60.0%),感染体征最低(16.7%)。配对比较显示Gemini比ChatGPT高14.8个百分点(Holm校正p=0.011),比Claude高18.6个百分点(Holm校正p<0.001);ChatGPT与Claude差异不显著(3.8个百分点,p=0.266)。10项任务存在护士回答并列最高频的情况,两种处理并列的敏感性分析均保持了总体一致性的排序。

五、讨论总结与研究结论

讨论部分强调必须区分一致性、准确性、临床有效性和正确性等概念。一致性描述的是回答之间的关系,准确性涉及回答是否对照独立参考标准为正确,临床有效性涉及评估或建议是否适合其预期临床用途。护士众数集代表专家组在特定研究条件下最频繁选择的回答,而非既定最优选择。频繁回答可能反映共同解释或实践偏好,而较少出现的回答也可能具有临床合理性。因此,护士间的分歧应区别于模型错误:护士回答的分散反映专家组内部的变异性,模型不一致则反映偏离专家组众数集。没有独立参考标准,无法区分模型错误与临床合理替代方案,也无法确定一致回答是否反映共同错误。研究局限性包括:仅18名受邀护士完成评估,可能存在无响应偏倚;图像仅设计省略了重要临床信息;护士众数集非独立裁定参考标准;每个模型对每张图像仅评估一次,无法评估模型内部回答稳定性;护士问卷提供"其他"病因选项而模型提示词未提供,存在选项不对称;所有护士按相同固定顺序评估病例,无法排除顺序效应。
研究结论指出:基于图像的伤口评估和治疗决策即使在专家护士之间也存在显著变异性。一致性在伤口病因学最高,组织和湿度评估居中,感染体征和创缘周围状况较弱;在确定治疗目标和选择主要敷料方面变异性尤为明显。模型与护士众数集的一致性在评估数据集内因模型和评估领域而异。Gemini在该数据集中与护士众数集的总体一致性最高,但这一发现并不确立更高的准确性或临床有效性。与护士众数集的一致性反映的是与专家组最频繁选择回答的吻合程度,而非临床正确性的证据。没有独立临床参考标准,一致回答可能代表共同错误,不一致回答可能代表临床适当替代方案。这些发现描述了图像仅条件下回答模式的特征,支持在临床背景下使用独立裁定进行进一步研究,之后才能就模型是否适合伤口护理决策得出结论。需要进一步评估临床准确性、安全性和患者结局的研究,以确定这些模型能否支持伤口评估和治疗选择。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号