药物诱导睡眠内窥镜检查的评价者间信度：经验驱动的解读、决策及人工智能日益凸显的作用

《Sleep and Breathing》：Inter-rater reliability in drug-induced sleep endoscopy: experience-driven interpretation, decision-making, and the emerging role of artificial intelligence

　　

摘要

目的

评估基于VOTE分类法对DISE（动态上气道评估）进行判读时的评估者间信度，分析治疗决策的差异性，并探讨人工智能（AI）在DISE评估中的潜在作用。

方法

回顾性独立评估20份DISE录像，评估者包括12名（7名初级和5名高级）以及一个未经特定任务训练的通用AI模型。采用百分比一致率、Fleiss's kappa和加权kappa评估人类评估者在阻塞分级和塌陷模式分类上的评估者间一致性。分析其与参考标准（专家一致共识）的一致性。采用精确匹配率和Jaccard相似度评估治疗方案建议。

结果

在基线评估中，人类评估者对阻塞分级的共识范围为43.6%至68.0%（加权κ值为0.255–0.425），对塌陷模式的共识范围为60.8%至79.3%（Fleiss's κ值为0.287–0.370）。在所有解剖水平上，高级评估者的基线一致性均高于初级评估者；在四个解剖水平中的三个水平上，阻塞分级的基线一致性同样更高。与专家共识的一致性方面，高级评估者在基线分级中为70.0%至90.0%，AI为35.0%至85.0%；在基线模式分类中，分别为75.0%至95.0%和50.0%至80.0%。在治疗建议方面，精确一致性高级评估者为70.0%，初级评估者为55.0%，AI为50.0%；平均Jaccard相似度分别为0.867、0.833和0.742。

结论

DISE的判读仍然复杂且具有操作依赖性。模式分类的可重复性似乎优于分级。虽然未经特定任务训练的AI模型能够捕捉到具有临床意义的模式，但在复杂决策中未能达到专家水平。AI可作为一种辅助工具，尤其对于经验较少的临床医生。