利用深度学习、生成式人工智能和视觉问答技术生成静脉输液外渗报告

《Scientific Reports》：Intravenous extravasation report generation using deep learning, generative artificial intelligence, and visual question answering techniques

　　

摘要

外周静脉渗漏在临床实践中带来了重大挑战，需要准确评估以便及时进行干预。本研究通过将视觉问答（VQA）技术整合到Thammasat大学设计的eXtravasation Assessment Tool（TUXAT）框架中，提升了渗漏管理的效率。该工具用于生成结构化的临床报告。研究评估了两种不同的VQA方法：一种是单一大型模型，另一种是多种模型的组合，评估它们根据既定临床指南生成报告的能力，这些报告详细记录了渗漏情况（皮肤变色、血管完整性及水肿）、影响程度以及治疗计划。评分者间一致性分析显示，对于皮肤变色的评估存在中等到较高的一致性；然而，主观因素限制了血管完整性和水肿评分的精确度。统计分析证实了该系统对临床严重程度的敏感性（严重程度效应，\(p=0.013\)），并捕捉到了专家评分的预期差异（评分者效应，\(p<0.001\)）。值得注意的是，尽管整体评分存在差异，但不同评分者在不同严重程度上的评分相对差异保持一致（严重程度与评分者交互作用，\(p=0.128\)）。关键的是，两种VQA方法的性能表现相当（模型效应，\(p=0.904\)），这表明无论采用何种技术架构，VQA在该应用中都具有很强的稳定性。这些发现凸显了VQA在自动化和标准化渗漏报告方面的巨大潜力，为改善临床决策支持提供了有希望的途径。