《Pattern Recognition》:A safety-oriented multimodal decision framework for venipuncture assistance
编辑推荐:
•提出了一个以安全性为导向的多模态框架,用于辅助静脉穿刺。•在决策层面对禁忌症检测和成像不确定性进行了建模。•通过结构化提示将多模态大语言模型(MLLM)限制为有界的不需要预先训练的安全分类器。•融合分割、几何信息以及MLLM的提示,以实现基于不确定性的避免行为。•在三个校区使用
- •
提出了一个以安全性为导向的多模态框架,用于辅助静脉穿刺。
- •
在决策层面对禁忌症检测和成像不确定性进行了建模。
- •
通过结构化提示将多模态大语言模型(MLLM)限制为有界的不需要预先训练的安全分类器。
- •
融合分割、几何信息以及MLLM的提示,以实现基于不确定性的避免行为。
- •
在三个校区使用约700美元的硬件设备,对523张图像记录进行了评估。
引言
静脉穿刺是许多临床程序中的关键初始步骤,尤其是在增强扫描计算机断层扫描(CT)检查中[1]。在现实世界的临床工作中,外周静脉导管插入失败或延迟经常导致程序中断、重复穿刺、患者不适增加,甚至影像检查被推迟或取消[2]。在紧急护理和肿瘤评估等时间敏感的情境下,这种延迟会进一步降低临床决策效率并影响医疗资源的周转[3],[4]。这个问题在初级医疗机构和资源有限的地区尤为突出,因为这些地方通常没有专门的静脉治疗团队,护士需要在高工作负荷下轮班或新招聘来建立静脉通路。重复穿刺会增加局部血肿、静脉炎和造影剂外渗的风险。特别是,在高压CT注射下,造影剂外渗可能导致软组织损伤,需要额外的医疗干预[5]。至关重要的是,这些风险主要归因于决策阶段的支持不足,即选择安全合适的穿刺部位,而不是成像设备本身。
为了辅助静脉穿刺,已经探索了几种技术途径,但每种方法都有其明显的局限性。三级医院常用的高端血管成像设备可以增强皮下血管的可视化,但其成本和对专业硬件的依赖性使得在资源匮乏的环境中广泛使用并不现实。低成本静脉探测器和基于图像处理的静脉分割方法[6],[7]提高了血管可视化的可及性。深度学习在三个方面进一步推动了这一发展:即全肢体静脉分割[8]、专门针对静脉穿刺的手臂静脉成像[9],以及嵌入式硬件上的实时背手检测[10]。然而,这些方法通常隐含了一个假设,即“可见的血管是合适的穿刺目标”,并且很少考虑临床上关键的禁忌症,如瘢痕组织、毛细血管扩张(蜘蛛静脉)、皮肤炎症和异常皮肤病变。经验表明,即使血管清晰可见,这些禁忌症也可能使穿刺部位不适合[5]。最近的多模态医疗AI系统将成像与临床上下文结合以提供决策支持[11],[12],但大多数系统无论输入质量或解剖学不确定性如何,都倾向于产生输出。在静脉穿刺决策等安全关键的情境中,这种“强制输出”的范式在成像质量下降或有禁忌症存在的情况下可能会产生误导性的建议,而这正是资源短缺环境中缺乏经验的操作者最常遇到的情况。
因此,一个自然的问题出现了:在资源有限的条件下,如何系统地将以安全性为导向的决策融入静脉穿刺辅助中?三项技术发展提供了可能的答案。首先,在医学图像分割领域,U-Net系列[13],[14],特别是UNet++[15],[16],在数据有限的情况下表现出稳定的性能,为结构化血管感知提供了可靠的基础。较新的基于变分自编码器(Transformer)的分割器,如TransUNet[17],以及提示驱动的基础模型,如Segment Anything Model(SAM)[18]及其医学对应模型MedSAM[19],进一步扩展了可用的感知框架,尽管它们对高质量提示的依赖仍然是一个未解决的挑战。其次,多模态大语言模型(MLLMs)[20]在跨图像-文本的临床推理方面表现出新的能力[21],[22],为超越像素级感知的全面安全评估提供了途径。然而,以自由形式生成模式使用的MLLMs往往产生难以在安全关键环境中验证的无约束输出,存在诸如风险因素幻觉和标签解释不一致等已知问题[23]。第三,医学AI中的选择性预测和避免机制[24],[25]已被证明可以通过允许模型在不确定时明确放弃预测来降低风险,但这些机制在之前的工作中尚未被集成到静脉穿刺辅助中。
鉴于此,我们设计了一个以安全性为导向的多模态决策框架Vein-SmartSite来辅助静脉穿刺。在这个框架中,采用了“感知-门控-避免”方案,将静脉穿刺决策过程分为三个正式定义的阶段:结构化血管感知、受限候选点生成和基于不确定性的多模态安全门控。在感知阶段,UNet++生成像素级的血管概率图、二值血管掩码和全局分割置信度。在候选点生成阶段,一个复合评分函数结合了局部血管连续性、中心线稳定性、边界几何形状和分支点惩罚,对沿血管中心线的Top-个候选点进行排名。在门控阶段,MLLM在结构化提示和有界输出空间内进行全局安全评估,当输入可靠性不足时触发避免行为。
本研究的主要贡献总结如下:
- •
据我们所知,这是首批在静脉穿刺辅助中引入以安全性为导向的决策框架的研究之一,它在决策层面明确建模了禁忌症检测和成像不确定性,而不是遵循现有研究中隐含的“可见即安全”的假设。
- •
我们提出了一种结构化提示和有界输出的设计,用于零样本临床MLLM的部署,并结合了分割、几何和MLLM级别的提示,以实现基于不确定性的避免行为。
- •
在包含523张图像记录的有效队列中的实验结果和深入分析展示了Vein-SmartSite的安全性、稳定性和临床可行性。候选点生成的Top-3命中率为65.79%,在专家标记的固定测试子集上的中位数点误差为13.15像素;完整的安全门控流程在护士共识安全队列上的禁忌症检测敏感度为71.93%,特异性为71.15%,条件不安全建议率为14.71%,每例处理的延迟时间为9-11秒,硬件成本约为700美元。
章节片段
AI辅助的静脉穿刺和静脉成像
现有的AI辅助静脉穿刺方法主要集中在可视化和定位方面。近红外静脉探测器设备和低成本成像原型[6]通过硬件级别的对比度增强来提高皮下血管的可见性。在此基础上,开发了图像处理和深度学习方法来改进自动血管识别。Laddi等人[8]使用卷积网络来分割近红外静脉图像
框架概述
鉴于现有静脉穿刺辅助方法中缺乏以安全性为导向的决策支持,Vein-SmartSite的基本思想是通过一个设计良好的“感知-门控-避免”方案,为资源有限的临床情境开发一个合适的框架。整体架构如图1所示,它将静脉穿刺决策分为三个连续阶段:结构化血管感知、受限候选点生成和基于不确定性的多模态安全门控
数据集和实施细节
研究对象。我们回顾性地收集了在中山大学南方校区、北方校区和华都校区接受增强扫描CT检查的患者的血管图像。初步收集了826名患者的838张图像记录。在预处理后能够构建有效图像和有效标注掩码的情况下,保留了这些记录,最终形成了包含523张图像记录的可重复研究队列(每位患者一张)。
结论和未来工作
我们提出了Vein-SmartSite,这是一个以安全性为导向的多模态决策框架,用于辅助静脉穿刺。它结合了结构化血管感知、受限候选点生成、基于不确定性的多模态安全门控和明确的避免行为。候选点生成在38例专家标记的固定测试子集上的Top-3命中率为65.79%。在519例护士共识安全队列上,完整的安全门控流程的禁忌症检测
CRediT作者贡献声明
Zhenwei Huang:撰写 – 原稿、软件、方法论、概念化。Yanjun Xu:验证、调查、数据管理。Yifan Wang:验证、调查、数据管理。Yanli Peng:验证、数据管理。Xiaodong Huang:可视化、软件。Shuli Feng:数据管理。Xingping Tang:数据管理。Wenxin Jiang:数据管理。Yuanyuan Zhang:方法论、形式分析。Jianhuang Lai:撰写 – 审查与编辑。June Zhang:撰写 – 审查与编辑、监督。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。
致谢
本研究得到了中国国家重点研发计划(2024YFA1011900)和中山大学中央高校基本科研业务费护理人才创新培育计划(2026hlzd007)的支持。作者感谢中山纪念医院的放射科和护理人员提供的临床指导和数据注释。
Zhenwei Huang|Yanjun Xu|Yifan Wang|Yanli Peng|Xiaodong Huang|Shuli Feng|Xingping Tang|Wenxin Jiang|Yuanyuan Zhang|Jianhuang Lai|June Zhang|Peiyuan Lai|Chang-Dong Wang|Zehong Yang|Hong Deng