AutoCLC：面向基于团队的医疗模拟培训中闭环沟通的自动化评估与反馈

《ACM Transactions on Computing for Healthcare》：AutoCLC: Towards Automated Assessment and Feedback on Closed-Loop Communication in Team-based Healthcare Simulation Training

AutoCLC系统利用自然语言处理和大型语言模型分析高级心血管生命支持模拟训练的音频记录，自动识别闭环通信（CLC）实例并评估其频率、有效性及沟通质量，技术精度达78.9%和74.3%，用户易用性评分76.4%，为高可靠性场景提供可量化的反馈工具。

　　

摘要

本研究介绍了AutoCLC，这是一个基于人工智能的系统，旨在评估专业学习环境中的闭环沟通（CLC）并提供建议。闭环沟通是指发送者的“Call-Out”陈述得到接收者的“Check-Back”陈述的回应，它是高可靠性领域（包括急诊医学复苏团队）中的关键安全协议。现有的CLC评估方法缺乏可量化的指标，且严重依赖于人工观察。AutoCLC通过利用自然语言处理和大型语言模型来分析高级心血管生命支持（ACLS）模拟训练中的音频记录，从而解决了这些局限性。该系统能够识别CLC实例，测量其频率和每分钟的次数，并将沟通类型分为有效、不完整或遗漏三种。技术评估显示，AutoCLC在识别“Call-Out”方面的准确率为78.9%，在识别“Check-Back”方面的准确率为74.3%，与人工标注相比性能差距仅为5%。一项涉及三个培训地点的11名心脏骤停培训师的用户研究证实了自动化CLC评估的必要性。培训师认为AutoCLC的报告有助于量化CLC的频率和质量，并提供基于实例的可操作反馈。参与者对AutoCLC的评价很高，系统可用性评分达到了76.4%，反映了其高于平均水平的可用性。这项工作代表了朝着开发可扩展的、数据驱动的反馈系统迈出的重要一步，这些系统能够提升高可靠性环境中的个人技能和团队表现。