编辑推荐:
为减轻医生手动标注腹腔镜手术训练视频的负担,研究人员基于腹腔镜手术基本技能(FLS)和中国腹腔镜技能测试与评估(CLSTA)工具,开展自动手术手势识别模型研究。模型准确率达 85.84%,F1 分数为 85% ,为临床客观自动评估提供可能。
腹腔镜手术训练的重要性日益凸显。为将医生从手动标注视频的繁重工作中解放出来,研究人员基于腹腔镜手术基本技能(Fundamentals of Laparoscopic Surgery,FLS)和中国腹腔镜技能测试与评估(Chinese Laparoscopic Skills Testing and Assessment,CLSTA)工具,提出了一种自动手术手势识别模型。同时,基于设计好的手势词汇表进行统计分析,以探究不同水平组间的差异。
基于 CLSTA,钉转移的训练过程可用手势词汇表中定义的七个标准手术手势序列表示。用于模型训练和测试的数据集包含 80 个以 30 帧 / 秒录制的视频,所有视频均由医学训练中心的资深医学专家评分。数据集采用交叉验证法处理,以确保模型性能稳健。所应用的模型是 3D ResNet-18 卷积神经网络(Convolutional Neural Network,CNN),并利用长短期记忆神经网络(Long Short-Term Memory,LSTM)优化输出序列。
识别模型的总体准确率为 83.8%,F1 分数为 84%。LSTM 网络将模型性能提升至准确率 85.84%,F1 分数 85%。每个手术过程均以手势 1(Gesture 1,G1)开始,以 G5 结束,错误放置标记为 G6。平均训练时间为 92 秒(标准差 = 36)。在 G1、G3 和 G6 组间观察到差异,这表明学员专注于这些相关操作可能会有所收获,同时也有助于医生更有效地分析训练结果。
研究开发了针对钉转移任务的自动手术手势识别模型,并定义了手势词汇表与人工智能模型,按顺序描述训练操作。这为基于 CLSTA 在临床实施中实现人工智能驱动的客观自动评估创造了机会。