从凝视到精通：基于深度学习的AOI依赖指标预测腹腔镜新手操作水平的研究

《Surgical Endoscopy》：From gaze to proficiency: deep learning-driven prediction of novice performance in laparoscopic training using AOI-dependent metrics

本研究针对腹腔镜手术培训(FLS)中缺乏个性化实时评估的问题，创新性地结合计算机视觉-深度学习(CV-DL)与眼动追踪技术，通过自动识别关注区域(AOI)提取注视率和工具速度等指标，成功将新手技能水平分为高、中低两级，并利用随机森林(RF)模型实现83.33%的视觉行为预测准确率。研究成果为开发实时个性化培训反馈系统提供了重要技术支撑。

　　

随着微创手术的快速发展，腹腔镜手术量在2000-2018年间激增462%，年手术量超过1500万例。然而传统"看一个，做一个，教一个"的外科培训模式已无法满足现代医疗需求，取而代之的是基于模拟的培训(SBT)模式。作为标准化培训项目，腹腔镜手术基础技能(FLS)计划虽然广泛应用，但其盒式训练器存在三个突出局限：缺乏个性化实时评估、无法提供个性化培训反馈，以及专门针对儿科患者的模拟器严重不足。

为突破这些限制，宾夕法尼亚州立大学工业工程系的Aseel F. Khanfar团队开展了一项创新研究，发表在《Surgical Endoscopy》期刊上。研究人员将目光投向了两项先进评估技术——运动分析和眼动追踪。前者能客观评估操作熟练度，后者则可洞察术者的视觉行为和认知过程。然而在动态训练环境中，由于关注区域(AOI)不断变化，眼动数据的准确提取面临巨大挑战。

研究团队设计了一项严谨的实验，招募了9名医学生和9名住院医师作为新手参与者。他们需要在成人和儿科两种盒式训练器上完成FLS中的peg transfer任务（即peg transfer task，积木转移任务）。儿科训练器采用3D打印定制设计，内部尺寸仅为140x230x126毫米，模拟儿科患者的狭小手术空间。

研究的核心技术突破在于开发了一套计算机视觉-深度学习(CV-DL)流程。团队采用Mask R-CNN模型（Mask Region-based Convolutional Neural Network，基于区域的卷积神经网络掩模模型）自动检测视频帧中的工具和目标物体（三角形积木）作为AOI。该模型在AOI分类上达到了98.5%的精确度，生成掩模的精确度为74.8%。通过将眼动仪记录的注视点坐标与Mask R-CNN生成的掩模坐标进行比对，研究人员成功提取了五类AOI依赖的眼动指标和一项运动指标。

关键方法概述：研究采用50Hz采样率的Tobii glasses 3眼动仪；使用自定义儿科模拟器和商用成人模拟器；通过Mask R-CNN模型实现AOI自动检测；提取注视率和工具速度等指标；应用k-means++聚类和多种机器学习算法（随机森林RF、支持向量机SVM、人工神经网络ANNs、决策树CART）进行数据分析和预测；统计分析采用单因素方差分析(ANOVA)和留一法交叉验证(LOOCV)。样本来源于Hershey医学中心的18名参与者。

聚类分析揭示新手技能分层

通过k-means++聚类算法，研究人员根据行为指标将参与者分为三个集群。任务完成时间分析显示，集群1（高水平）与集群2、3（中低水平）存在显著差异（p<0.001），而错误数量无统计学差异。这表明即使在新手早期训练阶段，也存在明显的技能水平分化。

视觉行为模式存在显著差异

单因素方差分析显示，不同技能水平在所有提取指标上均存在显著差异（p<0.05）。高水平新手表现出更高的物体注视率、物体-单工具交互注视率和物体-双工具交互注视率，而中低水平新手则在工具注视率、非移动物体注视率和工具速度上值更高。这表明熟练新手能像专家一样将注意力更多分配给相关物体，而非熟练新手则表现出明显的"工具跟随行为"。

随机森林模型实现精准预测

在四种机器学习算法中，随机森林(RF)表现最佳，预测视觉行为水平的准确率达83.33%，F1分数为0.8333。基尼重要性分析显示，物体注视率和工具速度是最重要的预测特征，其次是非移动物体注视率和物体-单工具交互注视率。

儿科与成人训练器视觉注意力无差异

对比分析发现，所有指标在儿科和成人盒式训练器之间均无统计学差异（p>0.05），这与研究假设相反，可能表明定制儿科训练器在模拟真实儿科手术难度方面存在局限，或样本量不足所致。

研究结论表明，基于CV-DL模型提取的AOI依赖指标和运动指标能有效区分新手技能水平，随机森林算法能高精度预测视觉行为，且新手在成人和儿科模拟器上的视觉注意力模式一致。这项研究的重要意义在于为开发实时个性化反馈系统奠定了技术基础，通过指导受训者"看哪里"和"如何分配视觉注意力"，有望显著提升腹腔镜手术培训效果。未来研究需扩大样本规模、纳入专家对照组，并验证儿科模拟器的真实难度模拟效果。