IAR-Net：基于表格深度学习的介入医师动作识别模型及其在机器人辅助血管介入中的应用

本文推荐一篇关于介入医师导管操作动作识别的深度研究。该研究提出IAR-Net深度学习框架，通过生成模型（如TabDDPM）解决导管操作数据中的类别不平衡问题，实现对七种导管操作动作（如推送PH、拉回PL、旋转等）的高精度（98.9%）识别。研究结合多模态传感器数据（EMG、数据手套、电磁传感器EM、导丝跟踪），并利用可解释性方法（如SHAP）阐明模型决策过程，为机器人辅助血管介入（R-PCI）的实时评估和培训提供了创新解决方案。

　　

引言

血管介入治疗的成功高度依赖于介入心脏病专家精确导航导丝和导管通过脆弱血管路径的能力。传统评估方法存在主观性强、缺乏即时反馈等局限性。为应对这些挑战，血管介入机器人系统应运而生，但其广泛应用仍面临学习曲线陡峭、操作自主性有限等障碍。集成人工智能驱动的解决方案，通过实时任务评估进行手术培训，将带来显著优势。实现AI驱动评估的关键在于机器人辅助导管插入过程中介入医师动作的智能识别。

相关工作

先前关于介入医师动作识别的研究大多采用多项式分类方法，主要集中于评估来自单一数据源（如肌电图或力传感器）的特征，或集中于聚合来自多个数据源的特征。方法学包括统计分析、传统机器学习技术和基于深度学习的方法。然而，先前研究面临与数据集不平衡相关的挑战，并且数据增强技术在此前文献中尚未被探索。

实验部分

血管内操作模式

为精确导航血管内工具，介入医师通常采用三种不同的操作模式：轴向操作（AM，包括推送PH和拉回PL）、径向操作（RM，包括顺时针旋转CR和逆时针旋转CCR）以及组合操作（CM，包括四种子动作，如推送顺时针旋转PHCR等）。

导管操作动作数据采集

研究利用运动捕捉传感器收集手术过程中的相关动作数据。选取前臂肌肉（如APB、FCR、ECR、OP）使用四通道肌电图传感器捕获肌肉活动信号。电磁传感器附着于医师的拇指和食指以记录详细的手指运动。医师佩戴14传感器数据手套以全面监测手部运动。导丝的远端运动通过二维冠状动脉血管造影使用导丝跟踪方法获得。六名具有不同经验水平的介入医师被招募进行实验试验，使用血管介入机器人系统将导丝导航至兔模型的冠状动脉。

数据预处理

数据预处理将原始传感器数据转换为适合任务的形式。肌电图数据使用50 Hz陷波滤波器和10-500 Hz带通滤波器进行预处理，并采用最大值法进行归一化。导丝血管造影图像使用中值滤波器进行像素去噪，Frangi滤波器用于增强血管状结构的检测。数据手套数据使用最小-最大值方法归一化。特征提取包括计算肌电图数据的平均绝对值和过零率等。

统计分析

对来自三名操作者的多传感器数据进行的定量分析显示了操作者在程序持续时间、动作时间分配以及操作模式上的显著差异和相似性。统计分析表明，多传感器数据能够清晰表征每个操作者操作模式的异同，为基于深度学习的推理提供了有价值的基础。

表格数据增强

实施与评估

原始导管操作动作数据集在不同亚组之间存在不平衡的比例。研究采用生成模型来增强少数动作类别的表示。评估使用预测性能，训练XGBoost分类器对原始数据进行评估，然后在相应的合成数据集上进行评估。使用了五种生成模型进行二分类合成数据生成，包括SMOTE、TVAE、CTGAN、TabDDPM和RealTabFormer。对于多类别情况，使用了SMOTE、TabDDPM和Mixup模型。

生成模型分析

生成模型的训练时间差异显著。SMOTE训练时间最短，TabDDPM需要25分钟，而RealTabFormer计算资源需求高。研究还探讨了小样本学习方式。结果表明，SMOTE和TabDDPM是导管操作动作数据增强的有效选择。这些模型生成的合成数据分布与真实数据集紧密对齐，有效解决了类别不平衡的挑战。

表格深度学习模型

增强数据集

增强后的数据集包含35,000个样本，31个特征。这些特征包括12个肌电图特征、14个数据手套特征、2个电磁传感器特征以及3个描述导丝位置和方向的特征。

模型架构

IAR-Net基于卷积神经网络，包含一个由四个卷积层组成的卷积块作为特征提取器。使用平均池化和展平函数转换特征维度，产生的张量由全连接层用于预测。

训练与评估

IAR-Net在增强数据集上进行了训练和评估。模型在识别七种导管操作动作方面达到了98.7%的准确率。特别是，包含超过90%合成数据的拉回顺时针旋转动作，其精确率、召回率和F1分数分别达到96%、100%和98%。与现有研究相比，IAR-Net的准确率有显著提升。

消融研究

模型交叉验证

在五折交叉验证下，IAR-Net表现出接近100%的训练准确率、验证准确率、AUC和特异性，其平均准确率、召回率、精确率和F1分数均为99%，证明了模型的预测性能。

传感器特征贡献

评估IAR-Net在特征子集上的性能表明，包含所有四种传感器输入的子集准确率最高，而不包含数据手套特征的子集准确率最低。传感器特征的融合无疑对识别模型的性能有贡献。

与表格模型的比较评估

将IAR-Net与最先进的表格深度学习模型进行比较评估。结果表明，基于多层感知机的集成架构表现出最高的测试准确率，接近100%，且训练时间短。IAR-Net的准确率达到98.92%，其性能优于为该类似任务开发的现有CNN-based模型，并且训练时间显著少于基于Transformer的模型。

模型可解释性

为实现全面的可解释性，研究利用了SHAP、TabNet和XGBoost作为主要的解释技术。全局特征重要性排名显示，有六个特征被至少三个评估模型一致认为高度重要。这些特征对应于与特定肌肉相关的肌电图测量值、数据手套传感器特征以及导丝位置数据。局部特征重要性分析揭示了模型在预测特定动作时所依赖的独特特征。整合局部和全局特征贡献可以创建透明、可靠和负责任的AI模型，用于介入医师动作识别。

结论

本研究从三个角度研究了介入医师的动作识别，强调了从运动传感器数据的统计分析中获得的见解、生成模型在解决类别不平衡问题和增强代表性类别方面的有效性，以及所提出的IAR-Net的预测性能。未来的研究将涉及对生成的合成数据进行更深入的公平性检查，将模型在动作识别方面的知识迁移到操作者技能水平的解码，以及将所提出的模型集成到血管介入机器人中以便在导管室实时部署。