
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于人工智能的机器人心脏手术模拟中动作识别与技能评估的可行性研究
【字体: 大 中 小 】 时间:2025年07月15日 来源:Journal of Robotic Surgery 2.2
编辑推荐:
本研究针对机器人心脏手术培训中客观评估的难题,开发了基于视频数据的深度学习模型(CNN-LSTM架构),实现了93%准确率的手术动作识别(AR)和56%准确率的技能评估(SA)。通过Grad-CAM可视化技术揭示算法聚焦于缝合针和组织等关键区域,为AI自动化评估体系奠定基础,发表于《Journal of Robotic Surgery》。
在心脏外科领域,机器人辅助手术(RAS)自1998年首例报道以来快速发展,但培训体系却面临严峻挑战。传统评估依赖专家主观评分,存在资源消耗大、标准不统一等问题。尤其对于高难度的机器人心脏手术——如二尖瓣缝合、左心房闭合等操作——缺乏客观的自动化评估工具,成为制约技术推广的瓶颈。
丹麦奥尔堡大学医院(Aalborg University Hospital)胸心外科团队Gennady V. Atroshchenko等研究者开展了一项开创性研究。他们利用猪模型湿实验室模拟手术视频,构建了融合卷积神经网络(CNN)和长短期记忆网络(LSTM)的深度学习模型,首次实现了仅通过视频数据对机器人心脏手术动作和技能的自动化评估。这项发表于《Journal of Robotic Surgery》的研究,为建立标准化培训体系提供了AI解决方案。
研究团队采用三项关键技术:1)通过30FPS高清视频采集系统记录19名外科医师(含4名专家)的模拟手术操作;2)使用BORIS软件对435段视频进行时间标注,划分缝合(suturing)和分离(dissection)两类动作;3)构建CNN-LSTM混合网络架构,采用五折交叉验证优化参数。特别值得注意的是,团队创新性地应用梯度加权类激活映射(Grad-CAM)技术,使AI决策过程可视化。
动作识别网络表现卓越
分析显示,动作识别(AR)模型达到93%的整体准确率,召回率与精确度均达93%。Grad-CAM可视化证实算法能精准锁定缝合时的针尖、缝线及器械末端,以及分离时的组织区域。

技能评估网络潜力待挖掘
尽管技能评估(SA)网络在交叉验证中取得79%平均准确率,但独立测试集表现降至56%。研究者指出,这主要受限于专家样本量不足(仅4名)及评估标准复杂性。有趣的是,模型对"新手"的判断准确率达100%,但对"专家"识别率仅10%,反映出现有评分体系(如GEARS和TBS)在区分高阶技能时的局限性。
开创自动化评估新范式
这项研究首次证明深度学习可有效解码机器人心脏手术的精细动作,其重要意义体现在三方面:1)为缺乏专家资源的机构提供客观评估工具;2)通过可视化技术增强AI可信度;3)奠定实时反馈系统的技术基础。尽管技能评估仍需更多数据优化,但该框架已展现出变革手术培训的潜力。正如研究者强调,未来需通过多中心合作扩大数据集,并重新定义"专家级"手术的标准,以推动AI评估工具在临床实践中的应用。
生物通微信公众号
知名企业招聘