
-
生物通官微
陪你抓住生命科技
跳动的脉搏
行业主导的AI生态系统中的手术场景理解与结构验证缺口
《npj Digital Medicine》:Surgical scene understanding and the structural validation gap in an industry-led AI ecosystem
【字体: 大 中 小 】 时间:2026年08月11日 来源:npj Digital Medicine 18.0
编辑推荐:
摘要本文在Carstens等人研究的基础上,进一步指出了学术领域在手术场景理解相关研究中的方法学局限性。目前越来越多的手术场景理解技术被应用于商业平台中,而这些平台在传统的证据综合研究中往往未被充分体现。学术研究与商业系统之间的这种“结构验证缺口”使得该领域亟需建立独立的基准测试
本文在Carstens等人研究的基础上,进一步指出了学术领域在手术场景理解相关研究中的方法学局限性。目前越来越多的手术场景理解技术被应用于商业平台中,而这些平台在传统的证据综合研究中往往未被充分体现。学术研究与商业系统之间的这种“结构验证缺口”使得该领域亟需建立独立的基准测试、验证以及部署后评估体系,以用于已投入临床应用的手术人工智能系统。
在他们的系统评价与报告质量元分析中,Carstens等人对人工智能在手术场景理解中的应用进行了严谨评估1。研究表明,该领域的多数学术研究仍处于临床前阶段,且多针对特定任务,同时存在报告不规范、外部验证不足以及实际应用评估有限等问题。他们得出的结论——即必须提升方法学标准才能实现安全的临床应用——得到了充分支持。我们认为,这些发现也应放在手术人工智能创新与评估领域更宏观的结构变革背景下加以理解。
尽管目前已发表的手术场景理解研究大多属于学术性质,因此侧重于模型开发与临床前验证,但越来越多的实际应用或接近实际应用的创新成果则来自企业主导的平台型系统。这类系统整合了多种手术场景理解功能,如术中导航、工作流程识别、性能分析以及基于情境的决策支持,能够实时在手术工作流程和商业软件生态系统中发挥作用。由于这类平台在同行评审文献中往往仅被部分提及,而且系统评价本身也受限于那些可发表的研究成果,因此学术评估与当前系统的实际应用状况之间存在一定的结构矛盾,尤其是对于那些可能对临床实践产生影响的系统而言。这种日益明显的“结构验证缺口”反映出,经过独立评估的学术研究成果与那些越来越依赖专有技术、集成在具体工作流程中的商业系统之间存在脱节,而后者在外部基准测试、独立数据获取以及部署后的监督方面往往存在不足(见图1)。
左侧面板展示的是基于标注数据集和回顾性基准测试的传统学术研发模式;右侧面板则为在临床工作流程中实时运行的集成式平台系统。中间的“验证缺口”强调了建立独立基准测试、部署后评估以及由临床医生主导的监管机制的必要性,这样才能确保对已投入临床应用的手术人工智能系统进行透明评估。
越来越多地,手术场景理解技术被嵌入到集成化的临床系统中,而非独立的研发模型中2,3),这进一步凸显了手术人工智能系统在透明度、可重复性、基准测试以及验证方面的问题1,4),其中包括Carstens等人所指出的“黑箱”决策机制的可解释性问题。随着这些系统变得越来越依赖专有技术且与具体工作流程深度集成,独立的学术评估既变得更加困难,却又显得愈发重要。如果没有这样的评估,评价工作就有可能由厂商主导,从而导致外部验证不足,临床医生也无法获得独立生成的依据来指导这些系统的应用与管理。学术文献中发现的报告缺陷,不仅可能反映了方法学上的局限,也可能意味着创新格局正在发生变化,未来的技术应用可能越来越多地脱离传统的学术发展路径。值得注意的是,早期对市面上已开发的术中人工智能系统的学术评估就发现了预期性能与实际性能之间的差距5,6),比如需要本地重新训练、生成具有临床实用价值的输出存在延迟、预测能力有限,以及难以实现方法学上的透明度7,8)。这些研究结果表明,仅仅完成系统部署并不意味着其已经成熟,许多具有临床意义的局限性往往只有通过独立研究才能被发现。目前,手术场景理解研究面临的核心挑战已不再是单纯的算法创新与优化,而是要在日益以企业为主导的发展环境中明确学术界的角色。学术机构完全有能力开发出适合平台级、多任务型手术场景理解系统的独立评估体系(可借鉴DECIDE-AI等报告指南9)),以及相应的基准测试策略和验证方法,即便这些系统并非通过传统的学术研发途径开发而来。学术界在严格审视商业技术的局限性并引导其良性发展方面发挥着至关重要的作用。要有效履行这一职责,报告标准与证据综合方法可能需要超越单一任务的范畴,从而纳入系统整体性能、部署后评估以及来自实施与监管科学领域的见解。诸如使用标准化数据集进行强制性的独立基准测试、在多中心手术登记系统中开展前瞻性上市后监测、建立使用本地获取的手术视频的独立监管基准测试网络、设置结构化的部署后审计流程,以及制定要求对商业化的“黑箱”系统进行足够“开箱”式独立审核的生命周期监管框架(可参考现有FDA和欧盟的相关规定),都可能成为手术人工智能治理体系中的关键组成部分。在资源较为匮乏的地区,由于结构验证缺口可能更为严重,或许还需要制定特殊的额外措施。此外,还可能需要考虑诸如资金支持之类的创新激励手段,包括建立公私合作伙伴关系模式,或是将透明度与数据共享作为条件来授予监管许可。从这个意义上说,Carstens等人的这项研究为更全面地了解手术场景理解领域的进展奠定了重要基础。在日益以企业为主导的手术人工智能发展中,确保功能日益强大的手术人工智能系统在研发、部署及后续使用阶段都经过严格的独立验证,同时保持方法学的透明度并由临床医生参与监督,应被视为维护患者安全、保障科学诚信以及赢得临床医生信任的重要科学与监管任务。
生物通微信公众号