《npj Digital Medicine》:Reply to: Surgical scene understanding and the emerging challenge of independent validation in an industry-led AI ecosystem
编辑推荐:
在本次对MacAonghusa和Cahill的回复中,研究人员反思了AI辅助手术场景理解中的基本验证挑战,并提出了学术、临床和行业利益相关者必须共同解决的关键优先事项,以实现手术视频AI的安全和有影响力的临床转化:第一,将描述性分析与患者或手术团队相关的结果联
在本次对MacAonghusa和Cahill的回复中,研究人员反思了AI辅助手术场景理解中的基本验证挑战,并提出了学术、临床和行业利益相关者必须共同解决的关键优先事项,以实现手术视频AI的安全和有影响力的临床转化:第一,将描述性分析与患者或手术团队相关的结果联系起来;第二,建立纵向、多模态和结果链接的数据基础设施;第三,实施研究。
研究背景方面,数字手术领域AI辅助手术场景理解(Surgical Scene Understanding, SSU)技术发展迅速,但面临核心验证挑战。当前问题包括:学术研究与商业部署平行且存在重要差异,商业平台往往将AI视频分析(SSU为其中一部分)与行政功能(如视频记录、临床数据库管理)捆绑,但SSU特定临床益处缺乏独立证据;描述性任务(如解剖识别)与客观临床结局(如并发症率、手术时间)之间的关联模糊,导致现有基准无法充分评估临床效用。因此,亟需开展研究以明确验证策略,实现安全有效的临床转化。研究人员基于对已发表学术文献的系统综述和报告质量meta分析,反思了这些挑战,并提出了三个关键优先事项,以推动学术、临床和行业利益相关者的协作。这些结论对于引导手术视频AI(Surgical Video AI)从描述性分析转向有意义结局预测具有重要意义。该论文发表在《npj Digital Medicine》。
技术方法上,研究人员主要运用了系统综述(Systematic Review)和报告质量meta分析(Reporting Quality Meta-analysis),梳理已发表的学术文献中SSU研究现状,并对比分析商业平台(如视频记录、临床数据库管理、工作流程文档)与学术平台在SSU能力上的差异,从而揭示验证鸿沟。此外,研究人员讨论了相关研究(如利用时空转换器模型预测术后功能恢复)作为迈向有意义结局预测的步骤,但未涉及具体实验操作或样本队列来源。
研究结果可归纳为以下三个优先事项:
1. **将描述性分析与临床结局关联**:研究人员指出,需要基础性地表征手术视频中可识别或可测量的参数如何与客观、相关的临床结局相关联,以指导结果链接的验证策略。例如,组织处理行为与结直肠癌手术中组织病理学标本质量之间的关联,或胰腺切除过程中胰腺包膜破裂或钉线出血与术后并发症的关联。这种关联并非直接,受模型识别误差和患者疾病因素影响。
2. **建立纵向、多模态、结果链接的数据基础设施**:作为临床标准,需要高效可靠地将术中视频数据与相关多模态数据(如术前影像、实验室参数)、临床元数据(如年龄、性别、合并症)以及治疗路径中的结局关联起来。学术和临床利益相关者可利用其数据访问权限和临床专业知识推动该基础设施发展,同时需考虑患者隐私和数据治理,可借鉴分散式学习(Decentralized Learning)和合成视频数据(Synthetic Surgical Video Data)等方法。数据链接需依靠特定治理模型,如受托第三方结构(如认证学术联盟或公共卫生机构作为中立数据托管方),并采用受控访问框架(类似UK Biobank和All of Us研究项目)。
3. **实施研究**:包括人-人工智能交互研究(Human-AI Interaction Research),理解临床医生如何实时解释和响应SSU输出;以及开发监管结构,允许对已部署系统进行受控、前瞻性评估。研究人员关注学术团队与行业团队在监管负担上的结构性不对称:行业可迭代部署和更新平台,且保留对大规模真实世界数据的特权访问,而学术团队面临上游障碍(如数据访问限制和碎片化监管要求)。建议通过监管沙盒(Regulatory Sandboxes)或生活实验室(Living Labs)等受控真实世界评估环境,支持创新同时允许前瞻性评估性能、安全性和临床影响。
总结讨论部分,研究人员指出,十年的SSU研究主要遵循数据可用性和技术可行性,而非临床需求;部署也超前于明确的临床目的和可测量临床益处的独立证据。手术室是决策具有不可逆后果的环境,因此手术视频AI的关键问题不在于模型能否检测到训练目标,而在于检测到的内容是否对患者、外科医生和医疗系统有意义。研究结论翻译如下:研究人员的系统综述表明,十年的SSU研究主要遵循数据可用性和技术可行性,而非临床需求。部署也超前于明确的临床目的和独立证据证明的可测量临床益处。手术室是一个决策带有不可逆后果的环境。因此,手术视频AI的问题不在于它能否检测到它被训练检测的东西。而在于AI模型检测到的东西是否对患者、外科医生和医疗系统有重要性。严格且独立地回答这个问题将成为手术视频AI社区研究议程的首要任务。