手术中人工智能系统部署的风险与责任：一份SAGES白皮书

《Surgical Endoscopy》：Risk and liability in the deployment of AI systems for surgery: a SAGES white paper

　　

背景：人工智能（AI）正日益用于外科护理中的决策支持、手术规划、术中引导及自主功能。虽然这些系统可提升效率与临床表现，但也引入了技术、人因、法律与伦理相关风险。当前监管与法律框架尚未完全适应AI辅助外科的挑战。 方法：本SAGES白皮书综合了与外科AI系统部署相关的监管、法律、伦理与临床考量。研究人员回顾了市场安全法规、数据隐私法、知情同意、医疗事故与责任原则，并提出理解外科AI实施风险的概念框架。 结果：外科AI相关风险可通过三元框架理解：AI系统固有风险、临床使用者引入的风险，以及机构部署产生的风险。这些风险在临床上可表现为诊断错误、治疗错误、知情同意受损、患者信任侵蚀、治疗自主性受威胁及隐私侵犯。尽管外科医生仍是最终临床决策者，但责任亦可延伸至开发者（设计缺陷或未充分警示）及机构（过失部署或监督不足）。 结论：安全整合AI至外科不仅需要技术性能。需要健全的治理、持续性能监测、事件响应路径、临床人员资质认证及专科协会参与，以降低伤害并明确问责。

论文解读：手术中人工智能系统部署的风险与责任

研究背景与问题提出

人工智能（AI）及机器学习（ML）技术在外科领域的应用快速扩展，涵盖决策支持、手术规划、术中导航乃至自主操作。然而，现有监管体系（如FDA、欧盟医疗器械法规）与传统医疗责任框架主要面向静态硬件设备，难以适配具备持续学习、自适应更新特性的AI/或机器学习作为医疗器械的软件（SaMD）。临床实践中，外科医生、AI开发者与医疗机构之间的责任边界模糊，加之数据隐私法规（HIPAA、GDPR）在AI训练数据复用、模型可解释性等方面的适配滞后，使得AI辅助外科在知情同意、差错归因与安全治理上面临现实困境。为此，SAGES（美国胃肠与内镜外科医师学会）组织研究人员开展专项研讨并形成本白皮书，发表于《Surgical Endoscopy》，旨在系统梳理风险图谱并提出治理建议。

关键研究方法概览

研究人员采用白皮书共识构建方法，通过多学组协作（外科、卫生政策、法律、AI工程）综合既有法规文本、临床实践观察与既往文献。核心分析对象包括：美国FDA的预定变更控制计划（PCCP）与全产品生命周期（TPLC）监管路径、欧盟《人工智能法案》风险分级、HIPAA与GDPR的数据隐私适用边界、以及医疗过失责任分配原则。通过概念抽象，提炼出外科AI风险三元框架，并结合“瑞士奶酪模型”进行系统性归因分析，在此基础上提出机构治理与资质认证建议。本文未涉及特定患者队列或生物实验，属政策-伦理-临床交叉的规范性综述。

研究结果

市场安全 regulation（市场准入与持续监管）

研究人员指出，FDA与欧盟已将SaMD纳入监管，采用风险分层：依据临床决策影响程度与病情严重程度分类。为适配AI的迭代特性，FDA提出全产品生命周期（TPLC）路径：①确立质量体系与良好ML实践（需验证分析性与临床性能）；②上市前审查可包含预定变更控制计划（PCCP），允许在既定再训练与更新策略下实施修改而无需重新申报；③变更风险管理决定何时重新提交审批；④通过真实世界性能报告提升透明度。欧盟《人工智能法案》则按不可接受/高/最小风险分级，高风险的医疗AI需满足数据治理、网络安全与透明度要求。这些框架试图平衡安全与迭代创新。

Data privacy regulation（数据隐私法规）

现有主要法律包括美国HIPAA隐私规则与欧盟GDPR。HIPAA约束“覆盖实体”，限制PHI（受保护健康信息）使用与披露，并赋予患者查阅、复制与更正权；其允许去标识化数据二次使用，存在跨库再识别风险。GDPR适用于所有处理欧盟个体数据的组织，遵循七项原则（合法、目的限定、数据最小化、准确、存储限定、完整保密、问责），健康数据需明示同意或符合法定基础，且影响评估（DPIA）为强制。研究人员认为，AI大规模训练集需求、模型嵌入患者数据后的删除权实现困难、以及黑盒模型透明度要求，均提示需更新隐私法以适应外科AI全生命周期。

Medicolegal considerations of AI-assisted surgical practice（AI辅助外科的医疗法律考量）

• •
  Informed consent in the era of AI-assisted surgery（AI辅助外科的知情同意）：传统知情同意要求披露操作性质、风险、获益与替代方案。AI引入后，患者常抱“魔法确定性”或过度恐惧，外科医生需用通俗语言解释AI角色（诊断辅助/导航/主动操作）、独特风险（算法偏见、技术故障、隐私）、替代方案（非AI路径）及自身使用经验。若AI具一定自主性，还需说明人机分工与 overrides机制。
• •
  Liability and malpractice（责任与医疗事故）：医疗过失以“标准照护”为尺。AI推荐参与决策后，决策归属复杂化：若外科医生盲从缺陷AI建议，仍可能构成过失；若忽略更优AI建议亦可能被追问。当前司法多视外科医生为“船上船长”，但未来可探索共同责任。

Tripartite framework of AI risks in surgery（外科AI风险三元框架）

研究人员将风险分为三类：

• •
  Risks inherent to the use of AI systems（AI系统固有风险）：训练数据偏见与质量缺陷致亚群性能下降；检索增强生成（RAG）引入过时或无关知识；算法黑盒致非可解释性；生成式AI的幻觉与虚构造假；优化指标与临床终点错位；模型随疾病谱演变而漂移。
• •
  Surgeon-and user-sourced risks（外科医生与使用者源风险）：自动化偏差（过度依赖AI）、确认偏差（只听符合预设的诊断的AI输出）、启发式短路。大语言模型（LLM）与视觉-语言模型易诱使非专业提示绕过安全护栏，商用通用模型未经FDA临床授权，直接用于决策支持危险。
• •
  Deployment sourced risks（部署源风险）：机构采购孤岛化、缺乏集中治理；未建立持续性能审计；忽略AI非常规高置信度错误的类型；数据泄露与系统入侵带来患者与机构双重损害。

Clinical impacts of AI risks（AI风险的临床影响）

• •
  Medical errors（医疗错误）：漏诊、误诊、治疗偏差可源自数据偏差、泛化失误或术野遮挡下计算机视觉失效；非可解释模型妨碍充分知情同意的法律有效性。
• •
  Negative impact on patient outcomes（患者结局负面影响）：即使操作合规，AI引入的新基线风险（如药物剂量幻觉）可致无应答或不良转归；未采取合理缓解步骤时可构成过失。
• •
  Physician–patient relationship and therapeutic autonomy（医患关系与治疗自主性）：患者感知“算法替人”削弱信任；外科医生过度依赖致“技能退化”，由临床裁量为本转为算法执行，双向减损自主性。
• •
  Patient confidentiality and privacy（患者保密与隐私）：HIPAA去标识化再识别漏洞；GDPR更严但跨境AI训练需国际协调；第三方数据（收入、社媒）混入训练带来就业、保险等次生伤害。

Liability allocation（责任分配）

• •
  开发者：设计缺陷、验证不足、已知局限未警示（failure to warn）可构成产品责任与过失。
• •
  医疗机构：采购未验证系统、超适应症使用、未及时打补丁或下架劣化模型，可视为提供不安全设备之过失；合同免责条款部分转移风险。
• •
  外科医生：仍为最终决策者，须达到同位标准；盲从有疑点AI建议易被认定过失，拒用更优AI亦未必免责。
  研究人员以瑞士奶酪模型图示：开发层（1,2）、机构层（3,4）、用户层（5）防线同时穿孔方致害，体现分布式责任。

Recommendations（建议）

• •
  Governance and incident response（治理与事件响应）：机构设多专科治理委员会（AI专家、临床、患者），审查系统、确保培训手册与持续审计；参照专科协会制定术式AI资质。
• •
  Institutional AI formulary and oversight（机构AI目录与监督）：设首席健康AI官（CHAI¹O）统筹生命周期；点-of-照护层仿药学监护，由专人/组核查模型适配与输出整合。
• •
  Credentialing and certification for specific model use（特定模型使用资质认证）：外科医生需证明掌握模型失败模式、边界与覆盖场景；无认证使用可构成知情同意瑕疵；开发者应在产品中内置适用场景护栏（如克罗恩病模型不自动用于溃疡性结肠炎）。
• •
  Partnership with professional and specialty societies（与专科协会合作）：SAGES等已发布数据捕获、标注、结构及数字外科共识；多中心临床数据库可监测泛化性与模型漂移，弥补监管间隙。

讨论与结论总结

研究人员强调，外科AI的引入不可避免伴随风险，但风险可通过治理设计降低。当前法律责任仍以外科医生为最终锚点，但开发者与机构责任边界正在显性化。安全整合依赖：①适配AI动态性的监管（TPLC、PCCP、AI Act分级）；②隐私法更新以覆盖模型生命周期；③机构级AI目录与CHAI¹O式监督；④医生特定模型资质认证；⑤专科协会多中心协作。本文为《Surgical Endoscopy》发表的SAGES白皮书，意在为临床、法律与产业界提供共识基座，推动负责任创新。

结论译文：外科AI系统的实施天然伴随风险。如同临床实践各要素，风险不可消除但应被缓释，以减少患者伤害、保障患者自主权并恪守行善原则。尽管外科AI致害时的责任分配仍有许多未决问题，监管者、专科协会、卫生系统与临床医生现在即可采取措施，设计以最小化伤害为目标的实施策略。

（注：CHAI¹O为文中Chief Health AI Officer的简写适配；原文为CHAIO，此处保留上下标示意层级）