《Digestive Endoscopy》：Ethical and Legal Implications of Implementing AI in Gastrointestinal Endoscopy
编辑推荐：
人工智能（AI）在胃肠内镜领域发展迅速，为提升诊断准确性、操作质量与临床效率提供了新机遇，但其临床落地同时引发了多重复杂挑战。本综述明确了AI应用中的核心伦理、法律与实践议题，涵盖数据治理、患者安全，以及随着系统自主性提升而日益复杂的责任归属问题。模型开发过程
人工智能（AI）在胃肠内镜领域发展迅速，为提升诊断准确性、操作质量与临床效率提供了新机遇，但其临床落地同时引发了多重复杂挑战。本综述明确了AI应用中的核心伦理、法律与实践议题，涵盖数据治理、患者安全，以及随着系统自主性提升而日益复杂的责任归属问题。模型开发过程中的偏见与透明度不足可能加剧健康不平等，而人机交互则带来了过度依赖与技能退化等隐忧。生成式人工智能（Generative AI）进一步增加了不确定性，其产出难以预测或解释。实现负责任的应用需要健全的治理体系、包容性设计以及切实有效的人类监督。随着此类技术深度融入临床诊疗，持续审视其风险与影响对于平衡创新与安全至关重要。
1 引言
胃肠内镜领域拥有医疗场景中转化成熟度最高的人工智能算法，尤其在结直肠息肉检测方向，已有多种获监管机构批准的设备，且随机对照试验的高质量证据充分证实了临床疗效。未来数年，工作重点将转向如何把日益丰富的AI解决方案高效整合到常规胃肠内镜实践中。这一过程面临诸多挑战，尤其是必须解决的潜在重大伦理与法律问题。本文将围绕数据治理、患者损害、责任归属、算法偏见展开探讨，并分析AI技术前沿进展带来的影响。
2 数据治理
数据治理是内镜AI落地的核心环节。AI系统的训练、验证与再校准均依赖大规模高质量数据集，由此衍生出伦理、法律与运营层面的多重挑战。隐私与数据安全问题愈发受到关注，同时患者对透明度的期待持续提升。医疗机构必须遵守《健康保险可携性与责任法案》（HIPAA）和《通用数据保护条例》（GDPR）等框架，但现有立法可能无法完全适配快速演进的AI技术。
在部分司法管辖区，完全匿名化的数据集不被视为个人数据，可在无需知情同意的情况下复用；但内镜图像与视频数据常关联人口学与组织病理学等元数据，真实匿名化难度极高，再识别风险显著。根据GDPR，保留临床元数据但移除直接标识符的假名化数据仍属于个人数据，若用于开发新的内镜AI系统等二次用途，可能需要额外审批或重新获取知情同意。相比之下，符合HIPAA安全港规则、移除18项标识符的去标识化数据不再属于受保护健康信息，可更自由地用于AI二次开发。
传统的特定知情同意模式难以适配AI时代需求，限制了数据的二次利用——基于某类计算机辅助检测（CADe）系统采集的数据，在现有同意框架下往往无法直接用于训练计算机辅助质量控制（CAQ）算法。患者可能并不知晓自身内镜视频被长期存储，而海量数据需求也使得为每一次新用途单独获取个体知情同意不具备现实可行性。仅纳入同意个体的数据集会降低代表性，仅获取视频授权也可能限制整合临床数据的多模态AI发展。
因此，需要更广泛的知情同意框架，允许在透明治理下复用医疗数据，例如由独立数据托管方或委员会评估拟议二次用途的社会与临床价值。公众对数据商品化的担忧依然存在，尤其涉及商业合作方时。尽管一项荟萃分析显示77%的公众愿意共享健康数据用于二次用途，但这高度取决于感知到的公共利益，对知情同意、透明度与牟利的顾虑十分普遍，尤其是数据共享给企业的场景。当前若无产业界参与，内镜AI的临床转化极难实现，监管与落地成本均较高。将收益再投入患者护理、确保医疗机构对共同开发工具拥有无限制访问权等举措，有助于维持信任。
通过共享内镜图像与视频库的协作数据共享机制可汇聚数据、加速AI研发，但也会引发数据所有权、数据质量责任与数据集相关错误的 liability 等治理难题。治理框架还需适配不断增强的数字互联性，多模态患者数据整合、纵向结局关联与云计算应用进一步增加了复杂性，包括跨区域数据保护法规的合规要求。有效落地需要灵活且协调一致的治理结构，在支持负责任数据使用的同时维护公众信任。
3 患者损害
内镜AI可通过辅助临床医生、提升操作质量来增强患者安全。计算机辅助检测与计算机辅助质量控制（CAQ）系统可减少操作者差异、改善黏膜检查质量；计算机辅助诊断（CADx）则可通过精准光学诊断，支持“切除并丢弃”等效率导向策略的安全应用。新兴应用还延伸至内镜黏膜切除术、内镜黏膜下剥离术等治疗指导，旨在降低并发症风险。由于这类系统风险更高，可能需要比现有工具更严格的监管审查与更高的器械分类等级。
AI还可通过胶囊内镜软件提供操作支持，在保障准确率的前提下显著缩短阅片时间，实现更及时的诊疗并提高操作通量。然而，这些获益可能受真实世界条件削弱。肠道准备不佳、病变被黏液覆盖时，CADe与CADx的性能会下降，凸显了全生命周期稳健验证的重要性。验证不充分、泛化能力有限以及在多元场景中部署，都会增加临床重大错误风险，而自动化偏见等人机交互效应可能放大这类风险。鉴于患者损害无法完全消除，审慎的实施与持续评估至关重要，以确保AI提升而非损害患者安全。
4 责任归属
涉及AI的医疗决策责任归属复杂且仍在演进。责任界定不清会削弱临床医生信心与患者信任，尤其考虑到开发者、医疗机构、临床医生等多方利益相关者参与，而监管机构通常享有主权豁免。如果临床医生担心为算法错误承担责任，可能对采用AI系统持谨慎态度；患者则可能担忧受到损害时无法获得公正救济。
实践中，责任归属通常取决于错误来源与临床情境。训练数据不足或有偏见的CADx系统持续误判腺瘤，与忽视正确CADx输出的不当使用性质完全不同。同样，若用于上消化道内镜解剖标志确认的系统提示检查已完成，但后续漏诊病理，鉴于当前系统均为辅助性质，责任仍大概率由内镜医生承担。是否符合诊疗标准也会影响责任认定。
自动化水平进一步塑造责任框架。参照汽车工程师学会（SAE）分级，医疗AI可从0级（无自动化）到5级（全自动化）。当前内镜系统仍处于较低层级：CADe为辅助支持（1级），CADx为部分自动化（2级），分析图像但仍需人工确认的胶囊内镜系统属于有条件自动化（3级）。这些均为辅助系统，但随着自动化程度提升，如实验性机器人内镜，责任将更多转向医疗机构与制造商，尤其是错误发生在临床医生控制范围之外时。
全球责任框架也存在差异。欧盟采取预防性风险分级路径，在AI全生命周期实行责任共担，《人工智能法案》（Regulation (EU) 2024/1689）将大多数医疗AI列为高风险，对治理、人类监督与上市后监测提出严格要求。美国则更多将责任赋予临床医生，要求其尽“合理努力”识别并缓解算法偏见，即便系统透明度不足，医生仍可能被追责。更广泛的医疗法律赔偿路径也不同：美国、英国采用过错责任制度，需将责任归属于特定一方（传统上为临床医生）；瑞典、新西兰则实行无过错赔偿制度，患者无需证明个体过错即可获得补偿。这些差异反映了问责、患者保护与创新的优先级权衡，也可能阻碍国际协调。
维护伦理完整性需要保留人类监督，尤其是对辅助系统，同时制造商需透明披露训练数据、局限性与性能表现。随着更高自动化水平AI的出现，例如可独立判定正常研究无需医生复核的胶囊内镜软件，制造商可能需要承担更大责任，例如通过专门的医疗过失保险。美国医学会支持这一路径，糖尿病视网膜病变筛查自主AI系统LumineticsCore的开发商Digital Diagnostics即为典型案例。长期来看，分配责任的共享责任模式或无过错制度可能是最具可持续性的框架。
稳健的上市后监测同样不可或缺。持续真实世界监测，结合不良事件与近似错误的结构化上报，可识别性能问题、支持及时模型更新，助力内镜AI的安全落地。
5 透明度与偏见
透明度是医患关系信任与问责的核心，但许多内镜AI系统在此存在不足。训练数据披露有限，加上多数算法的“黑箱”特性，使得CADx分类等输出缺乏依据说明。可解释人工智能（XAI）被提议用于解决这一问题，例如CADx系统在给出诊断的同时展示JNET等公认的人为光学分类及置信度评分。但内镜领域的新兴证据表明，此类解释未必总是有益，可能因认知负荷增加而适得其反。一项更广泛的人机协作系统评价与荟萃分析发现，加入解释并未带来显著获益，说明可解释性本身可能不足以提升人机协作效能，人与AI的相对性能等因素似乎更具影响力。仍需更多研究明确可解释性在真实内镜场景中的价值，以及如何平衡其与认知负荷的关系。
全球监管对透明度的要求存在差异。欧盟《人工智能法案》将多数医疗AI列为高风险，要求透明度与人类监督，包括提供关于系统输出的有意义信息。美国患者虽有权根据HIPAA访问自身数据并了解使用方式，但无权获知AI系统得出特定决策的过程。美国食品药品监督管理局聚焦于安全性与有效性，不强制要求可解释性。2022年《人工智能权利法案》将“通知与解释”作为原则推广，但不具约束力。
监管正逐步向更高透明度迈进。加利福尼亚州新立法要求生成式人工智能（GenAI）系统开发者披露训练数据集。内镜领域也可采取类似措施，例如强制披露数据集构成，以支持知情采购与实施。美国胃肠内镜学会已提议使用内镜AI模型卡，汇总训练数据、性能与上市后监测计划。
偏见仍是重大关切。许多CADe算法主要基于腺瘤训练，导致对无蒂锯齿状病变（SSL）的检测性能不足，尽管后者在结直肠癌发生中起重要作用。已有研究尝试通过提高SSL占比来优化系统。部署后还可能因泛化能力不足产生新的不平等：不同地区数据集构成存在差异，部分东亚国家扁平结肠肿瘤检出率高于西方国家；东亚胃癌发病率更高，利于早期胃癌CADe开发，但也限制了其在西方低发病率人群中的适用性。
采用层面的结构性不平等可能进一步加剧差距。AI首先在高收入、数字基础设施完善的地区落地，若AI确实改善结局，资源有限地区缺乏AI将导致腺腺瘤检出率更低、结直肠癌风险更高。但模拟研究显示，CADe对结直肠癌发病率的影响可能有限，却会因过度诊断临床意义不大的息肉而增加随访负担，凸显了盲目实施的风险。
多个专业机构基于此类证据发布了内镜AI推荐意见或立场声明，包括日本胃肠内镜学会、欧洲胃肠内镜学会、美国胃肠病协会。尽管依据的证据大体相同，建议却存在差异：欧洲胃肠内镜学会推荐在筛查与监测结肠镜中使用CADe，英国医学杂志推荐反对使用，美国胃肠病协会则未作推荐。这些分歧反映了对癌症预防获益不确定性与过度诊断等危害的不同权衡。学界日益认同评估应超越检测指标，延伸至患者相关结局。美国胃肠病协会进一步指出，当前息肉切除术后监测指南可能需要结合检测能力提升重新审视。世界内镜组织近期发布的国际共识声明则将焦点从有效性拓展到负责任部署的条件，强调治理、透明度与医疗法律责任明晰。
因此，内镜AI的部署应当审慎，结合性能表现、资源影响以及对后续诊疗路径的作用综合考量。世界卫生组织与STANDING Together（数据多样性、包容性与泛化性标准）项目等国际倡议，均将透明报告、公平与数据多样性作为负责任AI部署的核心。相关研究也在持续推进，以识别和缓解AI全生命周期的偏见，胃肠内镜领域的策略包括亚组分层性能评估、纳入多元化内镜图像、开展上市后监测以发现差异性表现。
6 人机交互
有效落地要求内镜医生提升技术素养，包括理解AI系统的设计、验证与部署逻辑，这需要覆盖所有职业阶段的教育培训，同时建立AI性能反馈机制，上报CADe漏检息肉、CADx误判病变、自动报告系统生成错误信息等问题。这类反馈对安全监测至关重要，但必须以不给医生增加显著负担的方式实施。
人机交互是安全临床转化的核心，真实世界研究显示CADe对腺腺瘤检出率的提升幅度低于临床试验。部分医生可能出现算法厌恶，即不愿信任或采纳AI输出，尤其是在目睹错误分类或过多CADe警报之后。另一些医生则可能出现自动化偏见，过度信任AI输出，即便自身判断更准确也倾向于依从AI结果。过度依赖可能导致技能退化，有新兴证据表明停用CADe后医生腺腺瘤检出率下降，提示可能存在依赖性效应。这种效应是否源于注意力或注视模式改变尚不确定，需要进一步研究理解与缓解此类风险。CADx系统若被过度使用，也可能导致医生区分腺瘤与增生性息肉的能力下降。潜在解决方案是明确必须维持的核心技能，例如息肉光学诊断，并要求定期在无AI支持下开展内镜操作，这一思路与美国联邦航空管理局鼓励适当手动飞行的航空指南类似。
AI还可能重塑绩效监测模式。基于计算机视觉的新型指标正在涌现，可客观量化黏膜检查、退镜技术与可视化完整性等操作质量，这些关键绩效指标（KPI）可通过回顾录像与客观质量标记，提升结肠镜后结直肠癌根本原因分析的透明度与准确性。但其引入也有潜在风险：自动化KPI可促进最低质量水平提升，但如果医生担心无法通过未经验证的机器基准，可能导致操作时间延长或防御性行医。广泛使用前必须明确其行为学影响。
更宏观地看，临床医生担忧AI会改变职业角色。尽管存在自主权丧失的顾虑，当前内镜AI仍以辅助为主。自动报告生成等新兴系统可减轻电子健康记录相关的行政负担，支持临床医生职业福祉。
实现这些获益需要结构化教育、清晰的专业标准与循证实施，专业学会应在开发培训课程、制定清晰标准、推进人机交互有效研究方面发挥关键作用。
7 生成式人工智能带来的新兴议题
生成式人工智能的快速进步为内镜领域带来了额外的伦理、法律与监管挑战。与早期针对特定任务的内镜系统不同，生成式AI可产出报告、建议、行政数据等广泛内容。当这类系统在大规模多样数据集上训练以适配多任务时，常被称为基础模型。其应用广度使得明确预期用途变得困难，而这是现有监管框架的核心依赖，可能需要对既有方法进行调整。
这类系统还带来独特的安全挑战，可能产生看似合理但错误的输出并以高置信度呈现，即幻觉，且难以检测。在内镜场景中，这可能表现为不准确的操作报告、随访建议或计费代码。若存在自动化偏见且模型开发透明度不足，这些风险会被进一步放大，尤其是现成通用系统。
目前尚无生成式AI或基础模型系统获得内镜应用监管批准。初期应用可能首先出现在自动报告生成与工作流优化等低风险领域。
8 结论
AI融入胃肠内镜实践是临床发展的重要里程碑。尽管AI潜力巨大，但其落地成效不一，必须以健全的伦理与法律框架为指导。解决数据治理、患者安全、责任归属与偏见等挑战，是确保AI公平、安全服务于患者的关键。随着技术演进，尤其是生成式AI的兴起，新的复杂性将持续出现，需要持续的警惕与适应性调整。人机交互将在塑造结局中发挥核心作用，凸显了结构化教育、审慎设计与持续反馈循环的必要性。最终，内镜AI的负责任部署需要临床医生、开发者、监管者与患者共同参与。通过优先保障透明度与患者中心照护，内镜领域可在守护核心伦理原则与安全底线的同时，充分受益于AI技术。
