美国医院人工智能部署的安全、伦理与可信治理框架：一项系统综述与监管缺口分析——以美国监管语境为重心

《Frontiers in Digital Health》：A framework for safe, ethical, and trustworthy AI deployment and integration in hospitals: a systematic review and regulatory gap analysis with emphasis on the U.S. regulatory context

　　

摘要专业翻译 背景： 人工智能（AI）在美国医院中的快速部署已超越现有监管框架的承载能力。截至2025年底，美国食品药品监督管理局（FDA）已累计授权超过1,451种AI辅助医疗器械，但治理体系仍呈碎片化且以被动应对为主。尽管本监管分析以美国为重点，综述亦纳入了与美国医院治理直接相关的国际证据，且涉及美国的具体结论主要基于美国本土证据。 目标： 本系统综述与监管缺口分析旨在审视美国医院AI治理的现状，识别现有监管与治理需求之间的关键缺口，并提出一个用于安全、可信AI部署的综合框架。 方法： 本综述依据PRISMA 2020规范开展并报告。检索了四个数据库（PubMed、Web of Science、Scopus、Google Scholar），纳入2017年1月至2026年1月（最终检索日期为2026年1月15–18日）发表的同行评审文献。纳入标准采用PICOS框架构建。依据研究设计分别使用CASP、NOS及QUADAS-2工具进行质量评价。采用叙述性综合法进行证据整合，随后对联邦法规、规章及机构指南开展结构化监管缺口分析。 结果： 共识别1,065篇文献，其中22项研究符合纳入标准。系统综述显示，FDA、ONC（国家卫生信息技术协调办公室）与CMS（医疗保险和医疗补助服务中心）的标准相互不一致，且未能针对AI不断演进的能力进行适配；证据表明上市前审批与实际临床性能之间存在不一致、持续监测利用不足以及亚组偏倚分析缺失。监管缺口分析识别出四项关键缺口：上市后监测缺陷、公平保障失效、问责界定不清以及治理能力差异。上述发现对美国监管政策的具体解读分别呈现在监管缺口分析与讨论部分。 结论： 亟需建立全生命周期治理框架，整合持续监测、透明度保障、公平保障机制、问责机制及可扩展的治理结构，以确保AI在医疗保健领域的安全、伦理与可信部署。主要局限性包括：方案回顾性注册、仅限英文文献以及纳入证据的异质性。 系统综述注册： 开放科学框架（OSF）：https://osf.io/7q5xt

论文主体内容学术总结

引言

引言指出，AI技术融入医院运营是当代医学最具变革性的技术转型之一。深度学习模型在影像诊断、脓毒症早期预测及肿瘤精准决策中已展现接近或超越临床专家的能力，同时AI亦被用于自动化临床文档、优化行政流程及患者风险分层。截至2025年底，FDA累计授权超过1,451种AI/机器学习（ML）医疗器械，全球医疗AI市场在2023年估值约144亿美元。然而，现行法律与监管框架呈现碎片化、被动应对的特征，无法适应AI的持续学习能力、算法黑箱及输出结果的语境依赖性。联邦监管架构由FDA（对软件即医疗器械（SaMD）的上市前审查）、ONC（依据HTI-1规则对预测性决策支持干预实施透明度认证）、CMS（通过参与条件、质量报告与支付政策影响AI采纳）、HIPAA（健康数据隐私与安全）及FTC（消费者保护）构成，各机构仅管辖AI部署的特定片段，缺乏统一协调机构。州级立法作为补充力量形成拼图式监管格局，以加利福尼亚州为典型，其立法对数据来源标注、算法披露、使用限制及责任机制提出严格要求。已记录的实际失败案例包括Obermeyer等人发现的算法系统性低估黑人患者疾病严重程度，以及脓毒症预测系统因外部验证不足导致的警报疲劳。拜登总统行政命令、FDA的预定变更控制计划（PCCPs）及ONC的HTI-1规则虽体现监管改进意识，但整体仍缺乏全生命周期治理。本文提出三项研究问题：RQ1描述美国医院AI治理现状；RQ2识别现有监管与治理需求间的显著缺口；RQ3基于证据提出安全、伦理、可信AI部署的框架要素。

材料与方法

本研究依据PRISMA 2020声明开展系统综述，采用预先设定的PICOS标准筛选文献。纳入标准涵盖：人群（P）为美国急性护理医院及卫生系统，排除门诊及非临床场景；干预（I）为机器学习、深度学习、自然语言处理、临床决策支持及预测分析等AI应用；比较（C）涵盖不同AI技术、传统与AI实践对比及不同监管治理方式；结局（O）包括监管合规、伦理（偏倚、透明度、问责）、患者安全与可信度，次要结局涉及实施障碍、健康公平、临床有效性及治理策略；研究设计（S）包括随机对照试验、观察性研究、定性研究、混合方法研究及诊断准确性研究。排除标准包括重复文献、无实证数据的评论、方法学报告不足、非医疗场景及非英文研究。检索覆盖PubMed、Web of Science、Scopus及Google Scholar四个数据库，时间跨度为2017年1月至2026年1月，Google Scholar仅筛查前100条记录。灰色文献检索系统覆盖FDA、ONC、CMS、NIST及州立法机构。研究筛选由两名评审者独立进行，Cohen's kappa值为0.84，分歧由第三名评审者仲裁。数据提取采用预先设计并经过预试验的标准化表格。质量评价依据设计类型分别采用CASP（定性研究）、NOS（队列及病例对照研究）及QUADAS-2（诊断准确性研究），评价结果用于证据加权而非排除研究。数据分析采用叙述性综合法，因研究异质性不进行Meta分析。监管缺口分析采用结构化编码框架，覆盖上市前授权、部署、上市后监测及问责四个生命周期阶段，缺口仅在至少两个独立来源（如监管文件与同行评审证据）汇聚时予以记录。

结果

研究选择结果

共检索到1,065篇文献，其中Web of Science 133篇、Scopus 111篇、PubMed 721篇、Google Scholar 100篇。去除167篇重复后，898篇进入标题与摘要筛选，排除855篇后43篇进入全文评估，最终21篇因不符合纳入标准被排除，22篇研究纳入最终综述。

偏倚风险评估

纳入研究总体呈现中等偏倚风险。CASP评估显示多数定性研究采用恰当方法，但存在可比组缺失、代表性不明确、盲法缺失及混杂因素处理不佳等问题。NOS评估显示队列研究方法学质量较高，QUADAS-2评估显示诊断准确性研究在患者选择与待评价试验领域存在中等或不确定偏倚风险，但在流程与时间领域表现良好。

参与者特征

纳入研究涵盖患者、临床医生、医院管理者及医疗技术开发者等多元群体。研究以观察性或定性设计为主，包含一项随机对照试验。主要结局变量包括AI诊断准确性、偏倚消减策略、伦理与监管标准依从性、患者安全及临床工作流优化。研究主要在美国开展，少数来自加拿大、沙特阿拉伯及荷兰，国际研究仅用于背景化与三角验证，美国特定结论主要基于美国本土证据。

当前监管格局概览

美国医院AI监管分散于多个联邦机构与法律框架，缺乏统一协调机构。FDA负责上市前安全审查，ONC负责IT透明度认证，CMS通过支付与质量项目影响AI采纳，NIST提供风险管理框架，民权法律（Title VI、ADA、第1557条）涉及反歧视，但各机构间缺乏协调，由此衍生出四项关键监管缺口。

FDA上市前安全框架

FDA对临床AI的上市前安全要求持续面临基准验证与真实世界泛化性之间的张力。研究参与者将偏倚、知情同意侵犯及医患关系破坏视为比设计缺陷更切实的危害。临床专家认为AI增强的电子健康记录（EHR）系统应纳入SaMD范畴。然而，上市前测试性能与临床实际可用性之间存在持续差异，例如预测模型在回顾性数据上AUC达0.96，但缺乏外部验证；COVID-19诊断AI在开放数据集上AUC大于0.95，真实世界部署后降至0.70。部分研究展示了监管级证据潜力，如KATE分诊系统准确性较护士高26.9%，肺栓塞诊断AI实现99.9%阴性预测值，APPRAISE-AI评估工具与TRIPOD指南高度一致。大型语言模型评估显示GPT-3.5可回答全部80个临床场景，GPT-4在67/80例（83.8%）中提供一致响应，但两者均未充分识别多样性、公平性与包容性原则。

ONC透明度要求

透明度不足是AI安全整合的最持久障碍之一。患者对AI应用沟通存在显著模糊性，未满足21世纪治愈法案要求。73.1%的临床医生认为缺乏信任、透明度或偏倚是AI实施的关键障碍。具体问题包括GPT-4无法解释决策过程、黑箱推理降低临床信心、回顾性监测无法充分检测偏倚或模型漂移、47.4%的医院未开展准确性评估、51.4%缺乏偏倚评估方案，仅44%的医院进行本地偏倚评估。建设性透明度模型包括DEPLOYR框架（整合模型概率、特征重要性与破坏性警报）、KATE系统（捕获1,880,841个特征，准确率98.47%）、MedPerf标准化开放基准测试及PEACH系统（可解释性评分4.46/5.0）。

CMS支付与质量项目

AI实施与CMS质量指标的关系呈现复杂模式。76.9%的临床医生认为AI相关低效是重大医院挑战。大型、非营利及医院系统附属医院更倾向使用机器学习预测住院风险、再入院及排程。2022至2025年涵盖70项CMS质量指标的纵向观察研究显示，使用AI的医院在肺炎死亡率与医院获得性疾病方面呈积极趋势，但在再入院率与脓毒症治疗依从性方面呈消极趋势。高性能AI系统取得显著成果：KATE系统将分诊不足率从19.8%降至9.7%，肺栓塞AI将检测时间从7,714分钟降至87分钟并将漏诊率从44.8%降至2.6%，脓毒症算法将早期抗生素给药时间缩短至2.76小时并使住院死亡率从21.3%降至9.0%。

四项关键监管缺口

证据综合揭示了四项相互关联的关键监管缺口，这些缺口并非孤立缺陷，而是结构性相互依赖关系。

上市后监测缺口

上市后评估对SaMD治理至关重要。回顾性测试准确率达96%的模型在临床部署后可能显著退化。COVID-19诊断AI在19周上市后监测期间AUC维持在约0.70，但各时间四分位间存在0.66至0.74的波动。全国样本显示仅58.1%的医院在2024年实施上市后监测，多数缺乏连续漂移检测。47.4%的医院未评估部署后准确性，51.4%未评估偏倚，61%的医院仅评估准确性而不评估偏倚，且所有监测均为零散进行。DEPLOYR工具成功发现前瞻性与回顾性性能评估之间的差异。

公平保障缺口

非代表性训练数据集可能对不同人群产生误导性建议。再入院预测模型的训练数据中西班牙裔与亚裔参与者不足2%，白人超过75%，且未评估亚组差异性能。GPT-4在医疗决策中偏向就业状况与基督教信仰。KATE分诊系统在成人（78.5%）与儿童（67.1%）间存在11.4个百分点的准确性差异，且未进行种族、民族或社会经济状况亚组分析。COVID-19 AI在亚裔患者中AUC达0.94但在白人患者中较低，表明亚组分析可揭示双向不公平。结构性差异方面，大型医院采用机器学习概率较小型医院高15.2%，卫生系统附属医院较独立医院高26.8%，高医疗需求且低AI采用率地区持续处于不利地位。

问责界定缺口

医院AI问责涵盖法律赔偿责任、临床责任、机构治理与供应商义务四个维度，但各维度均界定不足。患者将医生视为AI辅助医疗的中介，但机构内部问责机制不明。放射科医生承担肺栓塞诊断责任，但12例漏诊的责任分配不清；COVID-19 AI-临床混合框架未确定开发者、信息学家与主治医生间的责任分布；脓毒症预测随机试验未明确患者伤害时的责任分配。79%的医院使用EHR供应商创建的预测模型，但医院、开发者、供应商与临床医生之间缺乏责任界定框架。

治理能力缺口

监管能力短缺是跨领域的约束因素。时间限制、资金不足、可及性缺乏及培训不足被识别为AI成功治理的系统性障碍。医院规模使机器学习使用概率提高20.6个百分点，卫生系统附属关系提高26.8个百分点，床位数量提高15.2个百分点。仅65%的医院使用预测模型，仅44%评估偏倚，且高实施率主要集中于大型、盈利能力更强的医院。最佳实践案例显示现有标准对多数机构难以企及：DEPLOYR需要Azure Functions、专业Python库及数据仓库访问权限；KATE仅在两处大型城市站点测试；MedPerf需要20多家企业、20所大学及9家医院跨国协作；OMOP通用数据模型转换面临IT与临床能力不足及监管路径缺失。

讨论

讨论强调识别缺口与观察结果之间可能存在的机制联系、证据内部矛盾及调节治理失败发生地点与人群的语境因素。社会技术机制包括工作流整合不良、警报疲劳与未测量的数据漂移；经济机制包括供应商市场集中（79%医院使用EHR供应商模型）及采购实践优先实施速度而非验证；监管机制源于权威分散导致的责任扩散。证据存在矛盾：AI与部分CMS指标改善相关，却与其他指标恶化趋势相关；单中心系统的高性能未能跨机构泛化；透明度规则存在但执行不足。医院规模、所有权、系统附属关系、区域数据基础设施及本地监管能力均调节AI采用与治理能力。针对目标1，FDA上市前评估显示模型AUC从0.95降至0.70的部署后衰减；ONC透明度要求执行不足；CMS质量指标与AI实施呈混合关联。针对目标2，四项关键缺口结构性互连，治理能力为跨领域约束。针对目标3，生命周期治理框架涵盖六项要素：严格上市前验证、强制性上市后监测、标准化透明度要求、公平中心评估、清晰问责框架及可扩展治理基础设施。国际比较显示，欧盟AI法案对高风险AI系统（含多数医疗AI）施加约束性上市前符合性评估、集中化执法、明确提供者与部署者义务及强制性上市后监测，而美国要求分散、执法分割、问责分散且上市后机制仍处早期实施阶段。英国NHS指南强调临床验证、透明度与持续监测，但其单一国家卫生系统结构与美国不同。

结论

美国临床AI监管环境呈现监管原则先进性与阻碍有效应用的显著缺口并存的特征。实现安全、伦理、可信的AI部署需要从传统上市前审批范式转向基于AI产品全生命周期的动态治理模型。四项关键缺口包括：上市后监测系统不足、公平保障机制缺失、问责框架模糊及治理能力差距。治理能力缺口尤为关键，因其可能制约其他三项缺口的改善。本综述提出美国医院AI治理综合框架应采用生命周期方法，涵盖六项要素：严格上市前临床验证与标准化基准测试、带自动漂移检测与性能警报的强制性上市后监测、与ONC HTI-1规则一致的标准化透明度与可解释性要求、要求亚组分析与偏倚报告的公平中心评估协议、明确开发者、供应商、医疗机构与临床医生责任的问责框架，以及对资源不足医疗机构提供定向支持的可扩展治理基础设施。现有碎片化监管框架与拟议三层国家框架（联邦主干层、强制医院治理层、开发者问责层）形成对比。行业预测显示未来十年AI技术将影响美国多数主要卫生系统的临床决策，若缺口持续存在，患者安全、公平与临床信任风险将随部署规模扩大而增长。

局限性

本综述存在多项局限：纳入文献异质性可能影响结果可比性；大量研究采用回顾性及单中心设计，限制泛化性；样本缺乏多样性可能引入偏倚；AI技术与监管环境快速演进使部分发现可能过时；亚组分析、偏倚测量及部署后性能报告缺失可能导致低估特定风险；发表偏倚可能影响证据基础；部分纳入研究在境外开展，其发现可能不适用于美国医院环境。方法学局限包括仅检索四个数据库（未含Embase、Cochrane Library、CINAHL、ClinicalTrials.gov及PsycINFO）、检索策略未经PRESS同行评审、未系统检索会议论文、学位论文及预印本服务器、方案回顾性注册（虽优于不注册，但无法完全排除选择性报告风险）及英文语言限制。未来更新应通过扩展数据库覆盖、正式PRESS审查、系统灰色文献检索及前瞻性方案注册解决上述局限。