编辑推荐：
为解决美国 AI 治理中安全网组织被排除、易加剧医疗数字鸿沟的问题，研究人员开展 AI 治理相关研究。结果表明需多方协作调整治理议程。推荐阅读，助您了解如何推动公平的 AI 政策与实践，把握 AI 治理关键要点。
摘要
尽管稳健的人工智能治理需要人工智能（AI）生态系统中不同利益相关者的参与，但美国安全网机构在很大程度上被排除在这类合作之外。如果不重新调整人工智能治理议程，美国医疗体系中被边缘化的患者将不成比例地承担人工智能带来的风险。为防止数字不平等和组织数字鸿沟的重现，作者[第一作者单位] 的研究人员建议不同利益相关者采取具体的后续措施，以推动制定更公平的政策和实践。
引言
符合伦理的人工智能要为患者带来最大利益并将伤害降至最低，这需要基于共识的规范机制。定义这些规范机制的工作主要涉及学术专家对人工智能治理的设想、行业利益相关者设计相关工具，以及联邦和州机构制定指导方针和法规 。这些努力产生了各种用于人工智能风险管理、质量保证和评估的治理框架，旨在为考虑部署人工智能工具的医疗服务提供组织提供参考。这些治理框架通常反映了美国大型医疗系统和学术医疗中心（AMC）的情况，这就导致了像联邦合格健康中心（FQHC）和安全网医院这样的安全网提供者存在治理差距，因为它们往往缺乏遵循这些指导方针所需的内部数据科学能力或其他资源。患者群体、劳动力、资源、组织结构和信息技术环境的差异意味着现有框架通常不足以适用于安全网机构的情况。与其对现有框架进行小修小补或外包治理的各个方面，不如直接让安全网组织（SNO）参与设计医疗领域安全且符合伦理的人工智能的最佳实践。
当前治理框架与安全网之间的差距是一个特别紧迫的问题，因为将安全网组织抛在后面会产生严重的公平性问题。潜在影响的规模相当大，每年有超过 3100 万患者在联邦合格健康中心接受治疗，此外还有数百万患者在安全网医院接受治疗。这些数千万患者容易受到人工智能风险的影响，包括但不限于不准确的预测、医疗服务的行政障碍、歧视和诊断延误。如果不集中精力重新调整人工智能议程以纳入安全网组织，这些风险将不成比例地由边缘化患者承担，这违反了核心医学伦理原则。
作者[第一作者单位] 的研究人员认为，必须积极预测并减轻组织人工智能数字鸿沟的影响，即一些医疗系统能够利用这项技术的价值，而另一些则不能。组织数字鸿沟扩大的影响包括：（1）在人群层面加剧医疗保健差距；（2）在组织层面加深医疗服务提供中的结构性不平等；（3）在个体患者层面扩大获得高质量医疗服务的差距，这将使边缘化患者和社区暴露在人工智能的风险中。远程医疗和先进电子健康记录（EHR）功能等技术创新方面的历史差距实例凸显了在人工智能治理的政策、法规和行业驱动的最佳实践形成过程中，尽早减轻数字不平等的必要性。作者[第一作者单位] 的研究人员为人工智能生态系统中的领先人工智能采用者、开发者、行业合作组织、政策制定者和监管者提供了一个起点，以促进安全网组织的实质性参与。研究人员主张采用高影响力的方法，在现有政策和行业最佳实践的基础上进行拓展，从而为美国安全网机构及其服务的数千万患者最大化人工智能的潜在利益，同时保护他们免受无效、有偏见或不安全工具的影响。
人工智能的悖论
医疗人工智能的悖论在于，安全网组织可能从人工智能的潜在利益中获益最多，但却特别容易受到其风险的影响，如偏见和歧视。尽管资源有限且缺乏为其患者群体设计定制人工智能工具的能力，安全网组织仍在考虑将人工智能工具作为解决长期挑战的潜在方案的一部分。例如，安全网临床医生在为受到交叉健康不平等影响的患者提供护理时，承受着特别大的压力，且面临职业倦怠的威胁。如果环境记录技术能够兑现减轻文档负担、改善患者互动的承诺，那么它可以缓解临床医生的文档负担，减轻其压力。如果环境记录工具能够有效地融入临床医生的工作流程，在不同患者群体使用的多种语言环境中可靠运行，并减少文档记录时间，安全网组织就可以利用它们来减少临床医生的职业倦怠。然而，目前尚不清楚这些工具是否能满足这些标准，而且安全网组织通常没有能力进行作为治理关键组成部分的全面评估或持续的实施后监测。考虑到这些限制和本地评估的需求，这个案例凸显了让安全网组织参与制定医疗人工智能议程的重要性，否则将导致能够安全部署人工智能的医疗服务提供组织与无法做到的组织之间出现组织数字鸿沟。
安全网组织在追求有效的人工智能实施过程中，面临着许多与学术医疗中心和大型医疗系统相同的障碍，如关于价值证据和实施后监测的问题。同样，对偏见和模型漂移的担忧也是共有的。然而，安全网组织要照顾数百万患者，与学术医疗中心或大型医疗系统相比，资源更少，同时还要应对威胁患者健康的交叉不平等问题。它们面临资源限制，专注于患者参与和公平性，并且在劳动力方面存在困难，这些使得它们的医疗服务提供环境独具特点。它们在治理能力上的限制是资源更充足的组织所没有的，需要特别关注，以防止组织数字鸿沟的加剧。
资源限制
由于当前的压力，如医疗补助计划的调整，以及长期存在的低报销率带来的财务挑战，安全网组织面临财务压力。例如，2022 年，大约一半的社区健康中心患者有医疗补助保险，18.6% 的患者没有保险，这使得 25% 的健康中心手头现金仅够维持 63 天。目前市场上的人工智能工具对安全网组织来说往往价格过高。即使有证据证明其价值，购买、评估和持续监测人工智能的成本意味着安全网组织在全面治理人工智能方面的能力常常受到限制。这可能导致它们回避这项技术及其潜在利益。或者，由于希望缩小组织数字鸿沟，它们可能会在无法有效治理的情况下实施人工智能工具，从而带来风险。
尽管安全网组织致力于保护患者隐私、遵守联邦和州法规以及保障信息安全，但为了提升人工智能能力，它们可能还需要与那些数据保护不够完善或数据共享条款不理想的供应商合作。外部供应商不断向它们推销人工智能转型和效率提升方案，而内部又担心如果人工智能工具确实有用且有效，自己在医疗信息技术方面会进一步落后，这使得压力倍增。安全网组织在实施和有效使用各种形式的医疗信息技术方面，历来落后于其他组织。完全回避或有限的治理都不是可持续或公平的前进道路，这凸显了需要直接为安全网组织分配资源、提供技术专业知识，并制定量身定制的解决方案，以最小化评估和实施安全、符合伦理的人工智能的成本。
患者参与和公平性
在一些组织中，公平性被视为人工智能主要治理优先事项的可选附加内容，但对于以服务边缘化患者和社区为宗旨的安全网组织来说，情况可能并非如此。不同机构在治理工作中对公平性的重视程度不同，这可能是当前治理指南或合作与安全网组织之间不一致的一个根源。许多当前的框架没有将公平性作为关键优先事项或核心驱动力。相反，它们可能提供偏见或公平性评估。然而，偏见和公平性与公平并不等同，公平指的是在更具优势和较不具优势的社会群体之间，在健康或其社会决定因素方面不存在系统性差异。以预测错过预约的工具为例，该工具可能在不同种族和族裔群体中表现一致，不存在偏见。然而，使用这个工具来重复预约并不是促进健康公平或医疗服务可及性的做法。相反，这延续了所谓的有害偏见，即社会不平等反映在健康状况的差异中。因此，当前治理框架中的公平性要素可能不足以满足安全网组织在优先考虑公平性方面的工作需求。
此外，虽然有效的治理需要安全网组织所服务的社区积极参与，但当前的治理框架往往忽视了在人工智能设计和实施过程中全面让患者参与的必要性。另一方面，联邦合格健康中心由其患者和当地社区代表共同管理，这意味着相关的人工智能最佳实践需要纳入患者的观点并让患者参与其中。如果没有不同患者和临床医生的意见，人工智能解决方案可能无法符合安全网组织的需求或价值观。人工智能治理议程需要直接让患者参与，并将公平性置于核心位置，而不仅仅局限于算法公平性，以便制定出有意义且相关的治理指南，涵盖并支持安全网组织。
能力和劳动力
医疗领域对人工智能的许多期望都寄托在组织的治理能力上，以确保安全性和公平性。一些早期采用人工智能的机构已经设计了自己的内部治理流程来管理人工智能。然而，安全网组织通常没有数据科学能力来构建、校准或在本地验证模型，即使有像 Epic 的开源地震仪这样的工具。竞争和资源差距使得招聘和留住技术专家及临床信息学家极为困难，甚至几乎不可能。招聘和留用人员是整个安全网组织长期面临的问题。安全网组织在获取管理复杂合同安排所需的法律专业知识方面也常常处于劣势，这些合同安排可能会影响人工智能使用的医疗责任、数据权利，或者与供应商产生冲突，从而增加潜在风险。以供应商为重点的法规和指南，在技术政策助理部长 / 国家协调员办公室（ASTP/ONC）的 HTI - 1 基础上进行拓展，保护安全网组织及其患者免受低质量或有偏见的工具的影响，这将是安全网组织在人工智能应用方面取得的重大进展。这些保护措施将有助于保护安全网组织免受一些风险，并减少能力限制带来的负面影响。此外，直接提供资源和技术专业知识对于促进安全网组织执行与本地验证相关的最佳实践是必要的。无论是通过与其他组织合作，还是提供资源来招聘和留住具有人工智能专业知识的人员，这些对于发展安全网组织的治理能力都是必要的。为安全网组织设计的可行、简洁的治理工具包或框架，也将标志着与当前状态相比取得了重大进展。
后续步骤
人工智能生态系统的不同组成部分，包括治理合作组织、行业和政策制定者，都应采取关键步骤，避免人工智能领域组织数字鸿沟的加深（图 1）。首先，如果安全网组织及其患者要从人工智能的潜在价值中获益，按照现有伦理原则对人工智能工具进行严格评估是当务之急。如果无法获得确保公平性、有效性和安全性所需的专业知识，数字不平等的风险将会增加。其次，政策制定者和监管者可以采取的一项高影响力措施是进行伦理监督，并要求人工智能供应商进行认证。例如，在 ASTP/ONC 的 HTI - 1 基础上进行拓展，将提供更大程度的保护，防止使用有偏见和不透明的工具。HTI - 1 列举了对认证健康信息技术供应商关于预测性决策支持工具透明度的要求，这意味着医疗系统用户将获得关于基础数据和测试的最低限度信息。这种供应侧规则将使所有健康信息技术客户受益，在此基础上进一步加深对公平性影响的理解并进行全面评估，将特别有助于安全网组织的人工智能治理工作。
<figure><figcaption><b>图1：安全网人工智能挑战和政策建议</b></figcaption><div><div><a data-test="img-link" data-track="click" data-track-label="image" data-track-action="view figure" href="/articles/s41746-025-01479-4/figures/1" rel="nofollow"><picture><source><img aria-describedby="Fig1" src="//media.springernature.com/lw685/springer-static/image/art%3A10.1038%2Fs41746-025-01479-4/MediaObjects/41746_2025_1479_Fig1_HTML.png" alt="figure 1" loading="lazy" width="685" height="395"></picture></a></div><div><p>安全网组织面临的每个差距或挑战都与针对美国人工智能生态系统的3条应对建议相关联。</p></div></div><div><a data-test="article-link" data-track="click" data-track-label="button" data-track-action="view figure" href="/articles/s41746-025-01479-4/figures/1" data-track-dest="link:Figure1 Full size image" aria-label="Full size image figure 1" rel="nofollow"><span>Full size image</span><svg><use></use></svg></a></div></figure>
使参与制定人工智能治理议程的组织的视角多样化至关重要。行业和政策制定者可以让安全网组织及其患者参与决策过程，以确保他们制定的指导方针与这些群体相关且合适。持续让安全网组织及其患者群体参与，可能包括对这些个人或其组织的参与给予补偿。医疗人工智能利益相关者应提供实用且相关的资源，使安全网组织能够进行全面的人工智能治理。最后，应努力通过投资针对安全网组织的工具设计来促进人工智能的公平质量，以缩小医疗人工智能质量差距。这种方法可能会避免翻译问题，即由于数据采集、患者群体和组织工作流程的差异，在一种环境中运行良好的工具在其他环境中无法正常运行。为安全网组织专门设计工具将减少对那些在安全网环境中不太可能表现良好的工具进行验证所需的资源。
结论
安全网组织面临着确保人工智能公平、有效、可靠和安全的普遍挑战。然而，其资源限制和以公平为重点的使命，需要额外的资源和努力，以确保人工智能数字鸿沟不会扩大。人工智能生态系统中的领先人工智能采用者、开发者、行业合作组织、政策制定者和监管者，应直接参与并支持安全网组织，以推动人工智能治理议程，公平地服务于所有患者。
