《Frontiers in Artificial Intelligence》：From model failure to system harm: operationalizing a sociotechnical pathway for healthcare AI safety
编辑推荐：
以下是论文摘要的专业翻译：
医疗人工智能（Healthcare Artificial Intelligence, Healthcare AI）通常采用区分度（discrimination）、校准度（calibration）、灵敏度（sensitivity）、特
以下是论文摘要的专业翻译：
医疗人工智能（Healthcare Artificial Intelligence, Healthcare AI）通常采用区分度（discrimination）、校准度（calibration）、灵敏度（sensitivity）、特异度（specificity）和基准准确率（benchmark accuracy）等指标进行评估。尽管这些指标是必要的，但安全性最终取决于AI输出进入临床系统后所发生的情况，即该输出是否被注意到、被信任、被验证、被采纳，并通过现有工作流程和组织能力得以传播。来自上市后报告（postmarket reports）、人机交互研究（human-AI studies）、漂移分析（drift analyses）和公平性审计（equity audits）的证据表明，风险可能在该路径的多个节点产生，然而现有证据仍不足以量化AI相关伤害的发生率、可归因严重程度或长期后果。为此，研究人员提出一个五阶段社会技术路径（sociotechnical pathway），用于追溯风险从上游脆弱性（upstream vulnerability），经AI行为、人机工作流中介（human-workflow mediation）、决策或系统效应，直至下游伤害（downstream harm）的传播过程。该框架并非新增一套治理原则目录，而是追踪特定脆弱性的传播方式，并将每个过渡环节视为一个可审计的控制点（control point），关联可量化的指标、责任主体、升级标准和响应行动。阈值应根据预期用途和本地情境预先设定。
以下是根据论文主体内容撰写的解读文章：
一、研究背景与问题提出
医疗人工智能正日益深入地嵌入诊断、筛查、治疗规划、病历记录、分诊、风险分层、资源分配等临床运营环节。然而，当前对该类系统的评价语言仍以模型为中心，主要依赖区分度、校准度、灵敏度、特异度和基准准确率等技术指标。这些指标仅能描述模型在既定条件下是否按预期运行，却无法判定其输出进入临床照护后究竟会发生什么。论文指出，一旦AI输出进入临床实践，它便成为一系列人与组织决策链条中的一个输入：假阳性结果可能被识别并纠正而不产生后果，也可能触发影像检查、活检、转诊、治疗及患者焦虑，同时消耗有限的临床资源；反之，技术上正确的推荐也可能因阈值超出转诊承载能力、界面设计诱发不当依赖，或将验证任务转移给缺乏足够时间与权限的临床医生而造成伤害。因此，模型错误未必导致患者伤害，而技术上正确的模型输出也未必确保患者安全。
论文进一步指出，尽管已有大量报告指南和治理框架将评估范围扩展至真实世界临床研究与试验，但一个核心分析问题仍未解决：当脆弱性出现时，应如何通过临床系统追溯其传播路径，以判断该脆弱性是被放大、被拦截，还是最终转化为不良后果。这正是本研究所要回应的核心问题。
二、研究内容与核心结论
研究人员提出一个包含五个分析阶段的社会技术路径框架，用于追溯AI输出进入并影响临床照护的完整过程。该路径包括：上游脆弱性（可能源于目标定义、数据采集、表征、测量、模型设计、软件变更、分布漂移或输入受损）、AI行为（表现为误分类、遗漏、虚假置信、不稳定输出或不安全推荐）、人机工作流中介（决定输出是否被接受、质疑、延迟、忽略或验证）、决策或系统效应（可能改变检查、治疗、转诊、记录、出院或资源分配），以及下游伤害（包括临床损伤或延误、不公平的获取或治疗、隐私或安全伤害，以及使照护质量下降的专业与系统负担）。该框架的提出旨在避免两种相反的错误：一是将一切技术失败等同于患者伤害；二是假定技术正确的输出必然安全。其价值在于使中间过渡环节变得可见、可审计、可干预。
三、主要技术方法
本研究为观点性综述论文，未开展原始实验。研究人员采用目的性文献选择方法，系统梳理了涵盖上市后安全监测、已部署系统、人机交互、工作流、漂移、公平性、生成式AI安全、前瞻性部署及治理等领域的代表性研究，并据此构建五阶段分析路径与对应的五道控制闸门。文中引用的关键实证来源包括：涉及266份机器学习设备报告的上市后分析、903个FDA授权AI设备中4.8%被召回的前瞻队列研究、457名临床医生的随机对照研究、肯尼亚16家初级保健诊所及涉及9691名患者的整群随机试验等。
四、研究结果
4.1 直接临床与设备相关后果：上市后证据显示，AI系统可牵涉真实世界不良事件，但无法提供可靠的发病率估计。266份机器学习设备报告中16%描述实际伤害，9%描述对医疗交付的后果，4%描述险情。FDA授权设备中4.8%被召回，44.9%经历过软件版本更新。
4.2 人机交互：457名临床医生的随机研究显示，系统性偏倚的AI使诊断准确率下降11.3个百分点，基于图像的阐释未能显著保护用户免受错误建议影响。2026年荟萃分析发现人机协作的潜在收益具有任务依赖性，且结果存在较大不确定性。
4.3 工作流、组织负担与漂移：现场评估记录了AI实施过程中的延迟、变通做法、权力再分配和不确定收益。退伍军人健康管理局全国部署模型的正预测值随时间下降、假阳性增加；急性肾损伤预测模型的纵向研究显示异质性漂移，模型更新可改善性能。
4.4 公平性与人群层面伤害：以支出作为需求代理变量的群体健康算法系统性地低估了黑人患者的疾病负担；胸部X光片分类器和再入院模型显示出亚组差异和情境依赖的校准问题。
4.5 生成式AI输出危害：2026年综述识别出4609项临床大语言模型研究，仅1048项使用真实世界患者数据，其中仅19项为前瞻性随机试验。LLM在真实诊断与管理任务中表现受限，在肿瘤学问题上可能产生有害的错误答案。
4.6 部署证据：肯尼亚16家初级保健诊所中，审查者识别出1469次就诊中有115次（7.8%）存在有害的LLM推荐，其中67次出现在最终文档中；但涉及9691名患者的整群随机试验未发现14天治疗失败的显著差异，也未报告与干预相关的严重不良事件。
4.7 安全、隐私与鲁棒性脆弱性：提示注入和捏造的临床事实可显著改变模型输出；部分合成数据仍易受成员推断攻击；策展检索可减少幻觉但引入响应特征权衡。
五、讨论与结论
论文指出，当前证据支持可识别的、情境依赖的伤害路径存在，但无法提供AI相关临床风险的普适估计。上市后报告缺乏暴露分母，对照研究多使用病例或阅读任务，回顾性审计通常止步于模型或决策结果而非下游患者结局。这一不确定性并不意味着应推迟保障措施，而是限制了对其有效性的断言强度。论文据此提出五道对应的控制闸门：验证目标、数据与测量过程；建立本地有效性与弃权条件；测试人类依赖与工作流归属；评估下游承载能力并监测后果；以支持学习的形式报告事件。研究结论强调，医疗AI安全应被视为社会技术系统的生命周期属性，而非模型的静态特征。需要前瞻性部署研究来测量从AI暴露到人类响应、下游行动、资源效应和患者结局的完整链条，以量化风险并确定哪些保障措施能有效预防伤害。
