《International Journal of Medical Informatics》:Artificial intelligence in healthcare: clinical applications, evidence maturity, risks, and life-cycle governance
编辑推荐:
背景:人工智能(artificial intelligence, AI)正越来越多地被应用于临床、行政和公共卫生领域,但单纯的技术性能并不能确立其临床效用、安全性、公平性或可持续性。
目标:旨在批判性地分析当代医疗健康领域的AI应用,刻画支持性文献中的来源类型
背景:人工智能(artificial intelligence, AI)正越来越多地被应用于临床、行政和公共卫生领域,但单纯的技术性能并不能确立其临床效用、安全性、公平性或可持续性。
目标:旨在批判性地分析当代医疗健康领域的AI应用,刻画支持性文献中的来源类型与非序贯性证据特征,综合关键机遇与风险,并确定实现临床有用、安全、公平且负责任实施所需的治理要求。
方法:研究人员于2026年7月16日利用PubMed、虚拟卫生图书馆(Virtual Health Library)、Web of Science和Scopus作为来源发现工具,进行了一项批判性叙述性综合。通过判断性选择,汇集了28篇可经书目验证的出版物,以提供对临床应用、证据特征、实施、风险和全生命周期治理的互补覆盖。研究人员按主要设计和非互斥的证据领域对来源进行分类,并使用非序贯性证据特征类别对其所描述的证据进行刻画。由于技术、环境和来源设计之间存在显著异质性,因此采用定性方式整合研究发现。
结果:该精选语料库涵盖了诊断与影像、预测与监测、临床文档记录、对话系统、公共卫生、医院运营及专科应用。在该汇编语料库中,技术性能/验证和流程效用/工作流领域的代表性高于临床或患者安全结局、经济结局或部署后监测;这些文献层面的计数仅为描述性,对所选来源之外无推断权重。报告或提出的益处包括诊断支持、个性化、文档记录、监测和工作流效率。反复出现的风险包括泛化能力差、偏倚、校准不良、幻觉、不透明性、隐私担忧、互操作性问题、不当自动化、责任不清及隐性成本。
结论:在这一非穷尽性语料库内,证据更一致地支持辅助性的、特定情境下的用途,而非通用的自主替代。负责任的实施需要明确定义的预期用途、受治理的数据、情境化验证、与风险相称的人工监督、可追溯性、公平性与安全性评估、持续监测,以及在性能或实施条件发生变化时限制、暂停或撤回系统的程序。
论文解读文章
一、研究背景与问题提出
随着人工智能技术在医疗健康领域的渗透日益加深,从影像诊断、临床决策支持到病历文书自动生成和公共卫生监测,AI的应用场景不断扩展。然而,一个根本性的张力始终存在:技术性能的实验表现能否等同于临床环境中的实际效用、安全性和公平性?现有文献多聚焦于单一技术或特定疾病的算法开发,缺乏对AI在整个医疗健康生态系统中——从概念设计到部署后监测——所需证据层次、风险分布和治理框架的系统性整合。此外,不同监管辖区(如欧盟、美国、中国)虽已在数据保护、风险分类等方面形成初步共识,但在如何将原则转化为可操作的、贯穿系统全生命周期的机构级标准方面,仍存在显著空白。正是为了弥合这一“原则-实践”鸿沟,研究人员开展了本项批判性叙述性综合研究,旨在通过跨领域分析,将预期用途、临床应用的证据特征、固有风险与全生命周期治理决策统一到一个教学性框架之内。
二、研究方法概述
本研究被设计和报告为一项批判性叙述性综合,而非系统性综述或范围综述。研究人员于2026年7月16日利用PubMed、虚拟卫生图书馆、Web of Science和Scopus作为来源发现工具,通过判断性选择构建了一个包含28篇可经书目验证出版物的精选语料库。该语料库涵盖系统性综述、范围综述、快速综述、整合性综述、叙述性综述、指南与最佳实践文件、共识声明、概念与分析框架、监管分析、实施报告及观点文章等多元来源类型。研究人员对每篇出版物按主要设计(互斥)和非互斥的证据领域(技术性能/验证、流程效用/工作流、临床或患者安全结局、经济结局、规范性治理)进行分类,并使用非序贯性证据特征类别(概念性或规范性证据、回顾性技术或流程评价、外部/时间/地理或多中心验证、前瞻性工作流或实施评价、临床/患者安全/经济结局、部署后监测)对其所描述的证据进行刻画。所有分类均由两位作者独立核实,分歧通过第三方讨论解决。由于技术、人群和来源设计的巨大异质性,研究人员采用定性方式综合发现,未计算合并效应量。
三、研究结果
3.1 技术分类与使用条件
研究将医疗AI按技术路线分为预测性机器学习、深度学习与计算机视觉、自然语言处理、大语言模型(LLM)与生成式AI、检索增强生成(RAG)、多模态与基础模型以及人机协同系统七大类。每一类均有其主要功能、典型自主程度及推荐的使用条件。例如,预测性模型需明确的预期用途、代表性数据、防止数据泄漏以及外部队列验证;LLM用于临床文档起草时必须由专业人员审核批准,而直接向患者提供未经监督的诊断或治疗建议则不被推荐。值得注意的是,同一底层模型因预期用途和监督程度的不同,可能导向截然不同的治理决策。
3.2 临床与功能应用
研究将应用归纳为四大板块:诊断、影像、预测与监测;语言、文档与对话支持;公共卫生、沟通与患者自主权;护理、复杂照护与机构运营。在诊断与影像领域,回顾性技术评价最为常见,而外部验证、校准及前瞻性工作流评估相对不足。在LLM相关应用中,文档起草、摘要生成、医患沟通和教育是主要方向,但验证负担和临床结局在所选来源中鲜少被量化。公共卫生和面向患者的生成式AI虽在定制化沟通和错误信息应对方面展现出潜力,但其证据仍属初步阶段,且伴随错误信息、隐私、信任和自主性受损等风险。在护理、内科、儿科内分泌等领域,RAG知识检索、血糖预测、电子健康档案(EHR)摘要等应用被提出,但均强调可解释性、互操作性、组织准备度和持续治理的重要性。
3.3 机遇与证据特征
在28篇出版物中,22篇涉及技术性能或验证,23篇涉及流程效用或工作流,仅3篇涉及临床或患者安全结局,2篇涉及经济结局,17篇涉及规范性治理。这一分布表明,当前文献更多关注的是“系统能否运行”和“如何融入工作流”,而对“是否真正改善患者结局”和“成本效益如何”的实证检验严重不足。协作、个性化、监测和生成式应用被视为有前景的方向,但异质性证据无法支持共同的临床效应估计。
3.4 临床与认知风险
研究识别出的关键风险包括假阳性/假阴性结果、过拟合、校准不良、罕见病例失败、幻觉、自动化偏倚和性能漂移。风险的严重程度取决于任务性质和自主程度。例如,RAG并不能消除幻觉,名义上的人工监督若缺乏足够的时间、信息、权威和培训则形同虚设。因此,全生命周期控制措施应包含验证、校准与亚组监测、版本控制、实质性变更后的重新验证以及限制或终止使用的能力。
3.5 公平性、隐私、透明度与监管
公平性评估需考虑亚组性能、访问权限、用户体验、可质疑性以及利益与伤害的分布。隐私控制应涵盖二次使用、再识别、数据共享、供应商管理及生成式系统日志。透明度应覆盖来源、版本、更新、亚组性能和局限性。欧盟、美国和中国的监管路径虽有差异,但在数据保护、风险分类、泛化能力、透明度、偏倚、监测和问责方面趋于收敛。
3.6 网络安全与数据模型完整性
研究基于一份分析性安全框架指出,数据投毒和供应链攻击是技术上可行的威胁面,并提出了来源控制、隔离、对抗性测试、异常监控、模型分歧机制、可审计隐私保护方法、供应链控制和应急响应计划等防御策略。这些被视为风险知情的治理措施,而非经过比较有效性验证的干预手段。
3.7 全生命周期治理
研究将医疗AI治理组织为六个迭代阶段:临床需求与预期用途识别;数据质量、代表性与来源治理;系统设计与开发文档;情境化验证与安全性评估;受控临床或组织实施;部署后监测、事件响应与变更管理。在28篇出版物中,实施相关考量在所有28篇中均有体现,而临床需求和预期用途仅被2篇实质性涉及,数据治理被9篇涉及,设计与开发被20篇涉及,验证与安全性评估被23篇涉及,部署后监测被24篇涉及。这表明当前文献对前端的定义和后端的监测关注不足,而集中于开发和验证环节。
3.8 实施与机构准备度
机构准备度要求互操作性、数据质量、角色定义、培训、供应商透明度、网络安全和监测资源。情境化验证应对比常规实践,评估校准、亚组性能、可用性、工作流、结局和总成本。人工监督应与风险成比例,并通过否决率、事件数、响应时间、校准偏差、亚组差距和升级路径等指标进行衡量。
四、讨论与结论
研究者在讨论中指出,现有证据更一致地支持辅助性的、特定情境下的AI用途,而非通用的自主替代。负责任实施的核心在于将预期用途、证据特征、风险评估和组织控制点进行关联,而非罗列应用清单或伦理原则。研究结论明确指出:负责任的实施需要明确定义的预期用途、受治理的数据、情境化验证、与风险相称的人工监督、可追溯性、公平性与安全性评估、持续监测,以及在性能或实施条件发生变化时限制、暂停或撤回系统的程序。研究者同时强调,本研究的贡献在于跨领域分析性整合,而非提供一个经过独立验证的治理工具,其发现不应被误解为对整个医疗AI领域证据流行率的推断性估计。