《Frontiers in Radiology》：From scanner to scalpel: adapting IDEAL for accountable AI in radiology and image-guided neurosurgery
编辑推荐：
人工智能（AI）正日益整合到放射学和图像引导神经外科的临床决策中，然而在整个技术生命周期内，证据生成、监督和问责机制仍不均衡。在精心策划的测试集上的优异表现可能无法在不同机构、扫描仪、患者亚组或不断变化的临床工作流程中持续。现有的报告指南、医疗器械标准、监管要
人工智能（AI）正日益整合到放射学和图像引导神经外科的临床决策中，然而在整个技术生命周期内，证据生成、监督和问责机制仍不均衡。在精心策划的测试集上的优异表现可能无法在不同机构、扫描仪、患者亚组或不断变化的临床工作流程中持续。现有的报告指南、医疗器械标准、监管要求和机器学习运维（MLOps）解决了这一问题的重要部分，但并未被设计成贯穿整个生命周期的统一、分阶段把关的临床证据路径。研究人员提出IDEAL-AI，这是对用于临床AI的“构思、开发、探索、评估和长期研究”（IDEAL）原则的改编。IDEAL-AI将证据生成组织为五个阶段和三个并行领域：验证；治理、监管与伦理；以及患者与系统结局。该框架旨在补充而非取代既定的报告指南、监管要求、机构层面的质量项目和MLOps基础设施。通过将回顾性模型开发与前瞻性实况探索分开，要求预先指定技术、公平性、人因和临床终点，并将评估延伸至上市后监测，该框架提供了一种确定AI系统何时准备好推进的实用方法。成功不应仅由采用速度或基准准确性来判断，而应通过对患者、临床医生和卫生系统可复现的临床获益来衡量。
论文解读：IDEAL-AI框架——构建放射学与神经外科可问责人工智能的全生命周期评估体系
一、研究背景与问题
人工智能（AI）已从研究概念转变为临床实践中的决定性力量。在放射学领域，算法能够描绘肿瘤边界、分类分子特征并在手术前预测预后；在神经外科领域，AI可辅助术前规划、图像配准、增强现实叠加、术中导航、实时场景解读及基于视频的技能评估。然而，尽管技术进步显著，支撑证据、伦理和问责的基础设施仍然不完整。在受控研究中表现优异的模型可能在新的机构、扫描仪、工作流程或患者群体中性能下降。扫描仪校准、机构异质性以及弱势群体的代表性不足继续限制着模型的泛化能力。此外，自动化偏见在高风险场景（如神经外科导航）中加剧了挑战，错误的精确性可能导致不可逆的伤害。现有报告指南、医疗器械标准、监管要求和机器学习运维（MLOps）虽各自解决了部分问题，但缺乏一个统一的、分阶段把关的临床证据路径来连接技术验证与临床获益。因此，研究人员提出了IDEAL-AI框架，旨在匹配创新速度与同等严格的验证和治理体系，将问责制作为核心要求嵌入AI部署的全过程。
二、研究目的与意义
本研究旨在通过改编外科创新领域的IDEAL原则（构思、开发、探索、评估和长期研究），构建一个专门针对临床AI的分阶段证据生成框架。该框架的意义在于：它将回顾性模型开发与前瞻性实况探索分离，要求预先指定技术、公平性、人因和临床终点，并将评估延伸至上市后监测，从而提供一种确定AI系统何时准备好进入下一阶段的实用方法。研究强调，成功的评判标准不应仅是采用速度或基准准确性，而应是对于患者、临床医生和卫生系统可复现的临床获益。
三、关键技术方法
研究人员采用了以下主要关键技术方法：
- 1.
IDEAL框架改编：将原IDEAL框架的五阶段逻辑（Idea、Development、Exploration、Assessment、Long-term study）适配于AI特性，新增三个并行评估域（Validation、Governance/Regulation/Ethics、Patient & System Outcomes）。
- 2.
分阶段证据设计：在每个阶段设定明确的验证证据、治理监管伦理以及患者系统结局要求，并制定基于预设阈值的进展或停止标准。
- 3.
多源框架整合：将IDEAL-AI定位为协调层，整合现有报告指南（如DECIDE-AI）、医疗器械标准（如IEC 62304）、监管要求（如欧盟AI法案、美国PCCP）、机构级项目（如ARCH-AI）、注册登记系统（如Assess-AI）以及MLOps基础设施。
- 4.
示例应用：以胶质瘤分割工具为例，展示了从Idea到Long-term monitoring各阶段的研究设计、终点选择和进展标准。
四、研究结果
1. 从准确性到问责性
研究发现，单一汇总指标无法表征算法在临床实践变异性下的行为。准确性不能保证跨扫描仪、机构或患者群体的可靠性。研究人员指出，问责性必须超越性能本身，涵盖数据来源、预处理、标注和优化等决策链的透明度。最终结论是，准确性若缺乏问责性便是不完整的精确性，下一阶段应聚焦于赋能临床医生而非单纯超越人类表现。
2. 监管、标准与实践中的问责性
医疗设备法规和软件生命周期标准建立了基本控制，但适应性或频繁更新的系统还需要前瞻性变更管理、重新校准标准和部署后证据。研究人员发现，许多卫生系统的AI治理碎片化，责任分配不清。为此，研究提出建立全生命周期治理模型，包括清晰的审计追踪、本地验收测试、上市后监控和结构化模型更新管理，并建议设立多学科临床AI监督委员会。
3. IDEAL-AI框架：来自外科创新的启示
研究人员详细阐述了IDEAL-AI的五个阶段：
- •
Idea阶段：从明确的临床需求、预期用途和因果路径出发，进行计算机模拟概念验证，并预先注册方案。
- •
Development阶段：通常在单个或少数中心利用回顾性数据进行模型优化和初始技术安全性评估，要求分离训练、调优和锁定测试集，并在实况使用前进行静默前瞻性评估。
- •
Exploration阶段：开始前瞻性实况临床使用，关注泛化性、工作流集成、可用性和人机交互安全。
- •
Assessment阶段：进行充分效力的多机构比较评估，首选随机化设计，评估需连接模型输出与临床行为、安全性、公平性和患者报告结局。
- •
Long-term monitoring阶段：通过MLOps和注册登记系统进行持续性监控，跟踪校准漂移、亚组公平性和下游结局，并预设警报、停止和回滚规则。
4. 与现有框架的关系
IDEAL-AI被设计为一个编排层而非竞争者。它与ARCH-AI、Assess-AI、DECIDE-AI、CyclOps等框架互补，通过增加跨专科的证据问题序列、阶段转换标准和从概念验证到长期使用的患者与系统终点来填补空白。
五、总结与讨论
研究人员总结道，放射学和图像引导神经外科处于数据驱动护理的前沿。用于诊断、风险预测、规划、导航或术中辅助的AI应以其预期用途和潜在危害相称的证据进行评估。IDEAL-AI提供了一个分阶段把关的蓝图，通过链接预设指标、累积验证、持续伦理治理、比较性临床评估和上市后监控，贯穿整个生命周期。
研究结论：成功的衡量标准不是AI实施的速度，而是其被评估和治理的严谨程度。临床医生、监管机构和开发者共同承担着一项集体责任，即确保准确性、公平性和问责性同步发展。医学AI的下一个时代将由它如何有效地改善患者结局来定义，而非由谁率先采纳来决定。
