《Therapeutic Advances in Drug Safety》：Using a control plan for artificial intelligence and machine learning monitoring within pharmacovigilance
编辑推荐：
摘要：在药物警戒系统中，以符合伦理且基于风险的方式实施和监测人工智能（Artificial Intelligence, AI）与机器学习（Machine Learning, ML），面临着重大挑战，而不断演变的监管环境使这些挑战更加复杂。在技术快速发展的背景下
摘要：在药物警戒系统中，以符合伦理且基于风险的方式实施和监测人工智能（Artificial Intelligence, AI）与机器学习（Machine Learning, ML），面临着重大挑战，而不断演变的监管环境使这些挑战更加复杂。在技术快速发展的背景下，药物警戒组织需要健全的治理框架，以确保患者安全并维持监管合规性。本前瞻性综述提出将控制计划作为一种结构化的、动态更新的文件解决方案，用于有效治理AI模型，包括基于统计的机器学习、大语言模型（Large Language Model, LLM）和生成式人工智能（Generative AI）。该控制计划整合了现有原则和要求，建议纳入关键要素，例如模型及其基础设施的性能参数、成功的人类监测标准、模型修改的触发条件、已识别风险及缓解策略，以及AI结果的可解释性。控制计划的目标是确保对监管机构的透明度、保障患者安全，并建立对组织基于风险的管理方法的信心。所提出的AI控制计划为药物警戒中AI系统的治理与监测提供了一种结构化方法，增强了运营透明度和监管合规性。它将各种既定的最佳实践和监管考虑整合到一个统一框架中。随着技术和法规的演变，控制计划的适应性对于负责任且有效地利用AI至关重要。
主体内容总结
**引言**
文章指出，药物警戒计算机化系统中人工智能和机器学习（Artificial Intelligence, AI）的实施与监测必须以符合伦理、基于风险的方式进行，确保对业务流程和安全数据的影响得到充分理解和管理。Glaser和Littlebury提出，控制计划是实现AI在药物警戒中成功实施与监测的一种可选方案，能使药物警戒组织自信地治理计算机化系统中部署的AI模型，向监管机构展示透明度，保障患者安全，并建立对其基于风险的管理方法的信心。本文超越概念阶段，描述了一个具体的控制计划框架和示例，涵盖AI模型及运行基础设施的性能参数、成功的人类监测与决策所需参数、模型修改或更新的时机、可能风险的识别与缓解计划，以及AI模型结果的适当可解释性。文章建议药物警戒组织可在现有健全治理流程和框架的基础上，利用控制计划对已实施的AI提供监督。
**监管背景**
快速发展的技术带来的挑战之一是，当指南和法规制定时，问题很快出现：这些指南和法规是否足以消除歧义并提供明确方向？此外，指南和法规是否会阻碍能够改善患者安全的进步？对于希望实施AI的受监管组织而言，在这一快速发展的技术领域中导航监管框架和指南文件并非易事。具体到药物警戒，缺乏特定指南可能导致监管反馈循环，给所有相关方带来低效，并影响适当监督。例如，药物警戒组织与一家监管机构协商并部署了经过验证的AI模型，若第二家监管机构认为该模型不适用，则组织要么退回使用AI前的业务流程，要么与第二家监管机构进行对话寻求接受。截至撰写时，针对药物警戒的具体法规和指南开始出现。欧洲药品管理局（EMA）关于生命周期管理的出版物承认AI在药物警戒中可能有用，但未增加关于实施、预期或实施前后必要行动的具体内容。EMA指南采用了一个新概念，将风险分为安全影响和监管影响，并指出药物警戒中的应用可能允许比其它领域更灵活的AI/ML建模和部署方法。EMA关于在监管科学和药物监管活动中使用大语言模型的指导原则侧重于原则和考虑因素，未涉及药物警戒活动的具体原则。国际医学科学组织理事会（CIOMS）工作组XIV发布的报告为药物警戒中AI的使用提供了指导，概述了评估和实施AI系统的原则，是目前最深入的指南。这些已发布的指南均建议，在药物警戒中实施AI系统时，上市许可持有人（MAH）需进行额外的尽职调查和监测。其他非药物警戒特定的法规和指南（如美国国家标准与技术研究院[NIST]指南和美国食品药品监督管理局[FDA]指南）提供了可纳入药物警戒的更广泛AI治理见解。本文描述的控制计划与欧洲AI法案及其2026年修正案的要求保持一致。
**什么是控制计划？**
控制计划（源自质量管理）被定义为一种针对药物警戒中AI模型治理的特定定制文件，由药物警戒组织为每个AI模型创建和维护。控制计划捕获了成功监测和决策所需的全部参数，判断实施是否按既定和预期运行，以及何时/是否应修改或更新实施。控制计划还识别可能的风险和适当的缓解计划。其目标是证明药物警戒组织对药物警戒系统内AI实施及其既定质量管理体系（QMS）具有控制力。控制计划在药物警戒组织现有治理结构内使用，以支持审计准备和问责制。控制计划与CIOMS指南一致，但狭义聚焦于AI实施生命周期的部署和常规使用领域。控制计划是一份动态文件，在AI系统整个生命周期中修订。修订原因可能包括发现新的运行信息、数据偏移、药物警戒系统演变、法规演变或包括纠正和预防措施（CAPAs）在内的问题管理流程。文章给出了一个可能的控制计划大纲，并非完整，而是一个稳健的起点，适用于采购和内部创建的AI模型及系统。大纲包括以下部分：
- **所有者**：列出负责业务应用和AI模型监测的业务所有者。
- **关键日期**：列出与模型完整生命周期相关的所有关键日期，例如初始发布日期和未来修订日期。
- **描述**：以业务语言而非技术术语向用户描述算法，包含问题陈述的非技术性清晰总结、AI算法如何使用、算法是否及如何可泛化，以及算法在业务流程/工作流中如何运作的完整描述。当多个AI模型联合使用时，治理团队应考虑将模型分组到单一控制计划中，并相应扩展。
- **版本**：考虑如何记录模型版本，以及使用大语言模型时相应的提示版本。
- **输入数据**：描述与业务工作流信息一致的输入数据，以及AI模型数据集及训练数据集与预期生产数据可能不同的情况，还包括数据属性考虑（如是否包含个人身份信息及敏感数据处理）。
- **输出数据**：完整描述AI算法预期输出，如结果预测、分类、异常检测、减少无信息变量或识别最具信息变量等，还可能包括大语言模型输出的非确定性特征。
- **AI参数**：列出治理团队可能在模型实施全生命周期中监测并用于识别潜在问题或影响的参数。预期参数在测试期间评估，适合AI模型的类型和来源，并在生产期间监测差异。必须建立行动计划，明确参数违反时的指导。对每个参数建立可接受差异范围，可使用蒙特卡洛模拟或统计过程控制方法（如指数加权移动平均和累积和）结合业务流程知识设定范围。潜在参数包括：模型性能指标（准确率、精确率、召回率、过拟合和欠拟合）；数据特征（类别不平衡、模型漂移、敏感性、偏差）；业务参数（如必需数据元素与可选数据元素、模型错误是否常规性、假阴性的危害程度、人工审核者覆盖AI模型建议的比率）。
- **模型周期性**：通过监测AI模型参数和可接受范围，组织可确定模型何时需要重新训练。重新训练的周期性取决于业务需求、已识别风险、审计周期和模型在参数内的表现。
- **模型更新计划**：包含测试细节和计划，对采购模型尤其重要，因其版本控制外部于药物警戒组织。
- **监测风险**：列出可能发生的AI风险清单，建议组织采取基于风险的方法对风险进行优先级排序和分类。风险类别包括运营风险（如人类对AI的过度依赖、AI模型错误导致错误数据和错误分析、AI模型错误增加人工审核时间导致效率降低、数据（训练和生产）的合法使用、大语言模型的幻觉风险）和患者安全风险（如漏报不良事件或新发安全信号）。正确识别风险有助于确保对AI模型和组织的信任。
- **人工监督**：描述如何将人工监督纳入AI模型监测，包括人在环路（人类直接参与每个AI决策）或人在回路上（人类监测AI决策并在需要时干预）。还需考虑人类对AI模型的过度依赖、AI模型错误对人工审核工作的负面影响、人工监督模型对特定药物警戒流程的适用性，以及组织愿意接受的风险水平。变更管理和人员培训等监督主题也可纳入本节。
**控制计划的益处与风险**
**益处**：沟通与透明度方面，控制计划使用业务语言而非技术术语，改善业务团队和技术团队之间的沟通，使团队向共同目标对齐，减少人工投入，提高团队效率并加快问题解决。预定义的AI性能评审利益相关者群体有助于模型治理。业务语言对审计人员或监管人员更有用，提高检查效率，减少因复杂AI实施误解而导致的发现项和预防措施。明确监控策略方面，在控制计划中清晰定义预期结果使药物警戒团队与组织目标对齐，实现实时治理和决策，高效利用资源并改善药物警戒结果。通过明确定义AI模型的评估时间和方式，可增强生产可靠性，避免模型漂移或偏差影响，并识别表现不佳的AI决策以改进。展示监测策略的证据有助于向监管机构透明沟通。风险评估与缓解方面，清晰阐述AI模型运作方式有助于确定人工监督需求和指南，确保人员得到适当培训，AI模型补充而非取代人类决策。控制计划通过确保持续监测、考虑并缓解失效模式，协助组织规划风险应对策略。任何风险评估方法都有局限性，例如依赖人类主题专家的意见。
**风险**：未能使用控制计划或采用不当的组织可能遇到风险：药物警戒系统性能参数可能因偏差或模型漂移而变得不一致或随时间退化；人工监督不足可能影响患者安全并导致人力分配低效；缺乏控制计划可能损害监管合规性；组织可能对关键风险领域理解不足，降低风险管理有效性；这些风险可能侵蚀用户对使用AI模型的药物警戒系统的信任。控制计划还可通过在组织内展示透明度来消除风险规避组织的障碍。控制计划将风险暴露给更广泛的受众，因此需要为所列风险制定缓解计划，包括持续监测和基于风险级别的适当响应，以便建设性地讨论感知风险。组织还应考虑将控制计划复杂性扩展至与AI应用风险水平相匹配，避免不必要的负担。
**控制计划如何成为治理框架的一部分？**
控制计划应伴随任何计划在药物警戒系统中实施的AI模型，是支持AI模型采用的更广泛治理框架中的重要文件。其存在方式取决于药物警戒组织的规模和复杂性，但一些指导原则有助于确保控制计划是有用且适用的文件。模型性能监测应定期评审，并对照控制计划中预定义参数进行评估。性能评估的利益相关者群体可能因评审目的而异，应考虑评审频率和需要评审输出的利益相关者群体。至少应定期与药物警戒组织高级管理层（包括具有监管承诺的人员，如欧盟合格药物警戒负责人[QPPV]和英国QPPV）进行常规性能讨论。在AI模型部署到药物警戒系统之前，需要建立模型性能不佳的升级途径。
**控制计划带来的关键未来机会**
当药物警戒组织成功利用控制计划管理AI模型，展示持续模型性能、用例稳定性并遵守预定可接受风险水平时，组织和监管机构对模型的信任将增加。若模型持续保持在可接受风险水平内，控制计划评审的时间间隔可能延长。文章并非建议停止评审，而是建议在没有控制计划情况下所需的持续细化过程将会延长。基于证据的人工监测，可能伴随着模型检查模型的技术进步，或简单地通过减少监测输出数量和相关人力投入而实现。
**局限性**
本综述仅代表作者（受雇于单一MAH）的经验和观点，可能无法完全代表所有MAH、其他药物警戒中心或监管机构的观点。所提出的控制计划框架尚未经过实证验证，属于前瞻性综述。补充示例中的阈值和参数仅为说明性，在操作使用前需进行组织特定的校准。此外，鉴于快速演变的监管环境，控制计划必须被视为动态文件。尽管存在这些局限性，作者认为其综述和观点提供了有价值的见解。
**结论**
在药物警戒中实施AI控制计划为治理和监测AI系统提供了一种结构化方法，有助于增强运营透明度和监管合规性。关键考虑因素包括持续监测性能参数和风险，同时促进技术团队与业务团队之间的有效沟通，创建可操作的见解，建立明确指标、定期评审周期和全面的升级途径，以便及时处理模型性能差异或新出现风险。AI控制计划的益处加强了风险缓解策略、确保问责制，并强化与监管机构的信任。随着AI尤其生成式AI的技术进步和监管期望演变，以及AI监督和风险评估的新兴趋势，药物警戒组织应保持控制计划策略的适应性，从而在未来负责任且有效利用AI方面占据前沿地位。控制计划很可能随AI系统一同演变。随着自主决策工具可能引入药物警戒工作流程，控制计划预计将扩展到静态性能阈值之外，以应对多步推理、工具使用以及减少人在回路接触点。
