《Journal of Law, Medicine & Ethics》：Conformity Between Values and EU Legal Requirements Regarding an AI Clinical Decision Support System (AI-CDSS) for Improved Cardiovascular Risk Management (DECIDE)
编辑推荐：
欧盟《人工智能法案》（European Union Artificial Intelligence Act，简称AI Act）于2024年通过，旨在保护公共利益免受人工智能相关危害。本研究旨在确定AI Act是否涵盖了与一种用于心血管疾病的高风险AI临床决策支
欧盟《人工智能法案》（European Union Artificial Intelligence Act，简称AI Act）于2024年通过，旨在保护公共利益免受人工智能相关危害。本研究旨在确定AI Act是否涵盖了与一种用于心血管疾病的高风险AI临床决策支持系统（AI Clinical Decision Support System，简称AI-CDSS）相关的利益相关者（指任何可能受该AI系统影响的个人，包括但不限于直接使用者）的最重要价值观。该系统拟在初级保健中实施。研究人员基于先前采用伦理学和设计方法生成的实证数据进行了二次分析，这些数据已识别出利益相关者的价值观。这些价值观被转化为高级别专家组（High-Level Expert Group on AI，简称AI HLEG）提出的可信赖AI要求，随后再与AI Act进行对比。研究发现，这些要求并未涵盖所有已识别的利益相关者价值观。研究人员描述了三种无法转化的价值观类别，并提出了三项额外的补充要求。AI Act主要支持人类能动性与监督（human agency and oversight）、透明度（transparency）以及多样性、非歧视与公平性（diversity, nondiscrimination, and fairness）等要求，但由于其产品安全性质，这种支持只是部分的。为弥补这一差距，合同策略可为全科医生提供更稳健的法律基础，使其能够使AI-CDSS符合利益相关者的价值观，履行其注意义务（duty of care），并促进可信赖的AI-CDSS的发展。
一、研究背景与研究问题
临床决策支持系统（Clinical Decision Support Systems，简称CDSSs）通过利用目标性临床知识及患者的临床与健康相关信息，辅助医疗专业人员与患者进行共同决策。在欧盟，这些数据源已实现较大程度的数字化，一些成员国如荷兰享有高度数字化水平、广泛的互联网接入以及高渗透率的移动电话、可穿戴设备与数字设备，这为开发包括应用人工智能（Artificial Intelligence，简称AI）的CDSS提供了必要的信息。理论上，AI-CDSS能够以数据驱动的方式改善决策，有助于应对老龄化人口带来的护理需求增长、护理复杂性增加、医疗成本上升以及医务人员短缺等挑战，并可能通过扩大服务覆盖范围来促进健康公平。
然而，尽管前景广阔，AI-CDSS的临床采纳进展缓慢。这类系统引发了关于患者安全、透明度、可解释性、信任、偏见、歧视、对工作流程的影响（如警报疲劳）、医疗专业人员与患者的自主权（如对系统的过度依赖）以及责任与问责等多方面问题。实施过程中还面临财务成本、维护、医疗专业人员的AI素养及患者的AI、电子健康和健康素养等挑战，以及标准化、隐私与数据保护、互操作性及数据可移植性等技术难题。其中许多方面直接或间接地影响着医患关系。
为保护公共利益（包括健康、安全和基本权利）免受AI系统的有害影响，欧洲议会与理事会于2024年6月13日通过了《人工智能法案》（AI Act）。该法案要求提供者（多数情况下为制造商或开发者）和部署者（即使用者）在欧盟境内开发、投放市场、投入使用和使用符合该法案及其他适用法律文书所规定的（法律）产品安全规则的AI系统。AI Act并非仅针对医疗领域，而是旨在处理某些AI系统设计和开发中特有挑战的监管生态系统的一部分。这些产品安全规则不能孤立考虑，必须结合其背后的价值观来审视。本研究中，“价值观”的工作定义是指人们在生活中认为重要的东西，它指导人们的行为；换言之，是某种被认为本质上良好、有价值或令人向往的特质。
由此引出两个核心问题：（1）作为一项欧盟法律工具，AI Act是否充分捕捉了在医疗领域促进以人为本和可信赖AI的最相关价值观？（2）如果没有，哪些法律机制可以保护这些价值观？本文旨在通过将AI Act应用于一个可能成为初级保健AI-CDSS基础的底层模型（该模型用于预测50岁以下个体的心血管风险，称为“DECIDE”）来尝试回答这些问题。研究人员基于早期研究中确定的与DECIDE相关的价值观，将其按照AI HLEG设定的可信赖AI要求进行分类，随后映射到最接近这些价值观的欧盟AI Act法律要求上。这一映射聚焦于经验识别的价值观与其在法律操作化之间的契合与潜在错位，可能揭示AI Act未为其制定明确义务的价值观。若映射显示这些利益相关者的价值观未被AI Act充分涵盖，则将探讨合同机制能否在法律上保护这些价值观。
二、研究方法与技术路线
本研究采用跨学科方法，具体涉及以下关键技术方法：
- 1.
价值敏感性设计（Value Sensitive Design，简称VSD）工作坊：面向初级保健提供者（全科医生及其助理），使用一套类似瓷砖放置游戏的工具包，让参与者交互式地绘制工作流程并识别伦理价值观。工作坊分为三个阶段：映射当前工作流程、将DECIDE融入工作流程、在工作流程中放置伦理价值观。共进行了五次一对一工作坊，地点在埃因霍温理工大学，时间为2023年9月至10月。
- 2.
引导伦理学（Guidance Ethics，简称GE）工作坊：基于技术中介理论，采用多利益相关者小组讨论形式，系统性地探讨特定技术在具体情境中的可能使用及其伦理层面。工作坊包括三个环节：技术情境描述、利益相关者及效应与价值观识别、促进积极效应与限制消极效应的行动策略探讨。共进行了两次工作坊，地点在莱顿，时间分别为2024年2月和7月，参与者涵盖专家（包括患者代表）及重点关注有读写计算困难的患者群体。
- 3.
二次数据分析与法律映射：研究人员对上述两种工作坊产生的定性数据进行二次分析，将参与者报告的价值观按照AI HLEG 2019年提出的七个可信赖AI要求（人类能动性与监督、技术鲁棒性与安全性、隐私与数据治理、透明度、多样性非歧视与公平性、社会与环境福祉、问责制）进行分类。随后，将这些已分类的价值观与欧盟AI Act中对高风险AI系统的法律要求进行对比分析，以识别两者之间的对齐与差距。
三、研究结果
1. 价值观向可信赖AI要求的转化及可信赖AI概念的扩展
研究人员将来自VSD和GE工作坊的参与者价值观与AI HLEG的可信赖AI要求相关联。例如，VSD工作坊参与者对透明度的理解不仅关联到透明度要求本身，还关联到人类能动性与监督。然而，并非所有价值观都能成功转化。存在三类“不可转化价值观”：第一类涉及积极概念，如个体层面的善行、医患双方的身心健康（包括职业满意度）和健康；第二类关乎个人与人性化接触的重要性以及医患互动的理想特征（如友好和激励性）；第三类涉及患者收到DECIDE通知后所需的服务，包括医疗系统内外的测试、药物、同伴支持、教练或团体辅导及长期指导。这些价值观均未在AI Act中被直接提及。因此，研究人员提出需扩展AI HLEG要求，为AI-CDSS补充三项额外要求：（a）健康与福祉的积极概念；（b）关系性关怀与共同决策；（c）AI-CDSS的情境相关性与可操作性。
2. 价值观与法律要求的对比
研究人员重点分析了AI Act中规定最为明确的三项要求：
- •
人类能动性与监督：这是工作坊中最常被识别的可信赖AI要求之一。VSD工作坊中，该要求与透明度、自由与自主、尊严、隐私、无恶、团结、信任及责任与问责等价值观相关。GE工作坊识别出支持个人做出知情生活选择的积极效应，但也指出数据化、社会控制、基于风险评分的歧视、医疗化、GP工作量增加、低风险患者被排除、过早贴标签、污名化、缺乏可解释性、不恰当的后续护理及患者焦虑等负面效应。从法律角度看，AI Act仅在序言中明确提及人类能动性，并以禁止特定操纵性和剥削性AI实践以及规定高风险AI系统须接受自然人有效监督的方式来落实。然而，患者做出知情自主决定的前提是拥有足够信息，而GP必须能够充分告知患者。这使得透明度和可解释性成为实现人类能动性的前提条件。
- •
透明度：VSD工作坊参与者将透明度解释为医患之间和医生与DECIDE之间的互动，认为透明度是信任系统和共同决策过程的必要条件。GE工作坊识别出多种与透明度相关的负面效应。AI Act从两个角度处理透明度：一是赋予受影响个人在特定条件下获得解释的权利（第86条第1款），但DECIDE因其不在附件III所列高风险类别中，患者无法依据AI Act主张此权利，形成差距；二是要求提供者确保高风险AI系统的运行足够透明，以使部署者能够解释系统输出并适当使用（第13条第1款），但这仅要求GP能解释输出，而非理解产生输出的相关因素。为弥补差距，GP可通过合同协商更广泛的可解释性要求，例如借鉴欧盟委员会的AI示范合同条款或阿姆斯特丹市的算法采购条款。
- •
多样性、非歧视与公平性：VSD工作坊中，该要求与正义公平与平等、团结及责任与问责等价值观相关。GE工作坊识别出DECIDE可能带来纳入通常不被纳入预防计划个体的积极效应，以及增加基本医疗压力、GP工作量增加、低风险患者被排除、过早贴标签、污名化、数据化、社会控制和基于风险评分的歧视等负面效应。AI Act要求高风险AI系统的提供者确保训练、验证和测试数据集满足特定质量标准，包括检查可能的偏见并采取缓解措施，以及确保数据集的相关性、代表性、无错误和完整性。此外，AI Act还要求系统达到适当的准确性、鲁棒性和网络安全水平，并尽可能消除或减少反馈循环中偏见的风险。这些规定有助于减少假阳性、避免歧视和污名化，但其有效性仍存争议。
四、讨论与结论
AI HLEG的可信赖AI要求代表了信任度的一种有影响力的诠释，但研究表明，这七项要求仅捕捉了DECIDE用例中相关价值观的一个子集。这一局限性或许并不意外，因为AI HLEG的工作既非医疗保健专用，也未为该行业提供具体建议。本研究的价值在于通过实证展示了可信赖AI要求的约束性，并经验性地识别了哪些价值观未被反映在这些要求中。
AI Act旨在连接伦理与法律。在DECIDE这一AI-CDSS背景下，AI Act建立了法律手段来保护与可信赖AI要求相关且对广泛利益相关者重要的价值观，但仅是部分保护。AI Act简要提及了隐私与数据治理以及技术鲁棒性，但这些分别在《通用数据保护条例》（General Data Protection Regulation，简称GDPR）和《医疗器械法规》（Medical Devices Regulation，简称MDR）中有详细规定。在人类能动性与监督方面，AI Act禁止两种可能负面影响人类能动性的AI实践，并对高风险AI系统规定了人工监督。透明度义务仅在（疑似）造成伤害的情况下才成立，且可能不足以实现工作坊参与者所识别的透明度价值观。在多样性、非歧视与公平性方面，AI Act将其与技术鲁棒性相关联，并提供了具体义务来补充传统保护这些价值的欧盟宪章或GDPR等工具。对预防伤害的关注限制了AI Act作为保护利益相关者积极价值观的工具的有效性，而这些价值观可通过合同手段得到潜在解决。这些合同手段也有助于实现AI Act未能充分帮助实现的利益相关者价值观，即弥合差距。
研究结论：AI Act主要支持人类能动性与监督、透明度以及多样性非歧视与公平性等要求，但由于其产品安全性质，这种支持只是部分的。为弥补这一差距，合同策略可为全科医生提供更稳健的法律基础，使其能够使AI-CDSS符合利益相关者的价值观，履行其注意义务，并促进可信赖的AI-CDSS的发展。
