心理健康领域中陪伴型人工智能的关怀义务困境：欧盟法律框架下的关怀伦理与监管回应

《Computer Law & Security Review》：The Duty-of-Care Dilemma of Companion AI in Mental Health: Care Ethics and Regulatory Responses under EU Law

　　

摘要

心理健康领域的陪伴型AI——即拟人化的对话系统，通过长期使用过程为用户提供情感支持——已从原型发展到面向大众市场的商品，欧洲及全球范围内近期发生的自杀案例更将其风险推至欧盟数字治理的中心。本文认为，欧盟的监管框架——即《人工智能法案》《医疗器械条例》《通用数据保护条例》《数字服务法》以及修订后的《产品责任指令》——所依托的双基础（基于权利的依据与基于产品的依据）并不适合陪伴型AI所制造的伤害：关系性伤害、涌现式脆弱以及情感依赖。文章区分了陪伴型AI的四种在法律上截然不同的类型，其中仅第一种属于医疗器械，并借助关怀伦理——特别是查达-斯里德哈（Chadha-Sridhar）的"混合非自愿性"（hybrid non-voluntarism）学说——主张这些系统并不触发医生所承担的传统照顾义务，而是产生一种关系性的照顾义务，该义务由用户的严重需求所触发，并以其分层形式分配于各相关方之中，由应用程序运营者作为首要承担者。文章识别出三处不匹配：基于权利的推理与关系性伤害之间的不匹配、静态脆弱与涌现式脆弱之间的不匹配，以及基于产品的范式与持续关怀式监督之间的不匹配。作者提出向关系模式作有限但具系统性重要意义的转向，在这一模式下，照顾义务作为辅助性规范工具发挥作用：一方面通过欧盟基本权利秩序中的积极义务予以体现，另一方面通过基于产品性法规中的开放性安全标准予以充实，并落入《欧洲联盟运行条约》第114条所赋予的内部市场权能之下。

引言

近年来，生成式AI与情感对话技术已使陪伴型AI从原型演变为商业化产品。借助拟人化对话、长期记忆与共情式语言生成，这些系统介入了用户的情绪调节与心理健康支持，以既可大规模扩展、又极为私密的方式嵌入个体生活之中。¹ 欧洲及全球范围内已有多起与陪伴型聊天机器人相关的自杀事件。2023年3月，一名比利时男子在与Chai应用中的"Eliza"进行长期对话后自杀身亡；2024年2月，佛罗里达州的青少年塞威尔·塞泽三世（Sewell Setzer III）在长期使用Character.AI后自杀身亡。意大利数据保护机构（Garante）于2023年2月限制了Replika的数据处理，并于2025年4月对其运营者Luka, Inc.处以500万欧元罚款。² 这些事件已将心理健康陪伴型AI的法律规制推至欧盟数字治理的最前端。³

作为回应，欧盟已构筑起一套复合性的规范网络：以风险分级为核心的《人工智能法案》（AI Act）；为具有医疗用途的软件提供符合性评估路径的《医疗器械条例》（MDR）；对敏感数据赋予特别保护的《通用数据保护条例》（GDPR）；对平台施加系统性风险义务的《数字服务法》（DSA）；以及将责任范围扩展至软件的修订版《产品责任指令》（PLD）。许多现有学术文献只是列举适用的规则，却未追问该框架的规范基础与其所面对现象之间的紧张关系。⁴ 本文提出问题：这些法规所采取的取向——即AI Act与GDPR中的基于权利的取向、MDR与PLD中的基于产品的取向以及DSA中的中介责任取向——在结构上是否与陪伴型AI所造成的伤害相容？特别是，一种以事前同意与事后救济为中心的权利结构，以及一种以产品上市时刻之静态安全性为中心的产品结构，能否承担起关系性伤害的归属与预防之任务？这一问题迄今所得关注有限。⁵

核心论点在于，这一双重基础在面对关系性伤害、涌现式脆弱与情感依赖时，显现出显著的回应性不足。这种不足并非源于具体条款的遗漏，而是源于监管推理与现象之间的不匹配：当一个系统主动构建拟人化关系，并通过长期互动影响用户的心理状态与社会支持网络时，既不能仅靠以消极自由为中心的权利结构，也不能仅靠围绕静态产品合规而组织的安全结构来完成监管任务。为弥合这一不匹配，本文以关怀伦理——特别是查达-斯里德哈的混合非自愿性学说——作为其理论参照。⁶ 陪伴型AI并不触发医生的传统照顾义务；它产生的是关系性的照顾义务，该义务由用户的严重需求所激活，并在生成该关系的各方之间以分层形式分配，其中应用程序运营者为首要承担者（见5.1节）。因此，欧盟法应从基于权利的模式向关系模式作有限但具系统性重要意义的转向，将照顾义务作为辅助性规范工具加以引入：从基于静态身份的脆弱转向由使用过程共同生产的关系性脆弱；从一次性的产品合规转向持续的关联性监督；从保护消极自由转向明确的积极照顾义务，其中包括当用户显露严重需求指标时所触发的人为升级（human escalation）义务。这些调整并未取代现有框架。照顾义务通过两条路径进入该框架：在基于权利的法规中，作为欧盟基本权利秩序已施加的积极义务的具体化；在基于产品的法规中，作为MDR与PLD自身所依赖的开放性安全标准的内容（参见2.5节"照顾义务与欧盟基本权利秩序及基于产品性法规的相容性"，以及4.1节"基于权利的框架与关系性伤害之间的范式性张力"）。

在进入正题之前，需要对术语作一说明，因为监管分析的许多部分取决于此。本文使用"心理健康领域的陪伴型AI"（简称"陪伴型AI"）一词，指代那些通过拟人化提示向用户呈现自身、跨会话保留记忆使每次互动建立于前次之上、并被用于（无论是出于设计还是事实上）提供情感支持或干预用户心理状态之软件对话代理。该定义是功能性的：它取决于系统于用户生活中实际所做的事，而非制造商的监管性主张。它涵盖四种在法律上截然不同的类型，详见第3节表1：医疗器械类陪伴（Type I）、非医疗性心理健康支持应用（Type II）、通用陪伴代理（Type III），以及用于托管与分发陪伴型产品的平台功能（Type IV）。其中仅Type I为医疗器械，"医疗"（medical）一词为该类型所专属。具身的社会机器人不在本文范围之内。

第2节展开关怀伦理以奠定照顾义务的基础；第3节列出陪伴型AI的四种类型，并检视《人工智能法案》《医疗器械条例》《通用数据保护条例》《数字服务法》与《产品责任指令》；第4节识别三处范式性不匹配；第5节提出制度性路径；第6节为结论。

各节节选

关怀伦理中的照顾义务与心理健康陪伴的特殊性

此处所援引的照顾义务，并非侵权法上的注意义务——后者追问被告是否负有以合理谨慎避免可预见伤害之义务——亦非医生的专业义务——后者源于临床关系，并由专业标准所界定。它是一种伦理义务，旨在关切并回应他人之严重需求；其根据与触发机制，则是关怀伦理在过去四十年中逐步展开的成果。本文之所以追溯这一发展，是因为法律

对欧盟监管格局的系统考察

本节依次分析《人工智能法案》《医疗器械条例》《通用数据保护条例》《数字服务法》与《产品责任指令》在陪伴型AI上的适用，随后考察若干成员国的执法实践。

在转向具体条款之前，须首先划定第1节所引入的四种类型（表1），因为各项法规并不均匀地适用于它们。决定性的界线划在Type I与其余类型之间。一项产品，或者作为医疗器械上市，并附有医疗预期用途，或者

从照顾义务视角看欧盟监管框架中的范式性不匹配

透过照顾义务的视角审视，第3节所分析的框架所显现的，不只是个别规则上的缺口，而是监管推理与现象之间的范式性不匹配。本节分析三种此类不匹配，并以原则Q与原则Q*作为坐标：前者将照顾义务奠基于可以以合理成本满足的严重需求之上，后者则加入了该义务被触发的关系性条件（见2.2节）。其中前两者

照顾义务的辅助性引入：制度性路径

照顾义务的辅助性引入可在三个层面上加以结构化：伦理基础，由《宪章》第1、3、26条提供；原则性条款，由《人工智能法案》第14条、《医疗器械条例》第10条与《通用数据保护条例》第25条承载；以及技术标准，通过CEN< />

结论

心理健康领域的陪伴型AI，暴露出一个以基于权利与基于产品的推理为主导的欧盟框架的结构性局限：该框架无法充分应对拟人化互动、长期记忆与情感反馈所生成的依赖、关系性伤害、涌现式脆弱与关怀替代问题。关怀伦理——特别是查达-斯里德哈的混合非自愿性学说——为责任的重新配置提供了资源：一种根植于对

资助

本文受2021年国家社会科学基金项目（21BXW040）资助。

知识产权

我们确认，对于与本作品相关的知识产权保护已给予适当考量，且不存在妨碍发表（包括发表时机）的知识产权障碍。在此，我们确认我们已遵循所在机构关于知识产权的相关规定。

研究伦理

我们进一步确认，本文符合研究伦理要求。

作者署名

所有署名作者均符合CLSR标准。我们特此声明，所有作者对本手稿的撰写均作出重大贡献，各自满足了CLSR所确立的标准。我们确认本手稿已经全体署名作者阅读并批准。我们确认手稿中所列作者顺序已获全体署名作者同意。

我们（下列签名者）同意以上全部内容。

刘建军 | 吴虹

中国杭州，金钢心理咨询工作室