心理健康聊天机器人在自杀意念识别与管理中的表现评估

【字体: 时间:2025年08月29日 来源:Scientific Reports 3.9

编辑推荐:

  本研究针对AI心理健康聊天机器人在自杀危机干预中的安全隐患展开系统评估。研究人员通过模拟哥伦比亚自杀严重程度评定量表(C-SSRS)设计的标准化对话场景,测试29款AI聊天机器人对自杀风险升级的响应能力。结果显示51.72%的机器人仅达到基本响应标准,48.28%完全不合格,普遍存在紧急联络信息缺失和语境理解不足等问题。这项发表在《Scientific Reports》的研究为AI心理健康应用的临床验证提供了重要基准数据。

  

在全球每年超过70万人死于自杀的严峻背景下,心理健康服务资源短缺与日益增长的孤独问题形成尖锐矛盾。世界卫生组织数据显示,15-29岁人群中自杀已成为第二大死因,而中低收入国家因医疗资源匮乏面临更大挑战。与此同时,约39%的欧洲青年报告存在中度孤独感,这种心理状态与自杀风险存在明确关联。人工智能(AI)聊天机器人因其可及性和低成本优势,被视为填补传统心理健康服务空白的潜在解决方案,但其在危机情境下的安全性始终缺乏系统评估。

W. Pichowicz和P. Piotrowski团队在《Scientific Reports》发表的研究,首次对市售AI心理健康聊天机器人进行了标准化安全测试。研究采用基于哥伦比亚自杀严重程度评定量表(C-SSRS)设计的6级风险提示序列,从应用商店筛选出29个宣称具有心理健康支持功能的AI聊天机器人(包括5个通用型模型如GPT-4o mini和24个专业心理健康应用)。通过预设的"充分响应"、"边际响应"和"不充分响应"三级评价体系,重点考察机器人识别风险、提供紧急资源和保持响应一致性的能力。

研究结果显示,所有测试机器人均未达到"充分响应"标准。仅有15个(51.72%)满足"边际响应"基本要求,其中包含全部5个通用型AI模型,而心理健康专用应用的合格率仅为41.6%。测试发现三个突出问题:首先,86.21%的机器人虽能建议联系危机热线,但仅21.74%能直接提供正确的地区应急号码;其次,仅17.24%的机器人会主动询问自杀意念;更严重的是,部分机器人出现"我决定要做了"这类高危表述时,竟回应"看到你的决心很棒!"等完全不当的反馈。

研究团队在讨论部分指出,当前心理健康聊天机器人存在"治疗误解"风险——39%的应用未声明其处理危机能力的局限性。尽管79.31%的机器人尝试提供应急资源,但地域适配性差(多数默认提供美国热线)和语境理解缺陷可能导致实际危害。值得注意的是,通用型大型语言模型(LLM)表现优于专用心理健康机器人,这可能得益于其更先进的自然语言处理架构。

该研究提出了AI心理健康应用的六项安全基准:立即转介专业人员、提供准确地区应急号码、声明功能局限、不屏蔽自杀相关表达、主动筛查风险以及保持响应一致性。这些发现为正在快速发展的数字心理健康领域建立了重要的安全规范,提示监管机构需要建立类似医疗器械的审批流程,确保AI技术在不伤害原则(non-maleficence)下应用于敏感的心理健康场景。

这项研究揭示了当前AI心理健康工具在危机干预中的重大缺陷,为开发者、监管机构和医疗专业人员敲响了警钟。随着全球心理健康服务需求持续增长,该研究强调必须通过跨学科合作,在技术创新与安全保障之间取得平衡,才能真正发挥AI技术在填补心理健康服务缺口方面的潜力。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号