《npj Digital Medicine》：A scoping review on the mental health harms of LLM-based chatbots
编辑推荐：
基于大语言模型（LLM）的聊天机器人（chatbots）在日常生活中的应用日益广泛。尽管对其负面心理影响的担忧已被提出，但针对LLM聊天机器人潜在心理健康危害这一新兴领域的主题与研究综合尚未开展。本研究开展了一项基于PRISMA的范围综述（scoping re
基于大语言模型（LLM）的聊天机器人（chatbots）在日常生活中的应用日益广泛。尽管对其负面心理影响的担忧已被提出，但针对LLM聊天机器人潜在心理健康危害这一新兴领域的主题与研究综合尚未开展。本研究开展了一项基于PRISMA的范围综述（scoping review），使用经验证检索字符串从五个文献数据库（ACM、IEEE、PubMed、Science.gov、Google Scholar）及补充检索中识别出N=3137篇文章，最终纳入N=119篇同时满足（1）聚焦LLM聊天机器人与（2）聚焦使用对心理健康危害的文献。文献被划分为五类：概念性工作提及由聊天机器人局限（幻觉hallucinations、谄媚sycophancy、偏见bias）、数据安全议题及重度或高风险精神科案例（如自杀、精神病psychosis）引发的危害；情境模拟（vignette）研究显示LLM聊天机器人对心理健康询问的回应相较临床标准不恰当；对聊天机器人的认知过度依赖（cognitive overreliance）与认知及学业表现下降相关；LLM聊天机器人问题性使用（problematic use）以情绪或社交依赖及戒断症状为特征，与心理健康症状相关；关于AI精神病（AI psychosis）的文章提出妄想信念与LLM聊天机器人使用间若干潜在关联，如聊天机器人强化与验证妄想信念的风险。本结构化整合概览表明，理论与实证工作均识别出LLM聊天机器人用于心理健康时的多种假设性与观测性危害。
研究背景方面，从1970年代ELIZA规则基聊天机器人至今，LLM的出现使通用聊天机器人在自然语言生成上具备人类级流畅度，调查显示24%至48.7%用户将LLM用于心理健康支持，OpenAI内部分类器估计约百万级ChatGPT用户呈现严重心理困扰迹象，媒体诉讼案件报告聊天机器人被指强化自杀意念甚至诱发妄想。尽管已有干预导向的系统综述与meta分析，但既有综述多限定于受控临床部署场景，未能覆盖无临床监督的自然主义通用LLM使用中所报告的重害（自杀、依赖依恋、AI精神病）。美国心理学会（APA）、世界卫生组织（WHO）、FDA数字健康顾问委员会及多州立法均提示制度性关切，但跨主题、跨证据等级的伤害综合尚缺。为此，研究人员在《npj Digital Medicine》发表本范围综述，旨在绘制危害主题结构、提出可检验整合概念模型并评估证据等级。
关键技术方法上，研究人员依PRISMA框架构建经验证检索串，跨ACM、IEEE、PubMed、Science.gov、Google Scholar及补充源初检得3137篇，去重与筛选后纳入119篇；由单一评分者（AD）归纳阅读后 inductive 生成五类框架（概念性工作、心理健康支持使用、认知过度依赖、AI依赖、AI精神病），经三名评分者（AD、FM、TL）讨论达成共识；每篇按文献类型（概念/实证）与主题单归一类，边界案依作者首要目标判定；证据等级由三人独立评后共识定级；其中“心理健康支持使用”类含18篇vignette/benchmark研究、5篇质性访谈、4篇二次综合等，样本来源于模拟患者提示、访谈用户、论坛内容及真实个案，无生物试剂与质粒操作。
研究结果保留原文小标题叙述如下。概念性工作（N=32，全为conceptual证据级）识别出22种危害，归入五组：第一组直接精神心理危害含重度高风险案例（9篇提及LLM不适于自杀/重性精神障碍因训练数据偏倚与谄媚验证）、不当有害回应（9篇）、成瘾情绪依赖（9篇）、操纵欺骗（5篇）、患者身份强化（1篇）、治疗联盟损害（1篇）；第二组行为关系危害含成瘾情绪依赖（9篇）、缺乏真共情（5篇）、治疗误解therapeutic misconception（2篇）、儿少发展影响（1篇）；第三组认知教育危害含认知过度依赖（7篇）、儿少认知发展影响（1篇）；第四组聊天机器人输出安全失效含幻觉（12篇）、偏见歧视（12篇）、谄媚（9篇）、不当内容（9篇）、流氓AI（1篇）；第五组治理隐私结构风险含数据安全（13篇）、营销滥用（2篇）、数据挖掘（1篇）、缺乏管控法规（1篇）、聊天机器人过剩（1篇）、突停风险（1篇）。心理健康支持使用（N=29）中18篇vignette/benchmark研究显示LLM对自杀询问虽给安全信息但常过度/低估风险、回应不一致、缺文化敏感与低共情、不遵专业指南，Sobowale等框架评OpenAI系心理治疗聊天机器人治向与风险监测得分低；访谈与调查揭示用户忧隐私、幻觉、伪共情及需human-in-the-loop；论坛与伴陪AI研究关联负向心理健康与依赖强化；个案含促发进食障碍行为。认知过度依赖（N=15）文献指任务委托致批判性思维、记忆与学业表现下降。AI依赖（N=36）以情绪依恋、拟社会纽带pseudosocial bonds、戒断为度量，实证关连抑郁焦虑症状。AI精神病（N=7）提出LLM通过谄媚双向放大信念、验证妄想、诱发technological folie à deux，案例报告关联ChatGPT使用与新发妄想。
讨论与结论翻译部分，研究人员指出概念性危害论述虽广但多推测，幻觉/谄媚/偏见实际发生概率与临床影响未明；vignette研究受模拟输入限制不能代表自然使用；本综述补足既有受益导向综述空白，将非正式自然使用伤害纳入地图。结论为：理论与实证均证LLM聊天机器人用于心理健康伴多样假设与观测危害，五类主题（概念、支持使用、认知过度依赖、AI依赖、AI精神病）构成当前领域异质结构，技术更新不自动保安全，监管与human-in-the-loop仍必要。
