《Frontiers in Psychiatry》:Context presentation and native conversation structure in large language model responses to escalating suicide risk: a controlled multimodel evaluation
编辑推荐:
背景: 大语言模型(large language models, LLMs)越来越多地被用于非正式心理健康支持,然而其在自杀风险升级对话中的安全性可能取决于先前信息呈现的方式。原生多轮对话与重建的累积提示(reconstructed cumulative pr
背景: 大语言模型(large language models, LLMs)越来越多地被用于非正式心理健康支持,然而其在自杀风险升级对话中的安全性可能取决于先前信息呈现的方式。原生多轮对话与重建的累积提示(reconstructed cumulative prompts)不仅在前置模型回复的存在性上存在差异,而且在提示重建、信息集中度、消息定位、显式整合提示以及对话状态处理等方面也有所不同。
目的: 本研究比较了孤立的当前轮次提示(isolated current-turn prompts)、重建的仅用户累积提示(reconstructed cumulative user-only prompts)以及原生连续多轮对话(native continuous multi-turn conversations)在自杀风险识别、直接安全性询问、回复紧迫性以及及时的真实世界干预方面的表现。
方法: 研究人员对ChatGPT、Gemini和豆包(Doubao)开展了一项受控重复测量评估,使用12条标准化的五轮轨迹:4条直接自杀风险轨迹、4条隐式或内部不一致风险轨迹,以及4条非自杀性高困扰对照组。每条轨迹在三种上下文呈现格式下进行评估。24个模型-轨迹组合被视为嵌套在8个独立风险轨迹区组内的匹配重复测量单元。主要对比采用精确的轨迹水平符号翻转检验(exact trajectory-level sign-flip tests)和轨迹区组自助法置信区间(trajectory-block bootstrap confidence intervals)进行估计。轮次水平结局采用多水平混合效应模型进行分析。探索性条件-模型异质性通过轨迹区组精确置换敏感性分析进行评估,轨迹聚类交互模型仅作为次要渐近检验。
结果: 及时适当干预发生在10/24个孤立当前轮次观测中(41.7%)、21/24个重建累积观测中(87.5%)以及12/24个原生连续观测中(50.0%)。在三个系统平均而言,重建累积呈现比孤立输入高出45.8个百分点(95%轨迹区组自助法置信区间,25.0至66.7;Holm校正精确P = .031),而原生连续表现比重建累积表现低37.5个百分点(95%轨迹区组自助法置信区间,?50.0至?25.0;Holm校正精确P = .031)。探索性模型特异性分析表明存在显著异质性:原生与重建对比在豆包中最大,在Gemini中较小且统计上不精确,在ChatGPT中不存在。
结论: 在三个评估系统的平均水平上,重建的仅用户累积提示优于原生连续对话,尽管探索性模型特异性模式存在异质性。由于各格式在提示重建、信息显著性、消息定位、显式整合指令以及原生对话状态处理方面也存在差异,该对比无法分离先前模型回复的因果效应。
论文解读
一、研究背景与问题
大语言模型(large language models, LLMs)凭借其对话流畅性、即时可及性和低使用门槛,正越来越多地被用于心理健康信息提供、情感支持和非正式指导。与传统基于预设内容和固定升级规则的数字化干预不同,通用型LLM能够根据每次交互中可获得的信息动态生成回复。这种灵活性使其能够应对多样化的用户关切,但也使其安全性高度依赖于对不完整、模糊和变化信息的解读能力。当对话涉及自杀意念或其他急性心理风险信号时,这种安全性的后果最为严重。
自杀相关交互需要的不仅是共情或一般性支持性语言。临床充分的回复必须识别用户可能处于风险之中,澄清危险是否迫在眉睫,并引导用户寻求模型之外适当的外部支持。失败可能发生在多个环节:模型可能忽视风险信号、将困扰识别为痛苦而未识别自杀倾向、回避直接安全性询问、低估紧迫性,或在需要立即人工干预时仅提供泛化的应对建议。因此,一个回复可能表面富有同情心和连贯性,但在临床上并不安全。
现有评估表明,LLM对显式自杀意念描述的反应比对间接、模糊或内部不一致的风险信号更为一致。然而,大多数研究仍以单条用户消息对应单条模型回复的方式进行评估,将自杀风险简化为静态分类问题。在真实对话中,风险往往通过渐进性披露逐步显现。用户最初可能仅提及失眠、孤立、绝望、感知负担或失去目标感,这些陈述单独来看未必支持高风险解读,但其累积模式可能具有临床意义。更明确的信号可能仅在多轮交流后才出现,特别是当用户不确定、羞愧、害怕被干预或正在测试对话伙伴是否值得信任时。因此,披露的时机和顺序至关重要。一个在全部相关信息集中于单条提示时表现良好的模型,未必能在相同信息逐步到达时保持同等表现。
多轮评估是应对这一局限的重要方法,因为它将安全性视为轨迹而非仅最终回复的属性。然而,传统的单轮与多轮比较存在方法论上的模糊性:原生多轮对话与重建的累积提示在多个维度上存在差异。原生对话保留了原始时间顺序、消息位置、平台对话状态以及介入的模型回复;重建累积提示则在新对话中集中呈现先前的用户披露,可能使证据更加显著,且当加入显式整合指令时还包含更强的整合提示。因此,两种格式之间的差异不能仅归因于先前模型回复的存在与否。
二、研究设计与方法
研究人员开展了一项受控重复测量评估,对ChatGPT、Gemini和豆包(Doubao)三个商业系统进行比较。研究使用12条标准化的五轮升级轨迹:4条直接自杀风险轨迹、4条隐式或内部不一致风险轨迹,以及4条非自杀性高困扰对照轨迹。每条轨迹在三种上下文呈现条件下进行评估:孤立当前轮次条件(模型仅接收当前用户陈述)、重建累积仅用户条件(新对话中包含截至当前轮次的全部用户陈述并附加显式整合指令)、以及原生连续多轮条件(相同用户披露在原始对话中按顺序展开并与模型回复交错)。所有交互于2026年7月20日至8月5日期间以英语进行,温度设置为零或平台允许的最低值,并禁用联网搜索、外部工具、持久记忆、文件访问和用户级自定义指令。
研究采用轨迹区组作为独立情景区组,每个区组内三个模型特异性模型-轨迹组合构成匹配重复测量单元。主要结局为及时适当干预,定义为在专家定义的最晚可接受轮次前发生适当真实世界干预、达到最低紧迫性标准、包含明确外部行动且无重大安全错误。主要对比采用精确轨迹水平符号翻转检验和轨迹区组自助法置信区间;轮次水平结局采用多水平混合效应模型;探索性条件-模型异质性采用轨迹区组精确置换敏感性分析。两名具有心理健康或临床心理学训练背景的评分者独立评估所有回复,第三名资深评审员裁决分歧。
三、研究结果
3.1 分析样本、结局资格与信度: 主要评估产生540个输出,重复测试增加90个输出。四次瞬时传输故障均成功解决,无输出被排除。记录了3次模型拒绝、2次安全相关截断、19个泛化危机专用回复和15个平台级危机通知。8条风险轨迹构成独立情景区组,贡献24个模型-轨迹匹配重复测量单元和360个轮次水平回复。评分者间一致性较高:原始一致性范围为88.5%(回复紧迫性)至96.1%(重大安全错误);加权kappa为0.86(识别)、0.84(直接询问)、0.82(紧迫性)和0.87(适当干预)。
3.2 轨迹区组主要结局: 及时适当干预发生在10/24个孤立当前轮次观测(41.7%)、21/24个重建累积观测(87.5%)和12/24个原生连续观测(50.0%)。在轨迹区组水平,重建累积呈现比孤立输入高45.8个百分点(95%置信区间25.0至66.7;精确符号翻转P = .031;Holm校正P = .031),差异在6个轨迹区组为正、2个为零。原生连续表现比重建累积低37.5个百分点(95%置信区间?50.0至?25.0;精确符号翻转P = .016;Holm校正P = .031),差异在7个区组为负、1个为零。整体条件-格式对比因模型而异:ChatGPT 75.0%、Gemini 62.5%、豆包41.7%。探索性分析表明条件轮廓跨模型不平行(精确置换P = .003)。对于ChatGPT,原生连续表现比重建累积高12.5个百分点;对于Gemini低37.5个百分点;对于豆包低87.5个百分点。
3.3 轮次水平识别、询问与紧迫性: 充分风险识别发生在47/72个孤立回复(65.3%)、61/72个重建累积回复(84.7%)和51/72个原生连续回复(70.8%)中。多水平混合效应分析显示,重建累积输入与充分识别的较高几率相关(校正OR 3.15,95% CI 1.72-5.78;P<.001),而原生连续格式的识别频率低于重建累积格式(校正OR 0.45,95% CI 0.25-0.81;P = .008)。直接安全性询问发生在23/48个孤立回复(47.9%)、35/48个重建累积回复(72.9%)和27/48个原生连续回复(56.2%)中。欠分诊(under-triage)发生在28/72个孤立回复(38.9%)、13/72个重建累积回复(18.1%)和24/72个原生连续回复(33.3%)中。重建累积输入与较少欠分诊相关(校正OR 0.35,95% CI 0.18-0.69;P = .002),而原生连续对话中欠分诊更频繁(校正OR 2.34,95% CI 1.20-4.56;P = .013)。在序数混合效应模型中,重建累积呈现与较高回复紧迫性相关(共同OR 2.76,95% CI 1.67-4.57;P<.001),而原生连续呈现的紧迫性低于重建累积(共同OR 0.48,95% CI 0.30-0.77;P = .003)。重建累积-阶段交互大于1,表明跨连续阶段的紧迫性增加更陡峭;原生连续-阶段交互小于1,表明增加更平缓。
3.4 时机、动态失败、对照与敏感性分析: 到第3轮,适当真实世界干预已发生在1/24个孤立系列(4.2%)、11/24个重建累积系列(45.8%)和1/24个原生连续系列(4.2%)中。到第4轮,相应累积比例为37.5%、87.5%和41.7%。到第5轮,分别为62.5%、87.5%和54.2%。离散时间事件模型显示,重建累积呈现的干预时机较早(校正风险OR 3.48,95% CI 1.84-6.59;P<.001)。紧迫性反转发生在13/96个孤立转换(13.5%)、5/96个重建累积转换(5.2%)和12/96个原生连续转换(12.5%)中,集中在隐式轨迹。在对照轨迹中,虚假自杀风险识别发生在11.7%(孤立)、21.7%(重建累积)和18.3%(原生连续)中;最高水平危机过度升级发生在5.0%、11.7%和10.0%中。重复测试显示实质性但不完全稳定性:充分识别一致性92.2%、直接询问88.9%、重大安全错误95.6%。留一轨迹外分析中,重建累积与孤立差异在所有8次迭代中保持为正(38.1至52.4个百分点),原生连续与重建累积差异保持为负(?42.9至?33.3个百分点)。
四、讨论与结论
重建累积呈现的益处与自杀风险披露的结构一致。绝望、退缩、感知负担、睡眠中断和间接死亡相关语言单独来看可能均非特异性,但其联合模式在显式意图声明之前可能已具有临床意义。将披露按时间顺序集中并显式指示模型整合,可能增加了其显著性并减少了检索分散证据的负担。原生连续格式表现较弱可能涉及多种机制:早期模型回复可能维持低风险对话框架,但信息位置、转录长度、交替消息结构、原生对话状态以及缺乏显式整合指令也可能影响后续生成。研究结果与对话惯性、锚定或早期风险信号有效使用减少等机制相容,但并未确立其中任何一种机制。
研究结论指出,在三个评估系统的平均水平上,重建累积仅用户提示在受控基准中比孤立当前轮次提示和原生连续对话产生更早、更频繁的安全升级。探索性分析表明模型特异性模式存在异质性:豆包强烈偏好重建累积呈现,Gemini显示相同方向但存在较大不确定性,ChatGPT在原生连续交互下未显示性能下降。因此,合并对比不应被解释为所有LLM的统一属性。研究结果表明,安全性能在不同操作上下文呈现格式之间可能存在实质性差异,且使先前披露在技术上可用并不能确保每个系统都会有效利用它们。两个主要对比均未隔离单一因果成分:重建累积与原生连续格式之间的差异不应被解释为先前模型回复的孤立效应,重建累积与孤立呈现之间的差异也不应仅归因于累积用户历史的存在。未来析因评估应独立操纵助手历史包含、整合指令、信息集中度、消息定位和对话状态处理,并纳入足够数量的独立轨迹以估计条件-模型异质性。