《NPP—Digital Psychiatry and Neuroscience》:Does ChatGPT need a psychiatrist? Similarities between human psychopathology and errors in large language models
编辑推荐:
研究员探讨了精神病理学中大语言模型(LLM)错误与人类症状之间的相似性。研究员指出,精神障碍中两个显著现象——幻觉(hallucinations)和虚构症(confabulations)——在当代人工智能(AI)系统中存在显著类似的错误表现。LLM会"幻觉"出
研究员探讨了精神病理学中大语言模型(LLM)错误与人类症状之间的相似性。研究员指出,精神障碍中两个显著现象——幻觉(hallucinations)和虚构症(confabulations)——在当代人工智能(AI)系统中存在显著类似的错误表现。LLM会"幻觉"出词语,或在信息缺失时"虚构"事实,产生感觉连贯但虚假的输出。通过比较这些错误的产生机制与原因,研究旨在阐明预测性系统背后的共享计算原理。这些比较既揭示了依赖不完美AI系统的风险,也提供了将其作为计算镜像以更好理解人类心智的机会,反之亦然:来自精神病理学症状的知识可能有助于改进AI系统以降低错误率。
自2022年末问世以来,生成式大语言模型(LLMs)如ChatGPT以及语音转文本工具如Whisper已在全球范围内迅速普及,深刻改变了教育、医疗、研究和商业等领域的实践。然而,其生成误导信息的倾向仍是一个重大隐忧。ChatGPT有时会产生表面合理实则不准确的文本,包括伪造参考文献或错误答案;而先进的自动语音识别(ASR)系统如Whisper则引入严重的转录错误,在受控环境中约为1%,在某些实际应用中高达80%,产生无意义或与源输入不符的输出。
这些错误常被标签为"幻觉",但这一术语需要澄清。在人类中,幻觉指无相应外部刺激时发生的虚假感知体验;而LLM错误在任何现象学意义上都不涉及感知,更准确的描述是虚构症:非出于欺骗意图而产生的、既成但虚假的结构。ASR错误在结构上与纯文本LLM不同,因其将声信号转化为文本,使得与幻觉的类比更为贴切;但该系统并非以人类方式感知声音,而是对声学特征进行概率性模式匹配。因此,与幻觉的类比是功能性的而非体验性的:在输入退化条件下,ASR输出可能不一致,类似于错误的感知推断。
研究员认为,这些错误并非简单的技术故障,而是通向预测加工(predictive processing)的窗口。这一AI与精神病理学的交叉领域为两个学科提供了宝贵的洞察机会。理解人类幻觉和虚构症背后的认知机制有助于设计更可靠的AI;反之,研究AI系统的错误也能阐明精神病理学机制,并激发新的认知理论或干预方法。
大语言模型基于Transformer架构,以GPT(Generative Pre-trained Transformer,生成式预训练变换器)为核心代表。ChatGPT由OpenAI开发,通过深度学习处理自然语言任务;Whisper同样由OpenAI开发,利用LLM将口语转换为书面文本。其他著名模型包括Meta的LLaMA和Wav2Vec 2.0、Mistral AI的Mistral、DeepSeek的DeepSeek、Google的Conformer、Microsoft的SpeechLM以及ESPnet等。
虚构症作为记忆错误,在人类与机器之间存在引人入胜的平行关系。人类虚构症是为填补记忆空白而产生的虚假记忆,非出于欺骗意图,且患者通常相信自己的记忆准确。这些虚构往往在一个人的生活背景中显得连贯,反映了大脑试图逻辑性地填补不完整信息的努力。虚构症在严重记忆受损的疾病中最为常见,如痴呆症或科萨科夫综合征(Korsakoff's syndrome)。人类记忆不仅依赖直接感知信息的存储(外显记忆,explicit memory),还积极主动地从一般概念、图式(schema)和规则(内隐或非陈述性记忆,implicit/non-declarative memory)中生成。回忆依赖于内侧颞叶结构和前额叶执行监控等分布式神经系统,后者评估合理性和上下文适配性。虚构症反映了源归因、时间排序或执行监控在有意识系统中的崩溃。
ChatGPT在功能上表现出类似的缺陷:当信息缺乏(即记忆空白)时,模型可通过其预测机制生成合理但错误的回应,这类似于一般图式取代详细情景记忆再现的人类情境。LLM中的"记忆空白"并非缺失的情景痕迹,而是训练数据或参数编码的局限性。模糊、宽泛或模棱两可的提示会鼓励模型以训练模式衍生的假设填补缺失细节;需要多步推理的任务或陷阱问题则常导致逻辑一致但不准确的回应。人类与LLM生成的虚构症均高度依赖情境:人类受引导性问题、情绪状态或强烈先验信念影响更可能以合理但不准确的细节填补记忆空白;GPT模型在获得引导性或充满假设的提示时也更可能产生自信但错误的回应。然而,基于训练数据错误的虚假信息输出不被视为虚构症。LLM的"虚构症"源于基于训练期间学习的统计参数分布的概率性下一个词预测,其缺乏情景记忆、自我建模意识或执行控制过程。
当机器"听到"声音时,ASR幻觉与人类幻觉存在有趣的表层相似性,尤其当聚焦于常见临床现象——言语性听幻觉(auditory verbal hallucinations, AVH)时。在Whisper中,38%的幻觉包含显式伤害内容,分为三类:身体暴力或死亡(19%)、性暗示,以及基于人口统计的刻板印象如编造姓名或冒犯性群体指称。人类AVH同样以负面且常具威胁性的内容为特征。重复是另一共同点:Whisper幻觉常无限循环词语或短语,类似于人类AVH在用词和主题上的重复性。语言使用方面也存在平行:Whisper偶尔生成非英语文本,尽管指定了英语,这让人联想到双语幻听者跨语言体验的幻觉研究。此外,Whisper在无语音或说话者发音不清时更可能产生幻觉,背景噪音或模糊输入似乎触发了错误;类似地,AVH患者也更可能在模糊刺激中感知词语,听力损失显著增加幻觉风险,较好耳每分贝听力损失使幻觉几率增加1.02倍。在行为层面,人类和机器在感知信号微弱或退化时似乎都特别容易幻觉。
然而,潜在机制根本不同。人类AVH被认为涉及皮层-皮层下环路、感觉输入的预测加工,以及正常标记内部言语为自我生成的传出副本(corollary discharge)机制的异常。这些监控系统功能障碍伴随显著性归因改变,可导致将内部言语归因于外部来源。AVH嵌入主观意识体验中:它们被感知、归因和解释,由自我意识的能动者完成。相比之下,Whisper中的幻觉反映基于Transformer的概率性模式补全,应用于声学特征。当输入缺失、模糊或退化时,模型生成其训练分布下最可能的词序列。系统不"听到"声音;它计算声学-文本映射上的似然值。伤害相关或重复内容源于训练数据中的统计规律,而非情感状态、威胁加工或错误归因的内部言语。
为什么存在这些相似性?预测性大脑遇见预测性机器。解释人类幻觉和虚构症的几种理论可映射到LLM类似错误背后的机制。预测加工框架提供了连接这些领域的正式桥梁。自由能原理(Free Energy Principle, FEP)由Karl Friston发展,将生物系统概念化为通过层级贝叶斯(Bayesian)推断最小化长期预期惊奇的系统。感知源于自上而下先验与自下而上感觉证据之间的相互作用,以相对精度加权。幻觉被预测为先验信念因精度加权异常而主导感觉证据时发生,允许内部生成的期望覆盖传入输入。这一框架阐明了与人工系统的平行关系:Whisper通过习得参数优化近似声学特征上的概率推断;在退化或模糊输入下,训练期间学习的统计规律占主导,产生无支持的言语输出。尽管Whisper未实现贝叶斯推断或自由能最小化,但它共享了不确定性下预测的计算逻辑。
记忆理论进一步补充了这一预测性解释。记忆缺陷在虚构症中起核心作用,也牵涉精神病,其中工作记忆受损和非自主记忆侵入可能增加幻觉易感性。虚构症中经常牵涉的记忆缺陷是情境记忆混淆,特别是时间情境混淆:检索信息时缺乏正确顺序。人脑具有可被描述为"编辑"的功能,监控记忆检索任务的输出,检查输出是否与先前检索的记忆、早期言语输出和手边任务相匹配。该过程缺陷导致无检查的反应,即虚构症。LLM在行为层面显示平行脆弱性:ChatGPT等系统无法实时验证事实准确性,其输出完全依赖于有限上下文窗口内先前学习的统计关联。源监控缺陷提供了第三个比较点:人类中,将内部生成思维归因于外部来源的能力受损促成了虚构症和幻觉;LLM同样缺乏稳健的源追踪能力,它们产生流畅文本而无元数据或来源验证。
预测加工框架还阐明了神经调制的作用。经典儿茶酚胺功能网络模型描述多巴胺如何调节神经增益,从而调制信噪比。Servan-Schreiber及其同事证明,虽然单单元反应性变化可能不改变基本检测,但在网络层面它们 crucially 提高了区分信号与噪音的能力,将多巴胺能增益与增强的表现和假阳性易感性联系起来。在预测编码账户中,多巴胺因此被提议调节精度加权,调谐对感觉证据的敏感性与假警报易感性之间的平衡。人工系统表现出类似的权衡:生成模型中的温度参数(temperature parameters)调节输出变异性,较低值将响应约束于高概率预测,较高值增加多样性但也增加错误风险。然而,这种类比是功能性的而非机制性的。温度是单一标量参数,而多巴胺能调制反映涉及多种受体亚型(D1-D5)、区域特异性皮层和皮层下效应,以及与其他神经递质相互作用的复杂神经生物系统。
关于人类AVH发生的最终理论涉及元认知(meta-cognition)的强大作用,如Wright等所述:人脑检查感知言语的适当性和可能性。该过程缺陷促成无检查的幻觉。LLM缺乏内在元认知监控;准确性依赖于人类用户构建精确提示的能力。虽然GPT-4及更高级模型显示一些初步的自我监控能力,这些能力仍有限且高度依赖提示。为AI系统配备改进的元认知能力,例如使用具有生成单元和控制单元的多智能体AI模型,是技术上和伦理上都引人入胜的一步。
近期LLM进展进一步复杂化了直接比较。思维链提示(chain-of-thought prompting)和专业化智能体模型等技术改善了分步推理并减少虚构症;检索增强生成(retrieval-augmented generation)通过将输出链接到外部来源来加强基础性;语义熵(semantic entropy)方法旨在通过量化内部不确定性来检测可能的幻觉。此外,来自人类反馈的强化学习(reinforcement learning from human feedback, RLHF)以及宪法AI(Constitutional AI)等方法明确塑造模型行为以减少有害或误导性输出,而新兴的多模态模型整合了文本、视觉和听觉输入。
在精神病理治疗方面,认知行为疗法(CBT)常用于增强个体批判性评估其感知幻觉有效性的能力。重要技术是现实检验:个体被邀请通过询问"这有道理吗?"或"其他人也感知到这个吗?"等问题来质疑其感知的有效性。类比的机制可以技术上具体地实现于AI系统:"内部一致性检查"可采取思维链提示或分步推理的形式,要求模型重新评估自身输出;合理性评估可通过语义熵等不确定性估计方法操作化;外部验证可通过检索增强生成实现,使回应扎根于引用来源。社会情境在人类幻觉和虚构症中也起关键作用:患者被鼓励寻求他人反馈,他人作为外部验证者。在AI系统中,这一原则类似于跨模型验证或多智能体辩论框架,独立模型在输出交付前批判和完善回应,减少单一模型的过度自信。
反过来,使用AI通知精神病理治疗仍属探索性但前景广阔。在LLM中,分配更多计算资源(如额外处理步骤或多遍验证)常通过启用更慢、更深入的内部评估而非改变生成过程本身来降低错误率。类似原则可能适用于人类:认知表现和错误监控依赖于充足的神经生物学"资源",睡眠等过程通过支持记忆巩固和前额叶调节来恢复这些资源。因此,与其直接针对AVH或虚构症等症状,加强系统层面能力可能减少错误易感性。在临床精神病理学中,改善睡眠、减少压力、促进结构和增强身体健康等干预已是标准护理;但从预测系统视角,这些策略也可能加强更高阶的监管过程,改善错误检测和纠正。这一平行表明,人工和生物系统通常都不是通过抑制生成过程本身,而是通过增强补偿性控制机制来减少错误。
研究员总结,幻觉和虚构症是LLM及LLM依赖软件如Whisper和ChatGPT中公认的问题,凸显了持续人类监督的必要性。值得注意的是,这些错误表面上类似于精神病理学和神经病学中描述的病理幻觉和虚构症。虽然提高LLM准确性至关重要,此类失败反映了人类认知的基本机制。"填补空白"的能力在不完整信息条件下支持感知、记忆和交流,并构成推理、创造力和想象力的基础。AI系统必须共享这种生成能力的某些方面才能以语言水平与人类互动,然而当前模型产生的错误往往类似于病理性而非日常人类错误。
精神病理学的洞见因此可能指导AI发展。研究员建议,病理学理论和临床治疗策略也可能指导AI中的错误缓解方法。反之,AI为精神病理学提供机会:计算模型允许以人类不可能的方式研究和操纵幻觉样错误背后的机制。机器和心智中的错误不是单纯的失败:它们是构建来预测和解释的系统之特征。通过比较人类和LLM中的幻觉和虚构症,我们能更好地理解两者。
两个领域都已使用策略来稳定生成系统:AI中的温度调节、提示设计、检索基础化和跨模型验证;人类中的药物、心理治疗、结构化日程、睡眠和社会反馈。共享的教训可能是,减少错误往往涉及加强整体系统调节而非抑制生成过程本身。或许,在LLM中我们已找到以关键方式模拟人类的模型,这是动物模型始终缺乏的:语言。