用于心理健康的情感大型语言模型：情绪建模、多模态智能以及伦理约束

《Neurocomputing》：Affective large language models for mental health: Emotion modeling, multimodal intelligence, and ethical constraints

　　•通过对情感大语言模型（LLMs）的受限推理和部分可观察性进行重新框架构建。•引入了一个统一的框架，用于处理情感、多模态和伦理评估。•解释了在鲁棒性、复杂性和不确定性方面的多模态权衡。•确定评估激励是情感模型不一致性的一个来源。

引言
心理健康是人类与人工智能互动的一个特别具有挑战性的领域，这不仅因为它具有社会相关性，还因为它暴露了当代人工智能系统的关键局限性[1]。与一般的对话领域不同，心理健康互动发生在脆弱性、风险不对称以及心理状态不断变化的情境中，而这些心理状态只能通过语言间接获取[2]。在这种情况下，语言连贯性或风格上的合理性不足以衡量能力。有效表现取决于在不确定性下进行推理的能力、在交互历史中保持连贯性的能力，以及在误解可能带来实质性后果的情境中避免错误积累的能力[3][4]。
最近，由于LLMs具备自然对话和情境推理的能力，它们被用作心理健康系统中具有情感意识的底层基础[5]。情绪检测、情感建模和多模态集成越来越多地应用于这些架构中，并且通常通过强调表面级对应关系的短期基准测试进行评估[6]。然而，先前的研究表明，在这些条件下的表面成功并不一致地转化为长期互动中的稳定行为、分布变化或伦理敏感的部署[7][8]。这种差异揭示了基于基准的情感能力概念与实际心理健康情境所施加的推理需求之间的差距。
要理解这一差距，需要从将情感视为语言的一个可观察属性转向考察情感推理发生的条件[9]。部分可观察性、时间依赖性和规范约束共同定义了心理健康互动过程中情感行为出现的空间[10]。这种互动结构影响了建模选择、多模态扩展、伦理权衡和评估结果。明确这些约束对于以反映情感语言系统的实际能力范围的方式解释它们是必要的。

本研究的动机在于LLMs的情感能力通常的评估方式与其在心理健康环境中预期运行的条件之间存在持续的不匹配。现有研究主要强调基准测试表现和表达上的合理性，而由不确定性、时间依赖性和风险不对称性引入的推理挑战却相对较少被探索。因此，所报告的进展往往难以从鲁棒性、可靠性和负责任的部署角度来解释。解决这一差距需要一种分析视角，不仅解释情感系统的表现，还要解释它们的行为为何会在不同的互动情境和评估条件下发生变化。
当前的分析通过整合推理结构、实证故障模式和影响心理健康互动中情感行为的评估驱动因素来解决这种不一致性：
- 心理健康中的情感智能被重新定义为一种由部分可观察性、时间依赖性和风险不对称性定义的受限推理问题，而不是语言表达性或模型规模的自然结果。
- 它提供了一个结构化综合，将情感建模机制、多模态表述、伦理和公平性约束以及评估范式统一在一个分析视角下，展示了在一个维度上的设计选择如何系统地限制了行为、鲁棒性和责任。
- 报告的性能模式通过其特征性故障结构进行解释，说明了为什么在受控基准测试环境中观察到的改进往往无法推广到长期互动、分布变化和脆弱心理健康环境中的实际部署。
- 分析确定评估激励是不一致性的一个关键驱动因素，揭示了当前的评估标准如何奖励自信的情感归因，同时抑制了对不确定性的认识、时间重新校准以及从早期推理错误中恢复的能力。

为了确保方法学的严谨性、可重复性和系统的证据识别，采用了与系统评价综述和元分析的首选报告条目（PRISMA）框架[11]相一致的结构性和透明的证据合成协议。该审查协议旨在系统地识别、筛选、评估和综合研究心理健康应用中情感LLMs的同行评审研究。由此产生的语料库为后续部分中的分析合成提供了基础，使我们能够系统地识别出反复出现的方法学特征、互动范式、评估实践、部署考虑和开放的研究挑战。
文献搜索包括截至2026年8月的同行评审出版物。特别关注了反映情感LLMs、对话AI、多模态情感智能和基于语言的心理健康支持系统快速发展的最新研究。当早期出版物为情感计算、情绪建模、不确定性表示、互动动态和计算心理健康奠定了理论或方法论基础时，也会选择性地保留它们。所采用的策略既捕捉了该领域的发展历史，也反映了从经典情感计算方法到当代基于LLM的系统的方法论转变。

证据来自四个主要的文献数据库，即IEEE Xplore、ACM Digital Library、SpringerLink和ScienceDirect，而Google Scholar仅作为补充来源，用于追踪前后引用和检索完整性。这些数据库共同涵盖了广泛的同行评审期刊、杂志和会议论文，涵盖了人工智能、自然语言处理、情感计算、计算语言学、数字医疗保健和心理健康技术。只有用英语撰写的同行评审出版物被系统地纳入考虑范围。预印本、技术报告、论文、学位论文、教程、立场文件、专利和其他形式的灰文献被排除在外，以保持方法学一致性，并确保分析综合仅依赖于存档的科学证据。结合同行评审的证据基础与系统的引用链，平衡了方法学一致性和检索完整性，同时减少了遗漏重要近期贡献的可能性。尽管排除了灰文献，但这可能会限制对仅以预印本形式存在的非常新发展的覆盖范围，包括那些尚未进入同行评审文献引用网络的arXiv研究。
搜索策略基于结构化的布尔表达式，旨在系统地检索情感计算、LLMs和心理健康之间的交叉文献。搜索词被组织成三个互补的主题组，分别对应于情感智能、语言模型技术和心理健康应用。每组内的术语使用布尔运算符OR组合，而三个组则使用AND连接。根据每个文献数据库的索引语法调整了等效的查询公式，并进行了向前和向后的引用追踪，以提高检索完整性。在文献检索过程中使用的代表性布尔搜索表达式如下：
- (“情感计算” OR “情感AI” OR “情绪识别” OR “情绪理解” OR “情绪建模” OR “情感推理” OR “情感对话” OR “共情” OR “情绪调节” OR “情感对齐” OR “不确定性”）
- (“大型语言模型” OR “LLM” OR “Transformer” OR “对话代理” OR “对话系统” OR “上下文感知对话” OR “多轮对话” OR “基于记忆的语言模型” OR “基于检索的生成” OR “多模态语言模型”）
- (“心理健康” OR “心理健康护理” OR “心理治疗” OR “心理评估” OR “行为健康” OR “临床决策支持” OR “数字疗法” OR “情感支持” OR “抑郁” OR “焦虑” OR “幸福感” OR “危机干预”）
- (“情感计算” OR “情感AI” OR “情绪识别” OR “情绪理解” OR “情绪建模” OR “情感推理”) AND (“大型语言模型” OR “LLM” OR “上下文感知对话” OR “多轮对话” OR “基于记忆的语言模型” OR “基于检索的生成” OR “多模态语言模型”) AND (“心理健康” OR “心理健康护理” OR “心理治疗” OR “行为健康” OR “临床决策支持” OR “抑郁” OR “焦虑”）

初步搜索确定了208篇候选出版物。通过DOI验证、元数据比较、标题匹配和手动检查移除了重复记录，得到了177篇唯一的研究以供进一步评估。随后根据预定义的纳入和排除标准对标题和摘要进行了筛选。如果出版物明确涉及以下一个或多个方面，则将其视为符合全文评估的标准：(i) 基于LLM的系统中的情感推理、情绪理解或共情建模；(ii) 对话互动、多模态情感智能或人机通信；(iii) 不确定性、校准、时间互动、记忆机制或长期情感行为；(iv) 情感AI的伦理、公平性、隐私、安全或部署考虑；(v) 与心理健康中情感语言模型相关的评估方法、基准数据集或实证分析。在此筛选阶段，有14篇出版物因不符合预定义的标准而被排除，剩下163篇研究进入全文评估。
全文评估考虑了方法学质量和概念相关性。只有那些提供了实质性实证证据、方法学发展、架构分析、基于部署的研究、综述文章或与心理健康环境中情感LLMs直接相关的理论基础的出版物才被保留。专注于传统情感分析、没有互动影响的情感孤立分类、缺乏方法学相关性的特定应用演示，或没有明确情感或心理健康考虑的对话系统的出版物被排除。 whenever 单轮评估研究提供了关于情感建模、基准表现或评估方法的有意义的实证证据，则予以保留。在结构化编码过程中明确记录了它们的互动设置，从而能够与多轮和长期研究进行系统比较。在资格评估之后，又排除了34篇出版物，最终纳入定性证据综合的同行评审研究共有129篇。
结果中的评分者间一致性表明，在标题-摘要筛选阶段()和全文资格评估阶段()期间都存在相当大的一致性，对应于总体Cohen’s coefficient，支持了研究选择过程的可靠性和可重复性[12]。预定义的资格标准和结构化编码协议在筛选过程之前就已确定，并在整个比较分析过程中保持不变，从而减少了证据合成中的主观解释。
最终包含的129篇出版物经过了编码处理，以便在主要的方法学维度上对心理健康中的情感LLMs进行系统性的跨研究比较。为了确保一致的证据合成，每篇保留的研究都根据八个互补的分析维度进行了分析，这些维度涵盖了应用背景、情感表示、模型设计、互动行为、评估方法和部署考虑：
- 心理健康应用场景，包括健康支持、心理治疗辅助、心理评估、危机干预、临床决策支持及相关部署设置。
- 情感建模范式，包括分类情绪识别、维度情感表示、基于评估的模型、潜在状态表述、情感推理和混合方法。
- 模型架构，包括LLMs、多模态语言模型、对话代理、基于检索的系统以及具有记忆感知的对话系统。
- 互动范式，包括单轮评估、多轮对话、长期互动、自适应对话行为和上下文持久性。
- 不确定性表示和时间推理，包括不确定性估计、校准、信心评估、信念更新、时间情感动态、上下文管理和在不完整观察下的推理。
- 评估方法，包括基准数据集、实验协议、定量性能指标、鲁棒性分析、校准措施、跨领域验证、长期评估和以人为中心的评估。
- 部署考虑，包括可解释性、公平性、隐私保护、安全性、伦理保障、临床监督以及与实际心理健康应用相关的操作约束。
- 证据类别，区分了实证研究、基准论文、方法学贡献、架构框架、面向部署的系统、调查和理论分析。

编码协议为提出的分类法提供了分析基础，包括情感LLMs的比较评估、方法学趋势的合成、部署挑战的分析以及开放研究问题的识别。这项研究的组织是从系统的编码过程中得出的，而不是预先定义的概念分类。完整的研究选择工作流程，包括识别、筛选、资格评估和最终纳入，在图1的PRISMA图中进行了说明。图2展示了论文的组织结构，遵循了从情感智能的概念基础到情感建模、多模态集成、评估方法、部署考虑和开放研究挑战的分析综合过程，为从方法和部署角度考察心理健康中的情感LLMs提供了一个连贯的框架。
本文的其余部分组织如下：第2节定义了调查的范围，并将心理健康中的情感建模形式化为在不确定性下的推理问题。第3节介绍了与心理健康互动相关的情感计算的概念基础。第4节分析了大规模语言模型中的情绪检测和情感建模。第5节探讨了集成在LLM中的多模态情感计算。第6节讨论了情感敏感应用中固有的伦理、隐私和公平性约束。第7节回顾了心理健康中情感语言模型的评估范式和基准测试实践。第8节总结了见解和设计启示。第9节对比解读了现有文献。最后，第10节总结了这项研究。

**研究范围、定义和问题形式化**
在基于语言的系统中，情感能力在心理健康互动中扮演着质量上不同的角色。在这种互动中，语言交流发生在脆弱性、不确定性和非对称风险存在的情况下[13][14]。这里所说的非对称风险指的是那些错误的情感推断（无论是正面误判还是负面误判）所带来的后果不同的情况，即自信的误解可能比谨慎的欠投入更为有害。

**用于心理健康AI的情感计算的概念基础**
情感计算的发展长期以来一直受到两种观点之间的张力影响：一种将情绪视为可观测信号，另一种则将情感解读为一种随时间发展的内在心理过程[34]。在心理健康环境中，这种区分尤为重要，因为情绪表达很少能稳定或可靠地反映内在体验。情感的语言表达常常受到抑制、叙事自我调节等因素的影响。

**大规模语言模型中的情感检测与情感建模**
在大型语言模型（LLM）中，情感行为是作为一种由大规模语言建模诱导的次级结构出现的，而不是作为一个明确的学习目标。这一起源既影响了这些系统的表达能力，也决定了它们在情感敏感领域所面临的局限性。文本中的情感线索较为稀少，往往受到叙事意图的中介作用，并且在不同上下文中表现出不均匀性，使得情感建模成为一个本质上间接的任务。

**集成在LLM中的多模态情感计算**
将多模态信号引入情感语言系统改变了情感建模的结构，而不仅仅是在单一轴线上扩展现有能力。基于文本的推理主要依赖于语言规则性，而多模态系统则处理时间粒度、噪声特征和语义对齐方面存在差异的异构信号。因此，情感建模从间接的语言近似转向了在多模态环境下进行的推理。

**情感敏感的LLM应用中的伦理、隐私和公平性约束**
在以情感脆弱性为特征的心理健康应用中，伦理、隐私和公平性问题源自情感推理的内部机制，而不仅仅是在系统构建后施加的外部规范。当语言模型在情感状态的不确定性下运行时，它们的内部表示和响应策略会塑造用户解读，影响情感轨迹，并赋予某种感知上的权威性。

**心理健康领域情感LLM的评估范式与基准测试**
在心理健康环境中，评估更多地是一种塑造情感语言系统行为的机制，而不仅仅是一个被动的测量过程。情感能力并不表现为可以通过孤立准确性或基于概率的指标来捕捉的静态属性。相反，它是在不确定性和与人类脆弱性的互动中逐渐呈现的。在这种背景下，评估设计决定了哪些形式的情感推理是可行的。

**合成洞察与设计启示**
用于心理健康领域的LLM的情感智能从根本上受到情感必须被建模、集成和评估的推理结构的限制，而不是通过规模扩展、数据增长或架构创新来积累。建模选择、多模态扩展、伦理考量和基准测试实践在一个有限的设计空间内相互作用，通常在一个维度的收益会在其他维度上引发脆弱性。

**讨论**
本调查位于一个不断扩展的文献体系中，该体系致力于探讨LLM与心理健康环境中的情感系统。现有的调查通过编目临床应用、梳理安全性和伦理问题、调查疾病检测流程以及概述以心理治疗为导向的用例做出了重要贡献。这些研究共同确立了LLM在心理健康领域的实证和社会相关性。然而，它们主要还是按照某种组织方式来整理这个领域的内容。

**结论**
本调查将用于心理健康的情感LLM视为一种受限推理问题，而不是语言流畅性或模型规模的后果。通过部分可观测性、不确定性和时间依赖性来框架情感行为，揭示了那些将情感能力等同于表达丰富性、基准性能或架构新颖性的方法的局限性。在心理健康环境中，强大的情感能力取决于...

**作者贡献声明**
Elias Dritsas：写作——审稿与编辑、撰写原始草稿、可视化、方法论、形式分析、概念化。Maria Trigka：写作——审稿与编辑、撰写原始草稿、方法论、形式分析、概念化。

**利益冲突声明**
作者声明他们没有已知的利益冲突或个人关系可能影响本文所述的工作。Elias Dritsas博士是希腊西阿提卡大学的兼职讲师。他在希腊帕特拉斯大学的计算机工程与信息学系获得了计算机科学和信息学的文凭、硕士和博士学位，并在英国德比大学获得了MBA学位。他的研究兴趣包括AI和机器学习、大数据、数据库、数据挖掘、人机交互、云计算、安全性和信任等方面。他是...

（由于文本长度限制，翻译内容在此处结束。如需完整版本，请提供更多文档。）