个性化情感多模态融合用于心理健康对话的不确定性感知

《Pattern Recognition》:Uncertainty-aware multimodal affective data fusion for personalized mental health dialogue

【字体: 大 中 小 】 时间:2026年08月03日 来源:Pattern Recognition 9.1

编辑推荐:

  个性化情感大语言模型(PALLM)框架被提出,用于隐私敏感的心理健康对话场景。该框架将稳定的用户偏好与动态情感状态解耦,以支持联邦学习(FL)环境下的个性化响应生成。PALLM结合了确定性个性化层与贝叶斯情感表示层,使得模型能够在无需对每个用户进行大语言模型(

  
个性化情感大语言模型(PALLM)框架被提出,用于隐私敏感的心理健康对话场景。该框架将稳定的用户偏好与动态情感状态解耦,以支持联邦学习(FL)环境下的个性化响应生成。PALLM结合了确定性个性化层与贝叶斯情感表示层,使得模型能够在无需对每个用户进行大语言模型(LLM)全量微调的情况下,同时捕捉长期对话特征和情感不确定性。不确定性建模被限制在紧凑的情感表示空间中,这降低了贝叶斯适应大语言模型所带来的计算成本,同时保持与联邦训练的兼容性。在情感对话数据集(EmpatheticDialogues, ED)和心理健康(Mental Health, MH)对话数据集上的实验结果表明,与非个性化和部分个性化基线相比,PALLM实现了更稳定的情感对齐和个性化性能。当前研究仍存在若干局限性:实验依赖于伪用户构建,且主要聚焦于基于文本的对话场景。在真实部署环境中,联邦心理健康对话系统还可能面临用户行为演化、交互稀疏以及大规模系统异构性等挑战。未来工作将探索利用声学和视觉情感信号的多模态情感个性化,并结合更具适应性的不确定性建模策略。
**论文解读:不确定性感知的个性化情感融合框架PALLM用于心理健康对话**

**1. 研究背景与问题**

心理健康支持与情感理解和个性化交互密切相关,有效的辅助不仅依赖于事实正确性,更需要同理心和对话适宜性。近年来,大语言模型(LLM)显著提升了对话系统的自然语言理解和生成能力,推动了情感对话和心理健康支持应用的发展。然而,心理健康对话比通用对话生成更具挑战性,因为用户交互高度敏感、情感动态多变且个体差异明显。现有基于LLM的心理健康对话系统仍主要依赖确定性响应生成和有限形式的个性化,用户适配多通过提示工程或浅层用户嵌入实现,难以捕捉多样化的情感表达模式、应对行为和对话偏好。此外,现有方法很少考虑情感推断中的不确定性,而心理健康对话中的情感状态经常模糊且难以从有限交互中可靠推断。这导致模型在不确定条件下可能过度自信地生成响应,产生情感不当或不可靠的交互。同时,实际部署中隐私约束禁止集中收集敏感对话数据,进一步加剧了这些挑战。因此,迫切需要一种原则性的个性化方法,既能显式建模用户身份,又能建模当前情感状态,并兼顾隐私保护。

**2. 研究内容与主要技术方法**

研究人员提出了PALLM(个性化情感大语言模型)框架,用于心理健康对话。该框架通过两个互补组件将稳定用户偏好与动态情感状态解耦:贝叶斯情感表示层用于在有限交互下建模情感变异性和不确定性,确定性个性化层用于捕捉跨对话会话的相对稳定的对话偏好。两者集成后条件化LLM生成个性化响应。为支持隐私敏感部署,框架在联邦学习(FL)环境中训练,仅共享模型参数在客户端间协作优化,用户特定的情感状态和个性化变量始终保持在本地。实验使用了两个公开数据集:情感对话数据集(EmpatheticDialogues, ED)和心理健康对话数据集(Mental Health, MH),后者来源于在线心理健康论坛,包含大量噪声和歧义。主要技术方法包括:贝叶斯潜在变量建模(通过重参数化技巧优化)、确定性偏好编码器、软提示或适配器机制的条件化整合,以及标准的客户端-服务器联邦训练协议。

**3. 研究结果**

**3.1 主结果**:在ED和MH数据集上,PALLM在多数评估指标上取得最佳性能。与基线相比,PALLM在BLEU和ROUGE-L得分上更高,表明响应质量和连贯性提升;情感对齐得分也最高,表明生成响应与目标情感上下文一致性更好。消融实验表明,确定性个性化和贝叶斯情感建模均对最终性能有贡献,完整PALLM框架在情感对齐和不确定性方差方面均优于消融变体。

**3.2 情感表征可视化**:通过t-SNE投影分析,PALLM学习的情感表征比确定性个性化基线更紧凑、语义上更可分离,簇间重叠减少,表明解耦动态情感不确定性和稳定个性化信息有助于提升表征稳定性。

**3.3 局部训练轮次与客户端参与的影响**:增加客户端参与比例通常提升情感对齐,因为更多客户端贡献本地情感信息。适度的局部训练轮次(约E=10)表现最佳,过大(E=20)在低参与率下出现性能下降,提示异构联邦设置中的客户端漂移现象。

**3.4 异步客户端参与的影响**:模拟客户端每隔s轮参与一次(s∈{1,3,5,10})。随着参与频率降低,所有方法收敛变慢、最终性能下降。确定性个性化基线对异步参与敏感,出现波动;贝叶斯情感建模部分改善稳定性,但缺乏个性化时仍性能较低。PALLM在所有异步设置下保持稳定收敛和优越情感对齐,即使在严重稀疏参与(s=10)下性能退化有限,表明解耦设计增强了鲁棒性。

**4. 讨论与结论**

讨论部分强调,将稳定用户偏好与动态情感不确定性解耦有助于框架在异构联邦设置下保持鲁棒性,这对真实世界中的联邦心理健康对话系统至关重要。研究结论指出,PALLM通过确定性个性化层和贝叶斯情感表示层的结合,在无需全用户LLM微调的情况下同时捕捉长期对话特征和情感不确定性,不确定性建模限制在紧凑情感表示中降低了计算成本并兼容联邦训练。实验验证了PALLM在情感对齐和个性化性能上优于非个性化和部分个性化基线。局限性包括依赖伪用户构建和仅考虑文本对话,未来将探索多模态情感个性化(如声学、视觉信号)和更自适应的不确定性建模策略。该工作发表在《Pattern Recognition》期刊,为隐私敏感的心理健康对话系统提供了有效的个性化情感建模框架。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号