LSHMMformer:一种基于多模态融合的智能抑郁症检测模型
《Journal of Neuroscience Methods》:LSHMMformer: An Intelligent detection model of depression based on multi-modal fusion
【字体:
大
中
小
】
时间:2026年04月10日
来源:Journal of Neuroscience Methods 2.3
编辑推荐:
抑郁症自动检测模型研究:提出LSHMMformer融合可学习哈希投影与Transformer多模态解码器,通过改进Locality-Sensitive Hashing算法提升音频特征敏感度,结合多层Transformer自注意力机制实现跨模态特征融合,在EATD-Corpus数据集上验证模型具有5.66的平均绝对误差和8.68的均方根误差,较传统GRU/BiLSTM模型提升收敛速度与分类精度。
石云涛|甘天|李杰|李淑琴
华北工业大学,金源庄路5号,北京,100144,中华人民共和国
摘要
背景:抑郁症是一个严重的心理健康问题,已成为对心理健康不可忽视的威胁。在此背景下,基于深度学习(DL)的自动抑郁症检测研究有助于降低抑郁症诊断的成本,并为早期干预和制定个性化治疗计划提供数据支持。当前的抑郁症检测方法在效率和准确性方面面临挑战。本研究旨在开发一种智能抑郁症检测模型,以提高预测性能和检测效率。
新方法:提出了一种智能抑郁症检测模型LSHMMformer,该模型整合了新颖的局部敏感哈希注意力机制(LSHAttention)和多模态融合模块。该模型用可学习的投影矩阵替换了传统的LSH固定随机投影矩阵。通过堆叠的Transformer解码器层深度融合多模态特征,以全面捕捉音频和文本模式之间的跨模态相关性。
结果:该模型在公开可用的抑郁症数据集EATD-Corpus上进行了测试。预测结果的平均绝对误差为5.66,均方根误差为8.68。
与现有方法的比较:与GRU和BiLSTM等现有方法相比,所提出的LSHcoder模块在收敛速度、训练稳定性和最终预测准确性方面表现出更优的性能,同时在多模态融合场景中进一步增强了效果。
结论:新型模型LSHMMformer显著提高了抑郁症检测的准确性。该模型促进了个性化抑郁症筛查的软件开发,降低了临床实践中的诊断障碍,并为早期干预提供了可靠的决策支持。
引言
根据世界卫生组织(WHO)的数据,全球约有3.5亿人受到抑郁症的影响,到2030年抑郁症将成为最常见的精神障碍(世界卫生组织,2022年)。作为一种严重的心理健康问题,抑郁症已成为不可忽视的精神健康威胁。患者的生活常常受到这种疾病的影响,导致他们无法参与正常的社交生产、学习和生活,严重病例甚至可能导致自杀(Wang等人,2023年;世界卫生组织,2017年)。此外,抑郁症还对身体健康有深远影响,常伴有焦虑、失眠和疲劳等症状(Cuijpers等人,2017年)。然而,在传统的诊断过程中,由于过程的复杂性、高昂的成本以及医患比例不平衡,大多数抑郁症患者难以获得专业诊断。患者通常需要通过与心理学家的面对面访谈来进行诊断。由于抑郁症的特殊性,患者在诊断访谈中常常因为害怕歧视等因素而隐藏或逃避他们现有的心理问题,这使得抑郁症的诊断非常困难(世界卫生组织,2017年;Yokoya等人,2018年)。在这种背景下,基于深度学习(DL)的自动抑郁症检测研究尤为重要。通过这种方法,有助于降低抑郁症诊断的成本,及早发现潜在的心理健康异常,并为早期干预和制定个性化治疗计划提供数据支持。
He等人(2022年)指出,目前主流的自动抑郁症检测方法主要基于音频、文本和视频的特征分析。通过将这些特征向量化,使用深度学习模型来捕捉抑郁症的表现及其与自评抑郁量表(SDS)得分的相关性(Zung,1961年),以提高区分准确性。Hu等人(2024年)引入了一种双流多尺度交叉融合架构,结合面部特征点的图像特征,并提出了一种LIL Attention机制,通过注意力机制共同学习面部关键点和图像的多尺度特征,从而有效捕捉与抑郁症相关的表情特征,提高抑郁症检测的准确性。Saha等人(2023年)提出了一种方法,通过在特征层面融合脑电图(EEG)信号的光谱特征(频域能量分布)和功能连接特征(脑区交互强度),结合优化的ANN,实现了高精度的抑郁症分类。Li等人(2025年)设计了一个频率感知增强网络,用于提取音频信号中的精神疾病相关特征,并提出了一种动态卷积网络,以适应语音信号的时间序列波动。此外,还提出了一个特征增强模块,以充分挖掘多尺度特征,显著提高了心理健康评估的准确性和鲁棒性。Zhu等人(2022年)提出了一种基于内容的多重证据融合(CBMEF)方法,通过EEG和眼动数据的决策级融合来检测轻度抑郁症。这种方法基于贝叶斯规则和马氏距离构建分类性能矩阵,根据模态间的相对冲突程度动态分配双重权重,从而提高检测准确性。Zhang等人(2023年)提出了一种使用社交媒体数据的神经网络混合模型MTDD,用于识别抑郁症倾向。该模型结合了CNN和BiLSTM网络的优点,有效解决了单一模型方法在抑郁症倾向识别方面的泛化能力不足问题。Li等人(2024年)提出了一种基于微表情的抑郁症识别模型SFTNet,该模型由单时间网络(STNet)和全时间网络(FTNet)组成,通过决策融合识别抑郁症,能够有效捕捉静态面部特征和动态时间模式。Dong和Yang(2021年)提出了一种基于声音和情感线索的分层抑郁症检测模型,结合声学特征和情感线索,通过不同层次的特征融合提高抑郁症检测的准确性。Rejaibi等人(2022年)提出了一个框架,将RNN的时间建模能力与MFCC光谱特征深度整合,以捕捉抑郁症语音的长期动态模式,并提出了一种跨模态特征蒸馏策略,在保持单一模态(语音)优势的同时吸收多模态知识。通过深度时间建模和少量样本增强技术的结合,提高了抑郁症语音检测的准确性。Tao等人(2024年)提出了一个高效、低协方差的多模态集成时空转换器框架DepMSTAT,旨在使用社交媒体数据中的声学和视觉特征检测抑郁症。该框架将传统Transformer的自注意力分为空间注意力(关注面部区域运动)和时间注意力(分析声学特征的时间演变),从而增强了模型分析抑郁症动态表示的能力。此外,引入了一种低协方差特征工程方法,通过模态间协方差约束减少声学-视觉特征的冗余信息,提高了模型的计算效率和泛化能力。Hu等人(2024年)提出了一种新的语义增强双模态融合网络(SE-DCFN),用于多模态抑郁症识别。该网络利用基于线索学习的文本编码器和基于语言-音频相关性的音频编码器来捕捉特定信息,增强语义表示,并引入了基于自注意力和交叉注意力机制的双模态融合模块,有效探索语言和声学表示,促进模态间和模态内的交互和融合。它解决了单模态信息不完整和模态分离的问题。
总之,现有的抑郁症检测方法存在一些局限性。目前,大多数自动抑郁症检测任务仅关注二分类,即判断一个人是否患有抑郁症。这样的分类结果粒度较粗,在实际诊断应用中的效用有限。当前研究中常用的模型(如GRU和BiLSTM)(Shen等人,2022年)往往由于结构简单和隐藏状态的逐步传递而存在长距离信息衰减的问题,导致在处理长序列特征时性能较差,无法准确建模音频数据中的复杂依赖关系。此外,当前的多模态融合技术主要依赖于早期融合,即将多模态特征直接连接成一个综合特征向量。这种方法过于简单化,无法充分利用多模态特征之间的相关性。为了解决当前方法在检测准确性和多模态特征融合方面的局限性,本研究从以下两个角度进行了探讨:
- 1.
设计了一种智能抑郁症检测模型LSHMMformer。该模型依赖于改进的局部敏感哈希算法(LSH),基于传统的LSH,并使用可学习的投影矩阵替换了固定的随机投影矩阵。基于改进的LSH,设计了LSHAttention以提高模型对信息的敏感性,并解决音频信号不同频段信息密度不一致的问题。基于改进的LSHAttention和可调的多头注意力机制,构建了模型中的LSHcoder模块,可以更灵活地提取文本和音频模态的特征表示,提高模型对抑郁症特征的检测能力。
- 2.
基于Transformer解码器模型提出了一种多模态融合模块。该模块以多模态特征为输入,通过其内部的多头自注意力层处理这些特征,生成融合特征。这种方法有效解决了多模态数据中的信息对齐和互补性问题。模块的堆叠结构允许在层间进行更深入的融合。通过在较低层次捕获局部细节并在较高层次整合全局语义,生成分层表示,从而实现更全面的特征融合。
方法
为了充分挖掘音频和文本数据中的抑郁症相关特征并提高模型的抑郁症检测能力,本文使用了设计的LSHAttention,并结合新的多模态融合模块构建了智能抑郁症检测模型LSHMMformer。如图1所示,模型的主要结构包括基于LSHAttention设计的新的LSHcoder模块,以及通过Transformer解码器改进的多模态融合模块
数据集
本文提出的方法将在以下数据集EATD-Corpus(Shen等人,2022年)中进行验证。EATD-Corpus数据集包含了从同济大学招募的162名学生志愿者访谈中提取的音频和文本记录。数据集中有30名抑郁志愿者和132名非抑郁志愿者。数据集中响应音频的总时长约为2.26小时。每个数据样本包含三个访谈记录消融实验
为了验证模型的泛化能力,从多个角度验证了模型的可靠性。进行了消融实验,以评估本文提出的LSH和多模态融合模块的效果。通过单独使用这两个模块或组合使用它们,在EATD-Corpus数据集上进行了验证分析,评估这两个模块对模型预测准确性的影响。此外,还进行了类似的消融实验结论
本文提出了一种新型智能抑郁症检测模型LSHMMformer,通过分析受访者的音频信号和访谈记录来检测其抑郁症状态。为了提高模型的预测准确性,改进了现有的LSHcoder算法。根据音频信号和文本信息的特性,将原始LSH中的固定随机矩阵改进为可学习的投影矩阵,并提出了一个新的LSHcoder模块CRediT作者贡献声明
石云涛:写作——审稿与编辑、监督、项目管理、方法论、资金获取。甘天:写作——原始草稿、可视化、验证、软件、方法论、调查、数据管理。李杰:写作——审稿与编辑、验证、监督、软件、项目管理、方法论、资金获取。李淑琴:写作——审稿与编辑、监督、项目管理、方法论。伦理声明
我们证明本手稿是原创的,尚未在其他地方发表,在《计算机方法与生物医学程序》(Computer Methods and Programs in Biomedicine)审稿期间也不会提交给其他期刊。本研究没有为了增加提交数量而分成多个部分分别提交给不同的期刊或分阶段提交给同一期刊。没有伪造或篡改任何数据(包括图像)来支持我们的结论。没有将他人的数据、文本或理论作为我们的成果呈现利益冲突声明
作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。致谢
本工作得到了国家重点研发计划相应主题(项目编号:2023YFC3304604)和国家重点研发计划项目(项目编号:2023YFC3306400)的支持。我们非常感谢石云涛教授团队的强大支持,他们在信息提取技术基础和资金项目的支持下推动了本研究的发展。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号