AttMamba:一种结合注意力机制的多模态抑郁检测模型
《Neurocomputing》:AttMamba: Mamba with attention mechanism for multimodal depression detection
【字体:
大
中
小
】
时间:2026年04月08日
来源:Neurocomputing 6.5
编辑推荐:
抑郁症多模态检测模型AttMamba通过双路径架构(双向Mamba与线性注意力)和HierSparse融合机制,在计算效率(O(L)复杂度)与捕捉长程非线性行为间取得平衡,有效识别视频中的稀疏抑郁特征。
郑向云|刘英健|查宗海|吕明焕|王浩
中国海洋大学计算机科学与技术系,山东省青岛市,266100
摘要
抑郁症是一种常见的精神疾病,影响着全球数百万人。尽管多模态分析为客观筛查提供了有希望的途径,但现有方法存在两个主要局限性:(1)强大的全局建模能力与高计算复杂性之间的权衡;(2)密集(或静态)融合机制在捕捉长序列中复杂的非线性跨模态相关性方面的高复杂性(或低能力)。在本文中,我们提出了AttMamba,这是一种专为高效检测抑郁症而设计的音视频注意力-Mamba混合模型。我们设计了一种双路径线性架构,将Mamba与线性注意力结合在一起,以的复杂度捕获序列和长距离依赖关系。此外,我们引入了HierSparse融合机制,它将多模态交互表示为灵活的稀疏图。通过结合低秩近似、Top-k稀疏化和分层窗口,该模块能够有效建模离散的抑郁线索。实验在两个大规模抑郁症数据集(即D-vlog和LMVD)上进行。AttMamba在LMVD数据集上的所有评估指标上都表现出了优越的性能。同时,在D-vlog数据集上,AttMamba的性能与最先进的方法(SOTA)相当,并且在准确性上超过了所有基线方法。
引言
抑郁症是一种普遍存在的心理健康障碍,影响着全球数百万人,严重影响了人们的生活质量和工作能力。传统的诊断依赖于临床访谈和自我报告问卷,这些方法具有主观性和耗时性。多模态方法通过自动分析音频、视觉和文本数据来实现客观的抑郁症筛查。来自访谈和社交媒体的视频记录提供了音频、视觉和文本线索。这些信号共同反映了抑郁症状,如情绪低落、心理运动迟缓和负面认知。分析多模态序列的自动化系统可以帮助心理健康专业人士进行筛查和评估。
现有的抑郁症检测方法主要用于时间建模,大致分为四类:基于卷积神经网络(CNN)、基于循环神经网络(RNN)、基于Transformer和基于状态空间模型(SSM)的架构。CNN广泛用于从访谈数据中高效提取局部时空特征。基于RNN的架构擅长处理序列信息,捕捉音频和视频流中的时间动态。Transformer利用自注意力机制来建模全局依赖关系,并捕捉整个访谈序列中的长距离交互。Mamba的扫描机制非常适合处理序列依赖关系。在抑郁症检测中,音频模态可以捕捉到语音生物标志,如语调、音高变化和语速,这些特征反映了情绪状态和认知障碍。视觉模态可以揭示面部表情、眼球运动和身体语言,这些特征表明了情感症状。文本模态提供了语义内容和语言模式,如负面情感和第一人称代词的使用,这些特征反映了认知扭曲。最近的调查[1]、[2]系统地回顾了抑郁症检测中的多模态方法和通用融合技术。这些工作强调,有效的多模态整合对于捕捉不同行为和生理信号中的抑郁症复杂表现至关重要。抑郁症检测的多模态融合方法主要分为三种类型:特征级融合、决策级融合和模型级融合。特征级融合将来自多种模态的特征连接起来,以学习统一的抑郁症检测表示[3]、[4]、[5]、[6]。决策级融合结合每种模态的决策输出进行最终分类[7]、[8]、[9]、[10]。模型级融合被认为是最有效的方法,它通过学习模态间关系来提高性能[11]、[12]、[13]。整合文本、音频和视觉模态需要解决异构表示和对齐问题。MulT[14]采用定向跨模态注意力进行潜在适应,而MISA[15]和SELFMM[16]利用子空间投影和自我监督学习来弥合模态差距。分层处理进一步捕捉多尺度模式,CMHFM[17]、MMIM[18]和HCIL[19]探索任务级或交互级层次结构以提高融合质量。图神经网络(GNN)在模拟抑郁症中的非线性和不连续关联方面获得了重视。HCAG[20]使用图注意力网络反映临床评估结构。FAU-GF[21]利用面部动作单元通过特征感知的边更新器指导图学习。HGG-LG[22]通过对比局部话语级和全局级图来整合全局共现,从而增强层次特征的鲁棒性。
尽管取得了这些进展,但在长距离多模态抑郁症检测中仍存在两个基本挑战。一个主要挑战是序列建模在计算效率和全局交互能力之间的结构差距。在实际场景中,多模态信号通常涵盖长达6到30分钟的视频,分辨率为1920×1080像素,音频采样率为100 Hz,特征提取后会产生超过10,000个时间步长。RNN和LSTM逐步处理长视频序列,这会导致梯度消失和记忆衰减。虽然基于Transformer的方法可以建模长距离依赖关系,但它们的二次复杂度O(L2对于这样的长序列来说过于复杂。相反,虽然像Mamba这样的状态空间模型提供了线性复杂度的效率,但它们的循环扫描机制缺乏捕捉任意位置非序列相关性所需的显式全局交互。此外,现有的融合机制通常受到密集或静态交互模式的限制。大多数当前方法依赖于固定的融合操作,这些操作统一处理多模态特征,这不足以捕捉抑郁症中固有的复杂、非线性跨模态相关性。这些密集机制不仅在长视频中产生高计算冗余,而且无法关注稀疏的、离散的情感线索——例如孤立的语音颤抖或面部微表情——这些线索经常被冗余的背景噪声掩盖。
为了解决这些限制,我们提出了AttMamba,这是一种用于高效多模态抑郁症检测的音视频融合模型。
本文的主要贡献如下:
•我们设计了一种双路径混合架构,将双向状态空间模型(Bi-Mamba)与线性注意力结合在一起。这种设计使模型能够以的复杂度捕获序列时间模式和非序列依赖关系。具体来说,Bi-Mamba分支通过共享的状态转换矩阵学习跨模态的常见病理动态,而线性注意力分支允许模型通过允许任意时间步骤之间的交互来捕获长距离跨模态相关性。
•我们引入了HierSparse融合机制,这是一种基于图的模块,用于建模抑郁症的稀疏和离散表现。通过结合稀疏图卷积和低秩近似,它构建了一个交互图,仅通过Top-k选择连接最相关的特征。这种设计捕获了孤立抑郁线索(如语音颤抖和面部微表情)之间的长距离关联,同时过滤掉长视频中的冗余背景噪声。分层结构进一步确保了跨多个时间尺度的有效特征整合。
•我们进行了广泛的实验。与在LMVD和D-vlog上选定的基准最先进方法(SOTA)相比,AttMamba在LMVD数据集上的所有评估指标上都表现出了优越的性能。同时,在D-vlog数据集上,AttMamba的性能与SOTA方法相当,并且在准确性上超过了所有基线方法。
部分摘录
抑郁症检测
传统的抑郁症诊断依赖于临床访谈和自我报告量表,这些方法容易受到主观偏见和医疗资源有限的影响[1]、[23]。最近的研究转向了利用多种数据模态和复杂计算方法进行自动抑郁症检测(ADD)。
文本模态通过语言内容、词汇选择和句法结构反映了患者的认知和情感状态。早期的文本分析工作
整体架构
AttMamba是一个多模态抑郁症检测框架,用于处理音频和视频。该模型包括五个阶段:特征投影和对齐、跨模态交互、模内时间建模、分层融合和分类预测。整体架构如图1所示。特征投影和对齐阶段将异构特征映射到一个统一的维嵌入空间中,并使用分数位置编码进行时间对齐。
数据集
为了证明所提出的AttMamba模型与SOTA方法[37]的有效性,我们在两个大规模抑郁症数据集上进行了广泛的实验:抑郁症视频日志(D-vlog)[11]和大规模多模态视频日志数据集(LMVD)[47]。表1总结了统计信息和类别分布。这些数据集是为现实世界的抑郁症检测场景设计的,包含从社交媒体平台上发布的视频日志中提取的音视频数据
分析
我们进行了一系列消融实验,以评估所提出的注意力-Mamba网络设计和模态选择对模型性能的影响,结果分别展示在表6、表7和表8中。结果来自表现最好的运行。我们首先设计实验来分析多种模态对检测性能的影响。我们还分析了分层建模的有效性,验证了注意力机制和卷积操作在模型中的作用。
结论
我们提出了AttMamba,这是一种混合架构,它结合了双向Mamba和线性注意力,用于高效的多模态抑郁症检测。AttMamba解决了两个关键挑战:在保持全局建模能力的同时实现线性计算复杂性,以及从长序列中捕获稀疏的抑郁线索。双路径设计通过Bi-Mamba捕获序列时间模式,通过线性注意力捕获非序列长距离依赖关系,实现了的复杂度。
CRediT作者贡献声明
郑向云:撰写——原始草稿、验证、软件、方法论。刘英健:撰写——审阅与编辑、监督、项目管理、资金获取、概念化。查宗海:撰写——审阅与编辑、形式分析。吕明焕:撰写——审阅与编辑、调查。王浩:撰写——审阅与编辑、数据整理。
资助
本工作得到了中国国家自然科学基金(NSFC)的支持,项目编号为62172378和61572448。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
致谢
我们衷心感谢数据集提供者提供的数据,这些数据对支持许多学术研究做出了巨大贡献。
郑向云于2023年在中国济南的济南大学获得了信息与计算科学学士学位。他目前是中国海洋大学计算机科学与技术系的硕士研究生。他的研究兴趣包括多模态学习和深度学习。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号