基于图卷积神经网络(GCN)的多模态融合抑郁症检测新方法

为解决抑郁症临床诊断难题，研究人员创新性地提出融合文本、音频和视觉数据的多模态检测模型。该研究采用BERT和Bi-LSTM提取文本特征，结合深度图卷积神经网络(GCN)实现跨模态特征融合，在DAIC-WOZ数据集上取得96.30%的F1值，显著优于现有技术，为精神疾病客观诊断提供新范式。

　　

抑郁症作为困扰全球3.5亿人的重大精神障碍，其精准检测面临巨大挑战。这项研究突破性地构建了基于图卷积神经网络(Graph Convolutional Network, GCN)的多模态融合框架，巧妙整合文本(BERT+Bi-LSTM)、音频(Bi-LSTM)和视觉(Bi-LSTM)三维特征。通过深度GCN架构实现跨模态特征交互与增强，模型能有效捕捉抑郁相关生物行为标记。在标准数据集DAIC-WOZ上的测试表明，该方案以96.30%的F1₁-score刷新性能纪录，较传统单模态方法提升显著。特别值得注意的是，该方法首次实现语言韵律(音频)、微表情(视觉)与语义特征(文本)的图结构融合，为建立客观量化诊断标准提供重要技术支撑。研究者特别声明本成果无利益冲突，确保学术公正性。