基于深度学习的抑郁症检测方法：融合听觉、视觉和文本线索

《Journal of Affective Disorders》：Deep learning-based detection of depression by fusing auditory, visual and textual clues

抑郁症的自动化检测研究采用多模态AI模型，融合视觉、音频和文本数据，在内部验证中AUC达0.999，外部验证仍保持较高性能，但需验证长期效果和严重病例适用性。

　　

摘要

背景

早期发现抑郁症对于实施干预措施至关重要。基于深度学习的计算机视觉（CV）、语义分析和声学分析技术使得视觉和听觉信号的自动化分析成为可能。

目标

我们提出了一种基于人工智能（AI）的自动化抑郁症检测模型，该模型结合了视觉、音频和文本线索。此外，我们在多种场景下验证了该模型的性能，包括与聊天机器人的对话。

方法

我们开发了一个由GPT-2.0驱动的用于询问抑郁症状的聊天机器人。同时设计了简短情感访谈任务（Brief Affective Interview Task）作为补充工具。在访谈过程中收集了音视频和文本线索，并使用具有多头交叉注意力机制的网络融合了不同模态的特征。为了验证模型的泛化能力，我们使用了独立数据集进行了外部验证。

结果

（1）在内部验证集（152名抑郁症患者和118名健康对照组）中，多模态模型在所有场景下都表现出良好的预测能力，曲线下面积（AUC）超过0.950，准确率超过0.930。在聊天机器人进行的症状性访谈场景中，模型的表现尤为出色，AUC达到0.999。而在简短情感访谈任务中，特异性略有下降（0.883）。多模态模型的性能优于单模态和双模态模型。（2）在聊天机器人进行症状性访谈的外部验证场景中，使用了地理上不同的数据集（55名抑郁症患者和45名健康对照组）。多模态融合模型的AUC为0.978，尽管所有模态组合的性能均低于内部验证的结果。

局限性

本研究未进行纵向随访，严重抑郁症患者的适用性仍需进一步研究。

章节片段

背景

重度抑郁症（MDD）的特征是持续的悲伤感和/或无法体验快乐，伴随日常功能的缺陷。抑郁症影响全球超过3亿人，是全球致残的主要原因之一（Nagy等人，2020年）。抑郁症也是自杀的主要风险因素（McCarron等人，2021年）。据估计，患有抑郁症并自杀的患者的终生死亡率为约15%（

参与者

从2023年2月3日至12月7日，我们从北京大学第六医院的门诊部招募了抑郁症患者。最初招募了181名在门诊环境中被精神科医生诊断为抑郁症的患者，这些患者过去或目前没有其他精神疾病。这些患者接受了Mini International Neuropsychiatric Interview (MINI) 5.0（Sheehan等人，1998年）测试以确认诊断。有10名参与者因不符合条件而被排除。

人口统计特征

我们使用卡方检验（chi-square test）比较分类变量，使用方差分析（ANOVA）比较数值变量。MDD组和对照组主要由女性组成。两组之间的教育水平差异无统计学意义（表2）。在本研究中，根据性别和年龄对抑郁症组和对照组进行了匹配，以减少性别偏见和年龄差异的影响。

临床特征

在本研究中，

讨论

本研究的目的是开发一种基于语音、表情和文本的多模态模型，以实现抑郁症的有效自动化检测。我们验证了融合不同模态信息可以提高模型的性能。在单模态模型中，基于文本的模型取得了最佳结果。基于音视频的模型也能有效区分抑郁症患者和健康受试者。除了临床访谈场景外，我们还设计了两个额外的测试场景。

CRediT作者贡献声明

陈晨阳：撰写原始稿件、可视化处理、资源收集、调查、形式化分析、概念构建。陈阳斌：撰写与编辑、模型验证、方法论设计。陶彦宝：数据收集与分析。谢万清：软件开发。刘晓峰：方法论设计。林云汉：数据收集与分析。梁春峰：软件开发、数据整理。杜凡：软件开发、数据整理。志志雄：数据整理、调查。史川：项目监督与管理。

资助

本研究得到了中国国家自然科学基金重点国际合作项目的支持，项目编号为72110107003。

未引用的参考文献

Kim等人，2023年

Renneberg等人，2005年

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文的研究结果。

致谢

我们感谢Servier Medical Art（https://smart.servier.com/）提供的医学插图支持。