《Psychiatry Research: Neuroimaging》：Multimodal Depression and Anxiety Severity Prediction Using Convolutional Kepler ResNeXt and Lightweight Equilibrium BLSTM Explainable AI
编辑推荐：
•多模态 CKMLEG 能准确预测抑郁和焦虑的严重程度。•CK ResNeXt 和梅尔（Mel）特征提升了视听情感识别效果。•结合 EOA 的 LEBLSTM 增强了预测效率和性能。•可解释人工智能（XAI）提升了模型的透明度和临床可解释性。•CKMLEG 在 AVEC 数据
- •
多模态 CKMLEG 能准确预测抑郁和焦虑的严重程度。
- •
CK ResNeXt 和梅尔（Mel）特征提升了视听情感识别效果。
- •
结合 EOA 的 LEBLSTM 增强了预测效率和性能。
- •
可解释人工智能（XAI）提升了模型的透明度和临床可解释性。
- •
CKMLEG 在 AVEC 数据集上达到了 99.87% 的识别准确率。
引言
抑郁症和焦虑症是全球最常见的精神健康状况之一，构成了重大的公共卫生挑战（Chen 等, 2024）。这些疾病会严重影响日常功能，因此准确评估症状严重程度对于有效管理至关重要（Rost 等, 2023）（Yohannes 等, 2022）。机器学习算法可以分析大量数据集，识别与抑郁和焦虑严重程度相关的模式（Meng 等, 2022）（Venanzi 等, 2022）。预测模型可以通过识别相关人口统计学、生活方式和临床数据中的模式来支持临床决策（Sabatini 等, 2022）。当焦虑和抑郁同时存在时，会恶化慢性病患者的健康结果，使情况极为严重（Goldstein-Piekarski 等, 2022）。这些患者未经治疗的精神健康状况与更频繁的急性发作、更高的急诊就诊率以及更高的再次入院风险相关，所有这些都增加了过早死亡的风险（Voinescu 等, 2023）（Ranney 等, 2022）。这些疾病的全球估计患病率为 8%，其经济影响巨大，每年造成超过 9250 亿美元的成本和 120 亿天的工作日损失（Othmani 等, 2022）（Bard 等, 2023）。近年来，无创功能脑成像技术的进展揭示了这些疾病临床症状背后多种大脑回路功能障碍的类型（Laura 等, 2024）（Arikan 等, 2022）。以往将脑活动变异性及其与临床症状联系起来的理论综合研究已确定了抑郁症和焦虑症病理生理学中涉及的六大主要脑回路（Liao 等, 2022）（Mirchandaney 等, 2022）。本研究的最终目标是创建并测试一个个体层面的成像系统，该系统用于测量这些脑回路参数以应用于治疗，从而实现更加个体化和高效的治疗方案（Sorcher 等, 2022）。除改善个人福祉外，这种主动策略对资源管理和公共卫生具有重要的长期影响（Carnahan 等, 2022）。社会经济地位、教育和社区支持等社会健康决定因素对焦虑和抑郁的发生频率和严重程度有重大影响（Swales 等, 2022）。要构建全面的预测模型，以考虑这些疾病产生的广泛环境，了解这些因素至关重要（Asare 等, 2022）。整体方法可以改善针对性干预措施和风险人群的识别（Colich 和 McLaughlin, 2022）。
本研究旨在开发一个集成的、可解释的多模态框架，称为 CKMLEG，用于从视听数据中预测抑郁和焦虑的严重程度。抑郁症和焦虑症是全球主要的心理健康挑战，凸显了对症状严重程度预测方法的迫切需求。然而，个体症状的差异性以及视听数据的复杂性使得准确且可解释的预测颇具挑战。在保持计算效率和模型可解释性的同时整合视觉和音频信息仍然是一个重要的研究问题。为解决这些挑战，本研究提出了 CKMLEG——一种利用 AVEC 2013 和 AVEC 2014 数据集中的视听数据预测抑郁和焦虑严重程度的多模态框架。该框架整合了基于 CK-ResNeXt 的视觉特征提取、梅尔频率音频特征、基于 LEBLSTM-XAI 的时序建模、基于 SHAP 的可解释性以及图融合来结合视觉和听觉表示。通过将各组件集成到统一管道中，本研究探索了一种多模态严重程度预测方法，并为可解释的视听心理健康评估研究做出贡献。
本研究的主要贡献如下；
- •
本研究提出了 CKMLEG——一种利用视听数据预测抑郁和焦虑严重程度的多模态框架。
- •
该框架结合了基于 CK-ResNeXt 的视觉特征提取、梅尔频率音频特征、基于 LEBLSTM-XAI 的时序建模以及图融合来集成音频和视觉表示。
- •
引入 SHAP 来通过识别对结果有贡献的特征来解释模型预测。
- •
细粒度剪枝降低了时序模型的计算复杂度，而优化组件则提升了模型性能。
- •
我们在 AVEC 2013 和 AVEC 2014 数据集上评估了所提框架，以评估其在预测抑郁和焦虑严重程度方面的性能。
本文的组织结构如下：第 2 节回顾相关文献，第 3 节详细介绍所提系统，第 4 节呈现结果与讨论，第 5 节总结全文。
章节摘要
文献综述
以往的研究已探讨过用于自动化心理健康评估的深度学习方法，包括对视听、语音、生理和文本数据的分析，
Casado 等（2023）提出了探讨不同的抑郁情绪对血容量脉冲和心率变异性（HRV）反应是否具有可辨别的影响；生理标志物得到了评估。
He 等（2022）提出了一种可训练生成高级特征的智能系统
所提方法
所提 CKMLEG 框架使用来自 AVEC 2013 和 AVEC 2014 数据集的视听数据。CKRX 提取视觉特征，而 MFCC 和梅尔频谱特征用于表示音频信号。LEBLSTM-XAI 执行识别，SHAP 支持模型解释，图融合（Graph Fusion）则集成学习到的表示，用于预测抑郁和焦虑的严重程度。以下各小节分别介绍各组件。图 1 展示了所提模型 CKMLEG 的架构。
结果与讨论
所提多模态框架通过整合视听数据显著增强了对抑郁和焦虑严重程度的预测。采用 CKMLEG 和 LEBLSTM 带来了更高的准确率和鲁棒性。新颖的图融合（GF）方法通过分析视觉和听觉的交互，提供了对情绪状态的更深层次洞察。这些发现凸显了所提框架在预测抑郁和焦虑严重程度方面的潜力。同时，我们也将其与现有方法（CNN 等）进行了基准比较（
结论
本研究提出了 CKMLEG——一种利用来自 AVEC 2013 和 AVEC 2014 数据集的视听数据预测抑郁和焦虑严重程度的多模态框架。该框架使用 CKRX 提取视觉特征，使用 MFCC 和梅尔谱图技术提取音频特征。KOA 优化了所提取的表示，而带细粒度剪枝的 LEBLSTM 模型支持高效的时序学习。SHAP 通过识别有影响力的特征来增强可解释性，图融合（
人类和动物权利声明
伦理批准：严格遵守了所有相关的国家及/或学术法规，用于动物使用和护理。
数据可用性声明
本研究未创建或检查任何数据集，因此数据共享不适用。
作者贡献
所有作者对本工作的贡献相同。所有作者均已审阅了本稿件。
CRediT 作者贡献声明
Satya Srinivas Maddipati：撰写 – 审阅与编辑，撰写 – 原始草稿，可视化，验证。M.V.B. Murali Krishna M：形式分析，数据整理，概念构思。Vijaya Krishna Sonthi：项目管理，方法学，调查研究。Koppisetti Giridhar：形式分析，数据整理，概念构思。
Satya Srinivas Maddipati|M.V.B. Murali Krishna M|Vijaya Krishna Sonthi|Koppisetti Giridhar
