基于多尺度时空特征融合的交互网络用于抑郁症预测

《IEEE Transactions on Affective Computing》:An Interaction Network Based on Multiscale Spatiotemporal Feature Fusion for Depression Prediction

【字体: 大 中 小 】 时间:2026年04月30日 来源:IEEE Transactions on Affective Computing 9.8

编辑推荐:

   摘要: 虽然深度学习在基于视觉的抑郁症诊断方面取得了显著进展,但现有方法往往无法解决静态面部特征与动态情感变化之间的时空不对称性问题。此外,传统序列模型对片段化行为线索之间的非线性依赖关系关注不足。为了解决这些挑战,我们提出了多尺度时空交互网络(MSI-Net

  

摘要:



虽然深度学习在基于视觉的抑郁症诊断方面取得了显著进展,但现有方法往往无法解决静态面部特征与动态情感变化之间的时空不对称性问题。此外,传统序列模型对片段化行为线索之间的非线性依赖关系关注不足。为了解决这些挑战,我们提出了多尺度时空交互网络(MSI-Net),通过分层特征分析来解码抑郁症的表现。在特征提取过程中,我们设计了一个时空交叉注意力(SCA)模块,该模块执行双向语义聚合,以使纹理细微差别与运动细微之处保持一致。为了探索不同尺度上的特征多样性,我们引入了一个基于跨层语义耦合的多尺度聚合(MA)模块,有效弥合了浅层细节与深层语义信息之间的信息差距。为了摆脱严格的线性建模方式,我们进一步构建了一个时间图神经网络(TGN)模块,将局部短暂行为重构为全局时间拓扑结构。这使得模型能够捕捉到抑郁症病理中固有的潜在周期性和长期行为模式。在AVEC2013、AVEC2014、D-vlog和LMVD抑郁症数据集上的广泛实验表明,MSI-Net表现出卓越且稳健的性能,为通过拓扑推理和多尺度交互来建模抑郁症线索提供了新的视角。

相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号