BMHA-Net:一种用于从面部视频估计抑郁症严重程度的双分支多尺度层次注意力网络

《Biomedical Signal Processing and Control》:BMHA-Net: A two-branch multiscale hierarchical attention network for depression severity estimation from facial videos

【字体: 大 中 小 】 时间:2026年10月15日 来源:Biomedical Signal Processing and Control 5.7

编辑推荐:

   - BMHA-Net从面部视频中估计抑郁严重程度评分。 - 双分支架构分别对表征/纹理线索和几何结构线索进行建模。 - 层次化注意力机制捕获局部线索和全局面部上下文。 - 跨分支交互增强了互补特征建模。 - 自适应融合改善了多尺度、多分支表示的集成。 ## 引言 重度抑郁

  

- BMHA-Net从面部视频中估计抑郁严重程度评分。
- 双分支架构分别对表征/纹理线索和几何结构线索进行建模。
- 层次化注意力机制捕获局部线索和全局面部上下文。
- 跨分支交互增强了互补特征建模。
- 自适应融合改善了多尺度、多分支表示的集成。

## 引言

重度抑郁障碍(MDD)是当今全球范围内最常见且具有致残性的精神疾病之一。据世界卫生组织(WHO)统计,2015年全球有超过3亿人患有抑郁障碍,约占世界总人口的4.4%,且整体疾病负担仍在持续增长[1]。MDD的全球负担与其他高负担慢性病(如心血管疾病)相当[2]。MDD与认知和社会功能方面的持续性损害以及不良临床结局风险增加密切相关,由此带来巨大的长期公共健康和社会经济负担[3]。此外,MDD常与心血管疾病和糖尿病等慢性躯体疾病合并发生,进一步增加了临床复杂性和医疗成本。证据表明,早期风险识别和纵向随访评估能够促进及时干预、降低疾病长期病程和复发的可能性,并改善预后[4]。因此,对支持早期筛查和客观定量评估的自动化抑郁评估方法的需求日益增长。

目前,临床抑郁评估主要依赖于自评量表(如患者健康问卷-9,PHQ-9;以及贝克抑郁量表,BDI)和临床医生执行的半结构化访谈(如汉密尔顿抑郁评定量表,HAM-D)[5]、[6]、[7],并结合《精神障碍诊断与统计手册》第四版(DSM-IV)等诊断标准进行综合判断[8]。由于这些临床量表为抑郁严重程度提供了标准化的数值参考,表1总结了本研究涉及量表的评分范围和严重程度分级。

然而,在实际应用中,这些方法容易受到主观报告和回忆偏差的影响,并且进一步受到医疗资源稀缺和分布不均的制约,导致可扩展性和一致性有限。随着患病人群的持续增长,依赖人工流程的传统评估体系越来越难以满足大规模、高效、客观的心理健康评估服务需求。在此背景下,基于非侵入性行为信号开发自动化抑郁评估模型已成为情感计算与智能健康交叉领域的一个重要研究方向[9]。基于面部视频的评估提供了一种非侵入、低负担的途径,用于捕获可观察的面部行为线索以进行自动抑郁评估[10]、[11]。此类自动化面部视频分析可能为需要快速风险评估的初步筛查场景提供辅助信息[12]。基于这一动机,本研究聚焦于面部视觉行为信号,并提出BMHA-Net,通过利用两种互补线索——即外观/纹理和几何结构——进行自动抑郁严重程度估计。表2总结了传统抑郁评估工具与本文提出的BMHA-Net之间的比较。

从病理心理学和行为科学的角度来看,抑郁状态与外显行为表达之间存在相对稳定的关联。情绪通常被认为包括主观体验、生理唤起和外显行为表达三个组成部分,其中可观察的行为信号——如面部表情——可以非侵入性地提供有信息量的线索。先前的研究报道,抑郁个体在面部表情动态方面常表现出异常模式,包括精神运动迟滞、情感平淡、面部肌肉活动减少,以及正向表情的频率和强度均降低[13]、[14]。受这些发现的启发,越来越多的研究致力于从面部图像或视频序列中学习抑郁相关的表示并进行抑郁严重程度回归;深度卷积网络及其时空建模变体在一定程度上提高了预测精度和鲁棒性[15]。然而,抑郁相关的视觉线索往往幅度低、粒度细,且易受干扰,这使得现有方法在表示学习和融合机制方面存在结构性局限。

许多现有的基于视觉的抑郁评估方法依赖单尺度全局表示,通过全局空间池化和浅层回归头进行端到端回归[15]、[16]。然而,全局聚合可能削弱眼部周围区域和嘴角等关键区域中低幅度、细粒度线索的表示,这促使了局部区域建模和注意力机制的引入,以强化显著特征的表示[17]、[18]、[19]。同时,外观/纹理和几何结构提供互补但异质的表示。尽管双流或多分支融合可以利用互补信息[16]、[20],但有效的跨表示交互和互补融合对于可靠的特征集成仍然至关重要。跨注意力融合方案(如LIL-Net)改善了互补表示的学习[21]。然而,其复杂度部分归因于重量级图像编码器和额外的全局分支,这增加了参数量和计算开销,并可能限制其在资源受限环境中的部署效率。此外,多尺度特征对应不同的语义层次;如果没有明确的层次化组织和聚合策略,跨尺度融合可能引入语义混合并放大噪声传播,从而降低在不受控条件下的鲁棒性[18]、[22]、[23]、[24]、[25]。

综上所述,当前方法在以下方面仍有改进空间:(i) 低幅度局部线索的稳定捕获,(ii) 异质外观-几何表示之间的有效交互,以及(iii) 多尺度语义的层次化组织聚合。因此,有必要引入更强的结构性归纳偏置,以增强细粒度敏感度并提高表示鲁棒性,同时优化多尺度表示的组织与融合。

为解决上述局限性,我们提出了BMHA-Net用于基于面部视频的抑郁严重程度回归。由于AVEC2014提供视频级别的抑郁评分,BMHA-Net学习帧级表示并将帧级预测聚合以获得最终的视频级估计。遵循"局部细节增强—跨表示交互—全局状态建模"的原则,BMHA-Net联合建模两种互补线索,即外观/纹理和几何结构,并在多个尺度上进行层次化特征学习:高分辨率分支强化细粒度局部线索,中分辨率分支促进双向跨表示交互和互补融合,低分辨率分支在紧凑空间尺度上捕获全局面部状态。

本文的主要贡献总结如下:

1. 我们提出了BMHA-Net用于基于视觉的抑郁严重程度回归。所提出的层次化双分支注意力框架在统一架构中集成了局部细粒度表示学习、跨分支交互、全局依赖建模和多尺度特征聚合。

2. 在高分辨率阶段,我们引入局部窗口注意力建模,并通过局部上下文聚合强化关键区域的细粒度表示,从而增强低幅度抑郁相关线索的表示,并缓解由全局聚合引起的线索稀释。

3. 为解决外观/纹理和几何表示之间的异质性,我们在中分辨率阶段设计了全局双向跨分支注意力机制。该模块通过双向信息交换整合互补的外观和结构线索,从而实现可靠的特征融合。

4. 在低分辨率阶段,我们引入全局空间注意力来建模整体面部状态,并开发了层次化组织的多尺度自适应聚合策略,以减少跨尺度语义混合和噪声传播,从而增强多层次特征融合的鲁棒性。

## 各章节片段

### 手工特征方法

早期的基于视觉的抑郁评估主要采用手工特征流水线:首先提取纹理和时空运动描述符以形成可用于回归的表示,然后通过浅层回归器映射为抑郁量表评分。在AVEC2014挑战基准[26]中,Valstar等人采用了三正交平面的局部Gabor二值模式(LGBP-TOP),将多尺度、多方向的Gabor滤波与局部二值模式相结合。

### BMHA-Net概述

所提出的基于视觉的抑郁评估框架如图1所示。给定输入视频,我们首先进行人脸检测和对齐,以获得标准化的对齐面部帧序列。该网络包含两个并行分支:一个外观/纹理分支采用EfficientNet[31]作为骨干网络以提取多尺度外观表示,以及一个几何感知分支采用在面部关键点相关任务上预训练的MobileFaceNet[32]。

### 实验

本节介绍了所提出抑郁评估框架的实验验证。我们使用AVEC2014[26]作为主要的面部视频基准数据集,并使用DAIC-WOZ[39]作为补充的临床访谈数据集。在第4.1节中,我们介绍了数据集和预处理流程。第4.2节提供了实验细节。第4.3节中,我们报告并讨论了所提方法在评估抑郁严重程度方面的性能。

### 结论

在本文中,我们提出了BMHA-Net用于视频级抑郁评分估计。该模型采用双分支架构来联合建模外观/纹理和几何感知的面部线索,并集成了局部和移位窗口自注意力、全局双向跨分支注意力、全局上下文建模和自适应融合以实现层次化表示学习。在AVEC2014上的实验结果表明,BMHA-Net取得了具有竞争力的回归性能,MAE为6.30。

### CRediT作者贡献声明

曹以云:撰写—初稿,方法论,调查研究。唐斌辉:形式分析,数据管理,概念化。李彩云:可视化,验证。戴博:数据管理,概念化。凌杰:资源,调查研究,形式分析。李育春:撰写—审稿与编辑,监督。刘晓文:撰写—审稿与编辑,监督,软件,项目管理。

### 伦理声明

本研究使用了现有数据集,未涉及新的人体受试者数据收集。原始数据收集的伦理批准和知情同意由相应数据集提供者获得。

### 利益冲突声明

作者声明,他们没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

曹以云 | 唐斌辉 | 李彩云 | 戴博 | 凌杰 | 李育春 | 刘晓文
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号