基于跨模态Transformer的多模态抑郁评估框架

《Brain Network Disorders》：A cross-modal transformer framework for multimodal depression assessment

　　

背景：抑郁症是一种复杂的脑网络障碍，涉及神经环路和情感处理的问题。早期临床干预依赖于对这些状况的客观检测；然而，传统的主观评估往往无法捕捉细微的神经行为标志物。 方法：研究人员提出了一种客观、定量的深度学习框架，旨在从半结构化临床访谈中识别自动化数字生物标志物，以支持临床医生对抑郁障碍的诊断和监测。该方法整合了文本、音频和视觉线索作为神经状态的代理指标。研究人员使用鲁棒优化的BERT预训练方法（Robustly Optimized BERT Pretraining Approach，RoBERTa）提取文本特征，将多层感知机（Multi-layer Perceptron，MLP）应用于扩展版日内瓦最小声学参数集（extended Geneva Minimalistic Acoustic Parameter Set，eGeMAPS）特征进行声学处理，并使用紧凑型视觉变换器（compact vision transformer，CompactViT）处理视觉特征。采用基于交叉注意力的后期融合模块来整合文本和视觉模态，同时有效建模语言内容与面部表情之间的交互。该框架在扩展痛苦分析访谈语料库（Extended Distress Analysis Interview Corpus，E-DAIC）上使用留一被试交叉验证（Leave-One-Subject-Out，LOSO）进行验证，以确保对未见患者的泛化能力。 结果：该交叉注意力融合模型达到了77%的准确率，超越了现有的基于深度学习的基线方法。 结论：这些发现表明，多模态行为特征可以作为脑网络功能障碍的有效数字生物标志物，从而为计算机辅助诊断工具提供坚实的基础。

一、研究背景与问题

抑郁症是全球范围内导致残疾的主要原因之一，影响着超过2.8亿人，尤其在青少年和年轻成年人中发病率较高。作为一种复杂的脑网络障碍，抑郁症涉及默认模式网络（Default Mode Network，DMN）和显著性网络等关键神经回路的结构性和功能性变化。传统的心理健康评估方法主要依赖主观临床访谈、自我报告问卷以及由经过培训的专业人员施测的标准化量表如患者健康问卷（Patient Health Questionnaire，PHQ）。尽管这些方法经过了临床验证，但在实际应用中存在诸多局限，包括可能遗漏抑郁的细微行为指标，导致诊断延迟或不一致。因此，亟需开发客观、可扩展且数据驱动的评估技术，使其与心理健康障碍的神经生物学基础相契合。

现有基于深度学习的方法虽已在单一模态（如文本、语音或视觉）上取得进展，但传统融合策略存在明显不足：早期融合易受噪声和模态不平衡影响，中间融合需要严格对齐且增加模型复杂度，而后期融合通常依赖简单的拼接操作，难以捕捉模态间的异步交互关系，例如语言内容与微妙面部表情之间的关联。此外，现有方法对跨模态注意力机制的使用有限，降低了模型的可解释性以及对未见被试的泛化能力。

二、研究内容与结论

为解决上述问题，研究人员提出了一种多模态深度学习框架，用于整合文本、音频和视觉信息，以捕获与抑郁相关的互补性行为线索。该框架引入了一种基于交叉注意力的融合策略，显式建模不同模态之间的交互关系，克服了传统早期和后期融合方法的局限性。研究在E-DAIC数据集上采用留一被试交叉验证（LOSO）进行评估，结果显示所提出的交叉注意力融合模型达到了77%的准确率，优于现有的深度学习基线方法。这一结果表明，多模态行为特征可以作为脑网络功能障碍的有效数字生物标志物，为计算机辅助诊断工具提供了坚实基础。

三、关键技术方法

1. 1.
   文本特征提取：使用RoBERTa v3预训练模型从访谈转录文本中提取上下文嵌入向量。首先对转录文本进行预处理（统一小写、规范化标点、去除填充词如"um""uh"），然后经子词分词后输入RoBERTa编码器，得到维度为768的隐藏状态。冻结前10层Transformer层，仅微调最后两层和任务特定的投影头，以平衡通用语言知识与领域特异性适应。
2. 2.
   音频特征提取：使用扩展版日内瓦最小声学参数集（eGeMAPS）通过openSMILE工具包提取88维声学描述符。对所有话语计算统计函数（均值、方差、百分位数）以捕获时间动态，并通过每位被试的z归一化减少说话者间变异（如性别间自然音高差异）。
3. 3.
   视觉特征提取：利用OpenFace工具包从E-DAIC数据集提取帧级视觉描述符，包括17个面部动作单元（Facial Action Units，FAUs）、头部姿态和视线方向。随后使用紧凑型视觉变换器（CompactViT）对帧级视觉向量序列进行建模，通过多头自注意力机制学习时空表征。
4. 4.
   跨模态融合与分类：采用基于交叉注意力的后期融合模块整合文本和视觉模态，显式建模语言内容与面部表情之间的交互关系。最终通过多层感知机（MLP）将融合后的表征分类为正常或抑郁。

四、研究结果

2.1 网络架构：研究人员设计了包含三个独立流的分支结构分别提取文本、音频和视觉特征，随后进行融合与分类。数据集可视化展示了被试在子集、性别和PHQ二分类标签上的分布情况。

2.1.1 文本特征提取：通过RoBERTa提取语义嵌入，采用均值池化获得固定长度表示，并冻结浅层、微调深层以适应抑郁检测任务。

2.1.2 音频特征提取：基于eGeMAPS提取88维声学特征，经统计汇总和z归一化后作为输入。

2.1.3 视觉特征提取：利用CompactViT对OpenFace提取的帧级视觉特征进行时序建模，通过自注意力机制捕获面部动态模式。

五、讨论与结论

研究结果表明，多模态行为特征能够有效反映脑网络功能障碍，为计算机辅助诊断提供了可靠依据。与传统融合策略相比，基于交叉注意力的融合方法能够更好地捕捉语言内容与面部表情之间的异步交互关系，从而提升抑郁检测的准确性和泛化能力。结论指出，这些发现证实了多模态行为特征可作为有效的数字生物标志物，为开发面向临床场景的自动化抑郁评估工具奠定了坚实基础。