面向抑郁症检测的任务特定随机不确定性感知多模态融合方法

《Displays》：Task-Specific Aleatoric Uncertainty-Aware Multimodal Fusion for depression detection

　　•TAUMF能够降低多模态抑郁检测中的随机不确定性。•基于采样的探针方法比原始特征方差更能准确衡量不确定性。•分层不确定性加权融合技术可抑制不可靠的模态信号。•在DAIC-WoZ和CMDC数据集上，TAUMF取得了最优的检测效果。

引言
抑郁症是一种常见的心理健康问题，也是全球范围内导致残疾的主要原因之一。它会影响情绪、行为和日常功能，严重病例还伴随着更高的自杀风险。因此，及时且准确地检测抑郁症对于采取干预措施和实施有效治疗至关重要[1]。在临床实践中，通常通过自我报告问卷和医生评估量表来诊断抑郁症，例如患者健康问卷-9（PHQ-9）[2]以及汉密尔顿抑郁评分量表（HAMD）[3]。然而，这些传统的评估方法存在主观性、耗时且难以大规模应用的问题。

随着数据驱动技术的快速发展，自动抑郁检测（ADD）越来越受到重视。ADD旨在通过分析行为信号来提供客观且可扩展的抑郁评估方法。包含文本、语音和视觉信息的多模态数据集尤其有价值，因为抑郁症往往同时影响语言表达、声音模式和面部表情[4]。通过结合多种模态，多模态方法能够捕捉互补信息，提升检测性能，因此成为抑郁症研究的重要方向。

基于以上观察，多模态学习在抑郁症检测方面相比单模态方法具有明显优势。众多研究[5]表明，合理融合不同模态的信息可以提高检测性能。因此，多模态融合已成为多模态学习领域的核心课题，其目标是通过深度神经网络将不同类型的模态整合为统一的表示形式。

然而，随着研究的深入，人们发现由于各模态特有的噪声，多模态数据可能存在不可靠性[6]、[7]。近期研究[8]、[9]指出，许多现有的融合方法并未充分考虑多模态数据质量的不同。在实际应用中，常用的融合策略在存在噪声的情况下性能会下降，因为某一模态的不确定性可能会对跨模态交互产生负面影响。像DAIC-WoZ[10]这样的真实临床数据集本身就不完美，音频记录可能包含背景噪声，视觉图像可能会出现遮挡，而文本回复也可能含糊不清。这种固有的数据噪声，通常被称为随机不确定性[11]，会降低所学特征表示的可靠性。

尽管存在这些挑战，目前大多数现有的多模态抑郁检测方法主要集中在设计先进的融合架构上，比如基于注意力机制的方案[12]或图神经网络[13]，以模拟不同模态之间的交互。虽然这些方法能够自适应地为不同模态分配权重，但它们往往缺乏在融合过程中量化各模态可靠性的明确机制。因此，某一模态中的噪声可能会通过融合过程传播，从而降低整体的鲁棒性和检测精度。

为了解决这些问题，我们提出了一种名为任务特定随机不确定性感知多模态融合（TAUMF）的新框架。我们超越了确定性特征表示的局限，引入了变分特征增强（VFA）模块来处理输入噪声。VFA将输入特征视为概率分布，量化随机不确定性，并学习具有更好语义一致性的稳定单模态表示。此外，考虑到高特征方差并不一定意味着有害噪声，我们还通过基于采样的探针机制将原始特征方差映射为任务特定的预测不确定性。这一设计使模型能够区分有用的变化和有害噪声。最后，借助量化的可靠性得分，我们引入了分层不确定性加权融合（HUBF）模块。该模块利用基于不确定性的加权注意力，首先将文本和音频特征结合为稳定的双模态表示，然后再融入视觉信息。这种分层融合策略提高了模型对模态特定噪声的抵抗能力，确保在噪声环境下实现可靠的多模态整合。在两个公开的抑郁访谈数据集DAIC-WoZ[10]和CMDC[14]上的大量实验表明，所提出的方法在多模态抑郁检测任务中具有出色的效果和强大的鲁棒性。

•我们提出了一种名为任务特定随机不确定性感知多模态融合（TAUMF）的新型不确定性感知多模态融合框架，该框架能够量化任务特定的预测不确定性，并利用这一信息来学习稳定且可靠的联合表示。•我们设计了一种任务特定的不确定性建模与融合机制，该机制结合了变分特征增强（VFA）、基于采样的不确定性探测以及分层不确定性加权融合（HUBF）。这一机制使模型能够区分有用的变化和有害噪声，从而在模态特定噪声环境下实现可靠的多模态融合。•我们在两个公开的抑郁访谈数据集上进行了大量实验。实验结果表明，所提出的方法不仅性能优异，而且在噪声环境下也展现出很强的鲁棒性。

章节节选
多模态抑郁检测
由于不同模态的互补性，多模态融合已成为抑郁症检测的一种极具前景的方法。现有研究通常使用音频、文本、视觉、脑电图和皮电反应信号来捕捉抑郁行为的各个方面。在这些模态中，文本、音频和视觉线索在三模态情感计算领域已被广泛研究，尤其适用于与情绪相关的分析[15]。此外，还有一些研究探索了基于医学图像的检测方法。

初步知识
从概率论的角度来看，预测不确定性可以通过总方差定理来分解，即考虑给定训练数据D时模型参数θ的后验分布：Var(y|x)=Eθ～p(θ|D)[σ2(x,θ)]+Varθ～p(θ|D)[μ(x,θ)]，其中x表示输入样本，y代表相应的模型预测值。第一项Eθ[σ2(x,θ)]表示由数据固有噪声引起的随机不确定性，第二项Varθ[μ(x,θ)]则反映了认知不确定性。

数据集
CMDC数据集[14]是通过中文半结构化临床访谈收集的，重点关注抑郁症状。该数据集包含了12个与抑郁密切相关的问题的回答，共有78名参与者，其中45人同意进行视频录制。根据参与者在HAMD-17和PHQ-9量表上的得分，他们被分为抑郁组和非抑郁组。具体而言，HAMD-17得分较高的个体被归为抑郁组。

结论
在本文中，我们提出了一种新的多模态融合框架，即任务特定随机不确定性感知多模态融合（TAUMF）。该框架通过明确量化多模态数据中的任务特定随机不确定性，实现了可靠的抑郁检测。具体而言，借助所提出的变分特征增强（VFA）、任务特定不确定性量化（TSUQ）以及分层不确定性加权融合（HUBF）模块，TAUMF能够动态识别并抑制不良影响。

CRediT作者贡献声明
杨景涛：概念构建、方法设计、软件实现、验证、形式化分析、初稿撰写。刘志：概念构建、方法设计、资源协调、审稿与编辑、监督、项目管理、资金筹集。卢晓峰：验证、资源协调、资金筹集。岳耀婷：数据收集、审稿与编辑。叶林伟：形式化分析、审稿与编辑。耿武军：监督、资源协调、资金筹集。陈先健：

利益冲突声明
作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。

致谢
本研究得到了中国国家自然科学基金项目62171269、温州市重大科技创新项目ZY2023003和ZY2024026以及温州市瓯海区关键科学研究项目2024oh0004的支持。

杨景涛|刘志|卢晓峰|岳耀婷|叶林伟|耿武军|陈先健