摘要
真实场景中的视听抑郁识别通常面临时间稀疏性和跨模态异步性的挑战，其中与抑郁相关的线索可能仅出现在短片段中，并且可能无法跨模态精确对齐。在这种情况下，全局池化或密集注意力倾向于用冗余上下文稀释稀疏判别性证据，导致话语级表示不稳定。为了解决这个问题，我们提出了一个整合了模态特征适应、双向跨模态交互和基于图的抽象原型的视听抑郁识别框架。具体而言，异构的音频和视频流首先被转换为兼容的表示，随后双向交叉注意力对跨模态的内容依赖依赖关系进行建模，而不需要索引级对应。然后融合令牌被解释为图节点，并通过图卷积和可微软聚类聚合为一组紧凑的语义原型。此外，在训练期间引入音频扰动，作为针对部分声学证据损失和时间不对齐的面向任务的正则化策略。LMVD 数据集上的实验表明在主要抑郁识别任务上有明显改进，而对 MIntRec 和 CMU-MOSI 的辅助评估表明结构化原型表示对其他时间稀疏的视听识别任务有益。这些结果表明，结构化原型学习对于保留稀疏的抑郁相关线索是有效的，同时训练时扰动在异步多模态条件下提供了互补的正则化效果。
