基于查询的多模态交互与自适应门控融合用于阿尔茨海默病检测

《Frontiers in Aging Neuroscience》：Query-based multimodal interaction and adaptive gated fusion for Alzheimer's disease detection

　　

阿尔茨海默病的早期检测对于延缓疾病进展和改善患者预后至关重要。语音因便捷、无创和低成本而成为阿尔茨海默病检测的一种有前景的生物标志物。然而，现有研究往往依赖单一模态，或未能充分利用跨模态的互补信息。为解决上述局限，研究人员提出了一种用于阿尔茨海默病检测的基于查询的多模态交互与自适应门控融合框架。该框架联合建模源自语音的多视角声学信息和文本信息。具体而言，从预处理后的语音中按片段级别提取音频和语谱图特征，同时通过自动语音识别（automatic speech recognition, ASR）系统转写完整语音录音以得到文本特征。采用共享查询多模态交互策略，同一组可学习查询（learnable queries）独立地从音频、语谱图和文本表示中提取任务相关信息到统一查询空间，随后通过自适应门控融合策略将所得查询表示与原始模态特定表示动态整合。实验在ADReSSo和Pitt数据集上进行，包含阿尔茨海默病参与者和认知正常对照的语音录音。实验结果表明，所提方法优于现有方法，在ADReSSo和Pitt数据集上分别达到87.14%和90.20%的准确率。此外，消融研究和表示可视化证实了所提交互与融合机制的有效性。这些发现表明，该框架有效利用了互补的多模态信息，并学习了更具判别性的阿尔茨海默病检测表示，凸显了其在基于语音的认知障碍筛查中的应用潜力。

论文解读：基于查询的多模态交互与自适应门控融合的阿尔茨海默病检测

阿尔茨海默病（Alzheimer's disease, AD）是一种神经退行性疾病，也是导致认知障碍的主要原因。随着人口老龄化加速，AD患者数量持续增长，给医疗系统和社会带来沉重负担。早期筛查和干预有助于延缓疾病进展，但传统的磁共振成像、正电子发射断层扫描及认知评估量表等方法成本高、耗时长，难以大规模推广。语音因便捷、无创、低成本而成为AD检测的重要生物标志物。已有研究表明，认知障碍患者常出现语速减慢、停顿增加和语言组织能力下降等言语变化。然而，现有基于语音的方法多直接建模整段录音，难以捕获细粒度语音变化；多模态研究常采用简单拼接或平均融合，不能充分建模声学与文本之间的复杂交互；通用跨注意力机制也不适应片段级声学表示与录音级文本信息的异质性时间粒度。为此，本研究发表在《Frontiers in Aging Neuroscience》，提出一种基于查询的多模态交互与自适应门控融合框架。

该研究在ADReSSo挑战数据集和DementiaBank的Pitt数据集上进行实验。ADReSSo数据集包含AD患者和认知正常（cognitively normal, CN）对照的Cookie Theft图片描述语音，并采用官方训练测试划分；Pitt数据则仅选取Cookie Theft任务，采用参与者不重叠的分层10折交叉验证。实验中，语音被重采样至16 kHz并切分为5秒片段；音频特征由预训练Wav2Vec2-base-960h提取，语谱图特征采用80维log-Mel特征；完整录音由Whisper-base转写，文本由paraphrase-multilingual-MiniLM-L12-v2编码为token级表示。共享可学习查询向量分别与音频、语谱图和文本表示进行交叉注意力交互，将任务相关信息汇聚到统一查询空间；随后，门控网络通过Softmax为查询、音频、语谱图和文本全局表示分配自适应权重，最终拼接加权表示并输入分类器。训练采用交叉熵损失与音频-语谱图对称InfoNCE对比正则项。

在结果部分，3.1节“与现有方法比较及统计稳定性”显示，所提出框架在ADReSSo测试集上平均准确率达87.14%，在Pitt数据集上达90.20%，均优于已有报道方法；五次独立运行的标准差较小，表明性能稳定。3.2节“消融和敏感性分析”表明，完整模型比无查询无门控基线准确率提高4.85个百分点；单独加入门控或查询机制也均有提升；片段长度5秒和4个查询令牌在验证集上表现最佳。3.3节“查询机制解释”通过查询注意力权重和积分梯度（integrated gradients, IG）发现，不同查询会关注不同语音时间段，具备互补的信息检索视角；UMAP可视化显示最终查询表示包含与诊断相关的结构。3.4节“多模态表示与门控分析”通过t-SNE可视化表明，完整模型比单一模态具有更清晰的AD与CN类间分离；门控权重分析显示文本表示平均权重最高，在CN样本中达73.4%，AD样本中为63.4%，而AD样本的查询、音频和语谱图权重相对更高，说明第二模态与跨模态信息对部分样本具有补充作用。

讨论部分认为，查询机制主要承担信息选择与交互功能，门控机制则进行样本特定的多模态融合；两者协同作用提升了分类性能。文本信息是当前任务最主要的判别线索，但声学和跨模态信息对部分样本提供了额外证据。研究局限性包括仅使用英语语音数据和Cookie Theft任务、数据集规模有限、依赖ASR转写质量、可解释性分析无法建立因果关系。结论部分可译为：本研究提出了一种用于阿尔茨海默病检测的基于查询的多模态交互与自适应门控融合框架。通过整合源自语音的多视角声学表示和文本信息，该框架有效捕获了与认知障碍相关的互补线索。在ADReSSo和Pitt数据集上的实验结果表明，所提方法优于现有方法，并在不同评估设置下实现了稳健性能。研究结果凸显了有效多模态交互与自适应融合对基于语音的阿尔茨海默病检测的重要性。此外，该框架展示了多模态语音分析作为低成本、非侵入性认知障碍筛查方法的潜力。未来工作将重点在多语言数据集上评估该框架，将其扩展到更广泛的语音任务，并在更真实的临床场景中验证其有效性。