《Pattern Recognition》：Cross-task generative augmentation of multimodal speech features for task-incomplete MCI detection
编辑推荐：
•提出一个用于轻度认知障碍（MCI）检测的跨任务生成增强框架。•开发一个用于多模态语音特征的共享私有条件变量自编码器（VAE）。•生成目标任务特征，以利用真实特征改进MCI分类。•生成效果取决于源特征的丰富性和任务互补性。引言阿尔茨海默病（AD）及相关痴呆症是常见的神经退行性疾病
- •
提出一个用于轻度认知障碍（MCI）检测的跨任务生成增强框架。
- •
开发一个用于多模态语音特征的共享私有条件变量自编码器（VAE）。
- •
生成目标任务特征，以利用真实特征改进MCI分类。
- •
生成效果取决于源特征的丰富性和任务互补性。
引言
阿尔茨海默病（AD）及相关痴呆症是常见的神经退行性疾病，与记忆、语言、执行功能和日常生活能力的下降有关[1],[2]。轻度认知障碍（MCI）是正常衰老和痴呆之间的中间阶段，其早期识别有助于风险分层、后续管理和潜在干预[3],[4]。传统的评估方法依赖于神经心理学测试、临床访谈、神经影像学和液体生物标志物，但这些方法受到成本、侵入性、时间、专业要求和可扩展性的限制[5],[6],[7]。语言、语音和其他声学信号在自动模式识别应用中表现出良好的性能，包括情感分析、通信理解和健康监测[8],[9]。基于此背景，语音和语言分析被探索作为一种无创、低成本且可重复的数字生物标志物，用于认知障碍的检测和监测[10]。
目前基于语音和语言的研究通常依赖于有限的引出任务，尤其是图片描述范式（如Cookie Theft任务（CT），这可能会限制对异质性MCI表现的特征描述[11]。多任务评估提供了补充的认知语言信息，但增加了管理时间、参与者负担、转录成本和质量控制要求[12]。现有的多模态融合、跨模态转换、领域适应、迁移学习和合成增强方法主要关注模态整合、跨领域泛化或样本级增强，对跨任务互补性的关注较少[13],[14],[15]。此外，过度生成可能会引入分布偏移并降低分类性能[16]。因此，当只有一个真实任务可用时，从未观察到的任务角度生成互补的区分信息仍然具有挑战性。
为了解决这个问题，本文提出了一个用于MCI检测的跨任务生成增强框架。该框架在多模态特征空间中学习源任务到目标任务的映射，并从观察到的真实语言任务生成互补的目标任务特征。实验是在DementiaBank英语协议的Delaware语料库上进行的，使用了CT、Cinderella故事回忆任务（CIN）和Sandwich程序叙事任务（SAN）作为三个代表性的连贯语音范式[12]。本研究旨在学习跨任务映射，从单个观察到的任务生成缺失的任务的多模态表示，并评估它们在MCI检测中的有效性和跨语料库的泛化能力。评估了不同的源任务和目标任务组合，以检验当只有一个真实任务可用时生成的目标准任务特征是否能改善MCI检测。
本文的主要贡献总结如下：
- •
提出一个从单个观察到的语言任务生成缺失任务特征的跨任务生成增强框架。
- •
设计一个以分类为导向的特征生成器，学习跨任务映射并产生互补的多模态表示。
- •
建立了一个涵盖三个语音任务、四种特征类型和多种机器学习及深度学习分类器的验证流程。
- •
证明增强效果取决于源任务的信息量、目标任务的互补性以及分类器的鲁棒性。
部分摘录
基于语音的MCI检测
现有的基于语音的AD和MCI研究可以首先按特征类型进行分类。声学-韵律研究考察了暂停、语速、音高、频谱或倒谱测量以及声音质量，而文本-语言研究则量化了词汇、句法、语义和话语变化[11],[17]。例如，在语言流畅性任务中研究了多变量词属性[18]，以及一种基于 transformer 的语言信息量指数，用于评估英语和波斯语语音之间的信息量差异[19]。
模型架构
如图2所示，本研究提出了一个用于基于语音的MCI检测的跨任务多模态特征生成和增强框架。该框架包含四个主要组成部分：特定模态的特征编码、共享-私有潜在表示、目标任务条件下的跨任务转换和下游分类。给定一个观察到的源语言任务，该框架执行特征级生成，以提高跨任务映射的稳定性并减少干扰变化
实验设置
数据集：本研究使用了两个数据集：Delaware语料库和DementiaBank英语协议的Pitt语料库，这两个数据集都包含来自MCI患者和健康对照组的音频记录和聊天记录[12],[35]。在Delaware语料库中，使用了三种连贯语音范式：Cookie Theft图片描述任务（CT）、Cinderella故事回忆任务（CIN）和Sandwich程序叙事任务（SAN）。
与现有研究的比较
表7将所提出的方法与最近的Delaware相关研究进行了比较。Stark等人使用CIN核心词典特征和LDA，报告了67.44%的准确率（ACC）[26]。Lai等人结合了文本和声学CT特征，使用LDA和SVM，获得了57.94%的ACC和56.91%的F1分数[36]。Ahangaran等人评估了多个叙事任务中的音高偏移音频，获得了63.70%的ACC[37]。Zolnour等人通过后期融合和合成增强结合了CT、CIN和SAN，报告了72.82%
结论
我们提出了一个用于在不完整任务条件下的基于语音的MCI检测的跨任务生成特征增强框架。该框架为缺失的目标任务生成与分类相关的多模态表示，并将它们与观察到的源任务特征结合起来进行下游分类。在DementiaBank Delaware语料库上的实验显示，CT、CIN和SAN的平均BACC和AUC有所提高，尽管这些改进效果因源任务的信息量而异
CRediT作者贡献声明
李浩：写作 – 审稿与编辑，原始草稿编写，可视化，监督，软件开发，资源准备，方法论设计，资金获取，形式分析，数据整理，概念化。王波：监督，项目管理。何强：监督，项目管理。 Mou军：监督，项目管理。陈俊鑫：监督，项目管理。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢
本研究未从公共部门、商业部门或非营利部门的任何资助机构获得特定资助。
李浩目前在中国大连理工大学信息与通信工程学院攻读博士学位。她的研究兴趣包括语音和语言处理、多模态学习、生成式人工智能和医疗人工智能。
Hao Li|Bo Wang|Qiang He|Jun Mou|Junxin Chen
