用于ADOS-M1行为评估的多模态大语言模型

《Neurocomputing》：Multimodal large language models for ADOS-M1 behavioral assessment

　　

摘要

自闭症谱系障碍（ASD）是一种神经发育性疾病，其特征为社会沟通与互动方面的缺陷。自闭症诊断观察量表（ADOS）被广泛认为是ASD评估的金标准临床工具；然而，对专业观察者的依赖限制了其大规模筛查的可行性。近期的人工智能研究尝试从多模态行为数据中检测ASD，但大多数方法直接预测诊断标签，未能建模ADOS评估中使用的结构化评分协议。本研究提出了一种多模态大语言模型框架，用于从音频-视频数据中进行ADOS-M1行为评估。该方法通过三个模态分支整合视觉、音频和对话信息。使用轻量级适配器与低秩适应（LoRA）来对齐多模态表征与指令微调大语言模型（LLMs）的嵌入空间。与直接预测诊断标签不同，我们将ADOS范式识别和条目级行为评估重新表述为结构化文本生成任务，使LLMs能够根据临床评估规则对多模态行为线索进行推理。在包含447名参与者的临床ADOS-M1数据集上的实验表明，所提出的框架显著优于单模态和多模态基线方法。最佳模型在范式分类中达到73.77%的准确率，在片段级别所有ADOS条目的平均准确率达72.61%，并实现了高达86.67%准确率的受试者级别ASD检测。这些结果证明了多模态LLMs在ASD行为评估中的有效性。

引言

自闭症谱系障碍（ASD）是一种复杂的神经发育障碍，其特征为社会沟通与互动技能的持续缺陷，以及受限且重复的行为模式[23]。专家普遍认为，早期准确的诊断对于及时干预和改善发育结局至关重要[16]，[42]，[49]。美国疾病控制与预防中心（CDC）的数据显示，近年来ASD的患病率出现了显著且持续的增长[45]。由于社会沟通与互动方面存在显著差异，自闭症儿童通常需要长期支持。这些神经发育特征会对家庭造成巨大的心理和经济负担，并对社会提出更广泛的挑战[44]。

早期准确的诊断对于实现及时干预和改善发育结局至关重要。ADOS[43]被广泛认为是ASD诊断的金标准。该评估通过结构化和半结构化互动范式来评估语言、社会互动、游戏以及受限或重复行为等多维能力。然而，ADOS评估需要大量专家观察，且严重依赖主观行为解读，这限制了其可扩展性并阻碍了广泛应用，特别是在医疗基础设施有限的地区。

因此，亟需开发客观、高效且易于大规模实施的筛查工具。为此，研究者越来越多地探讨人工智能技术在利用音视频数据自动分析自闭症相关行为方面的应用。先前的研究调查了基于特征的深度学习方法，利用视觉[30]、[36]、[38]、[54]、[62]、[63]、音频[5]、[28]、[34]、[46]、[71]、文本[3]、[11]、[41]、[58]或多模态融合[48]、[57]、[60]表征进行自闭症检测和行为评估。尽管这些方法取得了令人瞩目的性能，但它们存在三大局限性。首先，单模态表征不足以捕捉视觉行为、语音韵律和对话语义之间的复杂交互，而这些交互对于ADOS行为评估至关重要[19]、[47]、[48]。其次，传统多模态融合框架通常采用特征级分类流水线，缺乏对临床评分规则的推理能力。第三，大多数现有模型直接预测诊断标签，未显式建模细粒度的ADOS行为条目，从而限制了可解释性和临床兼容性。以脚本为中心的行为理解方法[37]试图通过将有音视频数据转换为结构化行为脚本并利用大语言模型进行下游推理来解决这些问题。然而，行为脚本生成的有效性取决于标准化的实验设置和高精度的感知模型。当使用通用视频-语言模型时，通常会出现显著的性能下降[37]。

大语言模型（LLMs）[15]、[21]、[69]最近展现出了卓越的推理能力和强大的泛化性能，使其成为医学诊断的一个有前景的方向[18]、[50]、[59]。然而，感知模型与语言模型之间存在显著分布差异，使得LLMs直接应用于原始音视频信号面临挑战。此外，现有视频-语言模型[56]、[65]在捕捉与ASD相关的细粒度行为模式方面仍然有限。

为应对这些挑战，我们提出了一种多模态框架，使指令微调的LLMs能够执行ADOS范式分类和条目级行为评估。具体而言，我们设计了三个模态分支（视觉、音频和对话）来将原始多模态信号转换为与LLMs嵌入空间对齐的token表征。引入轻量级适配器机制来弥合跨模态差异，并结合LoRA[24]实现参数高效的多模态指令微调。与传统的端到端分类器不同，我们的框架将范式分类和条目级行为评估均重新表述为结构化文本生成任务，从而使LLMs能够根据临床规则进行推理。本文的方法贡献在于将结构化ADOS-M1协议形式化为以条目为导向的多模态生成任务，实现具有临床可解释性的行为评估。

我们收集了一个包含447名参与者的大规模临床ADOS-M1数据集，并进行了大量实验以评估所提框架的有效性。与单模态基线、传统多模态融合方法以及以脚本为中心的行为理解方法相比，我们的方法在范式分类和条目级评估任务中均取得了显著提升。此外，预测的ADOS条目分数在基于ADOS规则和基于机器学习后端两种诊断协议下均能有效支持受试者级别的ASD检测，突出了细粒度行为评估的临床相关性。

本研究的主要贡献总结如下：

• •
  我们收集了一个大规模ADOS-M1临床数据集，包含精细的范式标注、标准化的条目级行为评分和专家诊断结果。
• •
  我们提出了一种多模态大语言模型框架，整合视觉、音频和对话信息以实现自动化ADOS范式识别和行为评估。
• •
  我们将ADOS范式识别和条目级行为评估重新表述为结构化文本生成任务，并引入基于LoRA的多模态指令微调以适配LLMs的临床行为推理。
• •
  大量实验表明，所提出的框架显著提升了范式分类和条目级行为评估，实现了可靠的受试者级别ASD检测。

章节片段

自动化自闭症检测的特征类方法

人工智能的最新进展推动了从多模态行为数据中进行自动化ASD检测。早期研究主要聚焦于单模态表征。基于视觉的方法使用卷积神经网络或基于Transformer的架构来建模注视模式、身体运动或面部表情。例如，Liu等人[36]开发了一种基于面孔加工异常眼动特征的机器学习框架，用于自动识别儿童ASD。Liu等人[38]

ADOS-M1临床数据集收集

SYSU-ADOS-M1临床数据集是一个按照ADOS模块1[43]设计用于结构化ASD评估的多视角音视频数据集。所有参与者均提供了书面知情同意书，该研究已获中山大学第三附属医院机构审查委员会（IRB）批准。

方法

图4展示了所提出的多模态方法的一般框架，使LLMs能够识别ADOS范式并评估ADOS行为。该方法使LLMs能够理解视觉和音频信号以完成特定的ADOS相关任务。

具体而言，我们设计了三个分支，即视觉分支、音频分支和对话分支，将视频和音频转换为LLMs可理解的token表征。在本节中，我们首先定义问题，然后介绍结构

实验设置

所有实验均采用受试者独立的数据划分策略。具体而言，参与者在受试者级别被随机采样至训练集和测试集，比例为90%和10%。从同一参与者提取的所有30秒视频片段严格分配到同一划分中，确保没有任何受试者同时出现在训练集和测试集中。

使用固定随机种子以确保可重复性，主要实验使用相同的划分以保持一致性

结论

本文提出了一种多模态大语言模型框架，用于自动化ADOS-M1行为评估。该框架通过模态专用适配器整合视觉、声学和对话转写信息，并利用基于LoRA的指令微调来改善对ADOS评估中多模态线索的理解。通过将ADOS范式分类和条目级行为评估重新表述为结构化文本生成任务，该框架使LLMs能够根据临床规则进行推理

CRediT作者贡献声明

刘文星：撰写–初稿，可视化，软件，方法论，调查研究，形式化分析。潘月然：调查研究，数据整理。张东：验证，概念化。邓洪柱：验证，项目管理，数据整理。邹小兵：验证，资源，资金获取，概念化。李明：撰写–审阅与编辑，验证，监督，资源，方法论，资金获取，概念化。

利益冲突声明

作者声明他们不存在已知的竞争性经济利益或个人关系，这些利益或关系可能影响本文所报告的工作。

刘文星获得重庆理工大学计算机科学硕士学位。目前正在武汉大学攻读计算机科学博士学位。他的研究方向包括ASD诊断、ASD评估以及多模态大语言模型。

刘文星|潘月然|张东|邓洪柱|邹小兵|李明

武汉大学计算机学院，武汉，430072，湖北省，中国