通过基于自注意力的多范式融合编码器及 TD 对齐时间特征识别自闭症谱系障碍儿童

《Displays》：Identifying children with Autism Spectrum Disorder via self-attention based multi-paradigm fusion encoder from TD-aligned temporal feature

　　- **TD对齐时间特征**以简洁形式突出了ASD与TD之间显著差异- **MHSA-MP-Fusion编码器**显式建模全局跨范式依赖关系- **A-SupCon损失**在保留ASD多样性的同时扩大了与TD同类样本的距离- 自动化筛查框架达到96.0%准确率和0.939的灵敏度- 在自定义的ASD与TD儿童多范式数据集上进行验证## 引言自闭症谱系障碍（ASD）是一种异质性神经发育疾病，以持续存在的社会交流缺陷和限制性的重复行为模式为特征[1]。全球患病率估计表明，大约每100名儿童中就有1名被诊断为ASD[2]。早期识别至关重要，因为在神经可塑性较高的时期（幼儿期）进行干预可显著改善长期预后。然而，传统的评估程序，如《改良幼儿自闭症筛查清单》（M-CHAT）和《美国儿科学会指南》中所述临床观察[3]、[4]，严重依赖主观临床判断和家长报告。这些方法资源消耗大、耗时且常难以在资源匮乏地区应用，造成筛查效率瓶颈。计算机视觉和人工智能（AI）的最新进展为客观、自动化的早期筛查工具铺平了道路。这些方法利用多种指标，从通过深度学习分析的面部特征[5]和通过机器学习评估的眼动模式[6]，到综合的多模态融合策略[7]。研究人员已从视觉数据中识别出多种定量行为特征。尽管早期方法通过静态照片描述可观察模式[8]，但ASD表型固有的短暂性——如转瞬即逝的回避注视或不典型表情表达[1]、[9]——促使向时间建模转变。因此，动态视觉注意特征，如深层眼动模式[10]和眼动轨迹[11]，已证明尤为有效。当与数据驱动模型集成时，这些时变行为偏差可促进ASD儿童与典型发育（TD）儿童之间的准确区分。然而，尽管取得了这些进展，现有数据驱动方法仍面临阻碍临床转化的关键挑战。首先，现有深度学习模型往往难以区分类典型行为与典型变异[12]。例如，TD个体可能因害羞或不感兴趣而出现暂时性回避注视，所产生的信号与ASD中观察到的不典型回避难以区分[13]。尽管近期多特征融合策略（如[14]）试图解决此问题，但往往引入严重特征冗余。其次，在多范式设计下，常见做法（如[14]）是将所有范式的特征视为单一连续序列，依赖标准循环网络如长短期记忆（LSTM）[15]产生的单一嵌入。虽然这可获得不错的性能，但将完整的多范式序列压缩为单一表征会模糊不同范式之间的边界。因此，这种单一嵌入倾向于稀释稀疏、短暂的行为异常，难以捕捉长程依赖关系，导致表征缺乏鲁棒性。此外，标准端到端训练往往不足以适应ASD与TD同类样本不同的类内分布，可能导致次优决策边界。为克服这些局限性，我们提出了一种基于时间特征的多范式设计框架，以有效捕捉动态行为变化。我们的框架引入三个概念性转变以弥合上述差距。第一，我们引入TD对齐时间特征建立典型参考，而非直接建模ASD复杂且不可预测的异常，有效减少特征冗余并明确分类边界。第二，为更好保留范式特定特征的独特性（这些特征在简单序列拼接中常被削弱），我们设计了基于自注意力的多范式融合编码器。通过引入多头自注意力（MHSA），该编码器显式建模全局跨范式依赖关系，以获得更鲁棒的表征。最后，认识到多样ASD群体与紧致TD同类样本之间的非对称类内分布，我们提出了非对称监督对比损失。该训练策略通过考虑非对称类内分布优化决策边界，最终实现灵敏度与特异性之间的更优平衡。总之，所提出的组件提供了客观有效的指标以支持临床医生做出知情决策。具体而言，我们的框架输出结合儿童病史、临床症状和随访报告，可为ASD临床诊断提供证据基础。然而，所提出的框架不能替代合格临床专业人员进行的全面诊断评估。我们的贡献如下：1. **TD对齐时间特征**。该特征基于对大多数TD同类样本行为特征（包括注视、面部情感和头部姿态）占据部分且紧致空间的观察。这使得TD对齐时间特征高效的同时突出了两组之间的显著特征。2. **基于自注意力的多范式融合编码器（MHSA-MP-Fusion编码器）**。该编码器将多个范式提取的TD对齐时间特征融合为嵌入。以LSTM模型为基础模型，利用分段最大池化捕捉每个范式内的短暂行为爆发，然后利用MHSA策略建模全局跨范式依赖关系以获得鲁棒嵌入。3. **非对称监督对比损失（A-SupCon损失）**。该损失用于训练MHSA-MP-Fusion编码器。A-SupCon损失保留了ASD内部行为表型的多样性，同时使TD特征表征更加紧致，并扩大了ASD与TD之间的距离，从而提高灵敏度并实现灵敏度与特异性的更优平衡。## 章节摘要### ASD筛查ASD筛查方法主要利用昂贵的内部生理分析（如脑电图[16]、磁共振成像[17]）或无创高效的体外多模态行为分析。这些体外分析涵盖多种模态，包括情绪和注意[9]、手势和步态[18]，以及语音信号[19]。近期基于图像的方法进一步展示了低成本视觉线索在ASD筛查中的潜力。Kaur和Gupta研究了### 方法所提出ASD筛查框架的流水线如图1所示。它由三个集成组件组成：（1）利用TD同类样本紧致行为空间的TD对齐时间特征，确保高效性和区分度；（2）利用分段最大池化捕捉短暂行为爆发和自注意力建模全局跨范式依赖关系的MHSA-MP-Fusion编码器；以及（3）保留### 实验设置所有实验均在配备Intel Core i7-12700KF CPU和Nvidia RTX 3090 GPU的Windows 11操作系统上进行。模型使用Python 3.8和配备CUDA 12.1的PyTorch 2.4框架实现。在训练阶段，MHSA-MP-Fusion编码器使用A-SupCon损失训练400个epoch，随后训练线性分类器400个epoch。为确保统计可靠性，我们采用了严格的被试级分层10折### 结论在本工作中，我们提出了一种以时间特征为核心的框架，捕捉动态行为变化以支持基于视频的ASD筛查。通过将行为投影到大多数TD同类样本占据的紧致行为空间，TD对齐时间特征在高效的同时突出了两组之间的显著特征。此外，MHSA-MP-Fusion编码器结合A-SupCon损失在捕捉复杂时间### 算法伪代码为概述我们的实验方案并促进完全可复现性，总结完整的多种子交叉验证和两阶段训练流水线。

### 利益冲突声明作者声明不存在可能影响本文报告工作的已知竞争性财务利益或个人关系。### 致谢本工作得到以下资助支持：**国家自然科学基金**（资助号62471285）、**温州市重大科技创新项目**（资助号ZY2023003和ZY2024026）、**温州市瓯海区重点科研项目**（资助号2024oh0004），以及**上海大学医学院心理健康临床研究中心**（资助号SHU-HMH-202508）。**作者：** 陈博尧 | 施颖国 | 陈宇anyi | 李兆臻 | 刘智 | 陈显健 | 孙广岭 | 卢晓峰