基于视觉语言模型的 Autism-CLIP：一种无需人工标注的早期自闭症智能筛查方法

《Nature Communications》：Automated screening of autism via a pretrained vision-language model in naturalistic caregiver-child interactions

　　

摘要

早期自闭症筛查对于及时干预至关重要，但目前仍受限于对专业人员的依赖、高昂的筛查成本以及有限的可及性。我们提出了Autism-CLIP这一视觉语言模型，它能够自动分析15至24个月大幼儿与看护者之间进行的三分钟自然互动视频。该模型结合了对比学习、大型语言模型生成的监督数据、领域特定的架构以及混合训练方法，将视觉行为线索与自闭症相关的评估结果相结合，从而实现无需人工标注的智能识别。在多中心评估中，Autism-CLIP在内部组（n = 103人）中的AUC值为0.903，在外部组（n = 102人）中的AUC值为0.873，表现优于传统的机器学习方法。注意力映射功能揭示了具有临床意义的特征，如目光回避和社交互动能力受限。该模型仅需要用智能手机录制的视频，无需人工编码或特殊的实验环境，因此提供了一种可扩展且低成本的方法，有助于扩大早期自闭症筛查的覆盖范围，并为临床资源的优先分配提供支持。