NiCLIP：基于对比语言-图像学习的脑激活认知功能解码

《Nature Communications》：NiCLIP: neuroimaging contrastive language-image pretraining model for predicting text from brain activation images

　　

摘要

从脑激活图预测认知过程仍然是神经科学中的一个关键挑战。元分析功能解码提供了与特定脑区相关的行为特征估计；然而，现有方法无法捕捉神经影像学文献的完整语义内容。为此，我们提出了NiCLIP，这是一个在超过23,000篇文章上训练的对比语言-图像模型，用于从脑激活模式预测认知任务、概念和领域。当使用全文文章和经过策划的认知本体（具有精确的任务-概念-领域映射）时，NiCLIP实现了最佳性能。我们的结果表明，NiCLIP能够准确预测人类连接组计划组水平图谱在多个领域（如情绪、语言、运动）的认知任务，并精确表征特定脑区（包括杏仁核、海马和颞顶联合）的功能角色。然而，NiCLIP在处理嘈杂的个体水平激活图谱时表现出局限性。NiCLIP代表了功能解码领域的一项重要进展，为假设生成和科学发现提供了强大的工具。