根据脑电记录预测文档的相关性

《ACM Transactions on Information Systems》：Predicting Document Relevance from Brain Recordings

脑电图数据与语义嵌入结合预测文档相关性研究。通过记录读者阅读文档时的脑电信号，构建双模架构模型，同时利用EEG表示捕捉注意力分布，结合词嵌入模型处理文本语义。实验表明，双模模型AUROC（0.68）显著优于单一模式（EEG 0.63，词嵌入0.62），为通过生理信号建模个性化文档相关性提供新方法。

　　

摘要

最近的神经影像学研究揭示了内容相关性与大脑反应之间的关联。然而，关于人类大脑如何对整篇文本文档的相关性进行判断，以及这些反应如何用于预测文档相关性的一些基本问题仍然没有得到探讨。在这里，我们首次利用脑电图（EEG）数据来预测文档的相关性，这些数据是在人们阅读文档时记录下的大脑反应。我们的方法结合了EEG和为文档计算出的词嵌入信息，通过一种双模架构共同学习来预测文档相关性。我们双模架构中的EEG表示能够反映人们对单词的关注程度，而词嵌入则用于表示单词的语义。通过多种EEG解码模型和词嵌入模型的实验表明，可以从EEG数据中预测文档相关性，并且我们的双模方法比仅使用词嵌入模型（$\text{AUROC}=0.68$）或仅使用EEG数据（$\text{AUROC}=0.63$）具有更高的预测性能。我们的发现为通过隐性的生理信号来建模文档相关性提供了新的机会，强调了人类大脑信号和语言模型在捕捉个性化文档相关性方面的共同重要性，超越了传统的行为信号。