利用多模态神经生理信号解码隐藏信息

《Scientific Reports》：Decoding concealed information using multimodal neurophysiological signals

　　

摘要

在法医调查、安全筛查和认知神经科学领域，检测隐藏信息是一项重要挑战。传统的隐藏信息检测方法主要依赖二元分类，即区分已识别（隐藏）的刺激与未识别（中性）的刺激。这种方法限制了结果的可解释性，也无法揭示隐藏信息的本质。在本初步研究中，我们提出了一种新的多模态框架，通过分析隐藏信息检测过程中记录的神经生理信号，将隐藏信息的类别进一步细化为物体、人物或地点，从而超越了单纯的二元检测。研究中对10名受试者在观看代表这三类内容的视觉刺激时的高密度脑电图以及皮肤温度、皮肤电反应和脉搏波等生理信号进行了同步记录。从这两种信号中提取时域和频域特征后，再通过基于机器学习的多模态融合技术进行分类。该框架的整体准确率为94.2%，显著高于仅使用脑电图（73%）或生理信号（54.2%）的检测方法。进一步分析表明，仅需8个经过精心选择的脑电图电极即可获得类似的检测效果，这为开发轻量级、可穿戴的检测设备提供了可能。最具信息量的电极位于前额叶和额中央区，这一位置与注意力、识别和欺骗相关的认知过程相一致。这些研究结果表明，神经生理信号不仅能用于检测隐藏信息，还能用于识别隐藏信息的类型。通过结合脑电图和生理信号，可以捕捉识别过程中的认知和情感处理方面的互补信息，从而提升检测的灵敏度和可解释性。本初步研究通过将传统的二元识别方法发展为语义解码方法，推动了可解释性欺骗检测系统的发展，同时也架起了实验室神经科学与现实世界法医应用之间的桥梁。