基于脑机接口的智能增强技术在半监督面部情感识别中的应用

《IEEE Transactions on Affective Computing》：Brain-Machine Enhanced Intelligence for Semi-Supervised Facial Emotion Recognition

　　

摘要：

机器学习，尤其是深度学习，通常能够通过大量标记数据实现高精度的面部情绪图像识别。然而，由于人工标注成本较高，这些数据集通常包含的标记样本不足，而未标记数据却非常多。对于这些数据集的半监督学习来说，仅基于图像视觉特征的自我训练方法无法全面理解复杂的高层语义特征。由于脑电图（EEG）信号不仅包含与视觉刺激相关的视觉信息，还包含与大脑活动相关的情绪信息，因此它们非常适合作为未标记面部情绪图像的标注监督信号。在本研究中，我们特别利用由视觉图像刺激引发的EEG信号，并结合EEGNet3D来学习大脑活动的判别性EEG类别表示流形。我们将独热类别标签替换为EEG类别表示作为监督信息来训练基础模型。然后，利用基础模型在EEG类别表示流形中实现更好的伪标注。基于伪标注结果，未标记数据的利用得到了进一步改进。有趣的是，我们的研究发现，当使用EEG类别表示作为基础模型的监督信息时，基础模型在判断情绪时更倾向于关注眼睛区域。这种行为与人类大脑解码情绪的方式非常相似。实验表明，通过结合标记和伪标记图像，可以有效地提高所提出方法的性能。进一步的实验表明，当将我们的方法应用于新的图像数据集和其他视觉网络时，该方法表现出很强的泛化能力。

引言

借助面部图像输入，最近的机器智能进展，特别是深度神经网络[1]、[2]、[3]，使得在面部情绪识别（FER）[4]、[5]、[6]任务中能够接近人类的识别效果。这是因为深度学习模型能够从大规模数据中学习特征，并通过多层神经网络学习复杂的抽象和表示。然而，当面对小规模标记数据时，深度神经网络容易过拟合[7]、[8]，这导致它们仅依赖图像的底层视觉特征来推断情绪。由于缺乏人类大脑的认知能力，它们无法完全理解更高层次的情绪线索，从而限制了它们的泛化能力。因此，在标记样本不足且未标记数据众多的数据集中，深度神经网络在FER任务中的表现会下降。