AHCSIS: 基于HHT-CSP-SSA和改进SNN的立体视觉舒适度自适应评估模型

《Frontiers in Neuroscience》：AHCSIS: adaptive evaluation model for stereoscopic visual comfort based on HHT-CSP-SSA and improved SNN

　　

摘要：引言：为解决特征提取过程中的特征冗余问题，以及SNN编码层中生物神经活动模拟仍有限且缺乏时间信息的问题，本研究提出了一种基于HHT-CSP-SSA和改进SNN的立体视觉舒适度自适应评估模型（AHCSIS）。方法：该模型包含两个创新核心模块。AHCSIS的特征提取模块利用希尔伯特-黄变换（Hilbert-Huang Transform，HHT）结合共同空间模式（Common Spatial Pattern，CSP）自适应地从多个脑区提取时频特征，并通过麻雀搜索算法（Sparrow Search Algorithm，SSA）实现最优特征选择。分类模块采用基于自注意力机制结合单神经元的脉冲编码方法，生成表征生物神经活动的时间脉冲序列。结果：结果表明，AHCSIS分类模型的性能（准确率：93.86%，精确率：93.12%）优于基线模型和当前最先进模型。讨论：该模型自适应提取最优特征并编码时间脉冲，更好地反映了生物神经活动，为评估立体视觉舒适与不适提供了一种新颖的解决方案。

# 论文解读：基于HHT-CSP-SSA和改进SNN的立体视觉舒适度自适应评估模型

## 研究背景与问题

随着三维（3D）技术在航空航天、教育和医疗等领域的广泛应用，长时间观看立体图像常导致视觉不适，如眼疲劳和头晕。因此，客观评估立体视觉不适对于推动3D技术发展至关重要。脑电图（Electroencephalogram，EEG）具有高时间分辨率，可记录毫秒级脑活动，成为客观评估立体视觉不适的有效方法。在评估过程中，特征提取至关重要，直接影响结果准确性。共同空间模式（Common Spatial Pattern，CSP）被广泛用于立体视觉舒适度的特征提取，但多数CSP相关研究采用固定频带划分，而脑振荡相关频带存在个体差异，固定划分无法捕捉不同参与者间的差异和振荡模式的瞬态波动，降低分类模型精度。希尔伯特-黄变换（Hilbert-Huang Transform，HHT）可自适应划分频带，但在经验模态分解（Empirical Mode Decomposition，EMD）过程中，EEG信号在时间边界处常出现大幅波动，导致不良本征模态函数（Intrinsic Mode Function，IMF）及时频特征冗余，影响分类性能。麻雀搜索算法（Sparrow Search Algorithm，SSA）能高效搜索最优特征组合以降低冗余。此外，现有脉冲神经网络（Spiking Neural Network，SNN）的脉冲编码方法（如泊松编码）存在随机性，导致原始数据信息丢失，且忽略时间信息，无法完整模拟生物神经活动。因此，研究人员旨在解决上述问题，提出自适应评估模型，以提高立体视觉舒适度分类的准确性和可靠性。

## 研究内容与结论

研究人员提出了一种基于HHT-CSP-SSA和改进SNN的立体视觉舒适度自适应评估模型（AHCSIS），并进行了实验验证。该模型包含两个创新模块：特征提取模块和分类模块。实验结果表明，AHCSIS模型在准确率（93.86%）、精确率（93.12%）、F1分数（92.62%）和卡帕系数（93.02%）上均优于基线模型（S3T、NeuroSense、SCNet、SGLNet）。消融实验证实了各组件（HHT、CSP、SSA、改进脉冲编码方法）的贡献，其中HHT提升约12%准确率，SSA提升约8%，改进编码方法提升约5%。该模型为基于EEG的立体视觉舒适度评估提供了新颖解决方案，具有重要实践意义。论文发表在《Frontiers in Neuroscience》。

## 关键技术方法

研究采用的主要关键技术方法包括：（1）HHT与CSP结合自适应提取多脑区时频特征，通过EMD将EEG信号分解为IMF，再经希尔伯特变换获取瞬时频率和幅度，CSP通过矩阵对角化最大化两类信号方差差异；（2）SSA模拟麻雀觅食、反捕食和预警行为，在特征空间中搜索最优特征组合，减少冗余；（3）分类模块中，使用基于自注意力机制结合单神经元的脉冲编码方法替代传统泊松编码，生成高精度时间脉冲序列，并采用积分点火（Integrate-and-Fire，IF）神经元模型。样本来源：15名来自长春理工大学的学生（12男3女，平均年龄21.2±1.5岁），所有参与者视力正常或矫正至正常，并经过立体敏感性、色觉等筛选。实验在电磁屏蔽室中进行，使用64通道actiCHamp Plus系统记录EEG，采样率1000 Hz，24个电极记录EEG活动，4个电极记录眼电图（EOG）。

## 研究结果

### 4.1 特征提取模块的有效性

为验证特征提取模块的有效性，研究人员将未使用该方法提取的特征（原始EEG信号和CSP方法提取的特征）与本研究方法提取的特征分别输入机器学习（支持向量机SVM、线性判别分析LDA）和深度学习（卷积神经网络CNN、Transformer）模型进行分类。结果表明，HHT+CSP+SSA方法提取的特征在各类模型上的分类准确率（LDA: 80.06%，SVM: 84.47%，CNN: 87.34%，Transformer: 91.22%）均高于CSP方法（60.32%，65.12%，85.38%，89.63%）和原始数据（80.42%，85.61%）。深度学习模型性能优于机器学习，且CNN和Transformer在HHT+CSP+SSA特征下准确率分别比原始数据提升7%和5.6%，比CSP特征提升2%和1.6%。这验证了特征提取模块成功实现了自适应最优时频特征提取，解决了固定频带划分和特征冗余问题。

### 4.2 分类结果

#### 4.2.1 性能指标

通过混淆矩阵计算准确率、精确率、F1分数和卡帕系数评估模型性能。AHCSIS模型在视觉舒适和不适类别上均取得良好分类结果（混淆矩阵图显示）。每位参与者个体准确率均高于90%，平均准确率为93.86%。ROC曲线下面积（AUC）约为93%，表明模型在大多数分类阈值下能实现较高真阳性率（TPR）和较低假阳性率（FPR）。因此，模型在多个评估指标上表现优异，具有高分类性能和可靠性。

#### 4.2.2 模型对比

将AHCSIS与基线模型S3T（基于注意力）、NeuroSense（SNN情感识别）、SCNet（嵌入CNN的SNN）、SGLNet（SNN结合图卷积和LSTM）比较。结果显示，SNN基模型（NeuroSense、SCNet、SGLNet）优于S3T，而SCNet和SGLNet通过改进脉冲编码信息损失和提取时间依赖进一步提升性能。但AHCSIS采用基于自注意力机制结合单神经元的脉冲编码方法，同时保持原始数据信息准确性和时序完整性，因此准确率（0.9386）、精确率（0.9312）、F1分数（0.9262）和卡帕系数（0.9302）均最高，证明了其卓越分类性能。

#### 4.2.3 消融研究

为验证AHCSIS各组件贡献，进行了消融实验。移除改进脉冲编码方法后，平均准确率下降约5%；移除SSA后，准确率下降约8%；移除HHT后，准确率下降约12%。这表明HHT自适应提取有效时频特征贡献最大，SSA显著选择最优特征组合，改进编码方法有效捕捉EEG信号中与立体视觉舒适度相关的信息准确性和丰富时间信息。

## 讨论与结论

在特征提取阶段，HHT与CSP结合自适应提取EEG时频特征，并利用SSA的觅食和反捕食机制选择最优特征组合，解决特征冗余。在分类阶段，改进SNN的编码层采用基于自注意力机制和单神经元的脉冲编码方法，增强编码层表征生物神经信号动态特性的准确性和完整性，而非广义模拟生物神经活动。与泊松编码相比，该方法生成更忠实于原始信号的时空脉冲序列。实验证明AHCSIS模型在准确率、精确率、F1分数和卡帕系数上均优于其他模型，归因于自适应特征提取和改进脉冲编码方法。该模型可应用于基于EEG的分类任务，为评估立体视觉不适提供新方案。

**结论**：AHCSIS模型在基于EEG信号评估立体视觉不适方面展现出稳健能力。未来工作可聚焦于开发轻量化模型用于可穿戴设备以实现实时评估，并探索领域自适应或迁移学习技术以改进跨被试模型，确保个体差异下的一致性能，同时增强可扩展性和实用性。研究人员将继续完善模型并进行跨数据集实验验证，以提高和证明所提方法的泛化能力和鲁棒性。