基于多模态数据融合的小鼠恐惧情绪实时识别研究

本研究针对传统动物情绪检测方法存在主观性强、效率低下的问题，提出了一种融合面部表情、身体姿态和运动轨迹的多模态情绪识别模型。研究人员通过特征编码器和注意力分类器整合多维数据，构建了基于BERT的Transformer分类模型，实现了86.7%的小鼠恐惧情绪识别准确率，较单模态方法提升显著。该研究为神经科学和精神病学提供了实时、客观的动物情绪监测新方案。

　　动物情绪研究是揭示行为机制和神经精神疾病的关键领域，但传统方法如开放式场地实验（Open Field Test）和生理信号检测存在主观性强、数据单一等局限。尤其在小鼠恐惧情绪识别中，单模态数据（如仅分析冻结行为Freezing）难以全面捕捉复杂情绪状态。

吉林大学的研究团队在《Scientific Reports》发表论文，提出基于多模态数据融合的实时恐惧识别方法。通过集成ResNet50编码的面部表情特征、DeepLabCut提取的9关键点姿态序列（含四肢、背部、耳朵等坐标）和二维运动轨迹数据，构建了时空感知的多模态编码矩阵。采用自注意力机制（Self-attention）加权融合特征，并引入BERT模型捕捉跨模态依赖关系，最终实现86.7%的准确率，较单模态模型（面部73.3%、姿态78.3%、轨迹69.0%）显著提升。

关键技术包括：

1. 动物实验设计：使用100只BALB/c小鼠，通过电击（1.5 mA, 2秒）诱导恐惧，同步采集10分钟高清视频（100 Hz）；
2. 多模态编码：ResNet50提取面部特征，DeepLabCut量化姿态（18维坐标）和轨迹（2维坐标）；
3. 模型架构：时空编码器处理连续帧，Transformer融合特征，交叉熵损失优化。

主要结果：

1. 精度对比：多模态模型准确率（86.7%）超越单模态方法，接近开放式场地实验金标准（93.3%）；
2. 时间窗口分析：10秒监测时长可使模型性能稳定，短于3秒时精度下降；
3. 帧率影响：40帧/秒采样率下模型敏感度达90.0%，过高帧率易引入噪声。

讨论指出，该模型的优势在于：

1. 互补性：面部表情捕捉瞬间情绪变化，姿态反映动态反应，轨迹揭示空间探索模式；
2. 鲁棒性：通过空白标记（Blank Token）处理数据缺失，缓解视角遮挡问题；
3. 应用潜力：为神经环路研究（如杏仁核-岛叶通路）和抗焦虑药物筛选提供自动化工具。

局限性包括摄像头角度对数据质量的影响，未来可扩展至更广谱情绪（如焦虑、愉悦）识别。该研究通过计算复杂度（公式7）与精度的平衡，推动了动物情感计算的范式革新。