《Electronics》：FPGA Chip-Based Mobile Sensor Design for Speech Emotions Recognition
编辑推荐：
本文提出了一种语音情感识别方法及其在现场可编程门阵列（FPGA）上的高效神经网络推理实现。该方法采用混合神经网络架构，集成卷积神经网络（CNN）、长短期记忆网络（LSTM）和全连接神经网络（FCNN），以有效捕获语音信号中的局部特征与时间特征。该架构非常适合对
本文提出了一种语音情感识别方法及其在现场可编程门阵列（FPGA）上的高效神经网络推理实现。该方法采用混合神经网络架构，集成卷积神经网络（CNN）、长短期记忆网络（LSTM）和全连接神经网络（FCNN），以有效捕获语音信号中的局部特征与时间特征。该架构非常适合对时间序列数据进行建模，本文将其应用于语音信号。在FPGA实现中，采用一维卷积神经网络（1D CNN）从梅尔频率倒谱系数（MFCC）中提取特征，从而降低计算复杂度并提高基于CNN的处理效率。实验采用10折交叉验证，在RAVDESS、EMO-DB、IEMOCAP、BAUM-1s和eNTERFACE'05数据库上分别实现了96.12%、97.79%、96.91%、94.01%和98.09%的平均识别率。根据识别准确率，所提方法优于现有相关研究。随后，利用所提出的推理算法将情感识别模型部署到FPGA上，在FPGA上获得的准确率与在PC上获得的准确率相同。这些结果验证了所设计模型在FPGA平台上的成功部署。
**论文解读：基于FPGA芯片的语音情感识别移动传感器设计**
**一、研究背景与问题**
近年来，人工智能（AI）的快速发展推动了基于图像和语音的情感识别技术进步，使其成为智能系统中的重要应用。这些AI技术已广泛用于驾驶员监控、欺诈检测、医疗保健和教育等领域。由于许多应用需要在边缘平台上进行实时处理，嵌入式设备对于AI部署变得越来越重要。语音情感识别（SER）作为人机交互的关键技术，其目标是识别语音信号中蕴含的情感状态。传统SER方法多采用手工特征加分类器的方式，但识别性能有限；深度学习方法虽能显著提升性能，但模型计算量大、参数量多，难以直接部署在资源受限的嵌入式平台如FPGA上。同时，现有的深度学习推理框架（如Caffe、TensorFlow Lite）虽然在嵌入式平台上有一定支持，但由于不同硬件平台的架构和资源约束差异巨大，单一框架难以实现通用兼容，部署过程往往需要用户深入了解底层硬件架构并进行复杂的编译配置，对缺乏嵌入式开发经验的开发者构成较大障碍。因此，如何在FPGA等嵌入式平台上高效实现神经网络推理，并保持较高识别精度，成为亟待解决的研究问题。
**二、研究内容与结论**
针对上述问题，研究人员提出了一种面向FPGA部署的改进型1D CNN–LSTM–DNN混合神经网络架构，并直接基于高层次综合（HLS）在FPGA嵌入式平台上实现核心神经网络推理运算，摆脱了对传统深度学习框架的依赖。论文在五个基准语音情感数据库（RAVDESS、EMO-DB、IEMOCAP、BAUM-1s和eNTERFACE'05）上进行了10折交叉验证实验，取得的平均识别准确率分别为96.12%、97.79%、96.91%、94.01%和98.09%，优于现有相关研究。将训练好的模型部署到Terasic VEEK-MT2S/Intel Cyclone V SX SoC FPGA平台上后，FPGA上获得的识别准确率与PC完全一致，验证了部署方案的可行性和有效性。该研究的主要意义在于：提出了一种面向硬件部署的轻量化1D CNN–LSTM–DNN架构，在保证高识别精度的同时显著降低计算和存储开销；采用HLS实现直接推理，避免了繁琐的深度学习框架部署流程；通过去除池化层保留完整时间信息，提升了LSTM对时间依赖的建模能力；系统评估了五个数据库，验证了模型的泛化能力。该研究成果发表在《Electronics》期刊上。
**三、主要关键技术方法**
研究人员应用的主要关键技术方法包括：（1）采用1D CNN从梅尔频率倒谱系数（MFCC）中提取局部特征，相比2D CNN大幅降低计算复杂度；（2）采用LSTM层建模时间依赖关系；（3）去除池化层以保留完整的时序特征序列；（4）使用数据增强技术（高斯噪声注入和音高偏移）扩充训练数据；（5）基于高层次综合（HLS）将Python推理算法转换为可综合硬件，部署到Intel Cyclone V SX SoC FPGA上，并利用双ARM核进行并行推理。样本队列来源为RAVDESS、EMO-DB、IEMOCAP、BAUM-1s和eNTERFACE'05五个公开数据库，未使用私有临床样本队列。
**四、研究结果**
1. **RAVDESS数据库结果**：采用10折交叉验证，平均识别准确率为96.12±0.52%。分析混淆矩阵发现，“平静”（calm）、“恐惧”（fear）和“高兴”（happy）类别的精确率较低，原因是“平静”和“恐惧”发声强度低且声学模式相似，容易被其他类别样本误判；“高兴”类别的精确率最低，因为多个情感类别与“高兴”存在声学特征重叠。与已有CLDNN方法相比，该方法提升了14.12个百分点，表明预处理流程（数据增强与特征提取的组合）有助于增强情感判别能力。
2. **EMO-DB数据库结果**：10折交叉验证平均准确率为97.79±0.66%。尽管EMO-DB类别分布不均衡，但所有情感类别的准确率、精确率、召回率和F1分数均高于94%，显示鲁棒性。“高兴”类别精确率相对较低，与“愤怒”类别共享高声强声学特征，导致部分“愤怒”样本被误判为“高兴”。
3. **IEMOCAP数据库结果**：平均准确率为96.91±0.39%，四个情感类别识别准确率范围为97%-99%，精确率、召回率和F1分数在95%-97%之间。“中性”（neutral）类别的精确率和召回率较低，因其缺乏明显声学线索，较难与其他类别区分。结果显示该方法表现受数据库差异影响很小，证明了跨数据集的泛化能力。
4. **BAUM-1s数据库结果**：平均识别准确率为94.01±1.50%。“恐惧”和“惊讶”类别召回率较低，易被误判为“高兴”。对比研究中文献[32]报告的97.63%虽高于本方法，但文献[32]实验协议不明确，且可能与情感类别定义、数据划分、预处理、增强策略、说话人独立/相关划分以及模型配置差异有关，无法进行直接公平比较。
5. **eNTERFACE'05数据库结果**：平均识别准确率为98.09±0.44%。“惊讶”类别召回率较低，易与“高兴”混淆。所有情感类别上的准确率、精确率、召回率和F1分数均高于97%，展示出有效性和鲁棒性。
6. **FPGA实现结果**：在Terasic VEEK-MT2S平台上，将测试样本分为两个子集在双ARM核上并行执行推理。FPGA上各折测试准确率与PC完全一致（平均96.12%），平均单样本推理时间为1.44秒。通过仅提取参数存储为NumPy格式，模型存储从144 MB减至44 MB，降低约69.4%。硬件性能分析表明，LSTM层占总推理时间的54.65%，是计算的主要瓶颈。
**五、讨论与结论总结**
讨论部分指出算法创新包括：面向FPGA的1D CNN替代2D CNN（精度仅损失0.82个百分点，推理时间降低72.5%）；去除池化层保留完整时序信息；轻量级LSTM配置（20单元相比50单元精度仅降0.14个百分点，参数量减半）；数据增强、MFCC与改进型1D CLDNN的组合带来显著性能提升；多数据库定量对比验证了有效性。硬件部署创新包括：框架无关的直接推理实现；基于双ARM核的混合SoC部署；PC与FPGA功能等效；显著降低模型存储需求。
研究结论：该研究证明了在FPGA嵌入式平台上部署语音情感识别模型并保持软件实现识别性能的可行性。五个数据库上的实验结果表明，所提方法在不同说话人、语言和情感类别下均能实现可靠识别。关键发现是1D CNN配置在精度与效率间提供了更好平衡；保留卷积特征序列的时间分辨率有利于LSTM时序建模，但增加了LSTM的计算负担，使其成为主要瓶颈；FPGA实现无精度损失，参数化存储显著减少。论文也指出局限性：详细逻辑单元（LUT）、块随机存取存储器（BRAM）、数字信号处理器（DSP）、功耗和能量测量未充分报告；文献比较受数据集、情感类别、预处理和评估协议差异影响；数据集内交叉验证不能完全建立跨语料库泛化能力。未来工作应解决这些局限性以增强SER研究的可靠性和实用价值。
