综述：用于情感计算的可穿戴传感器产生的多模态生理信号：一项系统综述

《Intelligent Sports and Health》：Multimodal physiological signals from wearable sensors for affective computing: A systematic review

本文系统回顾了2015-2025年间34项可穿戴多模态生理信号情感计算研究，分析数据集、信号处理、融合策略及模型优化。研究发现EDA、ECG最常用，CNN/LSTM为主流模型，但存在噪声处理难、多模态协同不足、数据规模小等问题，未来需加强自然场景数据采集与自适应融合模型研究。

　　近年来，随着可穿戴设备的快速发展，多模态生理信号在情感计算领域的应用也取得了显著进展。这些设备能够连续采集多种生理信号，包括心率（HR）、皮肤电活动（EDA）、呼吸（RSP）、皮肤温度（SKT）等，为情感识别提供了丰富而多维的数据来源。在情感计算研究中，多模态信号的融合已经成为一个重要的研究方向，旨在通过整合不同生理信号之间的互补信息，提高情感识别的准确性和鲁棒性。本文对过去十年内发表的34项相关研究进行了系统回顾，重点关注了多模态可穿戴传感与学习模型的结合。通过分析这些研究，我们发现多模态生理信号在情感计算中发挥着重要作用，同时也面临一些关键挑战，包括在自然环境下的长期连续数据获取不足、当前模型对多模态数据的适应性有限，以及模型在现实应用中的泛化能力和可解释性仍然存在局限。

多模态信号的使用在情感计算中具有重要价值，因为它能够提供更全面的情感信息。例如，皮肤电活动（EDA）和心电图（ECG）是当前研究中最常用的两种生理信号。这些信号不仅能够反映个体的生理状态，还能够通过其变化趋势来推断情绪波动。此外，一些研究还引入了其他类型的信号，如血氧饱和度、眼动数据等，这些信号为情感计算提供了更多的可能性。然而，尽管这些信号在实验环境中被广泛应用，但在实际应用中，如何确保这些信号的稳定性和一致性仍然是一个关键问题。

为了应对这些挑战，研究者们采用了多种数据预处理和信号融合策略。其中，特征提取是多模态信号处理的重要环节，它涉及到从原始信号中提取有用的信息。一些研究使用了传统的手工特征提取方法，如从心电图中提取SDNN和RMSSD等指标，或者从皮肤电活动中提取SCL和SCR等参数。这些方法虽然能够提供明确的生理特征，但它们在处理大规模、高维和长时间序列数据时，可能会受到计算效率和动态信号特征提取能力的限制。因此，近年来越来越多的研究开始采用自动特征学习方法，如使用卷积神经网络（CNN）、长短期记忆网络（LSTM）和Transformer等深度学习模型，以实现更高效和自动化的特征提取过程。

多模态信号的融合策略同样是一个复杂而重要的问题。目前，研究者们主要采用了三种融合方法：特征级融合、模型级融合和决策级融合。特征级融合是在信号预处理阶段将不同模态的特征整合在一起，这种方法能够充分利用各模态之间的互补信息，但同时也面临着特征维度高、计算成本增加以及信号对齐困难等问题。模型级融合则是在模型训练过程中将不同模态的信号进行整合，通过设计复杂的模型结构，如共享Transformer编码器或跨模态注意力模块，来增强模型对多模态信号的处理能力。这种融合方法虽然能够更好地捕捉跨模态的交互关系，但也增加了模型的复杂性和训练时间。决策级融合则是在模型输出阶段对不同模态的结果进行整合，这种方法允许各模态保持相对独立的处理方式，但其缺点是不能充分利用多模态之间的互补信息，因此在某些情况下可能不如前两种方法有效。

深度学习方法在情感计算中的应用已经成为主流趋势。特别是卷积神经网络（CNN）、长短期记忆网络（LSTM）和Transformer等模型，它们在多模态情感识别任务中表现出色。例如，CNN能够有效地从原始信号中提取层次化的特征，而LSTM则擅长捕捉时间序列中的长期依赖关系。Transformer模型通过自注意力机制，能够直接建模长距离的依赖关系，这使得它在处理复杂的生理信号时具有独特的优势。然而，这些模型在实际应用中也面临一些挑战，尤其是在数据量较小或噪声较高的情况下，模型容易出现过拟合现象，从而影响其泛化能力。因此，一些研究开始探索自监督学习方法，以提高模型在数据稀缺或噪声环境下的表现。

此外，模型的优化策略也是影响情感识别性能的重要因素。许多研究通过调整模型参数、重构模型结构或采用轻量化设计来提高模型的性能。例如，一些研究在不改变模型架构的前提下，通过调整超参数或选择合适的优化算法，提高了模型的收敛速度和稳定性。另一些研究则通过重构模型结构，如引入新的模块或调整网络层数，来更好地适应多模态信号的复杂性。这些方法在一定程度上提高了模型的性能，但也增加了模型的复杂性和计算需求。因此，针对资源受限的场景，研究者们也在探索轻量化模型的设计，如ShuffleNetV2等，这些模型在保持较高识别准确率的同时，显著降低了计算开销和功耗，为部署在可穿戴设备或移动设备上的实时情感识别系统提供了可能。

尽管多模态情感识别在实验室环境中取得了显著进展，但在现实应用场景中仍然存在一些关键问题。例如，如何在自然环境中获取长期连续的生理信号数据，如何提高模型对多模态数据的适应性，以及如何在实际应用中提高模型的泛化能力和可解释性。这些问题不仅影响模型的性能，也限制了其在真实世界中的广泛应用。因此，未来的研究需要更加关注这些方面，以推动情感计算技术向更自然、更实用的方向发展。

在体育等特定应用场景中，多模态生理信号的采集和分析同样具有重要意义。例如，运动员在训练或比赛过程中，可以通过实时监测心率、皮肤电活动、呼吸频率等生理指标，了解其心理状态和情绪波动，从而调整训练或比赛策略，提高表现。一些研究已经尝试在运动情境下采集和分析多模态数据，例如在结构化的压力诱导实验中，记录运动员在有氧和无氧运动中的生理反应。这些研究不仅为情感识别技术在体育领域的应用提供了理论支持，也为个性化训练和恢复建议的制定提供了数据基础。

总的来说，多模态生理信号在情感计算中的应用已经成为一个重要的研究方向。随着可穿戴设备的不断进步和深度学习技术的广泛应用，未来的研究有望在提高数据质量和模型性能方面取得更多突破。然而，为了实现更广泛的应用，还需要进一步解决数据采集、模型优化和实际部署等关键问题。只有通过不断的技术创新和方法改进，才能使情感计算真正服务于日常生活和实际应用。