《Knowledge-Based Systems》：From unimodal to multimodal deep physiological signal analysis in healthcare: A survey of models, fusion and explainability
编辑推荐：
生理信号分析支持医疗系统中对情绪、压力、疼痛和疾病进展的客观评估。早期研究主要集中于单模态信号，这些信号在受控环境中表现良好，但常受噪声、有限的上下文信息和泛化能力降低的影响。近期进展已转向多模态深度学习（Deep Learning, DL）框架，其联合利用互
生理信号分析支持医疗系统中对情绪、压力、疼痛和疾病进展的客观评估。早期研究主要集中于单模态信号，这些信号在受控环境中表现良好，但常受噪声、有限的上下文信息和泛化能力降低的影响。近期进展已转向多模态深度学习（Deep Learning, DL）框架，其联合利用互补的生理信号以提高性能和临床相关性。本综述全面回顾了医疗保健中从单模态到多模态深度生理信号分析的转变，并系统考察了常用的生理模态、基准数据集和评估指标。该综述进一步分析了多模态对齐策略和融合技术，涵盖早期、中间和晚期融合范式，并进行了面向应用的讨论，涵盖情绪识别、压力检测、疼痛评估及其他相关领域。特别强调了用于多模态生理模型的可解释人工智能（Explainable Artificial Intelligence, XAI）方法，突出了模态级归因、跨模态交互和应用特定的可解释性。最后，讨论了与数据集和方法相关的主要局限性，如数据稀缺、类别不平衡、融合复杂性和计算约束，并概述了与可穿戴边缘智能、隐私感知学习、增强数据多样性和量子启发方法相关的未来研究方向。本综述可作为研究人员和实践者开发下一代医疗系统中可信多模态深度学习解决方案的结构化参考。
**论文解读：从单模态到多模态的深度学习生理信号分析**
生理信号分析在医疗保健系统中至关重要，能够客观评估情绪、压力、疼痛和疾病进展。早期研究主要依赖单模态信号，如脑电图（EEG）和心电图（ECG），这些方法在受控实验室条件下表现良好，但面对真实世界噪声、有限上下文和个体差异时，泛化能力不足。随着深度学习（Deep Learning, DL）的兴起，多模态融合框架通过联合利用EEG、ECG、肌电图（EMG）、皮肤电活动（EDA）、血压和体温等互补信号，显著提升了模型性能和临床适用性。然而，现有综述在系统梳理融合分类、可解释人工智能（XAI）及跨模态交互方面存在不足，且往往局限于特定模态或任务。因此，有必要开展一项全面综述，整合模型架构、融合机制、数据集、评估指标和可解释性方法，并揭示该领域的挑战和未来发展方向。
为此，研究人员依据PRISMA2020框架进行了系统文献检索。以Google Scholar为主要数据库，检索2017–2026年间发表的论文，并通过前后向引用追踪补充，最终纳入141项研究。研究人员对常用生理信号的特征、公开数据集（如DEAP、WESAD、AMIGOS、MIMIC-III等）以及评估指标进行了结构化比较，并重点分析了多模态对齐、融合策略（早期、中间、晚期）和可解释性方法（如SHAP、LIME、Grad-CAM）。研究表明，多模态融合通常优于单模态，但增益并不一致，受数据集、模态组合、架构选择和计算开销的影响。中间融合（特征级）是当前主导方法，能够保留模态特定信息并建模跨模态交互。可解释性方面，多数研究使用特征归因技术，但缺乏领域专家验证和标准化评估。数据稀疏、类别不平衡、融合复杂性和计算约束是主要瓶颈。未来方向包括可穿戴边缘智能、隐私保护、数据多样性增强、基础模型和自监督学习、持续学习、跨人群泛化以及量子启发方法。该综述为开发可信、可解释的下一代多模态深度学习医疗系统提供了结构化参照。
在关键技术方法上，研究人员采用系统综述方法，设计检索式包含“Deep Learning”、“Neural Network”、“EEG”、“ECG”、“Multimodal”等关键词，并执行了严格的纳入/排除标准和质量评估。通过PRISMA流程筛选出141篇原始研究，并对相关数据集和评估指标进行了比较。这些方法保证了综述的系统性和可复现性。
研究结果涵盖以下几个方面：
**6.1 对齐**：多模态生理信号具有不同的采样率、时间分辨率和噪声特性，因此对齐是融合的前提。研究人员发现，动态时间规整、注意力机制和跨模态Transformer等高级对齐方法可有效解决异步问题，但需要平衡跨模态一致性与模态特有信息的保留。
**6.2 融合技术**：综述将融合方法划分为早期（数据级）、中间（特征级）和晚期（决策级）三类。中间融合通过联合表示学习、注意力机制和图模型等捕获模态间复杂交互，成为大多数研究的选择。早期融合适合信号对齐良好且噪声较低的情况，晚期融合则在模态异构或缺失时更具鲁棒性。融合策略的选择应结合模态特性、数据集规模、同步质量和应用场景。
**6.3 面向应用的综述**：在情绪识别中，融合EEG与外围信号通常可提高效价和唤醒度分类准确率，如一项研究显示融合后准确率提升约2–4个百分点。压力检测方面，基于CNN的早期融合和中间融合在可穿戴数据集（如WESAD）上取得了90%以上的准确率。疼痛检测中，中间融合结合深度去噪卷积自编码器（DDCAE）和注意力机制在二分类上表现良好，但细粒度疼痛等级分类仍具挑战。此外，多模态方法已应用于睡眠分期、抑郁检测等任务，中间融合仍是主流策略。
**6.4 多模态生理智能的概念视角**：该视角从临床目标、生理交互模式和AI智能水平三个维度审视多模态系统。临床目标包括神经生理发现、连续日常与职业健康监测以及风险预测和即时自适应干预。交互模式涵盖独立融合、网络生理学（如脑–心耦合）和跨模态参数映射。智能水平则包括监督时空特征提取、生成式与自监督学习以及领域自适应与个性化，体现了从静态建模到动态适应的演进。
**6.5 可解释人工智能**：可解释性分为模态级归因和跨模态交互两类。SHAP是特征级归因最常用的工具，但大多数研究的解释缺乏专家验证和临床意义。部分工作引入概念激活向量（TCAV）和概念激活区域（CAR）等高语义方法，试图将模型表征与医学概念关联。然而，现有可解释性评估标准不成熟，解释的忠实性、稳定性和临床可用性仍需提升。未来应强调领域专家参与和标准化评估。
在讨论与展望部分，研究人员指出数据集相关限制包括模态覆盖不全、样本量小、多样性不足、预处理缺乏标准和类别不平衡；方法相关限制包括过拟合、融合复杂度、计算开销和可解释性不足。因此，未来研究方向包括：集成可穿戴边缘AI与联邦学习以支持本地化隐私保护；增强数据多样性并通过自监督学习利用未标注数据；开发生理基础模型和持续学习框架以适应分布漂移；研究量子启发模型为融合提供新思路；同时注重跨人群泛化和真实部署验证。研究结论认为，多模态深度学习与可解释AI为生理信号分析带来了显著进步，但从实验室走向临床应用仍需解决数据、方法、可解释性和计算效率等多重挑战。未来的关键方向是开发结合可穿戴边缘计算、隐私保护、数据多样性和量子启发策略的可信AI系统，以实现下一代医疗保健的智能监测与个性化干预。
