基于可解释人工智能的多模态生理信号人体活动识别框架

《Scientific Reports》：Explainable attention-guided deep learning for physiological signal processing in body area networks

　　

摘要

体域网（BANs）的引入支持了基于可穿戴设备的健康监测和实时生理信号处理，其中人体活动识别（HAR）是一项重要的医疗应用。随着智能健康监测和个性化健康管理需求的增长，利用多模态生理信号来识别人体活动已成为一个重要的研究领域。尽管来自各种传感器的信息为识别人体活动提供了有价值的见解，但这些数据集通常存在噪声、缺失数据、冗余数据、复杂异常值以及复杂关系等问题，这些问题可能会影响动作精确检测的可靠性。此外，虽然传统的人工智能（AI）和深度学习（DL）方法通常能产生更好的效果，但它们作为"黑盒"运行，缺乏可解释性，这限制了它们在实时临床应用中的可靠性。因此，本研究提出了一种面向人体活动识别的可解释人工智能驱动的多模态生理信号分析框架（XAI-MPSA）。所提出的模型采用最小冗余最大相关方法来筛选具有信息量的特征，同时减少冗余。为了进一步增强特征表示，引入了一种基于注意力的特征精炼机制来捕捉多模态生理信号之间的复杂关系。随后采用一种基于卷积神经网络-Transformer-注意力的分类方法，以学习信号序列中的局部特征模式和长程时间依赖性。最后，应用贝叶斯优化和HyperBand来调整模型参数以获得更好的性能，同时利用SHAP（沙普利加和解释）来解释模型预测，通过识别单个生理特征在最终决策中的贡献。全面的实验分析表明，所提出的XAI-MPSA实现了稳健且具有可解释性的人体活动识别性能，准确率达到95.43%，突显了其在智能医疗和生理监测系统中的应用前景。