一种用于跨序列预测的多尺度补丁变换器:在肌电图-呼吸预测中的应用

《Neural Networks》:A Multi-Scale Patch Transformer for Cross-Sequence Forecasting: Application to EMG-Respiration Prediction

【字体: 大 中 小 】 时间:2026年04月24日 来源:Neural Networks 6.3

编辑推荐:

  呼吸肌疲劳评估中基于肌电图包络线的跨序列时间序列预测研究,提出解耦框架实现内序列预测与跨模态映射的协同优化,创新性地融合多尺度补丁Transformer和注意力基模态转换模块,在EMG-呼吸数据集及公开交通电力数据集上验证有效性。

  
陈子琳|张磊|陈家强|李林峰|张建伟
四川大学计算机科学学院,成都,610065,四川,中国

摘要

从肌电图(EMG)包络中准确预测呼吸信号对于非侵入性地评估呼吸肌的努力和疲劳程度至关重要。与传统的预测方法不同,这类任务面临着独特的挑战,即跨序列时间序列预测(CSTSF),它需要从不同的源序列中预测目标序列。然而,与传统的内序列预测相比,CSTSF的研究较少,而且传统的预测模型通常不适用于CSTSF任务:由于它们的架构设计,这些模型往往无法处理这类任务中固有的输入/输出变量数量差异。为了解决这些问题,我们提出了一个新颖的解耦框架,将CSTSF任务分解为两个连续阶段:内序列预测和跨序列映射,并通过混合损失函数进行联合优化。这种设计允许任何传统的时间序列预测模型通过简单地集成一个模态转换模块来轻松适应CSTSF任务。在这个框架中,我们进一步引入了多尺度补丁变换器(MSPFormer),它结合了先进的多尺度补丁技术和基于注意力的模态转换(AMT)模块,以高效地执行关键的跨序列映射。在私有的EMG-Respiration数据集和公开的Traffic and Electricity数据集上进行的广泛实验表明,我们的模型比现有的最先进预测方法取得了更好的结果。这项工作为CSTSF提供了一个可靠的解决方案,在非侵入性生理信号估计等领域具有巨大的应用潜力。

引言

医疗时间序列预测分析诸如生命体征等不断变化的生理数据(Harutyunyan, Khachatrian, Kale, Ver Steeg, Galstyan, 2019; Kachuee, Fazeli, Sarrafzadeh, 2018),以揭示健康趋势(Morid et al., 2023)并预测临床事件(Tipirneni and Reddy, 2022)。这项技术对于从反应性治疗范式向主动预防和精准干预的转变至关重要。它通过早期预警或疾病预测来支持临床决策(Alaboud et al., 2023),最终提高医疗质量和患者预后(Liu, Wang, Li, Qin, 2021; Musa, Gital, Aljojo, Chiroma, Adewole, Mojeed, Faruk, Abdulkarim, Emmanuel, Folawiyo, et al., 2023)。在这个重要的背景下,本研究关注一个特定的预测挑战:使用肌电图(EMG)包络来预测呼吸信号。
呼吸信号通过气流或胸部运动等指标反映呼吸过程(West and Luks, 2021)。相比之下,EMG的包络是从原始EMG信号中提取和处理的(Esposito et al., 2023)。使用EMG包络的独特重要性在于它能够提供这些呼吸肌的强度和努力程度的准确指示(Gra?hoff et al., 2021)。这些信息对于理解呼吸过程和潜在的呼吸肌疲劳至关重要,而传统的呼吸监测方法可能无法完全捕捉到这些信息。因此,基于EMG的准确模型可以提供评估呼吸状态的新见解。
然而,当前时间序列预测的主流研究,包括像iTransformer(Liu et al., 2023)、TimeMixer(Wang et al., 2024b)、Crossformer(Zhang and Yan, 2023)这样的著名模型,主要集中在内序列预测上,即使用序列自身的历史数据来预测其未来。与此不同,一类重要的预测场景涉及跨序列时间序列预测(CSTSF),其目标是从不同源序列的历史数据中预测目标序列,而不需要目标序列自身的过去数据。例如,从EMG数据预测呼吸信号或从可穿戴传感器预测血糖(Alhaddad et al., 2022)。这类任务在医学等领域具有重要意义,特别是当目标序列本身难以直接、连续或非侵入性地测量时。尽管应用广泛,但据我们所知,关于跨序列时间序列预测(CSTSF)的研究仍然非常有限。我们的工作旨在为这一尚未充分探索的领域做出贡献。
在跨序列时间序列预测(CSTSF)中,源序列(输入)和目标序列(输出)通常具有不同的通道维度。这种结构差异通常阻止了传统时间序列预测模型直接应用于CSTSF任务。因此,我们提出了一个新颖的框架来解决这一挑战。如图1所示,我们的方法将CSTSF分解为两个阶段:内序列预测和跨序列映射。该框架的一个关键优势是,传统预测方法(Eldele, Ragab, Chen, Wu, & Li, Liu, Hu, Zhang, Wu, Wang, Ma, & Long, Nie, Nguyen, Sinthong, & Kalagnanam, Wang, Wu, Shi, Hu, Luo, Ma, Zhang, & Zhou, Zhang, Yan, 2023)可以直接用于第一阶段。因此,只需简单地添加一个专门的模态转换模块来执行第二阶段的映射,就可以将这些方法适应于CSTSF任务。这种范式解决了结构不兼容性问题,从而显著提高了现有模型在CSTSF领域的适用性。
虽然解耦框架提供了一个有效的结构解决方案,但内序列预测阶段的成功在很大程度上取决于底层模型在特征提取方面的能力。最近的研究已经证明了补丁策略在时间序列预测中的价值(Eldele, Ragab, Chen, Wu, & Li, Nie, Nguyen, Sinthong, & Kalagnanam, Zhang, Yan, 2023),其中连续的时间点被分组为补丁,以更好地捕捉局部模式。如图2所示,包括生理监测(Kachuee et al., 2018)、交通(Zhao et al., 2019)和能源消耗(Demirel et al., 2012)等领域的数据,通常表现出不同的动态特性和在不同时间尺度上的依赖性。然而,现有的补丁策略通常仅限于单一尺度,因此无法充分捕捉这些多尺度的时间关系。这种缺陷通常会导致不可靠的中间预测,从而影响整个框架的最终预测质量。
为了解决这些挑战,我们引入了多尺度补丁变换器(MSPFormer)。它建立在我们的解耦框架之上,包含两个主要组件。首先,其底层模型采用了新颖的多尺度补丁策略,以克服单尺度特征提取的局限性并生成高质量的源预测。其次,它集成了我们专用的基于注意力的模态转换(AMT)模块,以有效执行关键的跨序列映射。
我们通过在私有的EMG-Respiration数据集和公开的Traffic and Electricity数据集(Wu et al., 2021)上进行的广泛实验验证了所提出模型的有效性。结果表明,该模型架构能够有效地进行跨序列时间序列预测。
我们的主要贡献总结如下:
  • 1.
    我们提出了一个解耦的CSTSF框架,将源序列预测与目标序列映射分开。该框架通过简单地集成一个模态转换模块,使传统预测模型能够无缝适应CSTSF任务。
  • 2.
    我们提出了多尺度补丁变换器(MSPFormer),这是一种新颖的CSTSF架构,它使用多尺度补丁技术生成高质量的中间预测,然后通过基于注意力的模态转换(AMT)模块进行有效的跨序列映射。
  • 3.
    在私有的EMG-Respiration数据集和公开的Traffic and Electricity基准数据集上进行了广泛的实验。结果表明,所提出方法在这些任务中表现出色,验证了其有效性和解决跨序列预测问题的潜力。
  • 相关工作

    相关工作

    医疗时间序列预测。尽管时间序列预测(TSF)在经济(Tealab, 2018, Yoon, 2021)、科学(Totaro et al., 2020)和工业(Wang et al., 2019)领域有广泛的应用,但在医疗保健领域,特别是在预测连续生理信号方面的研究仍然有限(Torres et al., 2021)。目前医学研究主要集中在预测心电图(ECG)信号、COVID-19和血压等应用上。

    方法

    在本节中,我们将详细介绍我们提出的跨序列时间序列预测(CSTSF)方法。我们首先在3.1节正式定义问题设置。然后,在3.2节中,我们介绍了为克服CSTSF中固有的通道不匹配问题而设计的解耦框架。接下来,我们在3.3节介绍了为该框架设计的多尺度补丁变换器(MSPFormer)的总体结构。

    实验设置

    数据集。我们在三个不同的数据集上评估了我们方法的有效性和泛化能力:私有的EMG-Respiration数据集、公开的Traffic(Wu et al., 2021)和Electricity(Trindade, Wu, Xu, Wang, Long, 2021)数据集。EMG-Respiration数据集来自四川大学西部医院,包含以40 Hz的采样率采集的同步EMG包络信号和相应的呼吸信号。每个患者样本大约包含225,100个数据点

    结论

    为了解决跨序列时间序列预测(CSTSF)的挑战,特别是EMG到呼吸信号的预测,我们提出了一个新颖的解耦框架,将CSTSF任务分为两个子任务:内序列预测和跨序列映射。该框架成功解决了输入/输出通道不匹配的问题,通过简单地集成一个模态转换模块,使传统的时间序列预测模型能够轻松适应CSTSF任务。

    未引用的参考文献

    缺少引用表5和表9。

    CRediT作者贡献声明

    陈子琳:撰写——原始草稿、可视化、验证、软件、方法论、调查、数据整理、概念化。张磊:撰写——审稿与编辑、监督、资源管理、项目协调、概念化。陈家强:撰写——审稿与编辑、监督、资源管理、方法论、概念化。李林峰:撰写——审稿与编辑、监督、资源管理、调查、数据整理、概念化。张建伟:撰写——审稿与

    利益冲突声明

    作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

    致谢

    本工作得到了中国国家自然科学基金(项目编号U24A20341、62406043和62025601)和四川省自然科学基金(项目编号24NSFSC2722)的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号