《Applied System Innovation》:A Multimodal Time-Series Forecasting Framework Integrating Wavelet Transform and Semantic Embedding for Intelligent Monitoring Systems
编辑推荐:
智能监控系统在可再生能源、电网管理和环境感知等领域的持续部署,产生了以非平稳性和多尺度时间依赖性为特征的高维多变量时间序列数据。对系统参数的准确长期预测对于主动维护、运行调度和成本降低至关重要,然而许多现有模型仅依赖数值序列,缺乏整合更高层次上下文信息的机制。
智能监控系统在可再生能源、电网管理和环境感知等领域的持续部署,产生了以非平稳性和多尺度时间依赖性为特征的高维多变量时间序列数据。对系统参数的准确长期预测对于主动维护、运行调度和成本降低至关重要,然而许多现有模型仅依赖数值序列,缺乏整合更高层次上下文信息的机制。本研究提出了一种多模态长期预测框架,将频率感知信号分解与语义增强表示学习相集成。该框架由四个组件构成:(1)基于小波变换的特征提取模块,通过能量引导的频率选择捕获多尺度周期模式;(2)语义特征提取模块,利用预训练语言模型将输入的统计摘要编码为语言嵌入;(3)交叉注意力融合模块,动态对齐时间表示与语义表示;(4)多尺度多层感知机集成模块,用于稳健预测。在三个基准数据集(Solar Power、ETTh1和Weather)上的实验表明,该框架在面对包括PatchTST和iTransformer在内的强基线模型时取得了具有竞争力的精度,其中在呈现复杂多尺度季节结构的数据上表现最为突出,在Weather数据集上取得了第二佳的均方误差。一项控制消融实验将预训练嵌入与同一统计量的直接数值编码进行对比,结果显示存在微小且因数据集而异的收益,其量级与随机种子间差异相当。总体而言,所提出的框架提供了一种模块化且可解释的架构,结合了频率感知与语义感知处理,适用于智能系统管理。
论文解读:融合小波变换与语义嵌入的多模态时间序列预测框架
一、研究背景与问题
智能监控系统在能源管理、电网运行和环境感知等领域的广泛应用,产生了大量高维多变量时间序列数据。这些数据普遍具有非线性、弱非平稳性和多尺度季节性模式等复杂特征,给传统预测模型带来了显著挑战。例如,太阳能发电数据受天气影响呈现周周期和季节周期;电网监控数据包含低频漂移与日负荷周期叠加;气象观测数据则表现出多时间尺度上的分层季节结构。准确预测系统关键参数对于主动维护、资源优化和成本降低至关重要。然而,现有深度学习方法大多仅依赖数值序列,缺乏整合高层上下文信息的能力。虽然近期出现了将大语言模型(Large Language Model, LLM)引入时间序列预测的研究,但这类方法通常需要完整的模型前向传播,计算成本显著增加;且语言模型本质上更擅长语言理解而非时间序列分析,直接将其应用于预测任务可能导致原始时间动态被稀释或扭曲。另一方面,小波变换作为一种具备时频局部化分析能力的信号处理技术,虽在处理非平稳数据方面表现优异,但多数现有方法仅将其作为孤立的预处理步骤,未与端到端学习框架及其补充信息源集成。针对上述问题,研究人员提出了一种名为CompositeModel的多模态预测框架。
二、研究内容与结论
本研究提出并验证了一个集成小波变换与语义嵌入的多模态时间序列预测框架,旨在用于智能监控环境的应用系统创新。该框架在覆盖可再生能源、电网和环境监测三个领域的基准数据集上进行了评估。主要结论包括:所提出的模型在Weather数据集上取得第二佳的均方误差表现;消融研究表明最优信号处理策略取决于数据特性,快速傅里叶变换(Fast Fourier Transform, FFT)在平稳数据上表现优异,而完整的小波加语义配置在具有复杂时间结构的数据上效果最佳;该框架通过交叉注意力机制实现了小波频率分析与语言模型语义特征的独特组合。
三、关键技术方法
研究人员提出了一个由四个核心模块组成的架构。(1)时间序列特征提取模块:使用db4和db6双母小波对经预热层扩展的序列进行多级离散小波变换(Discrete Wavelet Transform, DWT)分解,基于能量准则选择top-2频率分量,估计对应周期后重塑为二维张量,经Inception_Block_V1处理后进行加权融合。(2)语义特征提取模块:按通道独立方式计算各样本的最小值、最大值、中位数、偏度、峰度和趋势方向六种统计特征,填入提示模板后仅通过冻结的GPT-2模型嵌入层获得语义向量。(3)交叉注意力融合模块:以时间特征作为查询(Query),语义特征作为键(Key)和值(Value),在维度为2的注意力空间进行多头交叉注意力计算,输出经缩放因子0.1加权后与预测结果相加。(4)多尺度MLP集成模块:由三个结构不同的多层感知机(Multilayer Perceptron, MLP)子模型构成,采用等权平均策略融合预测。数据集来源方面,Solar Power数据集来自台湾AI CUP 2024比赛,ETTh1来自公开的电力变压器温度数据集,Weather为德国2020年气象记录。
四、研究结果
4.1 总体性能比较
在Solar Power数据集上,PatchTST取得了最佳平均MSE(0.3083),CompositeModel的MSE为0.3176。在ETTh1数据集上,DLinear表现最佳(MSE 0.3745),所提模型以0.3842的MSE位列第三,优于PatchTST和TimeLLM。在Weather数据集上,PatchTST取得最佳MSE(0.1466),所提出的W+GPT2完整配置以0.1506的MSE位列第二,优于iTransformer、MLP、DLinear和TimeLLM。模型在Weather数据上的预测标准差仅为0.0004,表现出良好的超参数鲁棒性。
4.2 消融研究
在Solar Power数据集上,FFT变体取得最低平均MSE(0.3112)。在ETTh1数据集上,无任何处理模块的None基线取得最佳MSE(0.3793)。在Weather数据集上,完整的W+GPT2配置以0.1506的MSE超过所有其他Composite变体。值得注意的是,W+NumericStats与W+GPT2的对比表明,预训练GPT-2嵌入在Weather数据上带来小幅提升(0.1506对0.1520),但该优势仅在复杂多尺度结构数据上出现,且幅度与随机种子间差异相当。
4.3 计算效率比较
CompositeModel可训练参数为471K,与PatchTST的455K相当。虽然完整的GPT-2模型(约1.24亿参数)需载入内存,但前向传播仅调用词元嵌入查找操作,12层Transformer不参与计算。推理延迟为37.08毫秒,显著低于TimeLLM的全模型推理成本,但高于轻量级基线。
4.4 融合机制消融
交叉注意力在ETTh1和Weather数据集上取得最低MSE(0.3772和0.1502)。加性融合在三个数据集上均表现不佳。拼接融合在ETTh1上出现灾难性性能退化(MSE达0.8617),但在Solar Power上表现最优(0.3084)。
4.5 多随机种子鲁棒性评估
在四种随机种子下,模型在ETTh1和Weather上的样本标准差分别为0.0016和0.0010,表明对随机初始化不敏感;Solar Power上标准差稍大(0.0069),但四种种子均在0.016范围内。
五、讨论与结论
讨论指出,模型在Weather数据集上的MAE排名第四(0.2072),说明其优势集中于减少较大误差而非平均误差。ETTh1和Solar Power数据集上简单模型取得最佳结果,表明对于具有规则周期性或高平稳性的数据,简单或专门化架构可能更为有效。该框架无需特定领域修改即可在多种监控领域泛化,但优势程度随数据特性变化。局限性包括:仅使用GPT-2嵌入层无法提供上下文编码;完整模型仍需载入内存;仅评估单一预测视界(96步);在强规则周期数据上不及简单线性模型;固定的小波配置缺乏数据自适应性。结论部分确认,所提出的框架结合了前人未探索的小波频率分析与语义特征交叉注意力的架构组合,为智能系统管理提供了模块化且可解释的解决方案,但现有优势主要体现在具有复杂多尺度季节结构的数据类型上。