基于跨模态注意力的文本信息与时间序列对齐方法用于时间序列预测

《Electronics》：Aligning Textual Information with Time Series via Cross-Modal Attention for Time Series Forecasting Le Hoang Anh, Dang Thanh Vu, Gwang Hyun Yu, Seungmin Oh, Jo Jung An and Jin Young Kim

　　

新闻与报告常常会驱动未来趋势，但传统时间序列预测（Time Series Forecasting, TSF）通常无法捕捉这些外部影响。为整合文本信息，研究人员提出了文本-时间跨模态注意力（Text-Time Cross-Modal Attention, TTCA），这是一种将数值嵌入与从预训练语言模型（Pretrained Language Model, PLM）中提取的文本嵌入进行融合的多模态框架。TTCA采用一种跨注意力机制，将时间序列特征视为查询（Query），将文本特征视为键（Key）和值（Value）。该架构确保语义上下文能够增强而非掩盖底层时间动态。基于Time-MMD数据集九个真实世界领域的大量实验表明，TTCA持续优于最先进的单模态基线模型，在均方误差（Mean Squared Error, MSE）上平均提升3.29%，在平均绝对误差（Mean Absolute Error, MAE）上平均提升9.66%。此外，TTCA相较于近期多模态方法也表现出中等程度的性能增益，尤其是在事件驱动场景中。

该论文发表于《Electronics》，围绕多模态时间序列预测中“文本信息如何与数值序列有效对齐并参与预测”这一核心问题展开。研究背景在于，传统单模态时间序列预测模型仅依赖数值序列，虽然在建模趋势、周期性和局部依赖方面已取得较大进展，但对现实世界中广泛存在的外生事件缺乏刻画能力。例如新闻、报告、政策公告、社会事件等文本信号，往往能够解释数值序列中的突发波动和结构变化。已有多模态时间序列（Multimodal Time Series, MMTS）研究尝试引入大语言模型或文本提示机制，但仍面临两个关键问题：其一，文本与时间序列在时间粒度、语义层次和序列结构上天然异构，导致跨序列对齐困难；其二，若将多条时间戳文本直接拼接成长文本输入模型，容易引入冗余信息、稀释关键事件，并受限于预训练语言模型（PLM）的上下文长度。正是在这一问题背景下，研究人员提出TTCA，旨在构建一种以时间序列为主导、以文本语义为辅助的跨模态融合框架，从而在不削弱时序主信号的前提下利用外部文本提升预测性能与可解释性。

研究人员提出的TTCA由时间序列编码器、文本编码器和跨模态融合模块三部分组成。时间序列分支首先通过数值嵌入、位置嵌入和时间嵌入进入Transformer编码器，提取时序表示；文本分支则按时间对齐后的片段分别编码，再通过池化得到固定长度的文本表示。随后，模型利用“时间→文本”的跨模态注意力（Cross-Modal Attention）进行融合，其中时间序列特征作为Query，文本特征作为Key和Value，使模型能够基于数值变化主动检索相关文本语义。为保持原始时序信息，研究人员进一步在融合后加入残差连接（residual connection），并通过多层感知机（Multilayer Perceptron, MLP）完成最终预测。实验表明，该方法在Time-MMD九个领域数据集上整体优于五种单模态基线，并与两种多模态基线相比具有竞争力，尤其在经济、交通、社会公益和气候等事件驱动型领域表现突出。论文的重要意义在于证明了：在时间序列预测任务中，文本并非仅作为前缀提示存在，而可以通过方向明确的跨注意力机制被结构化地对齐到数值时序之中，从而提供有用的上下文补充。

研究所用主要技术方法可概括如下：其一，采用Transformer型时间序列编码器提取数值序列表示，并通过Translator层将其映射到共享潜在空间；其二，利用冻结的预训练语言模型（PLM）对按时间窗口分组的文本片段分别编码，再经均值池化（mean pooling）生成时间级文本向量；其三，设计“Time → Text”方向的多头跨模态注意力（multi-head cross-attention）实现文本与时间序列融合；其四，引入跳跃连接（skip connection）和融合权重调节文本分支对时序分支的影响。样本来源为Time-MMD数据集，覆盖农业、气候、经济、环境、健康、社会公益、交通、能源和金融/安全等九个真实世界领域，按70%/15%/15%划分训练、验证与测试集。

以下结合论文主体结构对研究结果进行解读。

3.1. Problem Definition
研究人员首先形式化定义了多模态时间序列预测问题。与仅使用数值时间序列的传统设定不同，该研究在历史数值序列之外引入与之相关但不必严格逐点同步的文本序列，目标是在给定历史多模态输入的条件下预测未来长度为H的数值。该部分明确了任务本质：学习一个同时依赖数值时间序列与文本上下文的映射函数，并以MSE作为优化目标。这一问题定义为后续模块设计提供了统一数学框架。

3.2. Architecture
论文提出的TTCA总体结构包括时间序列编码器、文本编码器和跨模态融合层三部分。核心思想是先在各自模态内完成特征提取，再投影到统一潜在空间，最后通过有方向性的跨注意力实现语义增强。该架构的关键不在于简单堆叠两个编码器，而在于明确主次关系：时间序列是预测主体，文本是辅助上下文来源，因此融合过程由时间特征主动对文本特征进行检索。

3.2.1. Time Series Encoder
在时间序列分支中，输入序列先经过1D卷积得到数值嵌入，再叠加位置嵌入和时间嵌入，形成完整输入表示。随后使用仅含编码器部分的Transformer骨干提取时间嵌入。研究人员强调，此阶段的目标是建模数值数据中的时序依赖，而非直接生成预测值。为适应跨模态融合，该分支之后增加Translator层，以多层感知机将时间特征压缩并映射到与文本嵌入兼容的共享语义空间。该设计说明，跨模态对齐不仅是维度匹配，更包括语义层面的适配。

3.2.2. Text Encoder
文本处理部分是论文相较于直接拼接文本方法的重要改进。研究人员不是把同一时间段内所有文本合并为单个长段落，而是依据时间对齐关系将文本切分为离散片段，并分别送入预训练语言模型编码。随后，采用均值池化将token级表示汇聚为片段级表示；若某一时间步对应多条文本，则进一步聚合为时间级文本向量。最后，文本表示也通过Translator层映射到共享潜在空间。该结果表明，逐片段编码与池化的流程能够在降低计算冗余的同时，更好保留事件级语义单元，避免长文本提示带来的截断和噪声问题。

3.2.3. Cross-Modal Fusion
跨模态融合模块是全文方法学核心。研究人员采用多头跨注意力机制，将时间序列特征设为Query，将文本特征设为Key和Value，从而构成“时间→文本”的定向融合方式。论文将这一设计与若干已有方法进行了区分：相比直接相加或拼接，该方法能够在潜在空间中细粒度建模时间特征与文本语义之间的相关性；相比由文本查询时间序列的反向设计，该方法更能避免文本主导、削弱时序主信号的问题。由此得出的结论是，多模态预测中的融合方向本身会显著影响性能，且应遵循“主模态查询辅模态”的原则。

3.3. Time Series Forecasting Layer
在预测层中，研究人员将融合输出与翻译后的时间序列特征通过残差形式组合，并引入融合权重λ调节文本贡献强度，之后利用MLP输出最终预测值。该部分的意义在于保证原始时序信号不会在深层融合中被过度稀释。论文据此建立了一个“保留主干时序信息、引入适量文本增强”的预测路径。

4.2.1. Comparison with Unimodal Models
与五种单模态模型比较时，TTCA在九个领域与多个预测步长上的平均MSE为9.618、平均MAE为0.973，优于单模态基线均值9.945和1.077，分别带来3.29%与9.66%的改进。论文指出，TTCA在五个领域中对两项指标都超过了最佳单模态模型，平均排名位于六个模型中的前列。尤其在经济、交通、社会公益和气候等事件驱动型领域，改进更为明显，说明文本中蕴含的事件信息能够有效解释或预示数值波动。与此同时，在能源和安全领域，TTCA不及最佳单模态模型，表明对于周期性强、数值模式占主导或波动高度复杂的数据，引入文本未必带来收益。

4.2.2. Comparison with Multimodal Models
与两种多模态模型TaTS和TSFlib相比，TTCA在平均MSE、MAE、RMSE、MAPE和MSPE等指标上整体优于TSFlib，并与TaTS保持相当竞争力。论文特别指出，TTCA在交通、社会公益、气候、健康和经济等文本富集场景中优势较为明显，说明其PLM语义表示与跨注意力融合机制更适合处理事件驱动型数据。但在农业、能源和安全领域，TTCA仍存在不足。这些结果说明，多模态方法的性能高度依赖数据领域特性；语义增强在所有场景下并非无条件有效，而是在文本确实提供补充上下文时最具价值。

4.2.3. Attention Maps
注意力可视化结果进一步揭示了TTCA如何利用文本信息。不同领域的注意力分布并不均匀，且跨样本存在明显差异。在社会公益和健康领域，部分文本token与时间序列几乎无关，而另一些文本片段则呈现较高相关性。该结果支持论文方法设计的初衷：模型并非平均使用所有文本，而是能够选择性关注与特定时间步变化相关的文本内容。

4.3. Ablation Studies
消融实验系统验证了各模块有效性。首先，跳跃连接在气候与环境数据集上带来了稳定的MSE下降，说明保留原始时间序列信息对于深度融合后的预测至关重要。其次，在融合方式比较中，“Time → Text”取得整体最佳MSE，优于双向融合、简单拼接和不使用文本的单模态方式，证明了定向跨注意力的合理性。关于融合权重，除能源外，大多数数据集都受益于文本融合，且若干数据集在较小权重范围内表现最好，说明文本更适合作为适度增强信号而非主导信号。文本编码器比较显示，小型语言模型往往优于更大模型，且GPT系列整体优于BERT和RoBERTa，提示更大的参数规模与更高维度嵌入并不必然带来更优预测。时间序列编码器比较中，iTransformer在九个数据集中的八个上优于PatchTST，说明在该多模态设定下，保留更完整时间步表示比patch划分更有利于跨模态对齐。参数敏感性分析还表明，均值池化优于最大池化，融合维度256在大多数领域达到较佳平衡。

从讨论部分可以看出，论文的核心结论并非简单宣称“多模态一定优于单模态”，而是更审慎地指出：当文本能够提供关键上下文、尤其是事件驱动信息时，跨模态注意力能够显著提升预测效果；但在以数值规律为主的领域，文本也可能成为噪声来源。因此，TTCA的价值在于提出了一种结构清晰、主次分明的融合范式，使文本在时间序列预测中发挥辅助增强作用，而非替代时序建模本身。论文也指出，现有框架对虚假新闻具有同等敏感性，提示未来研究需进一步考虑事实核验机制。

论文结论部分可译为：研究人员提出了文本-时间跨模态注意力（TTCA），这是一种通过跨注意力机制将数值数据与外生文本信息融合起来、以增强时间序列预测的多模态框架。基于Time-MMD数据集的实证评估表明，TTCA能够利用文本的语义信息提升预测性能，并且与TaTS和TFS-Lib这两种多模态基线模型处于相当水平。这些结果在文本能够提供关键上下文的领域中尤为显著，如气候与环境预测。该研究凸显了多模态时间序列分析的潜力，特别是在跨领域数据日益可获得的背景下。然而，未来研究应进一步探索事实核验机制的整合，因为当前框架对虚假新闻具有同等敏感性。