TabLlama：一种用于复杂时间序列表格数据中预测弹道飞行器到达场景的分层Transformer模型

《Neurocomputing》：TabLlama: Hierarchical transformer for predicting ballistic vehicle arrival scenario in complex temporal tabular data

　　

摘要

Transformer 模型在各个领域都展现了显著的性能，但它们对时间序列表格数据的适应性尚未得到充分探索。尽管广泛的时间序列数据可以以表格形式表达，但大多数研究集中在静态表格数据上。本文提出了 TabLlama，一种专为时间序列表格数据设计的新分层 Transformer 模型。TabLlama 利用分层架构，使用了近期大语言模型 Llama 的组件。第一阶段处理场景的特征级上下文，第二阶段处理场景的时间相关性。对于七个弹道车辆到达场景，TabLlama 同时预测到达位置和车辆数量，并对场景进行分类。此外，本工作引入了三种数据增强技术：噪声注入、序列交换和序列扭曲。这些技术在实验中总体上提高了性能。TabLlama 在多个评估设置中表现出一致的性能，包括每个场景的分析、自回归推理和模拟现实情况的交换序列测试，特别是在非零指标和意图准确率方面。

引言

Transformer [1] 在序列预测中展现了卓越的性能。他们的卓越性能很大程度上归因于注意力机制的使用，这使得他们能够捕获长程依赖关系中的复杂时间模式 [2], [3]。他们的可扩展性导致了具有越来越多参数的模型的开发，使 Transformer 成为许多近期大规模模型的基础。这些模型的显著进展包括 BERT [4]，它采用了一种针对判别任务优化的编码器结构，以及 GPT2 [5]，它利用了一种专门用于生成任务的解码器结构。最近，诸如开源模型 Llama [6] 等模型取得了卓越的性能 [7], [8]。虽然它们在语言领域的效用已被充分证明，但这些架构对于建模表格数据中的变量间关系也同样有价值。通过通过注意力机制解决变量之间的关系，Transformer 模型在表格数据上取得了显著的结果 [9], [10], [11]。

然而，用于表格数据的 Transformer 很少被扩展来处理时间动态。Transformer 的应用集中在静态表格数据集上，对动态表格数据的探索有限 [9], [12]。由于各种时间序列数据以表格格式呈现，因此了解变量之间的关系及其时间依赖性至关重要 [13]。例如，弹道车辆到达场景在车辆类型、到达区域以及基于特定意图的到达过程动态方面具有模式。这个过程涉及车辆和区域之间关系的连续变化的可识别模式。因此，考虑元素之间的交互及其随时间的变化至关重要。

为了弥补这些差距，我们引入了一种分层 Transformer，TabLlama，它专注于预测弹道车辆到达场景。图 1 显示了我们的方法的总体过程。利用自注意力机制，分层结构使模型能够处理表格数据的变量级信息，随后将提取的特征用于序列编码器进行时间序列预测。该模型集成了多任务学习方法，同时执行场景意图预测和时间序列预测。

除了模型架构，我们还开发了数据增强技术，以提高在各种现实条件下的泛化能力。虽然时间序列增强技术已被广泛研究 [14]，但针对表格方面的研究仍未被探索。我们引入了噪声注入、序列扭曲和交换来增强数据，导致我们的方法和基线模型的性能显著提升。

为了验证模型的性能，我们还通过从同一序列中划分训练数据和测试数据进行了实验，这与传统的逐样本分割 [15] 相反。此外，我们在测试数据受损的条件下测试模型，以模拟现实情况。这些实验表明，与现有方法相比，所提出的模型在评估的领域和任务设置中具有卓越的性能。我们还比较了跨场景和时间框架的性能，表明 TabLlama 在关键指标上具有显著的性能，特别是非零指标和意图准确率。在我们的框架中，一个场景指的是遵循不同时空模式的弹道车辆到达序列，与代表其潜在战略目标的意图标签相关联。TabLlama 联合执行两项任务——预测每个场景中的未来车辆到达并分类其相应的意图类别。

简而言之，我们将主要贡献总结如下：

• •
  我们引入了一种新颖的分层 Transformer，TabLlama，用于弹道车辆到达场景预测。
• •
  我们开发了三种数据增强技术以增强模型泛化能力。
• •
  我们进行了全面评估，涵盖多种数据分割和自回归推理，显示出在不同设置下非零预测和意图准确率的显著改进。

章节片段

Transformer 架构

Transformer [1] 利用注意力机制，由于其卓越的扩展性和泛化能力 [3]，已成为跨多个领域的前沿模型，包括计算机视觉、图分析和时间序列预测。例如，边增强图 Transformer [16] 在图数据中纳入了与节点特征不同的边特定信息，而视觉 Transformer [17] 将图像分词为小块并用它们处理

数据生成过程

我们使用具有预定义转移矩阵的马尔可夫链框架生成了弹道车辆到达场景的数据。马尔可夫链框架适用于建模状态之间具有概率转换的序列过程 [31]。在弹道车辆到达的背景下，马尔可夫链使我们能够有效捕获不同车辆类型和区域之间的依赖性和时间动态，模拟现实的运动模式。转移矩阵

实验设置

我们的实验使用了 735 个序列的数据集进行，涵盖七个独特场景、60 个区域和五种不同的车辆类型，所有数据在数据集中均匀分布。每个场景由车辆和区域的概率组合倾向所区分。车辆根据平均飞行距离进行分类，并且每个都被分配一个高概率到达的区域。

我们设计了两个任务来评估模型性能。第一个是

结论

在本文中，我们提出了一种分层 Transformer 模型，旨在解决时间序列预测的挑战。通过利用自注意力机制并引入新颖的数据增强技术，所提出的模型在评估的任务中实现了与比较模型相比最佳的非零 MAE、非零 RMSE 和意图准确率，并且单独量化了每种模型的增强贡献。我们的实验结果证实了结合一种

CRediT 作者贡献声明

Jeyoon Yeom: 写作 – 审阅与编辑，写作 – 初稿，可视化，验证，软件，资源，项目管理，方法论，调查，资金获取，形式分析，数据管理，概念化。 Joonseong Kang: 写作 – 审阅与编辑，写作 – 初稿。 Seonggyun Lee: 写作 – 审阅与编辑，写作 – 初稿。 Minhoi Park: 写作 – 审阅与编辑，写作 – 初稿。 HyoekJin Choi: 调查，数据管理。 Kyungwoo

利益冲突声明

作者声明，他们没有已知的竞争财务利益或个人关系，这些可能会影响本论文中报告的工作。

致谢

本工作得到了国防开发院 – 国防采办计划管理局 (DAPA) 资助的拨款支持 (UI237035TD)

Jeyoon Yeom 首尔大学统计学学士 (2023)。延世大学统计与数据科学硕士 (2025)。他的研究兴趣包括自然语言处理、生成模型和图神经网络。邮箱：[e-mail] 韩国首尔西大门区延世大学统计与数据科学系，邮编 03722。

Jeyoon Yeom|Joonseong Kang|Seonggyun Lee|Minhoi Park|HyoekJin Choi|Kyungwoo Song

韩国首尔西大门区延世大学统计与数据科学系，首尔 03722, 首尔，03722