基于变压器的时间序列预测中的保预测精度低位量化技术

《Engineering Applications of Artificial Intelligence》：Forecast-Preserving low-bit quantization for transformer-based time-series forecasting

　　基于Transformer的架构在多变量时间序列预测中取得了出色的性能，因为它们能够捕捉复杂的时间模式和变量间的依赖关系。然而，它们庞大的内存占用和比特操作成本限制了在资源受限设备上的部署。低位量化可以提高效率，但过度的量化通常会由于时间激活异常值和累积的预测误差而降低预测准确性。为了解决这些挑战，我们提出了一种统一的、考虑低位量化的训练（QAT）框架，用于多变量时间序列预测中的逆Transformer（iTransformer）架构。该框架结合了百分位引导的动态范围量化（Percentile-Guided Dynamic Range Quantization），通过高百分位统计数据来估计稳健的激活裁剪阈值，从而减少量化过程中时间异常值的影响。它还引入了预测保留蒸馏（Forecast-Preserving Distillation）技术，在预测输出层面约束低位模型，减轻了轨迹级别的预测偏差，同时保持了预测的可靠性。在多个公共基准数据集上的实验表明，所提出的框架在不同的低位量化设置中始终能够实现良好的准确性-效率平衡。与代表性的量化基线相比，它保持了更高的预测准确性，同时大幅降低了模型存储和比特操作成本，支持在资源受限的工程应用中部署基于Transformer的预测模型。

引言
多变量时间序列预测（MTSF）在现实世界的工程系统中变得越来越重要。例如，在风能预测领域，最近的研究探索了跨区域风电场的时空协同建模（Jiang等人，2025年）以及使用优化训练策略的实时分解以提高预测可靠性（Jiang等人，2026年）。与离线基准评估不同，部署的预测模型会在新观测数据到达时反复执行，并且通常需要服务于大量的传感器、客户端、区域或边缘设备。类似的部署需求也出现在城市交通控制（Zheng等人，2014年）、能源网格运营（Lai等人，2018年）和金融预测（Sezer等人，2020年）中，在这些领域，内存消耗、计算成本和推理延迟直接影响系统的可扩展性和响应能力。因此，实际的MTSF系统不仅需要高预测准确性，还需要在计算和内存预算受限的情况下高效运行。

基于Transformer的架构最近在MTSF中取得了出色性能，因为它们能够捕捉长远的时间依赖性和复杂的变量间关系。其中，iTransformer（Liu等人，2023年）重新设计了传统的Transformer架构（Vaswani等人，2017年），将每个变量的历史轨迹视为一个独立的标记。与基于时间标记的预测模型（Zhou等人，2021年；Nie等人，2022年）不同，这种变量标记表示方法使得自注意力（self-attention）能够明确地模型化变量间的相关性和全局多变量依赖性。然而，iTransformer的预测能力伴随着较大的存储和计算需求，这可能阻碍其在资源受限平台上的部署（Lin等人，2020年）。这种强大的预测性能与高部署成本的结合使得iTransformer既是一个有竞争力的预测框架，也是研究高效低位MTSF模型的一个典型平台。

模型压缩为缓解这一部署瓶颈提供了有希望的方法。现有的工程导向研究已经探讨了剪枝、量化和知识蒸馏技术来减少深度神经网络的资源需求（Jiang等人，2023年；Kolf等人，2024年；Wang和Chen，2025年）。在这些技术中，低位量化特别具有吸引力，因为它通过使用低精度值来表示全精度权重和激活值，从而降低了模型存储和算术成本（Gholami等人，2022年；Esser等人，2019年）。尽管如此，与在计算机视觉和自然语言处理中的广泛研究相比，高性能MTSF模型的激进量化仍然相对较少被探索。尽管具有效率优势，传统的考虑低位量化的训练（QAT）在基于iTransformer的预测中仍然容易受到激活异常值和累积量化误差的影响。

基于对多个多变量预测基准的实证观察，我们将这些限制总结为两个关键挑战：
- **由时间不规则性引起的重尾激活**：与传统的时间标记Transformer不同，iTransformer将每个变量的历史轨迹视为一个独立的标记。因此，突然的时间峰值或特定变量的异常响应可能会被压缩到相应的变量标记表示中。在传统的基于最大值的范围估计方法下，这些异常值会扩大动态范围并增加量化间隔，导致有限的低位级别分布在一个不必要宽的范围内，从而降低主导激活区域的表示精度。在4位和2位权重和激活量化下，这个问题尤为严重。
- **量化引起的预测偏差**：低位离散化会在注意力和前馈网络（FFN）计算中引入扰动，这些扰动会在各层累积，并最终表现为预测未来轨迹的偏差。对于MTSF而言，这种降级最直接地体现在最终的预测输出中，而不是任何单个中间特征或注意力图中。因此，在激进量化下保持全精度模型的输出级预测行为对于维持预测可靠性至关重要。

这些观察表明，主要困难不仅在于选择合适的位宽，还在于提高激活范围估计的鲁棒性和保持与任务相关的预测行为。为了解决这些挑战，我们开发了一个统一的、考虑低位量化的训练框架，以实现高效的基于iTransformer的预测。该框架不依赖于复杂的混合精度分配或密集的中间特征对齐，而是针对低位降级的两个主要来源进行优化。具体来说，百分位引导的动态范围量化（Percentile-Guided Dynamic Range Quantization, PDRQ）从当前激活张量的高百分位统计数据中估计激活裁剪边界，从而排除一小部分极端值，并将更多的有限量化分辨率分配给主导激活区域。预测保留蒸馏（Forecast-Preserving Distillation, FPD）进一步在预测输出层面约束量化后的模型，鼓励其保持全精度模型的预测时间轨迹。这两个组件分别解决了局部激活量化和累积的输出级预测偏差问题。如图1所示，它们的结合在预测准确性和模型成本之间提供了良好的平衡。

本文的主要贡献如下：
- 我们系统地研究了针对基于iTransformer的多变量时间序列预测的激进低位QAT，并确定了两个主要的性能下降来源：对异常值敏感的激活范围估计和累积的预测输出偏差。
- 我们提出了百分位引导的动态范围量化（PDRQ），它从高百分位统计数据中估计激活裁剪边界，提高了主导激活区域的有效表示精度。
- 我们引入了预测保留蒸馏（FPD），它在预测输出层面将低位模型与全精度模型对齐，而无需中间特征对齐。在推理过程中，只保留量化的模型。

在多个公共基准和不同的预测范围内进行的广泛实验表明，所提出的框架在8位、4位和2位权重和激活设置中始终提高了低位预测的鲁棒性，同时大幅降低了模型大小和比特操作成本。

本文的其余部分安排如下：第2节回顾了相关工作。第3节介绍了所提出的考虑低位量化的训练框架。第4节展示了实验结果和分析。最后，第5节总结了本文。

**时间序列预测和iTransformer**
多变量时间序列预测是一项基础任务，应用范围从天气预测到交通管理都非常广泛。早期的基于Transformer的预测模型，如Informer（Zhou等人，2021年）和Autoformer（Wu等人，2021年），主要侧重于通过修改的注意力机制来改进时间依赖性建模。后来的研究，包括DLinear（Zeng等人，2023年）和PatchTST（Nie等人，2022年），证明了也可以实现强大的预测性能。

**方法论**
在本节中，我们为多变量时间序列预测中的iTransformer（Liu等人，2023年）架构提出了一种考虑低位量化的训练（QAT）框架。与直接在训练后进行量化（PTQ）不同，后者是在训练后对预训练模型进行量化而不进行进一步的任务特定优化，所提出的框架将量化纳入了训练过程。如图2所示，该框架采用了教师-学生学习范式。

**实验**
在本节中，我们从多个角度对所提出的考虑低位量化的训练框架进行了广泛的实验评估。具体来说，我们首先将所提出的方法与FP32教师模型和代表性的量化基线在W8A8、W4A4和W2A2设置下进行了比较，其中W和A分别表示权重和激活的位宽。然后我们通过消融研究分析了PDRQ和FPD的贡献，随后进行了敏感性研究。

**结论**
在本文中，我们提出了一个考虑低位量化的Transformer基于时间序列预测的训练框架。为了解决低位量化下的主要性能下降问题，所提出的框架结合了百分位引导的动态范围量化（PDRQ）和预测保留蒸馏（FPD）。PDRQ通过减少罕见时间异常值的影响来改善激活范围估计，而FPD引导量化后的模型保持预测行为。

**CRediT作者贡献声明**
Wang Meng-Ke：撰写——原始草稿、可视化、方法论、概念化。
Gan Min：撰写——审稿与编辑、监督、资金获取、形式分析。
Yuan Fang：撰写——审稿与编辑、监督、概念化。
Su Jian-Nan：撰写——审稿与编辑、监督、方法论。

**关于写作过程中生成AI和AI辅助技术的声明**
在准备本工作的过程中，作者使用了ChatGPT和Gemini来改进手稿的语言和可读性。使用这些工具后，作者根据需要进行审稿和编辑，并对出版物的内容负全责。

**关于利益冲突的声明**
作者声明他们没有已知的财务利益冲突或个人关系，这些关系可能会影响本文报告的工作。

**致谢**
本工作得到了中国国家自然科学基金（项目编号62576183和62541123）、福建省自然科学基金（项目编号2025J08243）和莆田大学高级人才启动基金（项目编号2025036）的支持。

**作者信息**
Wang Meng-Ke | Gan Min | Yuan Fang | Su Jian-Nan
青岛大学计算机科学与技术学院，中国青岛266071