REDNet：用于强大边缘时间序列预测的两阶段知识蒸馏方法

《Pattern Recognition Letters》：REDNet: Two-Stage Knowledge Distillation for Robust Edge Time Series Forecasting

　　•预训练引导能够提升紧凑型模型的性能，效果优于仅依赖数据集训练的方式。•两阶段蒸馏技术可传递时间表示与预测结果。•该紧凑型学生模型仅需教师模型3.8%的乘法累加操作次数。•该模型在八种多变量数据集上的预测精度均有所提升。•教师模型的引导还能增强模型对异常值和趋势变化的抵御能力。

引言
时间序列预测是智能感知系统中的核心组成部分，广泛应用于工业监测、能源管理、交通预测以及医疗分析等领域[1]、[2]、[3]。随着分布式传感器和物联网设备的快速发展，人们越来越期望在数据源附近而非仅通过云端来进行预测。边缘端预测能够降低通信延迟、保护数据隐私，并在网络连接不稳定时保障业务连续性[4]。这些优势在工业和信息物理系统中尤为重要，因为及时的预测有助于异常检测、预测性维护以及实时决策制定[5]。

尽管边缘时间序列预测具有重要的实际意义，但它面临着准确性、稳健性和效率之间的根本矛盾。边缘设备受限于有限的计算能力、内存、存储空间和能量预算，使得大型神经网络预测模型难以在实际中部署[6]、[7]。同时，现实世界的边缘数据往往受到传感器噪声、缺失观测值、分布变化以及非平稳时间动态的影响。因此，边缘预测模型不仅需要结构紧凑、运行快速，还要能够应对不完美且不断变化的输入数据[8]、[9]。这一要求导致了边缘预测的三难困境：高准确性通常需要大型模型来实现，高效率则往往依赖于大幅简化模型结构，而在严格的资源限制下很难保持高稳健性。

近年来，时间序列预测领域的进展主要体现在两个方向。第一个方向是通过提升模型容量或在大规模时间数据集上进行预训练来提高预测的准确性和泛化能力。诸如Chronos[10]和Tiny Time Mixers[11]这样的基础模型，通过学习可迁移的时间表示，展现了出色的零样本或少样本预测能力。不过，即便这些模型相比通用基础模型更为紧凑，其推理成本和内存占用仍可能超出许多边缘应用场景的限制。

第二个方向则是设计轻量级的预测模型以实现高效推理。DLinear[12]表明简单的线性结构在长期预测中也能具备竞争力，这促使人们重新思考模型架构的复杂性。后续出现的TSMixer[13]、FITS[14]和SparseTSF[15]等轻量级模型，通过基于多层感知机的建模、频域插值或稀疏周期结构进一步降低了计算成本。虽然这些模型很适合在边缘设备上部署，但它们的高效性往往依赖于线性、规律性周期性或简化的时间交互等强归纳假设。因此，当实际观测序列偏离这些假设时，这类模型可能会变得不够稳定。

大多数轻量级预测流程都会在每个目标数据集上从零开始训练紧凑型模型，并仅使用对应的真实标签对其进行监督。因此，这类模型必须从有限的内部数据观测中同时学习任务特定的映射关系和稳健的时间表示。与此同时，虽经预训练的预测模型已具备了更广泛的时间知识，但其部署成本仍然较高。我们的核心思路是将训练过程中对基础模型知识的利用与推理时的模型成本分开：预训练模型可以和数据集标签一起指导紧凑型模型的训练，而最终仅在边缘端保留经过训练的学生模型。知识蒸馏技术[16]为这种训练机制提供了实现途径。它的特征和预测目标能够补充数据集监督的作用，借助学习到的时间先验信息提升模型在干净数据上的预测精度，同时促使学生模型形成更稳健的解决方案。现有的时间序列蒸馏研究大多聚焦于分类任务[17]，或使用针对特定任务的预测教师模型[18]；而将预训练预测模型的准确性和稳健性转移到面向边缘应用的学生模型上，相关研究还相对较少。

为填补这一空白，本文提出了Robust Edge Distillation Network（REDNet）——一种用于实现稳健且高效边缘时间序列预测的两阶段知识蒸馏框架。REDNet以经过预训练且冻结状态的预测基础模型作为教师模型，将其中间表示和预测结果传递给紧凑型的学生模型。该学生模型采用多层感知机与双门控循环单元相结合的架构，从而实现高效的局部特征编码以及跨区域的时间依赖性建模。蒸馏过程首先使学生模型的核心结构与教师模型的中间表示保持一致，随后在真实标签和教师模型预测结果的联合监督下进行端到端的微调。

主要贡献如下：
•为轻量级预测提供预训练引导。我们不再仅依靠目标数据集来训练边缘模型，而是利用预训练的预测模型作为训练时的时间知识来源，最终仅在推理阶段使用紧凑型的学生模型。
•采用两阶段实现方案。REDNet首先让紧凑型模型核心结构与教师模型的表示保持一致，随后再通过真实标签、特征层面及预测结果层面的监督，对完整的学生模型进行优化。
•有实证支持。在八种多变量基准数据集上的实验表明，预训练引导提升了紧凑型模型的预测精度，使其具备更强的抗异常值和趋势变化能力；而最终部署的学生模型仅包含174K个参数，其乘法累加操作次数仅为教师模型的3.8%。

相关研究
PatchTST[22]通过高效的注意力机制、分解方法、频域建模或基于块的表示方式提升了预测精度。此外，《模式识别快报》也报道了多种面向预测的时间模型，比如用于金融时间序列预测的时间神经特征袋模型[3]，以及用于多变量时间序列预测的异构图嵌入模型[2]。这些研究表明，时间表示的构建以及变量间依赖关系的建模对于提升预测性能十分重要。

方法论
REDNet是一种用于实现稳健且高效边缘时间序列预测的两阶段知识蒸馏框架。给定一个多变量输入窗口X∈RT×C及其未来目标Y∈RH×C，其中T为上下文长度，H为预测范围，C为变量数量，REDNet在经过预训练且冻结状态的教师模型MT的指导下，训练出一个紧凑型的学生模型MS。教师模型会提供两种类型的监督信号：中间时间特征HT和标准化的软预测值Y?T。

实验设置
我们评估了涵盖电力、空气质量以及生态水文学领域的八种基准数据集。ETT数据集来自电力变压器监测数据[1]；AQShunyi和Aqwan为空气质量数据[28]；ZafNoo和CzeLan则来自SAPFLUXNET项目的数据[29]。为统一统计数据量，表1中对每个有效的时间预测窗口仅计数一次。比较对象包括DLinear[12]、TimesNet[23]、FITS[14]、SparseTSF[15]，以及从零开始训练的相同结构的学生模型（仅学生模型）。我们通过均方误差和平均绝对误差来评估模型性能。

结论
本研究的主要发现是，紧凑型的边缘预测模型无需仅依靠目标数据集的标签进行学习：预训练的预测模型可以在训练阶段提供时间相关的知识，而在推理阶段则可以不被使用。REDNet通过表示层和预测层的引导以及后续的任务适配，实现了这一理念。在八种数据集上的测试结果表明，由此产生的紧凑型学生模型不仅性能优于从零开始训练的轻量级模型，而且在面对异常值注入和趋势变化时，性能下降速度也更慢。

未引用图表：图1、表3和算法1。

CRediT作者贡献说明
达福：撰写——初稿、方法论、研究实施、概念构思。左远：撰写——初稿、验证、监督、方法论、研究实施、概念构思。石远：撰写——审阅与编辑、监督、方法论、概念构思。林浩：撰写——审阅与编辑、验证。刘彦松：撰写——审阅与编辑。吴俊杰：撰写——审阅与编辑、可视化、验证、监督。

利益冲突声明
作者声明不存在任何需要披露的利益冲突或财务利益关联。

致谢
本研究得到了中国国家重点研发计划（编号2023YFC3304700）、深圳市科技计划（编号CJGJZD20230724093201004）以及北京高校优秀青年科学家计划（编号JWZQ20240201002）的支持。此外，中国国家自然科学基金也会通过编号为72571019、72531002、72031001、72242101和72301017的课题为本研究提供资助。

达福|左远|石远|林浩|刘彦松|吴俊杰