基于残差Transformer的光网络Q因子估计
《Optical Fiber Technology》:Residual Transformer-based Q-factor estimation for optical networks
【字体:
大
中
小
】
时间:2026年08月30日
来源:Optical Fiber Technology 2.7
编辑推荐:
# 摘要
为了实现光网络的高效规划与运维,必须在使用光路之前对其进行传输质量(Quality of Transmission, QoT)的评估。光纤中的非线性效应会导致已部署的光路相互影响其QoT。因此,可靠的QoT估算是至关重要的,因为它可以在部署前评估光路的可行性,并支
# 摘要
为了实现光网络的高效规划与运维,必须在使用光路之前对其进行传输质量(Quality of Transmission, QoT)的评估。光纤中的非线性效应会导致已部署的光路相互影响其QoT。因此,可靠的QoT估算是至关重要的,因为它可以在部署前评估光路的可行性,并支持高效的网络规划与优化。现有的基于深度学习的QoT估算方法通常直接预测Q因子,这在网络条件缓慢变化的情况下可能使学习变得困难。本文提出了一种用于Q因子估计的残差Transformer(Residual Transformer),其中采用了一种新颖的时间平均残差预测方案。该模型不直接回归绝对Q因子,而是预测输入窗口内相对于时间平均Q因子的偏差,然后将估计的残差加到基准值上以重构最终预测。通过利用QoT测量的强时间持续性,该预测方案简化了回归任务,使模型能够专注于学习残差时间动态,而非完整的Q因子轨迹。所提出的框架将该残差预测方案与单头Transformer编码器相结合,并在来自微软北美光骨干网络的真实数据集上进行了评估。实验结果表明,所提出的方法实现了MSE为0.00296和MAE为0.0318的性能,优于九个标准基准模型,包括多层长短期记忆网络(LSTM)、多层感知机(MLP)、支持向量回归(SVR)、简单神经网络(NN)、门控循环单元(GRU)、时间卷积网络(TCN)、PatchTST、iTransformer和TimesNet。仿真结果表明,所提出的模型在数据集中的多个通道上始终保持出色的性能,MSE为0.00296,MAE为0.0318,突显了其在高级灵活光网络中的适用性。额外的实验表明,将所提出的时间平均残差预测方案集成到GRU和LSTM模型中也大幅提高了它们的预测精度,表明该方案不仅限于Transformer骨干网络。
# 1. 引言
新兴互联网应用(如高清视频流、云计算、5G、物联网、虚拟现实等)对网络带宽的需求不断增长。因此,骨干网络流量正呈现指数级增长。骨干网络不仅必须依赖高带宽光链路,还必须确保卓越的传输质量[1]。调制格式、自适应信道间隔和弹性网格网络技术为工程师提供了众多选项,导致可能的光路配置大幅增加。在此背景下,在部署之前精确估计光路的传输质量(QoT)变得至关重要。它作为识别最优解决方案的框架,并启用光网络的精确规划与设计。此外,准确评估QoT可以减少系统模糊性和不必要的余量,有助于集中式控制器优化网络配置并提升服务质量(QoS)。
目前,部署前估计光路QoT的方法可以分为两大类。解析技术(包括分步傅里叶方法)提供了对物理层损伤的详细洞察,能够实现精确的误码率估计。然而,这些模型计算密集,在大型动态网络环境中难以进行实时预测和扩展。另一种方法是近似公式,虽然计算效率更高,但需要更大的链路余量来弥补模型中的不准确性,这可能导致网络资源利用不足[2]。另一种方法是通过对已建立的光路使用接收端的光性能监测器(OPMs)测量QoT来进行QoT预测[3]。收集到的测量数据随后用于估计尚未建立的光路的QoT[4]。为此,已研究了多种机器学习(ML)和深度学习算法,包括网络克里金法、支持向量机(SVR)、基于案例推理、集成学习方法、简单神经网络(NN)、卷积神经网络(CNN)、长短期记忆网络(LSTM)和k近邻(kNN)。在训练此类数据后,监督式ML模型可以高精度、低计算开销地预测此前未见的光路配置的QoT。虽然训练阶段可能需要大量计算,但所得模型能够实现快速推理,非常适合实时应用。
Q因子是评估光通信系统中QoT的关键参数。它基于信噪比(SNR)量化信号质量,反映了噪声、衰减、偏振模色散和色散等物理损伤对信号的负面影响以及误码率(BER)的升高。更高的Q因子值对应于改进的SNR和更低的BER。在加性高斯白噪声假设下,Q因子与BER的关系为 $Q = \sqrt{2} \text{erfc}^{-1}(2\text{BER})$。因此,SNR、BER和Q因子是紧密相关的性能指标,用于表征光链路端到端传输质量。
通过Q因子或BER测量监测现有光链路的QoT,并利用这些信息估计每跨损耗噪声贡献,已被证明能够实现更准确的Q因子预测,从而减少所需的链路余量[5]。
尽管现有基于ML和深度学习的QoT预测方法表现令人振奋,但与可扩展性、计算复杂度和实时部署相关的挑战仍然存在。因此,需要高效且健壮的QoT预测框架,这些框架在保持动态光通信网络中实际适用性的同时实现高预测精度。
本文提出了一种用于光网络Q因子估计的残差Transformer,能够在光路部署前实现准确的实时QoT预测。所提出的模型结合了单头Transformer编码器和一种新颖的时间平均残差预测方案,在该方案中,网络预测输入窗口内相对于历史平均Q因子的偏差,而非直接回归绝对Q因子。通过利用Q因子的时间持续性,该方案简化了回归任务,使模型能够专注于学习残差时间动态,而非完整的Q因子轨迹。所提出的方法在来自微软北美光骨干网络的真实数据集上进行了评估。为了评估其性能,我们将该模型与九个涵盖经典和现代时间序列架构的参考模型进行了比较:LSTM网络、多层感知机(MLP)、支持向量回归(SVR)、神经网络(NN)、门控循环单元(GRU)、时间卷积网络(TCN)、PatchTST、iTransformer和TimesNet。
本文的主要贡献总结如下:
1. 我们提出了一种新颖的时间平均残差预测方案用于QoT估计,在该方案中,模型预测输入窗口内由历史平均Q因子定义的基准值之上的偏差($\Delta Q$),而非直接回归绝对Q因子。最终预测通过将估计的残差加到基准值上来重构。据我们所知,现有的基于深度学习的QoT估算方法将QoT估计形式化为Q因子的直接回归,而所提出的方案则预测相对于时间平均基准的偏差,然后再重构最终的Q因子估计。
2. 我们开发了一种残差Transformer,结合单头Transformer编码器、均值池化和回归头来实现所提出的时间平均残差预测方案。
3. 我们在来自微软北美光骨干网络的真实数据集上进行了全面评估。在相同的实验设置下,所提出的方法与九个代表性的经典和现代时间序列模型进行了比较,包括多种子统计验证、超参数敏感性分析以及计算复杂度和推理效率评估。
4. 我们进一步证明了所提出的时间平均残差预测方案可以推广到Transformer骨干网络之外。当集成到GRU和LSTM模型中时,它大幅降低了预测误差,并产生了与所提出的残差Transformer相媲美的性能,表明该方案在所有评估的神经架构中均有效。
本文其余部分的组织如下:第2节综述相关工作,第3节介绍方法论和所提出的模型架构,第4节讨论实验结果,第5节介绍效率及精度-效率权衡分析,第6节总结研究结论,第7节讨论当前工作的局限性并展望未来研究方向。
# 2. 相关工作
近年来,机器学习(ML)和深度学习技术越来越多地应用于QoT估计和光网络性能预测。这些方法旨在克服传统解析模型的局限性,通过快速、灵活且数据驱动的方式预测网络问题和传输可行性。
传统的基于ML的方法,如kNN、SVR、随机森林(RF)、逻辑回归、基于案例推理(CBR)和人工神经网络(ANN),已被广泛用于QoT估计和光路可行性分析[6]、[7]、[8]、[9]。在参考文献[6]中,kNN、SVR和RF等ML方法被用于利用现有系统和网络参数预测未建立光路的QoT。类似地,[7]评估了kNN和RF分类器,以预测某条光路的BER是否会保持在指定阈值以下。该模型使用描述光路端到端特征以及邻近信道参数的特征来考虑跨信道损伤。在评估的模型中,RF表现最佳,在各种网络拓扑中实现了高达96%的分类准确率。ANN、逻辑回归、SVR和kNN模型也在[8]中进行了比较,所有方法均实现了95%以上的准确率,其中ANN表现最佳,达到了99.9%的正确预测率。
此外,[9]提出了基于CBR的认知QoT估计器。通过引入学习和遗忘机制,它优化了知识库,实现了超过98%的准确率,与Q-Tool相比性能提升高达四个数量级。参考文献[10]提出了一种基于ANN的框架,使用Q因子阈值评估候选光路的可行性。通过利用不依赖物理损伤的光路特征,该模型实现了92%–95%的预测精度,同时表现出快速且自适应的特性。此外,当与路由算法集成时,所提出的方法比解析模型减少了被阻塞的光路数量。
此外,综述和评审研究总结了ML在QoT估计和光网络中日益增长的作用。参考文献[11]全面综述了最近的基于ML的QoT估计技术,并强调了从传统解析方法向智能数据驱动模型的转变。类似地,参考文献[12]提供了传统ML技术以及迁移学习和主动学习等高级范式的全面概述,用于QoT估计和网络优化。该研究还讨论了将基于ML的QoT预测集成到资源分配和网络控制框架中,并识别了几个与计算复杂度、数据集依赖和部署可行性相关的开放挑战。
除QoT估计外,ML技术也被探索用于光通信系统中的网络监控、流量预测和故障管理。在参考文献[13]、[14]中,ML方法被用于预测流量矩阵、光路性能退化和设备故障。对已部署光路的BER、SNR和Q因子进行此类预测,可以实现网络退化和故障的主动检测,从而提高网络可靠性和维护效率。类似地,参考文献[15]在软件定义网络使能的光网络中使用了基于ML的链路性能预测,利用从监控数据库收集的数据。预测的性能指标被用于配置基于概率整形的数字信号处理,实现自适应频谱效率优化和增强的网络容量。在参考文献[16]中,提出了一种认知且可扩展的方法,用于预测未建立的波分复用信道的optical信噪比(OSNR),实现高效的资源利用和动态网络操作的快速响应。这些研究表明,基于ML的方法可以有效地加速光路供给并降低计算复杂度。然而,大多数传统ML技术严重依赖手工设计特征和网络特定数据集,这可能限制其在动态和异构光网络中的可扩展性和泛化能力。
由于深度学习技术能够从大数据集中自动学习复杂的非线性关系并提高光通信系统中的预测精度,近年来获得了显著关注。参考文献[17]提出了一种基于CNN的光性能监测器,能够直接从异步采样的相干接收器数据中准确估计OSNR,而无需手动特征选择。跨多种调制格式和符号率的实验展示了低估计偏差和方差,突显了CNN在自主光网络中的潜力。类似地,参考文献[18]利用基于神经网络的模型在单个测试链路上传播多个通道的Q值,利用从链路收集的数据进行训练和验证。LSTM网络等高级深度学习架构也已被探索用于已建立光路的QoT预测。在参考文献[19]中,一种带有额外全连接层的增强LSTM模型优于SVR、MLP、常规神经网络和标准LSTM方法,即使训练数据有限也能实现高预测精度。
近期,文献[20]探索了基于深度学习的光网络QoT估计方法,通过预测未建立光路的误码率(BER)和信噪比(SNR),使用调制格式、波特率和编码率等传输参数进行建模。这些模型在韩国网络拓扑的衍生数据集上进行了评估,并通过MATLAB仿真中的准确率和曲线下面积指标进行性能评估。尽管深度学习方法通常能取得更优越的预测性能和更强的非线性建模能力,但它们往往需要大量训练数据并涉及更高的计算复杂度,这可能会阻碍其在实际光网络环境中的实时部署。总体而言,现有的QoT预测方法仍面临可扩展性、计算效率和动态光网络中实际实时部署方面的挑战。准确高效的QoT估计对于智能光网络管理、资源优化和可靠的光路提供至关重要。因此,仍然需要一种预测框架,能够在现代光通信系统中同时实现高估计精度、计算效率和实际可部署性。此外,现有的基于深度学习的QoT估计方法直接回归目标质量指标(例如Q因子、BER或OSNR)。据我们所知,尚无方法将QoT估计形式化为相对于输入窗口内历史观测值计算的时间均值Q因子的残差预测。这一空白促使了本工作中提出的时间均值残差预测框架。
3. 方法学及所提模型的架构细节
3.1 架构概述
所提模型使用时间均值残差预测框架,通过单头Transformer编码器实现光网络中Q因子的估计。输入序列首先被投影到更高维的嵌入空间中,然后通过可学习的位置编码进行增强以捕捉时序信息。所得向量被传入单头Transformer编码器,该编码器在时间步上并行建模长程时序依赖关系。上下文输出通过沿时间维度的均值池化进行聚合,回归头预测当前Q因子相对于输入窗口计算的时间均值基线的偏差。最终Q因子估计值通过将该预测偏差加到基线上得到。通过仅预测残差而非绝对Q因子,所提框架简化了缓慢变化的QoT测量的学习任务。图1展示了整体架构,各组件在以下小节中详细描述。
图1. 所提模型概述:(a) 主架构,(b) 从原始CSV数据到训练集、验证集和测试集的数据准备流程。
3.1.1 架构组件
所提模型包含以下主要组件,实现了时间均值残差预测框架:
• 输入投影与位置编码
• 用于长程依赖建模的Transformer编码器
• 用于序列聚合的均值池化
• 残差回归头
输入投影与位置编码。每个时间步被投影到更高维度的嵌入空间中。这使得模型能够正确理解每个特征。(1) ???? = GELU(LN(????????)),其中 ????∈??? 是时间步 ?? 处的输入特征向量(?? 表示输入特征的数量),????∈???model×?? 是可学习的输入投影矩阵,将每个输入映射到模型嵌入维度 ??model,LN(?) 表示层归一化,GELU(?) 是高斯误差线性单元激活函数,????∈???model 是时间步 ?? 处的嵌入表示。然后添加可学习的位置编码来表征特征。(2) ???? ← ???? + ????,其中 ????∈???model 是与时间步 ?? 关联的可学习位置编码向量,更新后的 ???? 是位置增强嵌入。这种编码为特征提供了额外的上下文信息。其参数和架构细节如下:
• 输入投影至128维特征
• 应用LayerNorm以稳定梯度并加快收敛
• 使用GELU激活函数
这使得模型能够自适应光信号动态的位置表征。
3.1.2 用于长程依赖建模的Transformer编码器
时序建模使用堆叠的Transformer编码器层完成。它有助于建模长程时序依赖关系。对于不规则的QoT变化,Transformer比循环神经网络(RNN)更具表达力。与序列模型不同,Transformer并行处理时间步,有助于避免训练和推理期间的序列依赖。它还实现了显式的特征交互,相比RNN具有更低的归纳偏置。其参数和架构细节如下:
• 层数:3
• 单头自注意力
• 前馈维度:512
• 预归一化架构(norm_first = True)
• 使用GELU激活函数
• Dropout p值 = 0.05
3.1.3 均值池化
在Transformer编码器之后,上下文表示沿时间维度通过平均进行聚合。均值池化提供了一种无参数、低方差的聚合方式,结合残差基线,经实证验证对于预测任务是充分的。(3) ??seq = (1/??) ∑??=1^?? ????,其中 ?? 是输入序列长度(回看窗口中的时间步数),??seq∈???model 是时间聚合后的序列表示。
3.1.4 带残差学习的回归头
池化表示被映射为相对于时间均值基线的标量偏差:(4) Δ??? = ??MLP(??seq),其中 ??MLP(?) 是将池化表示映射为标量的多层感知机回归头,Δ???∈? 是预测时间步 ?? 处Q因子相对于时间均值基线的预测偏差。最终预测:(5) ??? = baseline + Δ???,其中 ??? 是时间步 ?? 处的预测Q因子,baseline = (1/??) ∑??=1^?? ???? 是在输入窗口内的过去 ?? 个观测Q因子值 {??1, …, ????} 上计算的时间均值Q因子。
与直接回归绝对Q因子的传统QoT估计方法不同,所提框架仅预测输入窗口内相对于时间均值Q因子的偏差。由于输入窗口内连续的Q因子测量值具有强相关性,时间均值捕捉了信号中主导的缓慢变化分量,使网络能够专注于学习残差的时序动态而非整个Q因子轨迹。因此,预测目标的变化性低于绝对Q因子,通过降低有效学习问题的复杂度并将目标居中于零附近,简化了回归任务。据我们所知,这种时间均值残差预测框架之前未被用于基于深度学习的QoT估计,构成本工作的主要方法学贡献。所提框架的有效性通过消融实验(第4.2节)和基于循环架构的额外评估(第4.3节)进行了实验验证。这种残差公式提供了若干实际优势:
• 促进训练期间更快的收敛
• 减少缓慢变化的Q因子条件下的预测偏差
• 通过预测残差时序动态而非绝对Q因子来提高训练稳定性
3.2 数据准备
本节描述了模型训练之前应用于原始数据的预处理步骤。数据集准备过程包括数据归一化、数据集构建和数据增强,以确保一致性、可靠性并提高模型的泛化能力。
3.2.1 数据归一化
数据归一化用于标准化特征值并消除不同数据通道之间的尺度差异。对各通道和分段的光发射功率、色散和偏振值使用标准缩放器技术进行逐通道、逐分段归一化。目标变量(Q因子)和时间戳被排除在归一化过程之外。删除缺失列超过两列的行。如果某行中仅有一个列值缺失,则用该CSV文件中该列的均值填充。如果文件缺少某些列,则丢弃该文件。使用时间戳的正弦和余弦编码,对分钟、小时、星期几、日期、月份和年份进行编码,以表征时间戳并捕捉周期性发生的趋势。
3.2.2 数据集构建与时间采样
归一化之后,数据集被组织成适合模型训练和评估的结构化格式。
• 滑动窗口分割:每个CSV文件代表光传输网络在连续时间步采样得到的特征。数据使用序列长度=50(即50×15分钟=750分钟)进行分割,步长为25×15分钟=375分钟。
• 步长产生的重叠窗口增加了样本多样性并保留了时序顺序。
3.2.3 数据增强
光系统测量由于传感器限制和环境变化天然包含噪声。为了模拟这种测量不确定性并提高模型的鲁棒性,数据加载器以每个样本0.5的概率,动态地向每个训练输入窗口添加标准差为0.01的零均值高斯噪声。增强在归一化之后应用;验证和测试阶段仅使用未扰动的归一化数据,确保无增强引起的信息泄露。(6) ?? ← ?? + ??(0, 0.01),其中 ?? 表示归一化后的训练输入特征值,??(μ, σ) 表示均值为μ、标准差为σ的高斯噪声,对输入窗口的每个条目独立采样。
4. 结果与讨论
为实现所提策略,开发了基于Python的仿真工具和PyTorch深度学习框架。所有实验——包括训练、推理基准测试和每秒浮点运算(FLOPS)测量——均在表1所述的工作站上完成。所有模型使用相同的机器,以确保本文后续报告的延迟和吞吐量数据可直接比较。
我们使用从微软北美光骨干网络(Microsoft, 2017)收集的数据集评估模型。该数据集可作为评估模型在实际光网络场景中有效性的可靠基准。通过利用已建立的大规模网络基础设施数据,评估确保模型的性能既实用又与下一代灵活光网络相关。该数据集基于从微软北美光骨干网络收集的14个月测量数据(2015年2月至2016年4月)。聚合设备每15分钟轮询一次以记录关键光性能指标,包括光信号Q因子、发射功率(dBm)、色散(ps/nm)和偏振模色散。数据集包含来自4000个随机选定光通道(跨越115条光路)的测量值。为保密起见,对应于故障时段的數據已从数据集中排除。完整的4000通道池在通道级别被划分为2560个训练通道、640个验证通道和800个保留测试通道(64%/16%/20%划分)。验证集在训练前从非测试通道中划分出来。划分由单一随机种子固定,并在所提模型和所有基线模型之间共享,确保所有模型在相同的通道集上进行训练、验证和测试。由于保密限制,底层数值测量结果无法公开披露[21]。
表1. 本文所有实验使用的硬件和软件环境。
| 硬件 | 软件 |
|------|------|
| CPU 2× Xeon Gold 6138 @ 2.00 GHz | 操作系统 Windows Server 2022 |
| 核心 40核/80线程(双路) | Python 3.12.10 |
| 内存 128 GB | PyTorch 2.9.1 (CUDA 12.8) |
| GPU NVIDIA RTX 4060 Ti (16 GB) | CUDA/cuDNN 12.8/9.10.2 |
| 计算能力 8.9 | NumPy/pandas 2.3.5/2.3.3 |
| | 驱动版本 576.02 |
| | scikit-learn/SciPy 1.8.0/1.16.3 |
我们使用Smooth L1损失(即Huber损失)函数和带0.01权重衰减的AdamW优化器训练模型。学习率在最初的3个epoch进行线性预热,随后按余弦调度衰减。批大小设为256,最大训练预算为40个epoch。应用梯度裁剪(最大范数为1.0)以稳定训练。基于验证集均方误差(MSE)应用耐心值为8个epoch的早停机制。使用Smooth L1损失作为训练目标,因为它结合了小误差时的L2行为和大误差时的L1行为,提供了对异常值的鲁棒性。最后,在测试集上使用均方误差(MSE)和平均绝对误差(MAE)评估模型性能。
为评估所提方法的有效性,其预测性能与九种基线模型进行了比较,涵盖经典和现代时间序列架构:SVR、MLP、NN、LSTM网络、GRU、基于堆叠膨胀因果卷积的TCN、PatchTST、iTransformer和TimesNet。所有模型在相同的数据划分上训练和测试,以确保公平比较。
各基线模型使用的超参数配置总结如下:
• SVR:径向基函数(RBF)核,正则化参数C=1,epsilon不敏感损失ε=0.01,停止容差tol=0.001,应用标准化特征缩放。
• MLP:两个隐藏层分别包含256和128个神经元,ReLU激活函数,Adam优化器,初始学习率0.001,50个训练迭代。
• NN:输入层256个神经元,单个隐藏层128个神经元,输出层1个神经元,最大200个训练迭代,启用早停机制,验证划分比例为0.1,耐心值10个epoch,学习率0.001。
• LSTM:单向LSTM架构,输入大小14,序列长度50,两个堆叠LSTM层,隐藏状态维度128,层间应用Dropout正则化。
LSTM 的输出通过一个使用 ReLU 激活的全连接预测头(128 → 64 → 1)生成标量输出。训练最多进行 200 次迭代,启用早停,验证集划分为 0.1,耐心值(patience)为 10 个 epoch,学习率为 0.001。
• GRU:采用单方向 GRU 架构,序列长度为 50,两层堆叠 GRU,隐藏状态维度为 128,层间使用 0.1 的 dropout 正则化。最后时间步的输出经过一个全连接层生成标量预测。使用 AdamW 优化器训练,学习率为 0.001,权重衰减为 1×10??,采用 Huber 损失,批量大小为 256,并基于验证 MSE 进行早停。
• TCN:由四个堆叠的残差块组成,使用膨胀因果 1D 卷积,通道宽度为 64,卷积核大小为 3,指数膨胀因子为 {1,2,4,8},GELU 激活,dropout 为 0.1。最后时间步的表示通过线性头映射为标量预测。使用 AdamW 优化器训练,学习率为 0.001,权重衰减为 1×10??,采用 Huber 损失,批量大小为 256,并基于验证 MSE 进行早停。
• PatchTST:从输入序列中抽取长度为 10、步幅为 5 的块(patch),投影到 128 维模型维度。令牌序列通过 3 层 Transformer 编码器处理,包含 4 个注意力头,前馈维度为 512,GELU 激活,前置归一化(pre-norm),dropout 为 0.1。最后一个令牌的表示通过线性头映射为标量预测。使用 AdamW 优化器训练,学习率为 0.001,权重衰减为 1×10??,采用 Huber 损失,批量大小为 256,并基于验证 MSE 进行早停。
• iTransformer:通过转置输入,将每个输入特征视为一个令牌。时间轴(长度为 50)被投影到 128 维模型维度,生成的特征令牌由 3 层 Transformer 编码器处理,包含 4 个注意力头,前馈维度为 512,GELU 激活,前置归一化,dropout 为 0.1。展平后的令牌表示通过线性头映射为标量预测。使用 AdamW 优化器训练,学习率为 0.001,权重衰减为 1×10??,采用 Huber 损失,批量大小为 256,并基于验证 MSE 进行早停。
• TimesNet:输入窗口被投影到 16 维模型维度,并经过两个堆叠的 TimesBlock。每个 TimesBlock 使用 rFFT 选取前 3 个主导的非直流(非 DC)频率,对每个选定时段将序列重塑为形状为 (num_periods, period) 的二维张量,并用参数共享的二维 Inception 模块(六条并行 Conv2d 分支,卷积核大小为 {1,3,5,7,9,11},内部通道宽度为 32)处理。各时段的输出按各自的 FFT 幅度进行 softmax 加权,并通过残差连接加回到输入上。最后时间步的表示通过线性头映射为标量预测。使用 AdamW 优化器训练,学习率为 0.001,权重衰减为 1×10??,采用 Huber 损失,批量大小为 256,并基于验证 MSE 进行早停。
SVR 模型使用 Python 中的 scikit-learn(sklearn)库实现,通过内置的 fit() 函数进行训练,并使用 predict() 函数进行推理。该模型的超参数根据其验证性能选定。模型性能使用预测精度、MSE 和 MAE 进行评测,定义如下:
(7) MSE = (1/N) Σ???? (t? - t??)2
(8) MAE = (1/N) Σ???? |t? - t??|
其中 N 表示样本总数,t = t?,…,t? 表示真实值,t? = t??,…,t?? 表示预测输出。在这些指标中,MAE 因其直观的解释性而被着重强调,因为它与目标变量使用相同的单位。此外,MAE 对极端偏差的敏感度较低,使其特别适合连续时间序列预测应用。
4.1. 对 800 个通道的逐通道综合评测
所有模型均在第 4 节中定义的 800 通道保留测试集划分上进行评测(2560 用于训练,640 用于验证,800 用于测试)。所提出的模型和所有基线模型在同一训练划分上训练,在同一验证划分上验证,并在相同的 800 通道测试划分上逐通道评测,使用相同的优化器、损失和训练预算设置。
表 2 报告了每个模型跨全部 800 个测试通道的平均 MSE 和 MAE。所提出的模型相对于所有评测的基线方法在 MSE 上取得了数量级的实质性改进,MAE 指标也观察到一致性的下降。
表 2. 各模型在 800 通道保留测试集划分上的性能,来源于规范性的单次训练运行。均值和标准差由 800 个测试通道上的逐通道 MSE 和 MAE 值计算得出。最右列报告了各基线模型的平均 MSE 与所提模型的平均 MSE 之比。
模型 | 平均 MSE | MSE 标准差 | 平均 MAE | MAE 标准差 | MSE 比率
所提模型 | 0.00296 | 0.00418 | 0.0318 | 0.0148 | 1.0×
GRU | 0.2281 | 0.2904 | 0.3102 | 0.1685 | 77.2×
PatchTST | 0.3052 | 0.4197 | 0.3577 | 0.2015 | 103.2×
TCN | 0.3327 | 0.4013 | 0.3944 | 0.2143 | 112.5×
LSTM | 0.3807 | 0.4681 | 0.4180 | 0.2360 | 128.7×
iTransformer | 0.5348 | 0.5612 | 0.5609 | 0.2694 | 180.9×
TimesNet | 0.6249 | 0.7216 | 0.5673 | 0.3103 | 211.3×
MLP | 0.6852 | 0.9806 | 0.6114 | 0.4094 | 231.6×
NN | 0.8721 | 1.1139 | 0.7065 | 0.4624 | 294.8×
SVR | 1.1052 | 1.4434 | 0.8009 | 0.5884 | 373.6×
4.2. 消融研究
本节中呈现的定量消融研究完全聚焦于所提出的时间均值残差预测公式,这是本工作的主要方法论贡献。为隔离残差学习公式的贡献,进行了一项消融实验,其中移除了残差头,并强制模型直接预测绝对 Q 值(no_residual 变体)。所有其他架构组件和超参数保持不变。两个变体都在规范训练划分上从零重新训练,并在 800 通道测试划分上评测。
如表 3 所示,移除残差基线使平均测试 MSE 劣化约 49 倍。这表明所提出的时间均值残差预测公式是所提架构实现性能改进的主要贡献者。尽管存在这种大幅劣化,无残差变体仍然优于所有其他基准模型,表明底层的 Transformer 架构本身也提供了强大的预测能力。综合来看,这些结果表明,所提性能源于一个有效的 Transformer 主干网络与所提出的时间均值残差预测公式的结合,其中后者提供了主要的改进。
表 3. 消融:残差学习公式对所提模型的影响。所有统计量基于保留测试划分上的 800 个逐通道 MSE/MAE 值计算。
变体 | 参数数 | 最佳验证 MSE | 平均测试 MSE | 测试 MSE 标准差 | 测试 MSE 中位数 | P95 测试 MSE | 平均测试 MAE | 测试 MAE 标准差
所提模型(含残差学习) | 669,313 | 0.00312 | 0.00296 | 0.00418 | 0.00162 | 0.01012 | 0.0318 | 0.0148
所提模型(无残差学习) | 669,313 | 0.16956 | 0.14444 | 0.19755 | 0.08955 | 0.46140 | 0.2534 | 0.1459
4.3. 所提时间均值残差预测公式向循环架构的泛化
为进一步判断所观察到的性能提升是否源自所提出的时间均值残差预测公式而非 Transformer 主干网络本身,额外实验将相同的残差预测公式赋予 GRU 和 LSTM 基线,并在相同的训练方案下进行训练。每个残差变体保留其直接对应版本(第 4 节)的确切架构和超参数配置,并按与所提模型相同的残差训练方案进行训练:网络不再回归绝对 Q 值,而是预测相对于输入窗口时间均值基线的偏差,最终估计值通过将该预测偏差加回基线得到。表 4 报告了在同一 800 通道保留划分上的平均逐通道测试 MSE 和 MAE。
将所提出的时间均值残差预测公式应用到循环基线上,使二者均改善了约两个数量级:GRU 的平均逐通道测试 MSE 从 0.2281 降至 0.00236,LSTM 则从 0.3807 降至 0.00218。相应的平均 MAE 值也降至约 0.031,与所提残差 Transformer(0.0318)非常接近。因此,所有三个残差模型的预测误差均落在同一范围内(平均 MSE 在 0.0022–0.0030 之间),显著低于其直接预测对应版本。这些结果表明,所提出的时间均值残差预测公式有效地利用了 Q 值的强时间持续性。此外,在评测的 Transformer、GRU 和 LSTM 架构上观察到的持续改进表明,所提公式的有效性并不局限于特定的神经网络主干。因此,所提出的残差 Transformer 提供了所提时间均值残差预测公式的有效 Transformer 实现,同时这些结果也显示该公式本身可一致地泛化到所评测的循环架构。
表 4. 所提出的时间均值残差预测公式对循环架构的影响。平均 MSE 和 MAE 基于保留测试划分上的 800 个逐通道预测值计算。
模型 | 平均 MSE | 平均 MAE
GRU(直接) | 0.2281 | 0.3102
GRU(残差) | 0.00236 | 0.0315
LSTM(直接) | 0.3807 | 0.4180
LSTM(残差) | 0.00218 | 0.0311
残差 Transformer | 0.00296 | 0.0318
表 5. 在相同的 800 通道保留测试划分上跨随机初始化种子 {13, 29, 42} 的多种子评测。报告的平均 MSE 是跨三个独立训练的模型平均得到的。"逐通道标准差"表示跨 800 个测试通道的逐通道 MSE 值的标准差,而"跨种子标准差"表示跨三个随机初始化种子的平均 MSE 的标准差。
模型 | 平均 MSE | 逐通道标准差 | 跨种子标准差
所提模型 | 0.00296 | 0.00418 | 3.5×10??
GRU | 0.2392 | 0.3004 | 0.0504
PatchTST | 0.2752 | 0.3285 | 0.0605
TCN | 0.3223 | 0.4013 | 0.0772
LSTM | 0.3236 | 0.3945 | 0.0688
MLP | 0.6624 | 0.9076 | 0.1006
TimesNet | 0.7032 | 0.9384 | 0.2363
iTransformer | 0.7167 | 0.9664 | 0.1880
NN | 0.8573 | 1.1215 | 0.0617
4.4. 多种子统计验证
为验证所观察到的性能差距并非特定随机初始化的产物,所提模型和全部八个非 SVR 基线在规范划分上使用三个独立随机种子 {13, 29, 42} 重新训练。表 5 报告了跨 800 个测试通道的平均 MSE(跨种子平均)、跨通道的逐通道标准差,以及逐通道的跨种子平均标准差。所提模型的跨种子标准差约为 3.5×10??,比跨通道变化小四个数量级,至少比任何基线小五个数量级,表明所提模型在重新训练时实际上是确定性的。为确保与表 2 中单次运行结果的可比性,每个模型都按照与主评测相同的实验方案重新训练,包括相同的训练配置、优化过程和训练预算。因此,两个表格之间剩余的差异完全来源于随机初始化,并与所报告的跨种子标准差一致。
对每个(所提模型,基线)配对执行了配对双尾 t 检验,将种子平均后的逐通道 MSE 视为跨 800 个测试通道的配对观测。所得检验统计量和 p 值如表 6 总结,表明所提模型在 p < 10??? 的水平上显著优于每一个基线。
表 6. 配对双尾 t 检验,将各基线的种子平均逐通道 MSE 与所提模型进行比较(n = 800 个通道)。
比较 | t 统计量 | p 值
LSTM vs. 所提模型 | 23.00 | 3.3×10???
MLP vs. 所提模型 | 20.56 | 9.8×10???
NN vs. 所提模型 | 21.56 | 1.3×10??1
GRU vs. 所提模型 | 22.25 | 9.3×10???
TCN vs. 所提模型 | 22.52 | 2.3×10???
PatchTST vs. 所提模型 | 23.45 | 5.7×10??3
iTransformer vs. 所提模型 | 20.90 | 1.0×10???
TimesNet vs. 所提模型 | 21.11 | 5.6×10???
4.5. 超参数敏感性分析
围绕所选默认值(序列长度 50,模型维度 128,三层 Transformer)进行了逐一进行的敏感性扫描。每个变体都在规范划分上从零重新训练,并在 800 通道测试集上评测。表 7 报告了每个配置的验证 MSE、测试 MSE 和可训练参数数量。测试 MSE 随序列长度平滑变化(0.00245–0.00347),对 d_model ∈ {128, 256} 基本平坦(两种情况下均为 0.00298),且在两、三、四层 Transformer 上完全相同(每种情况下均为 0.00298)。较小的嵌入维度 d_model = 64 具有竞争力(测试 MSE = 0.00250),因此所选的 d_model = 128 以几乎可以忽略的精度差异换取了更深的表示,该表示对层数和嵌入尺寸加倍保持不变。总体而言,所选默认值位于一个宽泛的性能平台上,而非狭窄的最优点。
表 7. 超参数敏感性分析。默认值为序列长度 50,模型维度 128,三层 Transformer。
超参数 | 取值 | 验证 MSE | 测试 MSE | 参数数
序列长度 | 25 | 0.00256 | 0.00245 | 669,313
序列长度 | 50(默认) | 0.00312 | 0.00298 | 669,313
序列长度 | 75 | 0.00344 | 0.00328 | 669,313
序列长度 | 100 | 0.00364 | 0.00347 | 669,313
模型维度 | 64 | 0.00248 | 0.00250 | 284,225
模型维度 | 128(默认) | 0.00312 | 0.00298 | 669,313
模型维度 | 256 | 0.00312 | 0.00298 | 1746,689
Transformer 层数 | 2 | 0.00312 | 0.00298 | 471,041
Transformer 层数 | 3(默认) | 0.00312 | 0.00298 | 669,313
Transformer 层数 | 4 | 0.00312 | 0.00298 | 867,585
4.6. 通道代表性分析
为验证保留测试划分与训练划分在统计上可比,对每个划分计算了十个逐通道汇总统计量,并通过 Kolmogorov–Smirnov(KS)双样本检验进行比较。表 8 报告了均值、KS 统计量和 p 值。在 α = 0.05 水平下,这十个统计量均未拒绝分布相同的零假设(最小的 p 值为 0.076,对应平均绝对一阶差分),确认训练通道和测试通道都来自同一分布。
表 8. 训练与测试通道统计量通过 Kolmogorov–Smirnov 双样本检验的比较。逐通道统计量分别为训练和测试划分独立计算,然后进行汇总。
统计量 | 训练均值 | 测试均值 | 训练标准差 | 测试标准差 | KS 统计量 | p 值
平均绝对一阶差分 | 0.0158 | 0.0164 | 0.00998 | 0.00986 | 0.0515 | 0.076
自相关(滞后 1) | 0.9327 | 0.9270 | 0.0936 | 0.1013 | 0.0438 | 0.188
绝对漂移 | 0.5716 | 0.6069 | 1.0599 | 1.1063 | 0.0351 | 0.431
每通道样本数 | 32,928 | 32,645 | 4565.7 | 4885.5 | 0.0300 | 0.631
偏度 | ?2.929 | ?3.036 | 8.700 | 9.253 | 0.0296 | 0.647
y 标准差 | 0.1821 | 0.1824 | 0.2314 | 0.2346 | 0.0283 | 0.702
峰度 | 223.2 | 230.3 | 792.7 | 843.8 | 0.0262 | 0.787
y 均值 | 12.926 | 12.915 | 1.0888 | 1.0589 | 0.0252 | 0.825
y 极差 | 2.754 | 2.788 | 2.2285 | 2.2149 | 0.0246 | 0.844
最大绝对一阶差分 | 2.304 | 2.336 | 2.1178 | 2.1045 | 0.0213 | 0.938
4.7. 模型复杂度
表 9 报告了所提模型和所有基线的可训练参数数量以及单次单样本前向传播的 FLOPs。所提模型在规模上与 PatchTST 和 iTransformer 相当,但明显大于 GRU 和 TCN。尽管如此,GRU(更小)在平均 MSE 上差约 77 倍,PatchTST(规模相近)差约 103 倍,这排除了参数容量作为解释所提模型优势的原因。
TimesNet 的参数量与 PatchTST 和 iTransformer 相当,却在现代基线方法中录得最差的 MSE(约为所提模型的~211倍),这进一步证实了性能优势源自残差公式而非模型容量。SVR 是非参数模型:所报告的参数量对应的是支持向量的存储空间,而非可学习权重。
**FLOP 计数方法**
使用 PyTorch 前向钩子按模块解析地统计 FLOPs。每次乘加操作计为 2 个 FLOP,偏置项予以包含,而逐元素操作(LayerNorm、GELU、dropout、位置编码相加、均值池化)则被忽略,因为这些操作在本研究涉及的模型架构中贡献不足 5%。表 9 中的所有数值均对应于单样本前向传播(B=1)。
设 $T$ 为序列长度,$E$ 为 Transformer 的嵌入维度,$H$ 为注意力头数,$h$ 为 RNN 单元隐藏层宽度。对于具有 $n$ 行输入(所有前导维度展平后)的一般线性层(9):
$$\text{FLOPs}_{\text{linear}} = n(2d_{\text{in}}d_{\text{out}} + d_{\text{out}})$$
其中 $d_{\text{in}}$ 为该层的输入特征数,$d_{\text{out}}$ 为该层输出的特征数。对于将 $C_{\text{in}}$ 通道映射为 $C_{\text{out}}$ 通道的一维卷积,卷积核宽度为 $k$,分组数为 $g$,输出长度为 $L_{\text{out}}$(10):
$$\text{FLOPs}_{\text{conv1d}} = C_{\text{out}}L_{\text{out}}(2kC_{\text{in}}/g + 1)$$
对于 $L$ 层、隐藏层宽度为 $h$、第 $\ell$ 层输入维度为 $i_\ell$ 的单向 LSTM(其中 $i_0 = F$,$F$ 为送入第一层的输入特征数;当 $\ell > 0$ 时 $i_\ell = h$),四个门控矩阵乘法与门控更新计算量之和为(11):
$$\text{FLOPs}_{\text{lstm}} = T\sum_{\ell=0}^{L-1}\left[4(2i_\ell h + 2h^2 + h) + 15h\right]$$
GRU 具有相同结构,但仅有三个门控且逐元素更新计算量更轻(12):
$$\text{FLOPs}_{\text{gru}} = T\sum_{\ell=0}^{L-1}\left[3(2i_\ell h + 2h^2 + h) + 12h\right]$$
在 $T$ 个 token 上、嵌入维度为 $E$、头数为 $H$ 的多头自注意力机制中,$Q, K, V$ 的投影、$QK^\top$ 分数计算、行归一化 softmax、注意力与 $V$ 的乘法收缩以及输出投影的总计算量为(13):
$$\text{FLOPs}_{\text{mha}} = 4T(2E^2 + E) + 4T^2E + 3HT^2$$
对于使用 RBF 核的 SVR,含 $n_{\text{SV}}$ 个支持向量、输入维度为 $d$,每次核函数评估的计算量为:平方距离计算 $2d$ 个 FLOP、乘以 $-\gamma$ 一次、指数运算一次、乘以对偶系数一次,最终将所有值求和并加上偏置项,因此(14):
$$\text{FLOPs}_{\text{svr}} = n_{\text{SV}}(2d + 4)$$
**表 9. 每个单样本的可训练参数数量与解析统计的前向传播 FLOPs(乘加计为 2 个 FLOP)。SVR 的参数指支持向量存储量,而非可学习权重。**
| 模型 | 可训练参数 | FLOPs/样本(百万) |
|------|-----------|-------------------|
| 所提模型 | 669,313 | 63.22 |
| LSTM | 53,825 | 5.40 |
| MLP | 195,969 | 0.39 |
| NN | 44,929 | 0.09 |
| GRU | 154,497 | 15.48 |
| TCN | 90,241 | 10.43 |
| PatchTST | 612,993 | 11.10 |
| iTransformer | 603,137 | 17.06 |
| TimesNet | 586,657 | 192.24 |
| SVR (RBF) | 12,695,111 | 25.43 |
**5. 效率与精度–效率权衡分析**
**5.1 计算复杂度与推理效率**
为评估所提模型的计算效率,在相同的实验条件下进行推理基准测试,并与全部九个基线模型(LSTM、MLP、NN、GRU、TCN、PatchTST、iTransformer、TimesNet 和 SVR)进行比较。在表 1 所列硬件上测量单样本推理延迟,具体方法为:先进行 100 次预热前向传播,再进行 500 次计时前向传播,每次运行之间执行显式的 CUDA 同步。
表 10 汇总了所有评估模型的实测推理延迟与吞吐量。
所提模型在 GPU 硬件上的平均推理延迟约为每样本 1.84 毫秒,对应吞吐量约为每秒 543 个样本。如表 10 所示,所提 Transformer 的推理延迟高于大多数所考察的神经网络基线模型。最低 GPU 延迟由普通 NN 实现(≈0.011 毫秒),MLP、LSTM 和 GRU 也均运行在亚毫秒级。在现代基线方法中,TCN 的延迟与所提模型最为接近(≈1.54 毫秒),而 PatchTST 和 iTransformer 的运行延迟约为 0.81–0.84 毫秒。相比之下,TimesNet 由于采用 2D Inception 骨干网络,尽管可训练参数量更小,其延迟却约为所提模型的 5.7 倍(≈10.42 毫秒)。
尽管所提模型在纯推理速度方面慢于大多数神经网络基线,但绝对延迟差异(相对于最快基线约为 1.83 毫秒)对实时光网络监控应用而言仍可忽略不计。因此,尽管不是最快的模型,所提方法仍满足实时运行要求,在实际部署中具备可行性。
**表 10. 所提模型及各基线模型的单样本推理延迟与吞吐量。延迟为 500 次前向传播(100 次预热后)的平均值,输入为单样本。**
| 模型 | 设备 | 平均延迟(毫秒) | 标准差延迟(毫秒) | 吞吐量(样本/秒) |
|------|------|-----------------|-------------------|-----------------|
| 所提方法 | CUDA | 1.8412 | 0.2981 | 543.14 |
| LSTM | CUDA | 0.0743 | 0.0015 | 13463.56 |
| MLP | CUDA | 0.0188 | 0.0114 | 53180.26 |
| NN | CUDA | 0.0105 | 0.00059 | 5452.49 |
| GRU | CUDA | 0.1142 | 0.00108 | 759.88 |
| TCN | CUDA | 1.5369 | 0.2139 | 650.65 |
| PatchTST | CUDA | 0.8133 | 0.1413 | 1229.55 |
| iTransformer | CUDA | 0.8389 | 0.1536 | 1192.07 |
| TimesNet | CUDA | 10.4201 | 0.7602 | 95.97 |
| SVR (SVR) | CPU | 16.4542 | 0.9966 | 60.77 |
**5.2 精度–效率权衡**
在预测性能方面,所提模型相较于所有评估的基线模型均取得了显著的 MSE 降低,各基线的改进比率范围从约 77 倍(GRU)到约 374 倍(SVR);详见表 2。在 MAE 指标上也观察到一致的改进。
尽管所提模型所需的推理时间高于基线方法,但延迟仍处于可接受的实时范围内。因此,额外的计算开销由估计精度的显著提升所证明是合理的。
总体而言,所提模型在预测精度与计算效率之间提供了平衡的权衡,在提供优越的估计性能的同时保持了实时可行性。
SVR 基准测试在 CPU 上执行,因为基于核函数的经典机器学习方法主要针对 CPU 架构进行优化,且标准实现中不具备原生的 GPU 加速支持。在 CPU 上评估 SVR 反映了其实际部署环境,并确保相对于其典型计算范式进行了公平比较。
**6. 结论**
本研究提出了一种新颖的时域均值残差预测公式用于 QoT 估计,并展示了使用残差 Transformer 架构对其进行实现的方案。实验结果表明,所提方法能够实现高精度的 Q 因子预测,同时保持计算效率。额外实验进一步证明,所提的时域均值残差预测公式可显著提升循环架构的性能,表明其有效性不限于 Transformer 骨干网络。这些发现表明,时域均值残差预测是一种有前景的建模策略,适用于未来的深度学习 QoT 估计方法,并可能推广至更广泛的时序预测架构。
**7. 局限性及未来工作**
当前研究存在以下局限性:
- 评估仅限于单一运营商的数据集,这可能限制向其他部署环境的直接推广。
- 尚未在不同网络配置下进行跨拓扑验证。
- 尽管所提的时域均值残差预测公式在所评估的架构上均能一致改进性能,但不同骨干模型上的改进幅度存在差异。理解该公式与不同序列建模架构之间的相互作用仍是未来研究的重要方向。
未来工作还将探索所提的时域均值残差预测公式与更多深度学习架构的集成,并在更大规模、更多样化的真实光网络数据集上评估其有效性。
**CRediT 作者贡献声明**
Suchit Gupta:撰写–初稿、验证、软件、方法论、调查、数据整理、概念构思。Ujjwal:撰写–审阅与编辑、撰写–初稿、可视化、监督、资源、项目管理、方法论、形式化分析、概念构思。Vishwajeet Singh:撰写–审阅与编辑、监督、项目管理、形式化分析。
Suchit Gupta | Ujjwal | Vishwajeet Singh
Manipal 理工学院,Manipal 高等教育学院,印度曼尼帕尔