MA-NINN：使用多头注意力物理信息神经网络的民航数据网络传输时延预测

《Technologies》：MA-NINN: Prediction of Civil Aviation Data Network Transmission Delay Using Multi-Head Attention Physics-Informed Neural Networks

　　

研究人员提出了一种结合网络物理特性和深度学习方法的预测模型，以解决民航业务数据网络中由复杂动态特性导致的往返时间（RTT）预测精度不足问题。该模型基于物理信息神经网络（PINN）框架，将时延-负载关系、突发流量衰减模式及RTT-窗口逆约束等领域知识嵌入长短期记忆（LSTM）网络。此外，多约束损失函数增强了模型对复杂网络活动的适应性。为克服LSTM网络在建模长程依赖中的局限性，研究人员引入了多头注意力（MA）机制，以并行方式捕获长期时间依赖性，从而提升模型对长程时间步相关性的捕捉能力。研究人员在四个民航业务数据网络数据集上进行了基准测试和扩展测试。实验结果表明，与基线模型相比，所提模型在双向网络通信RTT预测任务中显著提升了均方根误差（RMSE）、平均绝对误差（MAE）和平均绝对百分比误差（MAPE）。该研究验证了将网络物理属性约束与注意力机制相结合，能够有效提高传输时延预测的准确性，为高动态民航网络环境下的有效流量预测提供了一种有效方法。

**论文解读：MA-NINN——基于多头注意力物理信息神经网络的民航数据网络传输时延预测**

**研究背景与问题**
在数字时代，网络与通信技术对社会活动的影响日益加深，网络服务为智慧交通、智慧城市等智能系统提供关键支撑。民航业务数据网络作为连接数据中心与运营机构的关键传输通道，具有自组织、涌现性和动态性等复杂系统特征。网络传输时延是衡量网络性能的核心指标，受网络结构复杂度、带宽、瞬时流量大小及窗口尺寸等多因素影响。传统网络性能预测方法（如概率方法、排队论）通过收集流量数据建立静态基线，但难以捕捉流量数据的复杂动态特性，尤其在突发流量场景下易导致网络拥塞。现有研究采用动态基线方法（如指数平滑）及机器学习模型（如BP、CNN），但受限于对非线性关系和大规模数据的处理能力，且在长程时间依赖性建模上存在不足。因此，亟需一种能够融合网络物理特性与深度学习方法的新型预测模型，以提升高动态民航网络环境下往返时间（RTT）的预测精度。

**研究内容与结论**
研究人员提出了一种名为MA-NINN（多头注意力网络信息神经网络）的RTT预测模型，该模型整合了物理信息神经网络（PINN）与多头注意力机制，通过将网络领域知识（时延-负载关系、突发流量衰减规律、RTT-窗口逆比例约束）嵌入深度学习框架，并引入多头注意力机制捕获长程时间依赖性，有效缓解了复杂网络活动对预测精度的干扰。实验基于四个民航业务数据网络数据集（收集自2025年1月1日至16日，机场与数据中心间的双向通信数据，共115,997个PCAP文件），通过基准测试和扩展测试验证了模型性能。结果表明，与LSTM、CNN-LSTM、Transformer、GRU等基线模型相比，MA-NINN在双向RTT预测任务中显著降低了RMSE、MAE和MAPE，尤其在长周期预测（10天）中误差降低约34%。该研究证实了结合网络物理属性约束与注意力机制可有效提升传输时延预测准确性，为高动态民航网络环境下的流量预测提供了可靠方法。论文发表在《Technologies》。

**主要关键技术方法**
研究人员采用以下关键技术方法：
1. **数据预处理模块**：基于时间序列分析，从民航业务数据网络流量数据中提取基本特征，生成D维训练样本，并通过滑动窗口策略构造监督学习样本（窗口大小为60分钟）。
2. **标准化卷积模块**：通过卷积层对输入数据进行初始特征映射和尺寸标准化，利用Dropout机制动态稀疏化特征表示，确保数据进入主工作模块前具有统一规格。
3. **MA-LSTM模块**：采用级联结构，第一层LSTM进行初始特征提取（IFE），第二层LSTM进行特征抽象采样（FAS），每层LSTM后连接多头注意力模块，通过并行计算查询-键-值（QKV）映射矩阵，捕获多维和多层次时间依赖性。
4. **NINN特征约束模块**：基于PINN框架，设计三个核心物理约束——时延-负载关系（基于M/M/1排队论近似）、突发流量衰减约束（基于TCP拥塞控制的乘性减窗机制）、窗口-RTT逆比例约束（基于TCP吞吐量公式），并构建包含数据拟合损失与三个约束损失的总损失函数，权重超参数通过优化实验确定。
5. **模型训练与验证**：采用早停机制（阈值为10轮）防止过拟合，通过批大小优化（16）、头数消融实验（A→C方向：8头/2头；C→A方向：2头/8头）、超参数优化（最优组合：0.3, 0.6, 0.6）、经验常数敏感性分析（扰动±20%范围内性能稳定）及维度组合优化（主层32维，次层16维）进行参数调整。
6. **评估指标**：采用均方根误差（RMSE）、平均绝对误差（MAE）和平均绝对百分比误差（MAPE）进行性能评估。

**研究结果**
**4.1 实验设置与数据处理**
研究人员在配备Intel i9-14900KF处理器、NVIDIA GeForce RTX 3090 GPU（24 GB显存）的Ubuntu 22.4平台上，使用Python 3.7.16和TensorFlow库实现模型。数据采集自2025年1月1日至16日，共115,997个PCAP文件，经特征提取、RTT计算（采用平均分组间隔MIPI作为代理指标，与显式TCP ACK配对RTT的皮尔逊相关系数>0.91）、异常值剔除（RTT=0）及时间插值填补缺失值后，构建了训练集、验证集、基准测试集和扩展测试集。

**4.2 超参数优化策略**
- **批大小优化**：通过对比不同批大小（16、32、64、128）下的损失和验证损失收敛曲线及MAPE、RMSE、MAE指标，确定批大小为16时模型性能最优。
- **MA-LSTM头数消融**：针对A→C和C→A两个方向，通过30次重复实验比较不同头数组合的RMSE、GPU利用率和时间开销。在A→C方向，头数组合(8,2)实现最低RMSE和较低资源消耗；在C→A方向，头数组合(2,8)取得最低RMSE且时间开销<1分钟。消融实验表明，单头注意力虽优化资源但无法提升预测精度。
- **超参数优化**：在0.0~1.0范围内以0.1步长搜索负载约束权重(α)、衰减约束权重(β)和窗口约束权重(γ)，共216组实验。最优组合(α=0.3, β=0.6, γ=0.6)在双向场景中均获最高评分，且双场景评分偏差呈强线性正相关（r=0.9607），验证了跨场景稳定性。
- **经验常数敏感性分析**：对经验常数C_L、C_D、C_W进行±20%扰动，最大RMSE退化约4.3%（A→C）和3.7%（C→A），且所有扰动配置下MA-NINN仍优于所有基线模型，证明性能增益对常数选择具有鲁棒性。
- **维度组合优化**：通过调整主层维度（16/32/64）和次层维度（8/16/32）的六种组合，确定32-16组合在双向任务中表现最优，在A→C方向RMSE(0.0851)、MAE(0.06393)、MAPE(11.97511%)均为最低，较次优组合分别降低30.4%、31.6%、21.1%。

**4.3 性能对比测试**
在基准测试集上，MA-NINN在A→C方向取得RMSE=0.0928、MAE=0.0710、MAPE=13.07%，较Transformer模型分别降低39.3%、40.9%、36.1%；在C→A方向取得RMSE=0.1866、MAE=0.1428、MAPE=20.54%，较Transformer分别降低32.9%、36.3%、39.8%。与改进模型NINN-LSTM和MA-LSTM相比，MA-NINN在C→A方向MAPE分别降低5.8%和3.6%。在扩展测试集（2~10天预测）中，MA-NINN在A→C方向持续保持最低误差（RMSE=0.0771~0.09387，MAPE=11.44~12.99%），在C→A方向10天预测任务中MAPE=31.36%，优于LSTM(34.52%)和Transformer(32.18%)，尤其在第6~8天链路波动期，物理约束使RMSE降低22.1%~1.7%。

**总结与讨论**
**讨论部分**：研究结果表明，MA-NINN模型通过将物理守恒方程约束嵌入LSTM隐状态演化，抑制了长期预测中的误差累积；共享物理特征层与解耦多头注意力特征，缓解了复杂网络场景中的任务冲突；在非对称链路中保持双向预测一致性，误差收敛效率在C→A方向优势达41.3%，克服了传统模型在长程时空相关性建模上的局限性。

**研究结论**：本文通过提出MA-NINN模型，解决了民航业务数据网络中RTT预测精度不足的问题。该模型整合了物理信息神经网络（PINN）与多头注意力机制，通过纳入时延-负载关系、突发流量衰减及RTT-窗口逆比例约束，并结合多头注意力机制捕获长程依赖性，减轻了复杂网络活动对预测精度的影响。通过大量实验验证了模型参数与结构设置的合理性，确保了模型性能与资源效率。在基准测试和扩展测试中，MA-NINN在短期基线预测中表现出显著优势，验证了网络特征约束与注意力机制结合的有效性；在扩展测试中持续展现优越性能，凸显了其在时间依赖性建模中的鲁棒性。值得注意的是，MA-NINN在双向预测任务中始终优于类似改进模型（如NINN-LSTM和MA-LSTM），证明了其设计策略的稳健性。未来工作可探索多模态数据融合技术及极端场景下的模型鲁棒性优化，并将模型扩展至跨站点、多链路场景以验证其泛化能力。