TIME-NN:面向结构化缺失条件下细粒度网络测量张量补全的时空多视角分解方法
《Expert Systems with Applications》:TIME-NN: Spatial-Temporal Multi-View Decomposition for Fine-Grained Network Measurement Tensor Imputation under Structured Missingness
【字体:
大
中
小
】
时间:2026年09月06日
来源:Expert Systems with Applications 9.4
编辑推荐:
摘要 以内带网络遥测(INT)和草图(sketch)为代表的现代测量技术,能够实现前所未有的细粒度流级别网络状态感知。然而,由此带来的维度激增,加上其实现机制及网络丢包所导致的大规模结构化数据缺失,给数据插补带来了严峻挑战。针对这一问题,我们提出TIME-NN(Tensori
摘要 以内带网络遥测(INT)和草图(sketch)为代表的现代测量技术,能够实现前所未有的细粒度流级别网络状态感知。然而,由此带来的维度激增,加上其实现机制及网络丢包所导致的大规模结构化数据缺失,给数据插补带来了严峻挑战。针对这一问题,我们提出TIME-NN(Tensorial Incomplete Multi-ViEw,张量化不完整多视图),一种面向结构化缺失条件下细粒度网络测量张量插补的端到端可训练模型。TIME-NN 基于张量多视图公式(TMVF),将空间一致性和时间互补性建模为公共恢复张量的两个结构正则项。空间正则项通过图-张量结构捕捉拓扑相关性,时间正则项则通过CP分解建模节点级历史动态。随后,TIME-NN 将TMVF/ADMM的变量更新序列映射为有限阶段的神经网络架构,在适用处保留解析或近端算子操作,并对部分图依赖更新进行端到端学习。我们进一步引入CPE-NSW(Common Pattern Extraction with Node-Specific Temporal Warping,共享模式提取与节点特定时间扭曲),以对齐跨节点的共享时间模式并细化节点特定的非线性动态。大量实验表明,相较于各数据集-采样率设置下最优的非TIME-NN基线方法,TIME-NN平均将NMAE和NRMSE分别降低10.26%和22.09%。在结构化节点级块状缺失和时间突发缺失场景下,TIME-NN也始终取得更低的NMAE。在分别训练的20、45和80交换机拓扑上的评估进一步证明了其在所测网络规模上的适用性。代码和数据集可在 https://anonymous.4open.science/r/TIME-NN-624C/ 获取。
引言 对于现代网络运维——包括性能监控、故障诊断和安全管理——获取全网络流量的保真、细粒度视图至关重要 Barradas et al. (2021); Li et al. (2019)。然而,直接测量所有网络设备和链路上的完整流级数据不仅成本高昂,还可能干扰网络本身。INT和基于草图的测量框架等新兴技术提供了可扩展的替代方案,通过紧凑的数据表示实现细粒度流量监控 Sheng, Huang, & Lee (2021); Zhao et al. (2021)。在这些系统中,流级测量数据被分割为"草图片段"(sketchlets),嵌入数据包中在网络中传输。然而,由于丢包和路由不一致等网络动态因素,部分草图片段可能会丢失。与传统OD矩阵中的随机缺失值不同,该过程引入的是结构化数据丢失——即空间相关的缺失条目块,反映了底层传输故障和系统设计缺陷 Yang et al. (2025); Zeng et al. (2024)。网络测量丢失可能以孤立条目、节点级块状中断或连续时间中断的形式出现 Yang et al. (2025); Zeng et al. (2024)。这些缺失模式的结构性与相关性特征对插补算法提出了严苛要求,挑战了其鲁棒性和表达能力。
大多数先前的流量恢复工作聚焦于粗粒度OD矩阵 Fang, He, Xu, & Chen (2024); Li et al. (2024); Xie et al. (2023); Yu, Yin, & Zhu (2017),其效果在重构细粒度测量张量时会显著下降。我们识别出两个主要局限:第一,现有多视图方法 Han et al. (2024); Huang, Lu, Huang, Yi, & Li (2025); Xu, Tao, & Xu (2015); Zhang et al. (2025)往往缺乏在结构化缺失条件下耦合空间与时间线索的机制,导致融合效果次优;第二,细粒度测量张量通常仅近似低秩,且常呈现局部突发和不对称等复杂模式 Zhou, Lu, Lin, & Zhang (2017),这削弱了假设全局低秩结构的传统方法性能。此外,这些方法缺乏应对模型失配和噪声的自适应机制,尤其是在低秩假设被严重违背的情况下。
为弥合这一差距,本文提出一个新颖框架,将细粒度网络测量张量插补问题分解为两个互补视图。空间和时间依赖性被视为单个不完整测量张量的两个结构视图。空间视图定义在时间切片内的节点关系上,而时间视图则定义在各节点的历史序列上。时空图模型联合编码空间依赖和时序动态以预测道路网流量 Liu et al. (2024)。本文的补全公式将这些依赖关系作为恢复张量的正则项引入。首先,空间视图利用图张量理论施加结构一致性约束,捕捉所有网络节点间的共享属性。其次,时间视图采用CP分解提取各节点独有的演化动态。为保留优化结构,我们展开迭代优化过程构建TIME-NN Gregor & LeCun (2010); Wang et al. (2025)。此外,由于真实数据可能不严格遵循低秩假设,我们设计了CPE-NSW模块,显式解耦共享时间规律与节点特定非线性动态,以实现鲁棒的时间模式对齐,弥补假设不准确带来的误差。
概括而言,我们的主要贡献包括:
• 我们提出了一个新颖的理论框架TMVF,将细粒度网络测量恢复任务重构为空间一致性和时间互补性两个互补视图,并构建统一的联合优化目标。该公式为结构化缺失模式的数据插补提供了更严谨且更具表达力的基础。
• 我们开发了TIME-NN——通过展开TMVF为多阶段神经网络得到的模型驱动架构。该设计保留了原始优化过程的理论透明性。此外,我们引入了CPE-NSW模块——一个新颖的两阶段架构,显式解耦共享标准模式与节点特定非线性时序精细化,增强了模型捕捉复杂全局时空依赖的能力。
• 在INT、Abilene和GéANT数据集上的实验评估了组件贡献、结构化缺失、拓扑扰动、20/45/80交换机规模扩展、未见节点适应以及GéANT随机缺失案例分析。
章节片段
相关工作——基于数学的张量插补 许多基于张量补全的流量估计算法通常依赖于CP或Tucker分解,以及其他低秩表示如张量环 Bengua, Phien, Tuan, & Do (2017)。HaLRTC Liu, Musialski, Wonka, & Ye (2012) 使用ADMM获得精确结果并管理各约束之间的依赖关系。TNCP Liu, Shang, Jiao, Cheng, & Cheng (2014) 提出了一种迹范数正则化的CP分解方法。STC Xie et al. (2018)
符号与预备知识 表1总结了全文使用的符号。在全文中,下标t表示网络测量时间戳,上标(k)表示ADMM迭代或展开阶段。
参照 Kernfeld, Kilmer, & Aeron (2015); Kolda & Bader (2009),我们考虑一个三阶测量张量 ??∈?^{r×c×m},其中r和c为草图矩阵的行/列维度,m为网络节点数。第j个前切片 ??(:,:,j)∈?^{r×c} 对应于
实验设置——数据集 我们在INT数据集和两个公开网络流量数据集Abilene和GéANT上评估TIME-NN。
• INT数据集:该数据集基于Mininet模拟的FatTree拓扑生成,通过部署INT系统从20台交换机采集细粒度流量数据。每个时间切片中的五元组通过SuMax Sketch压缩为4×117矩阵。最终数据包含188个连续时间切片,每个切片含20个节点级4×117草图矩阵。图3展示了
结论 本文将网络测量补全形式化为基于公共恢复张量的空间图张量正则化与节点级时间因子正则化问题。TIME-NN实现了一个有限阶段的TMVF/ADMM引导架构,其中图依赖操作通过端到端学习获得,CPE-NSW则用于细化时间因子。在报告的数据集和采样设置下,相对于最优非TIME-NN方法的宏观平均相对降幅为:NMAE降低10.26%,NRMSE降低22.09%。实验
利益冲突声明 作者声明不存在已知的可能影响本文所述工作的竞争财务利益或个人关系。
徐曙旺 | 杨辰业 | 侯雨飞 | 叶曦 | 庞志 | 王莉娜 | 余荣伟
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号