《Machine Learning and Knowledge Extraction》：FL-SDMN: Federated Learning-Based Software-Defined Mobile Networking for Intelligent Handover Optimization
编辑推荐：
零膨胀时间序列（ZITS）相对于其标准分布而言含有过量零值，这给合成数据生成带来了显著挑战，因为需要同时保留时间依赖性、过量零结构以及重尾非零分布。当前的生成模型，包括变分自编码器（VAE）和生成对抗网络（GAN），缺乏处理零膨胀数据的机制，无法生成具有相似特
零膨胀时间序列（ZITS）相对于其标准分布而言含有过量零值，这给合成数据生成带来了显著挑战，因为需要同时保留时间依赖性、过量零结构以及重尾非零分布。当前的生成模型，包括变分自编码器（VAE）和生成对抗网络（GAN），缺乏处理零膨胀数据的机制，无法生成具有相似特征的数据。本工作提出两种架构，ZITS-GAN与ZITS-VAE，采用双头解码器分别对零值模式与非零值幅度进行建模。该架构使用空洞卷积；ZITS-VAE采用β加权证据下界（ELBO），ZITS-GAN采用带梯度惩罚的Wasserstein目标。研究人员在三个真实数据集上评估了所提模型：月度汽车零部件销售、M5零售销售以及家庭物联网设备运行时长，其零值比例分别为76%、59%和74%。与若干深度生成基线相比，所提模型更接近地复现了零值比例与自相关，而在其他分布度量上的结果因数据集和模型而异。
研究背景与问题：时间序列是由时间索引的观测序列，其结构包含时间依赖性、季节性与非平稳行为。合成时间序列生成在模型评估、基准测试以及因隐私或商业限制无法共享原始数据时的数据共享中日益受到关注。零膨胀是指时间序列相对于标准非零分布含有过量零值的现象，其典型表述为结构性零成分与常规计数成分的两成分过程，文献中区分零膨胀与Hurdle两种表述。从合成数据生成角度看，零膨胀时间序列（ZITS，亦称稀疏时间序列或间歇性时间序列）尤为困难，需同时复现复杂依赖（自相关、季节性）、过量零值与重尾非零分布，并尊重可能依赖数据相关因素的结构性零与条件性零生成机制。深度神经网络擅长捕捉软时间依赖，但在缺乏精细架构选择、损失设计或条件策略时难以表征ZITS中的稀有事件结构。处理ZITS的两种主流方法为零膨胀泊松（ZIP）回归模型与Hurdle模型，二者均将数据分离为零与非零成分，已应用于制造缺陷、道路事故频率、保险索赔与家庭暴力等领域。研究人员指出，现有深度生成模型因架构与目标设计而未加修改时难以适配零膨胀时间序列，并归纳出重建偏差、对抗不稳定性、缺乏显式点质量机制以及统计基线无时间依赖等主要失效情形，同时强调这些结果限于所报告的运行与设置，不应解读为模型族的普遍失效。
研究工作与结论：研究人员将零膨胀神经网络框架从静态数据适配到时间生成，并通过超参数搜索与消融研究评估可选的相邻非零共现惩罚；提出ZITS-VAE与ZITS-GAN，并与传统及现代深度神经网络方法进行比较评估；建立可复用的框架，包含VAE与GAN变体并可扩展至其他零膨胀时间序列应用。结论认为，双头设计的根本动机在于零膨胀分布是两个数据生成过程的混合，将其混同于单一输出头会导致某一过程在训练中占优；在评估数据集上，若干深度基线在所评估配置中仅生成零或仅生成非零值，而ZITS-GAN与ZITS-VAE是唯一避免两种失效模式的模型，零值比例差异在两个数据集上至多0.024；统计基线ZIP与Hurdle精确匹配零值比例但产生序列不相关样本；分布形状匹配仍是ZITS生成中最具挑战性的方面，尤其对重尾分布而言；所提方法模块化，可向多变量ZITS、显式重尾分布假设、条件机制、时间一致性损失推广、更多时段与领域评估以及差分隐私机制集成等方向扩展。其重要意义在于为零膨胀时间序列合成提供了显式分离零生成与幅度估计的可复用生成框架。
关键技术方法：采用显式双头解码器架构，门控头以二元交叉熵（BCE）对二值掩码监督，幅度头以均方误差（MSE）仅对非零项监督，生成时以门控与幅度组合输出；引入可选的时间一致性（TC）惩罚，匹配相邻时间步均为非零的联合概率乘积估计；使用膨胀率（1, 2, 4）的空洞卷积扩大感受野；VAE变体结合标准证据下界（ELBO）与零膨胀分解，采用β加权；GAN变体采用带梯度惩罚的Wasserstein GAN（WGAN-GP），判别器全卷积层使用谱归一化，并结合特征匹配损失；超参数通过随机搜索与Borda计数排序聚合选取。数据来源为公开的月度汽车零部件数据集、Kaggle M5预测数据集与家庭物联网设备运行时长数据集。
研究结果：在汽车零部件数据集上，ZITS-VAE复现真实零值比例（平均差异0.00），ZITS-GAN差异较大（0.34），非ZITS深度基线基本不生成零值（差异约0.76）；ZIP与Hurdle亦匹配零值比例，故该结果不足以确立相对零质量建模方法的优势；ZITS-VAE自相关平均绝对误差最低（0.02），而ZIP与Hurdle为0.06–0.07；其边际表现并非全面最优，ZIP与Hurdle的均值与标准差误差更小，TimeGAN的偏度与峰度误差更小。在M5数据集上，绝大多数先进深度生成模型不产生任何零值，ChronoGAN仅生成零值，TSGM-TimeVAE部分恢复稀疏性但过度校正；ZITS-GAN与ZITS-VAE零值比例差异仅为0.012与0.022，ZIP与Hurdle精确复现零值比例但无时间建模；ZITS-VAE自相关平均绝对误差最佳（0.046），ZITS-GAN次之（0.063），TimeGAN、TimeVAE与TransFusion误差显著更大；ZITS-VAE在深度模型中取得最佳均值差异（0.300）与标准差差异（1.296），ZITS-GAN在深度模型中峰度差异最低（277.47）；两个ZITS模型在第10、25、50百分位数上完美匹配，第75与90百分位数上ZITS-GAN差异为0.000与1.000，第99百分位数上ZITS-GAN（11.000）与ZITS-VAE（5.000）与Hurdle（4.641）具竞争力；两个ZITS模型MMD均为0.002，Wasserstein距离（ZITS-GAN 1.503、ZITS-VAE 1.545）优于其他所有深度模型但逊于Hurdle（0.728）；最佳KL散度为FIDE（0.010）与Hurdle（0.022），但FIDE不生成零值使其KL散度偏低具有误导性。在家庭物联网设备数据集上，失效模式更为显著，ChronoGAN、TimeVAE、TimeGAN与两个独立VAE变体不产生零值，TransFusion与TSGM-TimeVAE坍缩为仅生成零值；ZITS-GAN与ZITS-VAE是唯一避免两种失效模式的深度生成模型，零值比例差异为0.024与0.015；ZITS-VAE均值与标准差差异为617.524与795.339，偏度与峰度差异（0.313与1.926）为所有模型最佳；两个ZITS模型在第10、25、50百分位数完美匹配，第75及以上百分位数上ZITS-VAE与ZITS-GAN均显著优于其他深度模型，但在第75百分位数未及Hurdle（差异4.991）；ZITS-VAE自相关平均绝对误差0.080、ZITS-GAN 0.062，显著低于ChronoGAN（0.885）、TimeGAN（0.254）、TimeVAE（0.643）与TSGM-TimeGAN（0.877）；Hurdle的Wasserstein距离为1077.212、KL散度0.018，ZITS-VAE对应为1695.392与0.115；两个ZITS模型与两个统计基线DS均为0.000，LDS为ZITS-GAN 0.250、ZITS-VAE 0.060（Hurdle 0.318、ZIP 0.331），LPS两个ZITS模型约2377，ZIP为2699.660、Hurdle为2699.811。通过UMAP（均匀流形近似与投影）可视化，ZITS-GAN与ZITS-VAE的嵌入与真实数据大幅重叠，定性佐证其分布对齐；单个生成序列的目视检查确认两个模型生成具有合理长度零值连续段与非零突发段的真实间歇模式。
讨论与结论：研究人员讨论了超参数搜索摘要，指出M5与IoT上50个采样配置的平均零值比例误差分别为M5 ZITS-GAN 0.047、ZITS-VAE 0.018，IoT ZITS-GAN 0.036、ZITS-VAE 0.019，部分变体范围较宽，尤其M5 ZITS-GAN（0.000–0.218），表明低平均零值比例误差并非仅源于选取最优排序配置，ZITS模型的高性能源于设计而非调参。分布形状匹配仍是ZITS生成最具挑战的方面，尤其对M5零售序列这类重尾分布；ZITS模型在偏度与峰度上大幅优于竞争深度生成器，但未完全弥合与采用对数正态正成分的Hurdle等参数化方法之间的差距，后者在假定参数形式为真实边际分布合理近似时具有结构性优势。消融研究显示，门控头对复现稀疏性贡献最清晰，去除后平均零值比例差异由0.024升至0.592；去除幅度头亦损害值分布保真度；TC消融在M5指标上变化很小，未显示可测收益；以标准卷积替代空洞卷积结果大致相当，但均值差异与Wasserstein距离有所增加。运行长度分析表明，M5上ZITS-GAN的零与非零运行长度累积分布函数紧密贴合真实序列，ZITS-VAE捕捉广泛零运行分布但非零运行偏短；IoT上呈现相同总体对比，说明匹配边际零值比例本身并不能保证零与非零运行长度同样准确。结论部分译为：本工作应对合成零膨胀时间序列生成的挑战，该问题尽管在零售需求、物联网设备监测、保险索赔与医疗健康等领域具有实际重要性，却受到有限关注。研究提出ZITS-GAN与ZITS-VAE两种架构，通过显式双头解码器将零生成（门控头）与幅度估计（幅度头）分离，将零膨胀神经网络框架适配至时间生成场景。双头设计的根本动机在于零膨胀分布是两个数据生成过程的混合——结构性零机制与连续正值分布——将其混同于单一输出头必然导致某一过程在训练中占优。在评估数据集（汽车零部件75.9%零值、M5零售59.2%零值、家庭物联网74.1%零值）上，若干深度基线在所评估配置中仅生成零或仅生成非零值，但TSGM-TimeVAE在M5上生成混合（合成零值比例0.736对数据中0.592），ZIP与Hurdle亦匹配边际零值比例。所有基线均使用其官方实现与适配序列长度的推荐超参数设置运行。单头模型失效是因为零膨胀数据上的标准重建损失（MSE/BCE）被多数类主导，导致梯度坍缩至固定点。汽车零部件数据集的多轮运行分析表明，先进模型的失效不依赖随机性（如随机种子），而源于其设计；深度生成模型的较差结果不应被解读为这些先进模型在所有数据集上一致失效的证据。ZITS-GAN与ZITS-VAE保持零膨胀结构的能力优于缺乏显式ZITS处理机制的现有方法，是唯一避免两种失效模式的模型，两个数据集上零值比例差异至多0.024，而多数基线差异为0.259至0.741。统计基线ZIP与Hurdle精确匹配零值比例，但因逐时间步独立拟合而产生序列不相关样本。分布度量结果不一：Hurdle在IoT上Wasserstein距离与KL散度低于ZITS模型，而ZITS-VAE在IoT上标准差、偏度与峰度误差更低；没有单一模型在所有度量上最优。所提方法模块化，可向多变量ZITS扩展（加宽两个输出头，门控头建模联合稀疏模式以捕捉跨序列零聚集依赖）、在幅度头中引入显式重尾分布假设（如对数正态、Pareto或广义极值）、在编码器与解码器中集成条件机制（如类别标签、日历特征或协变量时间序列）以实现条件ZITS生成、将时间一致性损失推广以整合趋势与季节性等时间成分、高阶自相关滞后或门控与幅度过程间的互相关、评估更多时段与更广领域及多变量与条件生成设置，以及集成差分隐私机制以支持含敏感个人信息场景下的ZITS生成。
