《Data》：A Data-Centric Network Traffic Dataset for Anomaly Detection: Construction, Reproducible Pipeline, and Technical Validation
编辑推荐：
机器学习（Machine Learning, ML）和深度学习（Deep Learning, DL）方法在网络异常检测中的有效性强烈依赖于用于训练和评估的数据集的质量和代表性。尽管近期取得了进展，许多公开可用的基准数据集仍依赖于合成流量、过时的攻击场景或对加密
机器学习（Machine Learning, ML）和深度学习（Deep Learning, DL）方法在网络异常检测中的有效性强烈依赖于用于训练和评估的数据集的质量和代表性。尽管近期取得了进展，许多公开可用的基准数据集仍依赖于合成流量、过时的攻击场景或对加密通信的有限表示。本研究提出了一个源自运营防火墙日志的网络流量数据集，该日志收集于以HTTPS/TLS流量为主的异构机构环境。研究人员实施了一个结构化数据中心管道，包括预处理、行为特征工程、通过EFMS–KMeans算法的无监督伪标签生成、使用SMOTE（Synthetic Minority Over-sampling Technique）的类别平衡，以及为深度学习分析生成面向模型的序列表示。所得数据集包含大规模流级记录，描述体积、行为和时间流量特征，同时通过匿名化程序保护隐私。研究人员使用统计分析、基于熵的测量、聚类质量指标和降维技术进行了技术验证，确认了数据一致性、结构多样性和类别可分离性。该数据集通过Mendeley Data存储库公开提供，同时附有元数据和文档，支持异常检测研究、加密流量分析以及机器学习与深度学习方法在现实网络安全环境中的评估。
**论文解读：面向异常检测的数据中心网络流量数据集——构建、可复现管道与技术验证**
**研究背景与问题**
当前基于机器学习（Machine Learning, ML）和深度学习（Deep Learning, DL）的网络异常检测系统高度依赖训练数据集的质量与代表性。然而，现有公开基准数据集普遍存在以下问题：流量生成依赖合成模拟、攻击场景陈旧、加密通信表征不足，且缺乏对真实运营环境异构性的刻画。这些缺陷导致模型在实际部署中泛化能力受限，评估结果过于乐观。此外，加密流量（如HTTPS/TLS）的普及使得传统的载荷检测方法失效，亟需从流级元数据中提取行为特征的数据集。为此，研究人员开展了本研究，旨在构建一个源自真实运营防火墙日志、具备完整可复现管道的数据集，并公开共享以推动异常检测研究的可重复性。
**研究内容与结论**
研究人员从一所学术机构部署的FortiGate防火墙收集了2025年2月至8月期间的三个独立批次的前向流量日志，总计951,560条双向流记录。基于这些真实运营数据，研究人员设计并实现了一个完整的数据中心管道，包括预处理、行为特征工程、基于EFMS–KMeans的无监督伪标签生成、SMOTE（Synthetic Minority Over-sampling Technique）类别平衡、以及面向深度学习的序列滑动窗口表示。通过统计分析、熵测量、Fisher得分、主成分分析（PCA）和均匀流形近似与投影（UMAP）等技术验证，确认数据集具有统计一致性、结构多样性和类别可分离性。该数据集已公开发布于Mendeley Data存储库，并附有完整元数据和文档，支持可复现的异常检测基准测试。
**主要关键技术方法**
研究人员使用了以下关键技术方法：预处理（数据清洗、模式统一、类别编码、数值归一化、匿名化）；行为特征工程（从流级元数据中提取体积指标、流行为比率、时间变量、风险与信誉指标、服务与应用属性，包括衍生变量如总字节数`bytes_total`、流量速率`norm_rate`、包不对称性`pkt_ratio`）；无监督伪标签生成（通过EFMS–KMeans算法，基于欧氏距离与簇内95百分位阈值将流量标记为正常或异常）；类别平衡（仅对训练子集使用SMOTE生成合成少数类样本）；序列表示生成（从确定顺序的表格数据中构造固定长度重叠滑动窗口，用于CNN–GRU训练）。样本数据来源为单一学术机构运营环境，防火墙型号为FortiGate 2500E。
**研究结果**
**2. 数据集生成管道**：研究人员完整描述了从原始流量采集到最终数据集生成的可复现工作流，强调数据质量、可追溯性和透明度。预处理保留了所有951,560条记录，无重复删除；行为特征工程引入了体积、比率、时间等衍生变量；EFMS–KMeans算法通过灵敏度分析选择P95阈值，生成包含903,982条正常流和47,578条异常流的伪标签数据集（`D
l`），异常比例为5.00%。随后，研究人员从`D
l`中去除辅助变量`distance_to_centroid`，保留29个行为特征，生成面向CNN–GRU的表格表示（含554,647条记录，正常63.75%，异常36.25%），并对训练子集应用SMOTE实现类别平衡。最后，通过滑动窗口（窗口长度w）生成序列训练表示（`D
s`），用于深度学习实验。
**3. 数据记录**：原始流量日志来自三个独立采集批次，分别于2025年2月、3月和8月采集，共951,560条记录。加密流量比例（以端口443为代理）在批次间存在差异：2月批次中51.80%的流使用端口443，占流量的80.88%；3月和8月批次中端口443流比例分别为58.58%和56.39%，但字节比例仅18.57%和25.80%，体现了运营网络中的流量动态性。数据存储库按层次组织，包括`raw_logs`、`processed`、`ml_ready`等目录，并提供特征字典（`feature_dictionary.csv`）和元数据文件。最终数据集包含29个变量，涵盖流标识符、体积与持续时间、衍生行为特征、时间变量和二元伪标签。
**4. 技术验证**：研究人员从多个维度验证数据集质量。统计稳定性分析显示特征空间呈正偏态和重尾分布，无方差塌陷。Shannon熵分析确认了信息多样性，定量质量指标（如无缺失值、无常量特征、重复行为轮廓仅占2.16%）支持结构一致性。Fisher得分分析表明，`dstport`、`dstreputation_cat`、包和字节相关统计量具有最高判别能力，所有13个行为特征均贡献了非零判别信息。PCA显示前两个主成分解释29.89%方差，需12个成分达到80%方差，表明多维结构。UMAP嵌入的Trustworthiness指标在k=5时达0.9956，优于PCA，且局部邻域保持良好。聚类有效性指标（轮廓系数0.193，Davies–Bouldin指数2.23）反映了运营流量中正常与异常模式的自然重叠，而非完全分离。整体验证确认数据集保留了真实流量特性，适用于异常检测方法研究。
**讨论与结论**
**讨论部分**：研究人员指出，数据集支持多种研究场景，包括异常检测、流量特征分析、聚类验证、特征选择评估、监督分类和序列深度学习。建议研究者明确报告所使用的数据集版本及任何预处理修改，以促进可复现性。局限性包括：数据集源自单一学术机构运营环境，其标签为行为伪标签而非专家验证的攻击标注，因此应被解释为基准资源而非真实攻击标注；SMOTE平衡后的数据集不应用于自然分布估计；匿名化限制了拓扑分析。伦理方面，所有记录已匿名化，仅用于学术研究。
**研究结论部分**：本研究展示了一个源自真实运营FortiGate防火墙日志的数据中心网络流量数据集的构建、技术验证与公开发布，该环境以加密HTTPS/TLS通信为主。所发布的资源由一个完全文档化且可复现的管道支持，包括预处理、行为特征工程、EFMS–KMeans行为伪标签生成、类别平衡以及面向模型的序列表示，从而实现了多个异常检测场景下的可复现研究。统计、结构和几何验证结果表明，该数据集保留了有意义的行为多样性、内部一致性和判别性特征表示。基于熵、Fisher得分、PCA、UMAP和聚类质量指标的互补分析共同支持了已发布行为伪标签的可靠性，以及该数据集作为加密流量分析方法学研究中可复现基准的适用性。尽管该数据集反映了一个单一运营学术环境的特征，且其标签对应行为伪标签而非专家验证的攻击，但这些设计选择与数据中心的网络安全目标一致，其中透明的数据生成、可复现性和方法学可追溯性构成了主要科学贡献。总体而言，该数据集为在现实加密流量条件下进行异常检测研究提供了一个可复用的基准，促进了可复现实验、比较评估和未来的方法学发展。未来工作将通过更多运营环境和互补的伪标签及验证策略来扩展数据集，以进一步提高其代表性和长期科学价值。
