编辑推荐：
在网络流量分析领域，现有数据集多在实验室环境收集，存在真实性不足的问题。研究人员开展 “真实网络环境流量分析数据集” 的研究，创建了能有效识别加密与非加密流量的开放数据库，为网络管理等提供支持。
如今，互联网已经深度融入人们的生活和生产，成为不可或缺的基础设施。随着云网络的融合、网络规模的扩大以及各类网络应用的不断涌现，运营商城市网络流量每年以 15% 的速度增长。在这样的背景下，理解云网络流量中的关键信息和流量模式变得至关重要，这不仅有助于提升运营价值、增强数据转化能力，实现云网络的自动化和智能化运营，还能提高整体客户满意度。
然而，当前网络流量分析面临着诸多挑战。一方面，各种网络攻击活动日益猖獗，如拒绝服务攻击、计算机蠕虫和勒索软件等，给网络安全带来了巨大风险。另一方面，现有的网络流量数据集大多是在实验室环境中整理收集的，在网络规模、用户、行为以及时空特征等方面存在真实性不足的问题。这些数据集往往是为特定的应用场景而设计，覆盖范围有限，而且通常是静态的，缺乏实时更新，难以反映真实网络环境中用户的实际行为和多样化的服务应用。
为了解决这些问题，电子科技大学、中国电信四川分公司等机构的研究人员开展了一项关于真实网络环境流量分析数据集的研究。他们提出了一种原位网络部署和数据收集方案，通过在真实网络接入设备上部署传感器，收集了大量包括加密和非加密流量的真实互联网流量数据。经过脱敏、清洗、特征工程和标注等一系列处理，创建了一个开放数据库，供交通分析领域的研究人员用于学术和工程研究。这项研究成果发表在《Scientific Data》上，为网络流量分析领域带来了新的突破。
研究人员在开展研究时，运用了多种关键技术方法。在数据采集方面，从边缘设备（如光网络单元 ONU）和接入设备（如宽带远程接入服务器 BRAS）进行流量数据收集。在数据处理阶段，利用插件系统对采集到的数据进行清洗、格式转换等操作，并提取如五元组、统计特征等关键特征。同时，采用深度包检测（DPI）和深度流检测（DFI）相结合的技术对网络流量进行标注和识别 。
下面来看看具体的研究结果：
- 数据集生成：构建了包含从接入设备和边缘设备采集流量数据的框架。接入设备的 BRAS 作为关键节点，实现光信号处理和多种网络功能；边缘设备的 ONU 通过插件基于端口复制采集原始流量 。采集的数据经过清洗、格式转换生成 PCAP 和 CSV 文件，存储在云服务器，用于训练 AI 模型，形成闭环优化机制。
- 数据采集细节：从边缘设备采集数据时，ONU 插件根据端口复制采集原始流量，考虑资源消耗，选择每个流的前 8 个数据包进行统计特征提取。通过感知插件捕获数据包、分析协议，将符合规则的数据流生成日志。接入设备则通过部署软件包，配置参数采集多用户宽带网络应用流量，利用 DNS 域名解析和有效载荷字节序列两种方法进行流量应用协议匹配识别。
- 数据处理与特征提取：采集的数据经插件平台或板卡系统处理，生成 PCAP 和 CSV 文件并上传至云存储服务器。数据处理过程中提取了三类特征，即维度特征（用户 - 服务器 IP、端口号、协议等五元组特征）、统计特征（用于 DFI 技术识别边信道信息）和标签特征（应用类别和特定子应用标签） 。此外，还详细介绍了服务应用分类标签的设定以及从原始 PCAP 文件提取 54 个特征的具体步骤。
- 数据记录：研究生成的数据集包含四个文件，BRAS 和 ONU 的原始流量数据分别存储在 BRAS - datasets.rar 和 ONU - datasets.rar 中，对应的特征文件为 Bras_features.csv 和 Onu_features.csv。数据集涵盖流量数据源、应用范围、文件格式、采集环境、数据量、采集周期、选定特征和特征提取后的样本数量等多方面信息。
- 技术验证：将提取的数据集与 ISCXVPN2016 进行对比，在数据质量方面，两者涵盖相似应用类别，文件大小和会话数相似；数据完整性上，研究数据集的 TCP 流完整性更高，UDP 包丢失率更低；通过对部分用户的访谈调查，验证了数据的真实性。综合表明研究数据集质量高、完整性强、真实性好，适用于相关研究。
研究人员通过一系列的研究工作，成功创建了一个具有高真实性、高质量和高完整性的网络流量数据集。这个数据集能够有效识别和分类加密与非加密流量，为网络运营商制定精准的营销策略、提供定制化的主动服务提供了有力支持，有助于提升用户满意度。同时，该研究成果也为网络流量分析领域的学术研究和工程应用提供了宝贵的数据资源和技术参考，推动了网络管理向更加智能化、高效化的方向发展，对保障网络安全、优化网络性能具有重要的现实意义。
