编辑推荐：
本文针对网络研究中实验可重复性不足的问题，系统识别了导致结果变异的关键技术组件。研究人员通过分析5G测量、互联网测量、AI/ML网络实验和主观QoE研究四大典型用例，揭示了物理信号、软硬件平台、随机性、黑盒服务及人为因素等核心变异源。基于此，研究构建了一个可重复网络实验分类学，并提出了面向设计的实践指南，为实现更可重复的网络实验提供了系统性方案与路径。该工作对验证现有研究、推动网络科学进步具有重要意义。
想象一下，你在实验室里成功完成了一项精妙的网络性能实验，但当其他团队试图按照你的方法复现时，结果却大相径庭。这不是个例，而是网络研究领域长期面临的普遍困境——实验的可重复性危机。可重复性是科学研究的基石，它允许其他研究者验证实验结果，并在此基础上推动科学进步。然而，网络系统固有的复杂性——从物理层的无线信号干扰，到应用层黑盒服务的不可预测行为，再到人工智能模型中的随机性——使得实验结果充满变数，难以稳定复现。尽管已有Dagstuhl初学者指南等提供了通用最佳实践，但对于具体是网络协议栈中的哪些技术组件和方面实际阻碍了实验可重复性，此前缺乏系统性的识别与分析。为了解决这一问题，发表在《IEEE Access》上的这项研究，深入剖析了多个典型网络实验场景，旨在揭示导致结果变异的技术根源，并为设计可重复的实验提供清晰的路线图。
研究者采用了案例分析结合实验验证的方法。他们选取了四个具有代表性的网络研究用例进行分析，包括5G测量实验（系统原型设计）、互联网/本地测量（真实世界测量）、基于人工智能/机器学习(AI/ML)的网络实验（结合随机数和随机过程，类似于模拟）以及体验质量(QoE)实验（包含人类反馈）。对于每个用例，研究团队在可能的情况下进行了简单的对比实验，或重用了已有的研究工作，以识别导致结果变异的特定组件或方面。这种方法论使得研究能够从具体实践中提炼出普遍性问题。研究的关键技术路径在于通过对不同实验设置下网络关键绩效指标(KPI)的对比测量和统计分析（如计算均值与95%置信区间），直观地揭示变异的存在与程度。同时，研究构建了一个结构化的分类学，将影响可重复性的因素系统化，并在此基础上推导出面向实验设计的实用性指南。
一、 用例分析：揭示变异之源
5G实验中的可重复性挑战
研究分析了位于挪威科技大学(NTNU)和维尔茨堡大学(UWUE)的两个5G校园网络测试平台。尽管硬件配置相似，但在相同的gNodeB (gNB)实现（如SRS, OAI）和配置下，不同测试平台间的网络性能（如吞吐量）存在显著差异，其95%置信区间甚至无重叠，表明结果不可重复。变异主要源于物理环境：终端(UE)与gNB的距离导致信号衰减；物理屏障（如墙壁）会降低信号质量；测试平台间不可比的交叉流量或无线干扰；以及gNB与UE的相对位置（如在UWUE测试中，将gNB降至与UE同一水平可使上行链路速度提升约600%）。此外，被测设备(DUT)的实际负载（如后台应用）和外部环境条件（温度、湿度）也增加了变数。这些发现强调，在涉及物理信号（尤其是无线信号）的实验中，必须通过切换到直接链路、模拟信号或严格消除干扰等方式进行仔细控制。
本地/互联网测量中的复杂性
研究构建了一个本地测试平台，包含多种客户端设备（x86架构Linux PC、arm64架构MacBook）、交换机和服务器，进行了ping测量、文件下载和动态自适应流媒体(DASH)实验。研究有以下发现：
- 1.
研究问题的精确性至关重要：可重复性评估高度依赖于研究问题定义的容忍度。例如，若研究关注响应时间是否低于1毫秒（高容忍度），则ping测量可能是可重复的；若要求差异不超过0.05毫秒（低容忍度），则结果不可重复。
- 2.
虚拟化并非万能药：使用Docker等虚拟化技术并不能保证可重复性。由于与主机操作系统交互方式不同（Linux上原生运行，macOS上需Linux虚拟机），导致跨平台性能存在显著差异，例如在虚拟化环境中，MacBook的ping响应时间明显高于Linux设备。
- 3.
硬件与操作系统的深层影响：即使在非虚拟化环境中，应用层指标（如下载时长、视频分辨率）可重复，但网络层指标（如数据包大小、到达间隔）可能因CPU架构（x64 vs. arm64）和操作系统（Linux vs. macOS）的底层TCP设置差异而不可重复。
- 4.
更多变异源：包括设备自身负载（如控制节点延迟、被测设备后台应用）、虚拟化导致的资源争用、无线通信干扰，以及进行真实互联网测量时无法控制的端到端路径变化。特别需要注意的是，对在线黑盒服务（如采用自适应比特率(ABR)算法的视频流服务）的测量本质上是当前系统的“快照”，其内容、编码格式和A/B测试策略会随时间变化，通常无法跨时间比较和复现。
AI/ML网络实验中的随机性与透明度
基于人工智能(AI)/机器学习(ML)的实验本质上是软件化的，但其可重复性受两大因素制约：
- 1.
数据变异性：核心在于训练数据集的划分。不同的训练集、验证集和测试集划分会导致数据预处理（如标准化缩放）和模型训练（如批归一化(Batch Normalization)层的行为）产生差异，从而影响最终模型性能。因此，公开数据集划分或至少报告用于划分的随机种子至关重要。
- 2.
随机性：模型本身的随机性（如随机森林(Random Forest)的数据子采样、神经网络权重初始化）、训练过程随机性（如梯度下降的数据批次顺序）以及硬件随机性（如GPU并行计算中的浮点运算顺序）都会带来变异。不过，在设置随机种子并进行多次实验后，模型平均性能应与原始结果相似。强化学习(RL)中智能体的探索-利用权衡额外增加了随机性。
主观QoE研究中的技术与人为因素
在体验质量(QoE)众包研究中，可重复性面临双重挑战：
- 1.
技术视角：通过实时网络流量整形来产生刺激（如卡顿）的方式可能无法为每位参与者精确复制相同的视频刺激模式。此外，参与者终端设备的负载差异也会影响视频播放。
- 2.
人类视角：参与者的人口统计学特征、心理状态、技术技能等是无法控制且难以精确匹配的变量。这引发了可重复性与统计显著性之间的权衡：实验室研究控制力强、可重复性高，但参与者少、普遍性低；众包研究参与者多、普遍性高，但控制力弱、可重复性可能降低。遵循众包研究最佳实践（如背景监测）有助于提高可靠性。
二、 构建分类学与工作流程指南
基于以上分析，研究提出了一个可重复网络实验分类学，如图6所示，将影响因素归纳为网络、硬件、软件、实验工件和隐藏影响因素等几大方面，并列举了具体例子，为研究者系统审视实验设计提供了检查清单。
为增强可重复性，研究建议遵循以下步骤：首先，根据研究问题识别高变异性的组件；其次，尽可能通过抽象或替换来隔离或减少这些组件的变异性（例如，用射频信道仿真工具替代真实的物理无线链路）；最后，详尽记录所有设置并共享实验工件、数据和结果。
研究还勾勒了一个评估结果可重复性的通用工作流程（如图7所示）：研究团队B基于团队A的文档和工件复现测试平台，进行测量，应用相同的分析函数f（如计算均值、拟合模型）得到结果Y^，然后与团队A的原始结果X^进行比较。比较可以基于统计检验（如曼-惠特尼U检验）、距离度量（如Wasserstein距离）或预设的容忍度标准。如果结果在可接受范围内，则认为可重复；否则，需进行根源分析，并参考分类学调整测试平台配置，此过程可能涉及使用各类抽象化工具（如无线信道仿真器Spirent/Keysight、网络仿真工具Mininet、用户行为模拟工具Selenium/Appium等）。
三、 研究结论与意义
本研究系统性地识别了阻碍网络实验可重复性的关键技术组件，涵盖从物理层到应用层，从硬件到软件，从机器随机性到人为因素的多个维度。核心结论指出，可重复性并非绝对，其评估高度依赖于精确界定的研究问题与容忍度。为此，研究构建了一个结构化的分类学，并提出了旨在从设计源头增强可重复性的实践指南。
这项工作的重要意义在于，它将网络实验可重复性的讨论从一般性的最佳实践建议，推进到对具体技术障碍的深度剖析和系统性应对。所提出的分类学与指南为网络研究人员提供了一个实用的框架，帮助他们在设计实验时预判并规避潜在的变异源，从而产出更稳健、更可信、更经得起检验的研究成果。这不仅有助于验证现有研究结论，更能为后续研究奠定坚实可靠的基础，最终推动整个网络科学研究领域的健康发展。尽管由于网络系统的内在复杂性，控制所有变异源并不现实，但本研究指明的方向和提供的工具，无疑是迈向更高可重复性网络科学的重要一步。未来工作可专注于开发更结构化的框架来权衡可重复性与统计效力，并探索可重复性评估的具体量化指标。
