车辆通信中服务质量预测的随机森林方法：超参数调优的统计策略

《Engineering Applications of Artificial Intelligence》：Random forest for quality of service prediction in vehicular communication: A statistical approach to hyperparameter tuning

　　摘要：向第六代（6G）及车对一切（V2X）网络的发展需要精确的服务质量（QoS）标准，因此对于自动驾驶等应用而言，预测网络行为至关重要。尽管机器学习是一种有前景的解决方案，但其性能在很大程度上取决于超参数的调整，而这是一项复杂且计算成本高昂的任务。本研究提出了一种严谨的方法，用于利用在德国西柏林收集的柏林V2X数据集，调整随机森林在车辆通信场景中的下行链路吞吐量预测的超参数。该方法的核心是一种名为方差分析与Scott-Knott（ANOVASK）的新统计方法，它结合方差分析及Scott-Knott聚类算法，系统地对八组随机森林超参数进行排序。研究采用了两种不同的方差分析模型：单向和三向因子设计，以评估超参数值对人工智能模型性能的影响。结果表明，不同的超参数设置会导致预测精度出现显著差异。与传统方法相比，ANOVASK算法推荐的模型在平均绝对误差、均方根误差及决定系数方面分别优于随机搜索和网格搜索，差异均未超过2.2%、5.1%和0.8%。此外，所提出的方法还具有更高的计算效率，构建模型所需时间仅为14至16.4小时，而其他方法则需要24小时。总体而言，该方法为车辆网络中随机森林超参数的调整提供了一种可靠、准确且高效的解决方案。

引言：车辆、基础设施及道路使用者之间的通信方式，在学术文献中通常被称为车对一切（V2X）连接，它在推动自动驾驶和智能交通系统等安全应用方面发挥着关键作用。随着车辆复杂性、交通拥堵以及电动汽车的普及，提升道路安全与运输效率的智能交通系统已变得极为重要。尤其是，5G及更高版本网络的发展对延迟、安全性及连接可靠性提出了更高要求。基于这些网络的车辆连接面临着位置变化快、连接时间短等挑战，这往往需要一定的服务质量标准来确保最佳功能表现。为满足这些QoS要求，提前预测网络行为显得十分必要。正如Ye和Li在2018年、Tang等人在2020年、Tan等人在2022年以及Zhao等人在2019年、Külzer等人在2021a年的研究中所指出的，机器学习具有克服车辆通信与网络相关难题的巨大潜力。随机森林因其在高动态环境中的高准确性，已成为解决各类车辆通信问题的有力工具。在物理层建模中，随机森林能够为可见光通信提供精确的路径损耗预测，其性能远超随机模型。在6G框架下，它在预测交通拥堵和事故方面的准确率可达到96%。此外，随机森林还能通过抵御恶意攻击来增强网络完整性，同时在车辆互联网的信任管理系统中识别恶意行为，从而确保数据交换的可靠性与安全性。众所周知，标准的机器学习流程包括五个主要步骤：数据聚合、数据预处理、训练、测试以及提升模型性能。在使用机器学习时面临的其中一个挑战就是如何恰当地调整超参数。用户必须在学习过程开始前指定超参数，而机器学习模型的实际性能在很大程度上取决于这些参数。这使得超参数调整在诸多方面都极具挑战性。优化超参数意味着要在庞大的搜索空间中寻找最优参数组合，这将带来巨大的运行时间和计算成本。在这种情况下，超参数调整技术依赖于实验开展与结果分析。超参数的具体定义取决于所使用的数据集以及待分析问题的特点。尽管已有大量基于机器学习的解决方案被用于解决车辆通信问题，但国际文献中仍存在一个关键缺陷：缺乏一种在统计上严谨且具有可解释性的车辆环境中超参数优化框架。在本研究中，我们以吞吐量预测作为探索构建和应用机器学习算法典型工作流程的手段。我们的目标是提出一种严谨的方法，用于调整随机森林超参数，以实现车辆通信场景中的即时下行链路吞吐量预测，这种方法在无需从网络接收数据即可被动估算QoS参数的情况下尤为重要。鉴于现有文献中缺乏在高移动性场景下具有统计严谨性且可解释性的机器学习配置框架，我们所提出的方法旨在弥补随机试错式调整与V2X应用中对可验证模型选择需求之间的差距。该方法首先进行数据预处理、特征提取，并分析不同的数据分割策略，以便更好地定制模型。在这一初步阶段之后，再对模型的超参数进行调整，最后通过评估模型性能来完成整个过程。该超参数调整方法运用了实验设计统计学中的概念，如方差分析及Scott-Knott聚类算法。以下章节将简要介绍这些标准算法，为所提出的方法提供正式的数学基础并明确相关符号含义。本研究的创新之处并不在于单独使用方差分析或Scott-Knott聚类算法——这两种方法在文献中早已得到广泛应用——而在于将它们系统地整合到一个专为V2X环境设计的结构化超参数优化框架中。具体而言，所提出的方法结合了：（i）考虑车辆数据集中固有的空间和时间依赖性的领域感知型数据分割策略；（ii）基于实证性能差异的两阶段敏感性驱动型超参数搜索空间缩减方法；（iii）一种基于统计等效性的排序机制，可在随机变化条件下实现稳健的模型选择。这种整合为传统的随机超参数调整方法提供了一种既具有可解释性又具备较高计算效率的替代方案。本研究使用了开源的V2X-柏林数据集，该数据集包含了柏林多个城市环境中的高精度GPS定位无线测量数据，相关内容最近由Hernangómez等人于2023年发表。总之，我们的贡献包括以下几点：•一种利用随机森林超参数优化，用于车辆通信中下行链路吞吐量预测的强大且快速的机器学习方法；•一种新的可解释性统计方法，用于随机森林超参数调整，该方法借助方差分析及Scott-Knott聚类算法为超参数选择提供数学依据，并量化它们对模型性能的影响；•我们的研究结果基于专门开展的测量活动所得数据，这些数据有助于展现实际部署网络中的无线电环境特征，从而弥补了理论研究或仿真结果的局限性。本文共分为五个部分。第2节概述了预测服务质量及机器学习超参数调整领域的相关工作。第3节简要介绍了随机森林及其超参数的基本概念。第4节阐述了所提出的方法。第5节为结果部分，第6节为结论部分。

相关研究：近年来，机器学习在不同知识领域都受到了广泛关注。现有文献中出现了多种用于移动网络吞吐量预测的算法，这些算法主要可分为地理方法和时间序列方法两类。然而，目前尚未见到关于针对车辆通信中的QoS预测，提出基于统计方法的机器学习超参数推荐方案。下文将对相关研究进行概述。

随机森林：随机森林是一种集成学习方法，它通过结合多棵决策树的预测结果来生成单一输出，其性能往往优于单棵决策树模型。在决策树中，内部节点通过评估能够最大程度降低预测误差的特征阈值来进行数据分割。每次分割都会将数据分成若干分支，引导样本走向叶节点，在叶节点上根据目标值的平均值得出最终预测结果。随机森林构成了一个层次化的数据结构。

方法论：本文致力于开发一种强大的方法，用于优化用于车辆通信QoS预测的随机森林回归算法的超参数。在本节中，我们将介绍所提出的框架以及分析中采用的方法，如图2所示，同时会对每个步骤进行详细说明。

结果：本节展示了针对最大深度、最大样本数及最大叶节点数等超参数的调整结果，以及经过测试后的推荐模型结果。此外，还对比了随机搜索和网格搜索优化器的相关表现。

结论：本文提出了一种利用随机森林超参数优化，用于车辆通信中下行链路吞吐量预测的强大且快速的机器学习方法。本研究的主要贡献在于引入了ANOVASK框架，这是一种可解释的统计方法，它借助方差分析及Scott-Knott聚类算法为模型配置选择提供数学依据。与简单的点估计优化不同，方差分析模型建立了CRediT作者贡献等级体系。

作者贡献声明：Marcela S. Novo：撰写——初稿，指导。Luis A. Correia Filho：撰写——审阅与编辑，撰写——初稿，软件，方法论，研究，形式分析，概念设计。André L. Ottoni：撰写——审阅与编辑，撰写——初稿，方法论。Anton Sch?sser：撰写——审阅与编辑。Philipp Schulz：撰写——审阅与编辑。Gerhard Fettweis：撰写——审阅与编辑。

数据与代码获取：本研究使用的柏林V2X数据集是公开可用的资源。为确保所提方法的可重复性，作者承诺在本文最终发表后，会将ANOVASK框架的完整源代码——包括超参数调整实验及统计排序脚本——发布到永久存储库中，供公众获取。

伦理审批：本文未涉及任何由作者实施的人体或动物实验。

利益冲突声明：作者声明自己不存在任何可能影响本文所述工作的已知财务利益或个人关系。

致谢：作者衷心感谢各自所在机构对这项研究的支持与贡献。

Marcela S. Novo|Luis A. Correia Filho|André L. Ottoni|Anton Sch?sser|Philipp Schulz|Gerhard Fettweis
巴西巴伊亚州萨尔瓦多市，巴伊亚联邦大学电气与计算机工程系，邮编40210-630