一种用于NoSQL数据库系统中机器学习模型与事务处理的集成平台

《Simulation Modelling Practice and Theory》：An Integrated Platform for Machine Learning Models and Transaction Processing in NoSQL Database Systems

　　

玛丽亚·特蕾莎·冈萨雷斯-阿帕里西奥|穆罕默德·尤纳斯|哈维尔·图亚

西班牙希洪奥维耶多大学计算机系

摘要

本文研究了NoSQL数据库中的机器学习模型与事务处理这一尚未被充分探索的领域。文章设计并实现了一个全新的集成平台，该平台利用机器学习技术处理事务，以预测NoSQL数据库的吞吐量、数据一致性以及数据不一致的风险。该平台构建了基于机器学习的处理流程，用于数据加工、特征提取、模型训练以及分析NoSQL数据库中事务的执行情况。通过模拟伦敦公交服务的实际应用场景，该平台生成并整理了相关数据集，提取出有用的特征，还运用斯皮尔曼等级相关分析法来判断各事务特征之间的关联度。此外，文章采用了两种常用的机器学习模型——K折交叉验证和K近邻算法，用于预测吞吐量、数据一致性及数据不一致风险。通过一系列实验对所提出的平台进行了评估，这些实验旨在检验机器学习模型的性能与准确性。研究结果为事务执行过程及NoSQL数据库的功能提供了有益的见解。提前了解吞吐量有助于判断NoSQL数据库在处理大数据时的能力，尤其是在出现故障或需要恢复时。同样，提前知晓数据不一致风险也能帮助避免数据库陷入不一致状态。

引言

在NoSQL数据库中，事务处理对于保持数据一致性、优化吞吐量及性能起着关键作用，它通过将读写查询作为原子操作组来执行，即便在系统出现故障时也能防止数据被错误更新。尽管现有研究已经提出了多种模型和方法，但针对事务在开始执行前的行为表现，尤其是数据库发生故障时的情况，相关研究仍不够深入。机器学习技术已被应用于网络流量异常检测、网络安全防护、SQL注入防范等诸多领域。然而，将机器学习技术应用于NoSQL数据库，尤其是事务处理方面，目前仍处于起步阶段。有研究者[1]指出，人工智能技术有望打造新一代更智能的数据库，而数据库也能为人工智能发展提供支持[2]，这类技术还有可能优化事务调度算法，提升冲突避免能力[3]。不过，目前尚未有研究将机器学习技术应用于NoSQL大型数据库的事务处理中。

本文旨在研究NoSQL数据库中的机器学习模型与事务处理机制，以便在事务开始执行前就预判其行为表现。为此，文章构建了一个集成平台，用于处理数据、提取特征、训练模型以及分析NoSQL数据库中事务的执行情况。首先，该平台为NoSQL数据库开发了一套新的事务处理系统，用于定义事务特征并生成相应的数据集。该系统以伦敦公交服务为案例，模拟真实场景并生成大量数据，这些数据来自传感器、公交车、网站等多种来源。该事务处理系统的目标是在系统出现故障时，依然能确保这些数据被一致地存储在NoSQL数据库中。

从数据集中提取出了相关的事务特征，随后运用斯皮尔曼等级相关分析法来判断这些特征之间的关联程度。在所提出的平台上，可应用多种机器学习模型，如K折交叉验证、K近邻算法、随机森林、梯度提升算法、神经网络等。不过，对比分析不同机器学习模型超出了本文的研究范围。虽然也可以使用其他机器学习模型，但为了便于研究和分析事务及NoSQL数据库的行为，本文选择了监督学习模型中的K折交叉验证和K近邻算法作为基础模型。K折交叉验证是一种广泛应用的机器学习模型，它将所有数据集同时用作训练数据和测试数据，从而有效降低过拟合的风险。K近邻算法则通过分析数据间的相似性来进行预测，它会判断新数据记录与已有数据记录之间的关联，并将数据记录归类到与其特征最匹配的组别中。这两种算法被用来预测事务的吞吐量、数据一致性以及数据不一致的风险。

为评估机器学习模型的预测能力和准确性，本文开展了系列实验，这些实验还考虑了NoSQL数据库故障对事务执行的影响。

本文的贡献体现在多个方面：

• •
  本文构建了一个全新的集成平台，利用机器学习模型预测和分析NoSQL数据库中的事务吞吐量、数据一致性以及数据不一致问题。
• •
  该平台采用统计方法，在事务开始执行前就能判断各特征之间的关联关系，这有助于NoSQL数据库的设计者制定更有效的事务处理策略及数据库设计方案，从而使数据库具备自我优化能力，能够从过往经验中学习，并自动适应事务执行环境的变化。
• •
  所提出的集成平台能够提前判断NoSQL数据库的容量与性能，进而优化事务吞吐量及数据一致性：
  ο 提前了解故障对事务吞吐量的影响，有助于设计者制定更完善的事务恢复策略。
  ο 提前识别数据不一致风险，能够防止数据库陷入不一致状态。
• •
  本文还设计了用于评估机器学习模型在预测任务中性能与准确性的基准测试，该基准测试对比了K折交叉验证和K近邻算法在预测效果及准确率方面的表现，同时也可扩展应用于随机森林、梯度提升等其他机器学习模型。

本文的其余结构如下：第2节回顾并分析了与NoSQL数据库事务处理相关的现有研究；第3节介绍了所提出的平台，并阐述了NoSQL数据库系统中事务处理的各个环节；第4节展示了该事务处理系统的应用场景；第5节介绍了所使用的机器学习模型、实验设置以及模型在性能和预测能力方面的分析结果；第6节则为本文进行总结与讨论。

章节要点

相关研究

事务处理在传统关系型数据库中已被广泛研究。本节首先回顾了与NoSQL数据库事务处理相关的现有研究，随后介绍了数据库领域的机器学习相关研究。

现有文献中提出了多种基于微服务架构的分布式事务处理方法[4]，在这种架构中，会通过软件代理来实现事务的协调工作。有研究者[5]

所提出的集成平台

所提出的集成平台由多个组件和阶段构成，包括事务处理、数据生成、特征提取以及机器学习模型的应用，这些功能共同用于预测和分析NoSQL数据库中的吞吐量及数据一致性问题。本节首先通过NoSQL数据库的通用架构及其数据存储和处理方式来介绍事务处理机制，随后会阐述事务协调协议的相关内容。

伦敦公交服务

我们将所开发的事务处理系统应用于伦敦公交服务的实际场景中。这类服务会使用iBus系统来追踪公交车的位置和到站时间，相关信息会通过站台上的倒计时牌、车载显示屏、网站或是手机应用等方式向公众展示。iBus技术能够实现公交车的实时定位，确保服务按时运行，同时还能提供到站时间和发车时间等实用信息。目前伦敦约有2,500块倒计时牌[21]，

用于事务处理的机器学习模型

前几节主要介绍了事务处理系统的开发及其应用场景，本节则介绍在该系统中不同阶段的机器学习模型设计及实现情况，这些内容在图7所示的机器学习处理流程图中有所体现。后续各小节将详细介绍该流程图中的每个组成部分。

第一阶段涉及数据集的整理以及特征提取或识别工作，第二阶段则侧重于运用统计方法来分析

实验结果与分析

本节介绍了为评估K折交叉验证和K近邻算法而开展的一系列实验，这些实验旨在证明这两种算法在预测NoSQL数据库在不同状态（故障恢复模式）下对事务吞吐量、键值对数量以及数据不一致风险的影响方面的有效性。在第一组实验中，我们评估了这两种算法在预测吞吐量方面的性能，而在第二组和第三组实验中则

结论与讨论

本文研究了将监督式机器学习模型应用于NoSQL数据库事务处理中的可行性。据我们所知，这是首次将机器学习模型用于预测NoSQL数据库在发生故障时的事务吞吐量、数据一致性以及数据不一致风险。我们设计并实现了一个集成平台，该平台包含了事务处理、数据生成、特征提取等多个功能模块

致谢

我们要感谢西班牙奥维耶多大学、英国牛津布鲁克斯大学，以及西班牙科学、创新与大学部在2023-2026年度提供的资金支持（项目编号：PID2022-137646OB-C32）。