利用工作负载感知的列印记技术实现智能交通的可扩展实时边缘查询处理

《Big Data Research》：Scalable Real-Time Edge Query Processing for Smart Transportation using Workload-Aware Column Imprints

　　摘要
在大型边缘系统中，边缘设备的数量正在迅速增加，而这些设备在处理能力、内存和网络带宽方面都受到限制。因此，高效的资源利用和数据管理对于边缘查询处理非常重要。连接操作是计算和资源最密集的数据库操作之一，尤其是在需要扫描大量数据时。Column Imprint-Hash Join（CI-HJ）是一种先进的边缘查询处理方法，它通过数据感知的等高分箱来减少哈希连接过程中的不必要的缓存行访问。然而，其分箱策略没有考虑查询工作负载特性，因此当频繁访问的值范围与数据分布不一致时，可能无法提供最佳效果。本文提出了Workload-Aware Column Imprint-Hash Join（WACI-HJ），该方法将查询工作负载特性纳入列印记构建中，以改进基于工作负载的数据跳过机制。WACI-HJ还采用基于ARIMA的工作负载预测来预测查询访问模式，并在后续查询到达之前组织数据结构。该框架包括两个阶段：（1）WACI-HJ生成阶段，包括预处理、预测以及用于构建基于工作负载的分箱的块化和哈希化模块；（2）查询处理和资源利用阶段，使用当前可用的WACI-HJ结构处理传入的查询，并监控CPU、RAM和I/O的利用率。通过基准测试和真实世界智能交通数据集的评估显示，与CI-HJ相比，WACI-HJ将缓存行读取百分比（PCR）减少了54%，查询执行时间（QET）提高了10%。本文还在不同的数据规模和偏度水平下对所提出的方法进行了评估，以检验其可扩展性和鲁棒性。资源利用分析表明，CPU、RAM和I/O的利用率分别减少了1%、38%和49%。这些结果表明，基于工作负载的列印记组织可以减少不必要的数据访问，并在资源受限的边缘环境中提高低延迟查询处理能力。该方法特别适用于智能交通工作负载，包括交通分析、拥堵管理和与路线相关的查询处理，并可以扩展到其他需要高效查询处理的边缘计算应用。

引言
边缘计算（EC）在数据生成的源头附近进行计算。与云计算不同，EC将计算和数据存储更接近数据源[1][2]。边缘系统通常距离数据层只有几个跳数，这使得实时应用程序成为可能，减少了数据传输并支持快速决策。这种邻近性对于资源受限的环境和物联网（IoT）应用尤为重要，因为可以在相关信息传输到云端之前在本地处理数据。通过将计算靠近数据源，EC可以减少通信开销并支持低延迟的数据处理。

在物联网（IoT）的背景下，连接的设备不断生成大量非结构和半结构化数据。将所有生成的数据传输到云端会增加网络流量、带宽需求和处理延迟。EC提供了一个中间处理层，如图1所示，其中IoT设备生成的数据可以在相关信息传输到云端之前在其源头附近被处理。这种数据处理方法减少了不必要的数据传输并支持低延迟查询处理[3]。因此，EC使得数据可以直接在边缘设备或节点上存储、处理和分析，而无需将所有生成的数据传输到远程的云服务器。在数据源附近处理数据可以通过仅传输相关信息来减少查询响应延迟和网络带宽需求。这一能力对于需要及时分析和决策的应用程序尤为重要。通过减少不必要的数据移动并实现本地处理，EC还有助于提高资源利用效率和能源效率[3]。

随着基于边缘的应用程序的日益普及，边缘处处理的数据量和种类也在相应增长。EC被应用于多个领域，包括智能制造[4]、智能运输系统[5]、健康监测系统[6]、智能家居[7]、智能供应链管理[8][9]和智慧城市[10]，如图2所示。这些应用程序生成的数据需要及时处理和分析，而计算、内存和通信资源都受到限制。智能交通特别依赖于及时的数据处理，例如实时交通分析、拥堵管理和路由。在边缘本地处理这些数据可以减少对集中式云处理的依赖，并支持响应式的运输服务。因此，提高边缘处的查询处理效率和资源利用对于开发响应迅速且可持续的智能交通基础设施非常重要。

随着智能应用程序的不断发展，连接设备的数量和种类也在增加，导致数据量迅速增长[3]。从2020年的97.6亿台IoT设备预计到2030年将达到346亿台[11]，反映出其在各个行业的广泛采用。因此，2020年IoT数据量为44 ZB（ZB），预计到2030年将增加到246 ZB[13]。这种快速增长增加了对高效数据管理、存储和查询处理机制的需求，这些机制能够在边缘环境的处理能力、内存、带宽和能耗限制下运行。

边缘数据的快速增长给高效的数据传输、存储和查询处理带来了挑战，因为边缘设备的处理能力、内存和网络带宽都有限。随着数据量的增加，为每个查询处理完整的数据集可能导致不必要的数据访问和查询执行时间的增加。因此，需要有效的数据管理和查询处理策略来减少不必要的数据访问，同时保持高效的资源利用。还需要节能技术来改善内存使用并最小化网络数据传输[3]。连接操作在查询处理中尤为重要，因为它们需要访问和比较来自多个关系的数据，因此可能会产生大量的计算和内存开销。在资源受限的边缘环境中，减少连接处理过程中的不必要的数据访问对于提高查询性能至关重要。CI-HJ通过使用列印记（CIs）和等高分箱来加速哈希连接，从而减少不必要的数据扫描[14]。然而，其数据感知组织主要考虑数据分布，并没有明确结合预期的查询工作负载特性。因此，频繁访问的查询范围可能不会得到针对其工作负载特性的优化组织，可能会导致不必要的缓存行访问。

为了解决这一局限性，本文提出了WACI-HJ，它在构建列印记时考虑了工作负载信息[15]。WACI-HJ在确定数据范围和构建分箱时，不仅依赖于数据分布，还考虑了查询工作负载特性。该方法进一步结合了基于工作负载的预测来预测即将到来的查询需求。在WACI-HJ生成阶段使用预测的工作负载来根据预期的访问模式组织数据。这使得数据组织能够在查询执行前做好准备，并支持在查询处理过程中选择性地扫描相关缓存行。此外，还监控CPU、RAM和I/O的利用率，以评估所提方法在资源受限的边缘环境中的资源表现。

主要目标是：
- 加速哈希连接处理：通过使用基于工作负载的列印记（WACIs）减少不必要的缓存行访问来提高哈希连接性能。
- 实现主动数据组织：利用基于异步ARIMA的工作负载预测从历史查询模式中准备基于工作负载的列印记，无需在单个查询中增加预测开销。
- 评估性能和资源利用：使用查询执行时间、缓存行访问次数、CPU、RAM和I/O利用率来评估不同数据规模和偏度条件下的WACI-HJ性能。

本文的主要贡献包括：
- 基于工作负载的列印记-哈希连接（WACI-HJ）：一种将查询工作负载特性纳入列印记组织中的哈希连接方法，以减少不必要的数据和缓存行访问。
- 异步工作负载预测：一种基于ARIMA的预测机制，利用历史工作负载模式在查询执行前主动组织列印记，而无需在查询处理期间进行预测。
- 实验评估：使用基准测试和真实世界数据集在不同数据规模和偏度条件下评估WACI-HJ。
- 资源利用分析：监控CPU、RAM和I/O的利用率，以评估WACI-HJ在资源受限的边缘环境中的资源表现。

本文的其余部分组织如下：第2节总结了文献综述。第3节详细介绍了所提出的技术，第4节和第5节分别讨论了其实现细节和结果。第6节总结了本文并讨论了未来的研究方向。

文献综述
本节回顾了与数据库管理和查询处理、边缘环境中的数据管理和查询处理、哈希连接优化、边缘智能、工作负载预测、动态资源管理和节能查询处理相关的现有研究。由于WACI-HJ的目标是在资源受限的边缘环境中加速哈希连接处理，因此特别关注数据跳过、基于工作负载的数据组织和工作负载预测。

提出的技术：基于工作负载的列印记-哈希连接（WACI-HJ）
许多云环境中的数据库系统由于带宽有限和通信延迟高而面临可扩展性和可持续性挑战[28]。EC通过将计算和存储更接近数据源和用户来解决这些限制。边缘应用程序越来越支持实时查询处理，从简单的选择查询到复杂的操作，如连接查询，这些操作通常需要更高的计算和内存资源[29]。因此，高效...

实施细节
本节介绍了用于实现和评估WACI-HJ算法的硬件和软件配置、数据集和查询集、实验设置以及评估参数。描述了实现环境和实验配置，以评估边缘环境中的查询处理性能、可扩展性、对数据偏度的鲁棒性和资源利用。

结果与讨论
本节展示了索引技术的结果，如先进的CI-HJ[14]和所提出的WACI-HJ（包括和不包括工作负载预测的情况）。这些技术基于预定义的输入、输出和资源利用参数进行了评估。结果是基于基准测试TPC-H[71]、TPC-D[72]及其偏斜版本的TPC-H得出的。同时，还使用了一个属于智能交通领域的真实世界数据集MARTA[73]进行评估。

结论与未来工作
WACI-HJ技术解决了在资源受限的边缘环境中管理和处理数据的挑战。它通过采用基于工作负载的策略和预测性数据存储优化，在查询到达之前提高了算法性能。实验结果表明，与CI-HJ相比，WACI-HJ显著减少了PCR和QET。在真实世界的智能交通数据集上的评估验证了WACI-HJ的有效性。

未引用的引用
算法1、2和3。

CRediT作者贡献声明
Kalgi Gandhi：写作——审稿与编辑，编写——原始草稿，可视化，验证，软件，资源，方法论，资金获取，正式分析，数据整理，概念化。
Minal Bhise：写作——审稿与编辑，监督，项目管理。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。