利用MPI/OpenMP混合技术与传感器网络的异构大数据并行计算优化模型

《ACM Transactions on Sensor Networks》：Heterogeneous Big Data Parallel Computing Optimization Model using MPI/OpenMP Hybrid and Sensor Networks

针对异构大数据并行计算中未充分利用节点级并行性和通信带宽效率低的问题，提出基于MPI/OpenMP混合编程与传感器网络的优化模型，通过负载均衡和参数优化实现高效计算，通信带宽达510Mbps，计算量1.16GB，运行时间24秒，网络带宽利用率提升至93%。

　　

编辑部声明

关切声明：鉴于正在对《TOSN》关于绿色通信与智能城市中的传感器网络及机器智能的特刊中发表的所有论文的同行评审流程的完整性进行彻底调查，ACM正式发布了一份关切声明。ACM强烈建议在调查结束并就该同行评审流程的完整性作出最终决定之前，不要在学术文献中引用这些论文。

摘要

在现有的异构大数据并行计算模型中，未考虑节点之间的两级并行性，这导致了异构大数据并行计算效率低下、信息发送和接收的带宽使用效率不高、通信开销大以及模型运行时间过长等问题。本文提出了一种基于混合多点接口（MPI）/开放多处理（OpenMP）与传感器网络的异构大数据并行计算优化模型。首先分析了异构大数据架构的处理器特性，将需要处理的异构大数据任务进行划分并聚类，然后利用处理结果作为模型的输入数据。接着，建立了一种并行负载均衡机制来最优地分配异构大数据的并行计算任务；通过结合MPI和OpenMP的混合编程方式编写了并行计算优化程序；最后通过优化并行通信并确定模型参数实现了异构大数据的并行计算优化。实验结果表明，所提出的模型具有510Mbps的通信带宽、1.16GB的计算处理能力、24秒的模型运行时间以及93%的网络带宽利用率，能有效降低通信开销，提高传感器网络中信息发送和接收的并行计算效率，并缩短模型运行时间。