在“双碳”数字智能监控中心中,考虑吞吐量和延迟的并行数据流共享优化方法

《Results in Engineering》:Optimization method for parallel sharing of data streams in "double-carbon" digital intelligence monitoring center considering throughput and delay

【字体: 大 中 小 】 时间:2026年05月06日 来源:Results in Engineering 7.9

编辑推荐:

  姜波·沙 | 马瑞 | 康文妮 | 朱东格 | 刘佳 国家电网宁夏电力有限公司技术研究院,中国宁夏银川市750002 **摘要** 针对“双碳”数字智能监控中心中数据流并行共享存在吞吐量不足和延迟过高的问题,本文提出了一种平衡吞吐量和延迟的并行共享优化方法。首先,建

  姜波·沙 | 马瑞 | 康文妮 | 朱东格 | 刘佳
国家电网宁夏电力有限公司技术研究院,中国宁夏银川市750002

**摘要**
针对“双碳”数字智能监控中心中数据流并行共享存在吞吐量不足和延迟过高的问题,本文提出了一种平衡吞吐量和延迟的并行共享优化方法。首先,建立了一个以最大化吞吐量为目标的目标函数,并在链路带宽容量和负载平衡的约束下求解最优吞吐量优化策略。其次,为量化数据流传输延迟与网络状态之间的动态关系,引入了高维状态空间的概念,并将链路利用率、缓冲区占用率和信道质量等时变参数构建为状态向量。基于此,推导出传输延迟编码函数。在此基础上,建立第二个目标函数以最小化网络延迟,并通过权重系数将其与吞吐量目标函数融合,构建了一个同时考虑吞吐量和延迟的多目标联合优化模型,实现了数据流传输性能的全面优化。此外,将数据流分为三个层次:数据采集与预处理层、数据存储与管理层以及数据分析与决策支持层。构建了一种数据流访问共享架构,以实现“双碳”数字智能监控中心中的数据流并行共享优化。实验结果表明,该方法在不同周期内具有最大吞吐量,并能有效减少数据流并行共享的延迟,具有良好的共享优化效果。

**1. 引言**
在全球气候变化以及资源和环境约束日益严峻的背景下,实现二氧化碳排放峰值和碳中和已成为国际关注的焦点[1]。为了有效推进“双碳”战略,构建高效准确的数字智能监控系统尤为重要。然而,随着“双碳”监控数据量的激增,如何确保数据流的并行共享不仅满足高吞吐量的需求,还能有效控制延迟,已成为一个紧迫的技术挑战[2]。这些数据流具有以下显著特征:首先,数据量庞大且增长迅速,来源于整个过程和所有因素的持续监控;其次,数据结构多样化,包括传感器定时数据、业务系统结构化数据和文本报告;第三,需要高实时处理能力。从碳排放监控、预警到决策支持,都要求极低的端到端延迟。

实现“双碳”目标依赖于对整个碳排放过程的精准监测和科学管理[[3],[4]]。随着物联网、大数据、云计算等技术的快速发展[5],构建数字智能监控中心已成为提高碳排放管理效率的关键方式。数字智能监控中心可以通过整合各种传感器、数据采集终端和智能分析系统,实现对碳排放数据的实时采集、处理和分析,为政府决策提供科学依据,并为企业减排提供指导服务。然而,在面对海量高频碳排放数据时,传统的数据处理和共享模式常常面临吞吐量不足和时间延迟较高的问题,这严重限制了“双碳”监控的效率和效果。

近年来,随着数字经济的蓬勃发展,作为核心计算基础设施的数据中心因其能耗和碳排放问题而受到国际关注。2022年全球数据中心用电量预计约为460太瓦时,到2026年预计将增至650-1050太瓦时,占全球总用电量的1.8%-4.5%。在中国,受“东算西算”战略推动,数据中心机架规模迅速扩张,2022年用电量达到270太瓦时,预计到2030年将超过400太瓦时。这一趋势使得数据中心不仅成为“双碳”战略的工具,也成为需要精细管理的碳控制对象。

为应对上述挑战,国内外学者近年来从计算机协作、不确定性处理和碳流追踪等方面进行了深入研究。在计算与电子之间的协作优化领域,研究提出了考虑时空响应特性的分布式鲁棒优化调度模型,通过探索不同地理区域之间计算任务的转移潜力,有效平滑了净负荷曲线并提升了可再生能源消费能力。在不确定性处理方面,结合Copula函数和Wasserstein生成对抗网络的场景生成方法,以及基于扩散模型的辐照度温度联合场景泛化方法,已成功用于表征光伏输出和计算任务的双重不确定性。在碳足迹核算方面,逐步建立了基于生命周期的数据中心碳足迹评估标准,并利用碳流追踪理论在节点和小时级别实现动态碳排放强度的表征。然而,现有研究在“双碳”数字智能监控中心这一特定场景下仍存在明显不足。首先,大多数优化模型侧重于电力系统的经济调度,缺乏对监控中心内数据流采集、存储和分析整个链条动态特性的充分描述;其次,作为相互制约的核心性能指标,吞吐量和延迟在现有工作中通常分别优化,缺乏联合建模和自适应平衡机制。因此,在现有计算机协作调度研究的基础上,本文进一步聚焦于“双碳”监控中心内数据流的并行共享优化,通过构建吞吐量延迟多目标联合优化模型,填补了从计算能力调度到数据流调度、从电力经济到实时监控业务的技术空白[5]。

**参考文献**
[6]提出了一种适用于云计算中RC4数据加密的并行共享优化方法。该方法同时处理由RC4算法加密的四个并行数据流,并利用RC4算法的并行实现进行数据的加密和解密。通过同时使用四个管道,该方法提高了云计算环境中的数据加密和解密以及传输效率。这四个管道接收数据,并用密钥进行加密,然后将这些流合并成一个密码。这些管道显著提升了跨云通信的速度,大幅解决了延迟问题。从节点设备发送到云服务器的数据被分割成四个相等的流,然后分别使用RC4进行加密。经过合并后,再使用RC4算法解密数据。根据数据加密和解密的开始和结束时间标准对样本数据集进行评估,结果表明,由于采用了并行技术,该方法平均可将整个处理过程的速度提高3.7%,并显著缩短处理时间。由于RC4算法容易被破解,未来的研究还将包括增强该算法的安全性。
[7]提出了一种针对物联网服务提供商的量子后区块链数据流并行共享的优化方法。该系统通过专用区块链促进了多个组织之间的数据共享,同时满足合规和监管要求。采用三个区块链网络实现所提出的架构和信息流,选择NTRU作为抗量子安全算法。实验结果表明,当抗量子安全算法的安全级别降低时,并行计算具有积极效果,交易时间节省了近50%。
[8]提出了一种基于Hoeffding自适应树的动态数据流并行共享优化方法,结合连续数据块派生的J48决策树进行集成。通过并行使用新输入记录窗口的松弛时间,构建了决策树集成。在四个基准数据集和四种具有不同概念漂移类型的合成数据集上的实验取得了最高的预测准确性,且更高的准确性并未增加额外的计算负担。
[9]提出了对多流卷积神经网络中并行流信息分离的分析方法。在研究中,我们在所有卷积层构建了具有并行架构的卷积神经网络,以检查并行流中的信息分离情况。尽管卷积滤波器的权重最初设置为随机值,但在训练后,大多数模型实例中颜色信息与形状信息得到了分离。删除颜色相关流会降低生物图像的识别准确性,而删除形状相关流则会降低生物和非生物图像的识别准确性。结果表明,在神经网络的并行流中,滤波器的属性和流的功能会自发分离。
[10]提出了一种基于生命周期评估的数据中心碳足迹分析方法,通过整合现场监测数据、设备环境产品声明数据库和行业平均数据,构建了多源库存数据集。采用过程生命周期评估(PLCA)和混合LCA模型处理上游复杂供应链的排放问题。该方法重点关注IT设备、供电和配电系统、冷却系统等关键单元的能耗和材料,设置了不同的地理区域、负载率和能效技术场景进行比较分析。对典型云计算数据中心案例的分析表明,其在运行阶段的碳排放占总生命周期的75%-85%,基础设施和设备制造阶段的碳排放占15%-25%,其中IT硬件(如服务器)生产过程中的隐含碳占很大比例。该方法得到的全生命周期碳足迹高出18%-30%。

尽管上述研究在特定领域(如加密、区块链、流分类)推进了并行处理技术,但在解决“双碳”监控中心这一独特背景下的综合吞吐量-延迟优化问题上仍有不足。主要差距有三方面:首先,它们通常优化单一性能指标(如速度)或单一架构层次,缺乏对端到端数据流从采集、存储到分析层面的整体视图;其次,它们的延迟模型往往过于简化或静态,无法适应大规模监控中心的高维和动态网络状态;第三,它们没有提供系统框架来明确在资源共享约束下最大化吞吐量和最小化延迟之间的权衡。为弥合这些差距,本文提出了一种具有分层解耦设计、状态空间感知延迟建模和协调优化策略的新方法。

上述研究在并行计算、区块链或特定算法层面优化了数据流处理性能。然而,在“双碳”监控中心的特定场景下,数据流具有多层流动和性能目标相互制约的显著特点。现有方法大多关注单层或单目标优化,缺乏能够综合考虑端到端数据流路径并进行多层性能耦合关系协作建模和解耦的针对性方案。在“双碳”数字智能监控中心的数据流并行共享过程中,主要的技术挑战是如何确保高吞吐量,即系统能够高效处理和传输大量的碳排放数据以满足实时需求,以及如何控制时间延迟,以使从数据收集到分析再到决策应用的全过程尽可能短,从而提高响应速度。这两个方面是相互关联的,并且共同构成了数据流并行共享优化的核心问题。在数据流并行共享优化中,吞吐量和延迟是两个相互制约的关键性能指标。通常,提高吞吐量意味着增加并行处理和数据传输的规模,这可能会引入额外的排队和处理延迟;而过度优化延迟则可能限制并发连接或批量数据处理,从而降低整体吞吐量。因此,在保证低延迟的前提下如何最大化吞吐量已成为一个多目标优化问题。本文建立了一个联合优化模型,在带宽容量和负载均衡的约束下,考虑吞吐量的最大化以及网络延迟的最小化,并通过权重系数协调两者之间的权衡,以实现“双碳”数字智能监控中心中数据流的高效并行共享。

为了实现这一目标,本文提出了一种考虑吞吐量和时间延迟的“双碳”数字智能监控中心数据流并行共享优化方法。该方法对于推动“双碳”战略的实施以及提高“双碳”数字智能监控中心的运营效率和决策支持能力具有重要技术保障作用。

在“双碳”数字智能监控中心的数据流并行共享过程中,吞吐量和延迟是两个核心的优化目标。两者之间存在固有的权衡:提高吞吐量通常需要增加并发处理能力,这可能会引入调度和传输延迟;为了减少延迟,则需要优化路径选择和处理优先级,但这可能会限制并发规模。为了优化这两个指标,本文构建了一个层次化优化框架:首先,以最大化吞吐量为目标,在带宽和负载均衡的约束下解决最优流量分配策略;在此基础上,通过匹配函数和编码机制进一步优化传输路径和时序,最终形成一个兼顾高吞吐量和低延迟的并行共享策略。

2.1 “双碳”数字智能监控中心数据流吞吐量优化
2.1.1 优化目标函数的构建
“双碳”数字智能监控中心数据流吞吐量优化的主要目的是最大化吞吐量,通常定义为“双碳”数字智能监控中心网络在单位时间内成功传输的数据量[10]。在数据流并行共享优化问题中,吞吐量最大化可以实现“双碳”数字智能监控中心的最佳网络流畅性,因此本次建立的函数以吞吐量最大化为目标[11],优化目标函数如下:
$$F = \max_{\lambda} \sum_{i=1}^{N} A_{i}$$
其中,$\lambda$表示“双碳”数字智能监控中心网络中的链接数量;$A_{i}$表示第$i$个链接的吞吐量。

为了适应网络条件变化下的吞吐量和延迟之间的权衡,我们引入了一个动态权重系数$\lambda(t)$,该系数根据实时网络负载和延迟敏感性随时间演变:
$$\lambda(t) = \frac{1}{1 + e^{-\alpha(D_{avg}(t) - D_{th})}$$
其中,$D_{avg}(t)$表示时间$t$的平均网络延迟,$D_{th}$是延迟阈值,$\alpha$是敏感性参数。这种设计允许模型在网络拥堵时优先考虑延迟减少,从而增强响应性和适应性。

2.1.2 吞吐量提升机制分析
为了进一步解释吞吐量提升的机制,本文分析了动态带宽分配和并行处理结构。首先,在带宽约束(公式(3))和负载均衡约束(公式(4)下,优化模型通过动态分配每个链接的流量,避免了传统静态分配中的“热点链接”现象。当某个链接接近其带宽限制时,模型会将部分流量重新分配到空闲链接,以提高整体网络资源利用率。其次,本文提出的并行共享结构在数据收集、存储和分析的三层之间引入了异步缓冲接口和专用资源池。这种设计减少了底层等待上层完成处理的时间,实现了真正的管道并行性。具体来说,在数据采集层,多个传感器数据流可以并行预处理并存储在缓冲区中,而无需等待存储层完全写入;在存储层,数据并行写入分布式数据库,并通过索引优化提高查询吞吐量;在分析层,多个分析任务可以同时从存储层读取数据,避免了I/O竞争。此外,目标函数(公式(1)中引入的动态权重系数$\lambda(t)$可以根据实时网络状态调整优化方向,当网络拥堵时自动降低对吞吐量的追求,优先确保低延迟,从而整体实现吞吐量和延迟的协同优化。

2.1.3 约束条件设置
为了使数据流并行共享的优化策略符合“双碳”数字智能监控中心的网络运行规律和实际需求,设置了相应的约束。每个链接都有一个固定的带宽限制,即可以传输的最大数据量。在优化过程中,需要确保链接的流量不超过其带宽容量,以避免拥堵和数据丢失[12],具体表达如下:
$$F \leq B_{j}$$
其中,$B_{j}$表示第$j$个链接的带宽。为了避免某些链接过载而其他链接闲置的情况,优化模型需要考虑网络的负载均衡[[13],[14]]。通常意味着需要平衡每个链接的流量分配,以确保“双碳”数字智能监控中心网络的稳定运行。负载均衡通常涉及多个链接之间的流量分配,简单的方法是确保每个链接的流量不超过其带宽容量的某个比例,其约束公式表示为:
$$B_{j} \leq \alpha \times C_{j} \times F$$
其中,$\alpha$表示比例限制;$C_{j}$表示第$j$个链接的带宽容量。

2.1.4 目标函数求解
建立的目标函数随后进行求解和计算,具体求解过程如下:
步骤1:假设模型中目标函数的可能解集为$S$,根据解集随机生成初始种群,每个个体代表一个可能的解。
步骤2:根据个体的适应度,选择适应度较高的个体作为后续交叉和变异操作的父节点个体。通过交叉操作,并结合父节点的信息生成新的子节点,表示为:
$$\eta = \chi[\beta_{1} \times \mu + \beta_{2} \times (1 - \mu)]^{J} \times B_{j}$$
其中,$\chi$表示交叉率;$\beta_{1}$和$\beta_{2}$是从可能解集$J$中选择的两个父节点个体;$\mu$表示0到1之间的随机数。对子代个体进行变异操作,引入新基因以提高种群的多样性。
步骤3:以一定概率接受较差的解,以避免过早收敛到局部最优解,并进一步改进种群中的个体,表示为:
$$G = \exp(D \times E_{Z} \times C \times v)$$
其中,$G$表示操作后的个体;$D$表示常数;$E_{Z}$表示通过子节点个体的变异操作生成的新父节点个体;$C$表示操作温度;$v$表示操作过程中的速度。
步骤4:根据预设的停止条件(如最大迭代次数、解的质量等)判断是否满足停止条件。
步骤5:返回当前种群中适应度最高的个体作为最优解。

为了提高收敛速度和解决方案质量,我们采用了一种混合智能优化策略,将遗传算法(GA)与模拟退火(SA)和基于梯度的局部搜索相结合。具体来说:
- GA通过交叉和变异提供全局探索;
- SA通过概率冷却计划接受次优解,以逃离局部最优解;
- 基于梯度的局部搜索利用吞吐量和延迟函数的敏感性分析来精细化有希望的解。

2.2 考虑吞吐量和延迟的数据流并行共享优化
仅仅考虑静态排队延迟对于动态网络的监控中心来说是不够的。我们建议将数据传输延迟建模为网络高维运行状态的函数,其中包括链路利用率、缓冲区占用率和信道质量等时变参数。为了建立数据流特性与底层网络资源之间的关系,我们引入了功率-编码匹配函数。该函数将数据传输过程概念化为网络路径上功率分配(代表资源投资)和编码方案(代表效率)的联合优化。函数表示为:
$$P_{d} = T \times t \times G_{\gamma}$$
其中,$T$表示数据传输的时间间隔序列[15];$t$表示用户时间参数;$\gamma$表示功率和资源匹配参数。数据传输延迟在高维状态空间中计算,从而推导出传输延迟编码函数。本文中的高维状态空间具体指的是由实时网络运行参数形成的多维向量空间,这是一个系统动力学概念,而不是机器学习特征空间,用于模拟数据流传输下的网络性能的时间和空间变化。

通过建立另一个以最小网络延迟为目标的功能,全面优化数据流的传输性能,从而减少延迟。在高维状态空间$S = \{s_{1}, s_{2}, \ldots, s_{N}\}$中,其中每个$s_{i}$表示一个状态变量,数据传输延迟$T_{t}$表示为这些变量的函数:
$$T_{t} = W \times P_{d}$$
其中,$W$表示数据帧的长度。假设单次数据传输的时间间隔为$T_{i}$,接收信号为$H$,则传输延迟编码函数表示为:
$$M = P_{i} + \epsilon \times T_{i}$$
其中,$P_{i}$表示多通道中第$i$个通道的特征序列长度;$\epsilon$表示电磁波在信道上的传播速率[16]。在实际应用中,还需要考虑时间延迟性能指标,这与吞吐量一起构成了多目标优化问题。因此,目标函数以“双碳”数字智能监控中心的最短网络延迟为目标建立:
$$S = \min_{o} \sum_{j=1}^{N} M_{o} \times \kappa \times t_{j}$$
其中,$S$表示“双碳”数字智能监控中心网络链接延迟的最短目标函数;$\kappa$表示权重系数;$t_{j}$表示第$j$个链接的平均延迟。

目标函数(1)和(10)分别代表了两个核心性能目标:吞吐量最大化和延迟最小化。为了同时优化这两个目标,我们引入了一种加权求和方法,将复合多目标函数表示为:
$$F = \lambda \cdot T_{\text{total}} + (1 - \lambda) \cdot (1 - D_{\text{total})$$
其中,$T_{\text{total}} = \sum_{i=1}^{N} T_{i}$表示公式(1)中定义的总吞吐量;$D_{\text{total}} = \sum_{i=1}^{N} D_{i}$表示公式(10)中定义的总延迟;$\lambda$($0 \leq \lambda \leq 1$)是一个权重系数,用于平衡吞吐量和延迟之间的相对重要性。通过调整$\lambda$,优化模型可以优先考虑吞吐量($\lambda \rightarrow 1$)或延迟($\lambda \rightarrow 0$),或者寻求一个平衡的折中方案($\lambda = 0.5$)。这种配方使得系统能够在给定约束条件下生成同时满足两个性能指标的帕累托最优解。通过上述计算得出的最优解是“双碳”数字智能监控中心数据流吞吐量的最佳策略,根据这一策略优化了吞吐量,从而实现了“双碳”数字智能监控中心数据流吞吐量的最佳优化。

3. 实现“双碳”数字智能监控中心数据流的并行共享优化
3.1. 数据流访问共享结构的构建
为了实现联合优化模型并缓解单体架构中固有的性能耦合问题,我们提出了一个适用于动态数据流处理的新三层结构。该结构将数据流明确划分为:数据采集与预处理层、数据存储与管理层以及数据分析与决策支持层。与传统的数据处理流程不同,每一层都通过滑动窗口、流缓冲和增量计算等机制来处理数据流的核心特性——如实时到达、动态速度和连续演化。该结构的关键创新在于引入了异步、缓冲接口和层间的专用资源池,这使得第2节中的优化模型能够半独立地应用于每一层,并保留数据流的时间性和顺序性。随后构建了“双碳”智能监控中心的数据流访问共享结构,将数据流分为三个层次:数据采集与预处理层、数据存储与管理层和数据分析与决策支持层,以便更好地优化吞吐量和延迟。“双碳”智能监控中心的数据流访问共享结构图如图1所示:
(1)数据采集与预处理层
该层负责从物联网传感器、智能电表和工业监控系统等异构来源持续、实时地获取碳排放数据流。为了适应数据流的高速度和动态特性,该层采用滑动窗口机制进行初步聚合和在线异常检测,以实时过滤噪声和异常值。候选共享数据数据库不断更新,以反映最新的数据段,确保下游层接收到新鲜且相关的数据段以便进一步处理。
在并行共享优化过程中,建立了一个候选共享数据的信息数据库,其表达式为:
(12)Dcd(t) = ∑i=1n(t)[Ki(t)·Fi(t)] + ε(t)
在公式(12)中,t是时间变量;n(t)是随时间变化的候选数据项数量;Ki(t)是时间t第i个关键词的权重;Fi(t)是时间t第i个目标数据字段的值;ε(t)是随时间t变化的数据采集噪声。
对收集到的原始数据进行清洗、过滤和转换,去除噪声和异常值,确保数据的准确性和可用性。同时,对数据进行初步分类和排序,为后续分析和计算奠定基础。

(2)数据存储与管理层
该层旨在处理流式数据的状态持久性,同时支持并发查询的低延迟访问。我们采用时间分片存储方案和流索引技术,以便高效检索最近的数据窗口。系统还结合了自适应保留策略,以平衡历史深度和实时可访问性,确保存储层能够跟上数据流的流入速度,同时保持数据的一致性和安全性。在初始化身份系统的过程中,在系统中设置安全参数并生成相应的关键公式。此时,系统的公共参数可以表示为:
(13)PP(t) = (g(t), g!, e→(t), N(t), h1(t), h2(t), AC)
在公式(13)中,g(t)是随时间变化的系统生成器;e→(t)是随时间变化的双线性映射特征向量;N(t)是随时间变化的总生成器数量;h1(t), h2(t)是随时间变化的哈希函数共享多项式组件;AC是授权中心的数量。
有效管理和组织存储的数据,包括数据索引、查询优化、数据压缩等,以提高数据访问速度和存储效率。

(3)数据分析与决策支持层
该层对流式数据进行连续、增量的分析,以支持实时决策。我们使用在线学习模型和流算法,这些模型在新数据到达时更新其状态。这使得能够及时检测到排放趋势、异常警报和预测性洞察,数据延迟低,直接支持动态碳减排策略和运营调整。
master key通过授权中心建立,其公式为:
(14)MK(t) = ∑j=1m(t)[IDj(t)·Rj(t)·PKj(t)] + η(t)
在公式(14)中,m(t)是随时间变化的私有身份数量;IDj(t)是时间t第j个私有身份的值;Rj(t)是时间t第j个随机多项式组分的值;PKj(t)是时间t第j个身份私钥的值;η(t)是增强动态安全性的随机干扰项。
通过优化每一层的技术和流程,数据流可以高效、准确和安全地共享和利用,为实现二氧化碳排放峰值和碳中和提供有力支持。
计算后,得到了如图2所示的数据流访问共享结构示意图。
(1)数据采集与预处理层
该层负责从物联网传感器、智能电表和工业监控系统等异构来源持续、实时地获取碳排放数据流。为了适应数据流的高速度和动态特性,该层采用滑动窗口机制进行初步聚合和在线异常检测,以实时过滤噪声和异常值。候选共享数据数据库不断更新,以反映最新的数据段,确保下游层接收到新鲜且相关的数据段以便进一步处理。
(2)数据存储与管理层
(3)数据分析与决策支持层
该层对流式数据进行连续、增量的分析,以支持实时决策。我们使用在线学习模型和流算法,这些模型在新数据到达时更新其状态。这使得能够及时检测到排放趋势、异常警报和预测性洞察,数据延迟低,直接支持动态碳减排策略和运营调整。
master key通过授权中心建立,其公式为:
(14)MK(t) = ∑j=1m(t)[IDj(t)·Rj(t)·PKj(t)] + η(t)
在公式(14)中,m(t)是随时间变化的私有身份数量;IDj(t)是时间t第j个私有身份的值;Rj(t)是时间t第j个随机多项式组分的值;PKj(t)是时间t第j个身份私钥的值;η(t)是增强动态安全性的随机干扰项。
通过优化每一层的技术和流程,数据流可以高效、准确和安全地共享和利用,为实现二氧化碳排放峰值和碳中和提供有力支持。

计算后,得到了如图2所示的数据流访问共享结构示意图。
(2)数据存储与管理层
该层旨在处理流式数据的状态持久性,同时支持并发查询的低延迟访问。我们采用时间分片存储方案和流索引技术,以便高效检索最近的数据窗口。系统还结合了自适应保留策略,以平衡历史深度和实时可访问性,确保存储层能够跟上数据流的流入速度,同时保持数据的一致性和安全性。
(3)数据分析与决策支持层
该层对流式数据进行连续、增量的分析,以支持实时决策。我们使用在线学习模型和流算法,这些模型在新数据到达时更新其状态。这使得能够及时检测到排放趋势、异常警报和预测性洞察,数据延迟低,直接支持动态碳减排策略和运营调整。

在“双碳”数字智能监控中心的数据流并行共享优化中,为了确保数据的优化,进行了安全的多方操作。计算每个节点的中心,以确保数据的一致性和处理类似的异构数据。其公式为:
(15)S(t) = 1/n(t) ∑i=1n(t)[α(t)·O→i(t)·Ti(t)]
在公式(15)中,n(t)是随时间变化的共享本体数据总数;α(t)是随时间变化的相似性因子;O→i(t)是时间t第i个本体属性向量的值;Ti(t)是时间t第i个共享数据项的时间加权因子。
以该公式的计算结果为标准并排除相似数据后,从中确定的节点中心为:
(16)τ = 1/θ1θ2 × s(t)
在公式(16)中,θ1表示属性值的共识节点权重;θ2表示属性值的存储节点权重,这两个权重的计算公式分别为:
(17)θ1 = log(1 + m2/m1) × τ
(18)θ2 = (m1 + m2)2 × τ
在公式(17)和(18)中,m1和m2分别表示所有节点的数量和本地节点的数量;m表示节点。当所有节点数据都被编码后,k维向量被封装,所有数据包传输到目标节点,从而得到数据加密共享矩阵,其表达式为:
(19)[x1x2?xd] = [c11 c12…c1k c21 c22…c2k??? cd1 cd2…cdk] [b1b2?bk]
图2所示的数据流并行共享优化模型是根据数据加密共享矩阵设计的。
根据数据加密共享矩阵,设计了如图3所示的数据流并行共享优化模型。该模型实现了多节点并行接收、实时编码、动态数据包形成和并发传输的完整链路优化机制,确保数据共享过程始终保持高吞吐量和低延迟。

基于数据流并行共享优化结构图,共享数据被分解为d组,所有这些数据被发送到要共享的节点。编码后,要共享的节点可以获得“双碳”数字智能监控中心数据流的并行共享优化结果,用y个数据包表示,可以表示为:
(20)? = Kk(x1x2?xy)θ1θ2
在公式(20)中,Kk表示k维向量;x1x2?xy表示y组数据包。根据公式(20),完成了“双碳”数字智能监控中心的数据流并行共享优化。

4. 实验分析
4.1. 实验准备
为了验证“双碳”数字智能监控中心数据流并行共享优化方法在吞吐量和延迟方面的有效性,进行了实验分析。配置了实验平台,并基于Windows 10操作系统设置了两个数据共享中心UNSD和UNLSD。对于UNSSD数据共享中心,采用PyCharm作为开发平台,结合pymysql进行数据库操作,并使用密码学作为核心架构以确保数据的安全性和加密。UNLSD数据共享中心使用PyCharm结合word2vec技术进行文本分析,并依赖于二级图数据库作为底层框架来优化数据的相关性和可视化展示。
实验数据来自中国钢铁企业的温室气体排放会计方法和报告指南(用于试点实施)、2011年省级温室气体清单编制指南以及2006年IPCC国家温室气体清单指南。在开发过程中,数据提交模块选择PyCharm作为开发工具,并引入TKIntergraphic接口框架以改善用户体验。对于数据存储模块的建设,使用IntelliJ IDEA作为开发环境,以确保数据的安全存储和访问控制。数据访问模块采用Remix IDE,并与InterPlanetary文件系统框架合作,实现分布式访问和高效的数据检索。为了准确监控“双碳”数字智能中心的数据流吞吐量,平台集成了高性能处理器和智能采集协议。这些智能合约可以实时捕获和分析实验中心的数据流,确保实验结果的实时记录和准确分析,并有效减少数据遗漏和错误。
为了提高实验与实际情况的契合度,本文选择了一个“双碳”数字智能监控中心的数据作为实验对象,并根据数据共享关系设置了10个数据库,分别命名为数据库1、数据库2……和数据库10。实验数据系统如图4所示。
从图4可以看出,本实验中选择的实验数据类型满足实验的数据差异要求。上述数据集被统一命名,并构建了一个标准数据属性库以获取数据表名称信息。
为了反映“双碳”监控中心数据流的动态特性,本实验引入了基于静态基准数据集的动态数据流模拟机制。具体包括:
时间变化数据分布模拟:通过调整数据生成率来模拟监控中心在不同时间段(如高峰/低谷)的数据流变化;
突发流量注入:在实验过程中随机插入高流量包,以模拟异常监控事件引起的流量突然增加;
概念漂移模拟:使用复合数据集生成器生成具有概念漂移特性的数据流,以验证方法在数据分布变化时的鲁棒性。
这些动态特性模拟更接近实际监控场景,有助于全面评估所提出方法在真实动态数据流环境中的性能。

4.2. 环境设置和参数配置
实验平台连接到“双碳”数字智能监控中心的网络,以获取共享优化信息的测试资源,并通过控制工具创建测试网络环境,统一配置网络环境中的数据参数。其中包括一个资源控制服务器、一个网络交换机和三个数据统计服务器;实验测试环境的结构如图5所示。
实验平台连接到“双碳”数字智能监控中心的网络,以获取共享优化信息的测试资源,并通过控制工具创建测试网络环境,统一配置网络环境中的数据参数。其中包括一个资源控制服务器、一个网络交换机和三个数据统计服务器;实验测试环境的结构如图5所示。实验测试环境的结构图。在上述模拟环境中,配置了实验参数,如表1所示。表1. 实验参数的配置。序号 参数 数据 1 接收能耗 50nJ/比特 2 传输能耗 50nJ/比特 3 数据包容量 0.5J 4 数据整合能耗 4000比特 5 循环迭代最大次数 5×10^-9J 6 循环轮次最大数量 6000轮 7 数据传输距离 100米 8 传输频率 2.4GHz 9 节点间通信半径 50米 10 数据融合效率 50% 11 节点部署区域大小 10000平方米 12 网络中节点总数 100个基于上述实验准备、环境和参数,进行实验。在多目标优化模型中,权重系数λ设置为0.5,以同等优先考虑吞吐量和延迟,除非另有说明。这种配置允许系统在两个目标之间寻求平衡的折中,反映了“双碳”数字智能监控中心的典型运营要求。为了模拟动态数据流环境,实验中还设置了以下动态参数:(1) 数据生成率的变化范围:50 Mbps ~ 200 Mbps(模拟时变流);(2) 突发性流持续时间:在1s ~5s之间随机分布;(3) 概念漂移的发生间隔:数据分布变化每1000个周期随机触发一次。这些动态参数与静态参数结合,构建了一个更接近真实“双碳”监控场景的动态实验环境。4.3. 吞吐量结果分析当“双碳”数字智能监控中心的数据流处于数据采集和预处理层时,使用公式(1)分别计算了本文方法、参考[6]方法和参考[7]方法的数据流并行共享优化吞吐量数据,比较实验结果如表2所示。表2. 数据采集和预处理层的吞吐量数据比较结果。循环轮次/轮数 吞吐量/比特 空单元 本文方法 参考[6]方法 参考[7]方法 1000 10.63×10^4 1.25×10^4 3.37×10^4 2000 11.56×10^4 3.46×10^4 4.25×10^4 3000 12.44×10^4 4.16×10^4 6.26×10^4 4000 13.86×10^4 6.29×10^4 8.27×10^4 5000 14.48×10^4 6.34×10^4 9.51×10^4 6000 15.31×10^4 7.57×10^4 9.61×10^4 根据表2中的实验数据,随着循环次数的增加,所有方法的吞吐量都有所提高,但提高的速度和幅度不同。本文方法的吞吐量显著高于参考[6]方法和参考[7]方法在每个循环次数上的吞吐量。当循环次数超过4000时,本文方法的吞吐量优势更加明显。可以得出结论,本文方法能够显著提高数据处理吞吐量,表明其在处理大量数据时具有更高的效率和性能。随着循环次数的增加,本文方法的吞吐量稳步提升,没有明显的性能瓶颈或下降趋势,这表明该方法在处理大规模数据流时具有良好的稳定性和可靠性。与参考方法相比,本文方法在吞吐量上显示出明显的优势,这对需要高效处理大量数据的“双碳”数字智能监控中心具有重要意义。当“双碳”数字智能监控中心的数据流处于数据存储和管理层时,使用公式(1)分别计算了本文方法、参考[6]方法和参考[7]方法的数据流并行共享优化吞吐量数据,比较实验结果如表3所示。表3. 数据存储和管理层的吞吐量数据比较实验结果。循环轮次/轮数 吞吐量/比特 空单元 本文方法 参考[6]方法 参考[7]方法 1000 10.12×10^4 2.36×10^4 2.59×10^4 2000 10.34×10^4 3.46×10^4 3.68×10^4 3000 10.64×10^4 4.24×10^4 4.48×10^4 4000 10.79×10^4 5.36×10^4 5.52×10^4 5000 10.98×10^4 5.45×10^4 6.57×10^4 6000 10.89×10^4 6.15×10^4 根据表3中的实验数据,随着循环次数的增加,所有方法的吞吐量都有所提高,但增长率相对较小,不同方法之间存在差异。本文方法的吞吐量显著高于参考[6]方法和参考[7]方法在每个循环次数上的吞吐量。与数据采集和预处理层相比,数据存储和管理层的吞吐量增长更为平缓。由此可以得出结论,本文方法在数据存储和管理层也具有相同的高水平吞吐量,表明本文方法在数据存储和管理方面具有明显优势。与数据采集和预处理层类似,本文方法在数据存储和管理层也表现出良好的稳定性,吞吐量稳定增长,没有明显的性能波动。当“双碳”数字智能监控中心的数据流处于数据分析和支持决策层时,使用公式(1)计算了本文方法、参考[6]方法和参考[7]方法的数据流并行共享优化吞吐量数据,比较实验结果如表4所示。表4. 数据分析和决策层的吞吐量数据比较结果。循环轮次/轮数 吞吐量/比特 空单元 本文方法 参考[6]方法 参考[7]方法 1000 11.81×10^4 2.34×10^4 2.74×10^4 2000 12.46×10^4 3.56×10^4 3.46×10^4 3000 13.72×10^4 4.46×10^4 4.78×10^4 4000 14.82×10^4 5.54×10^4 4.80×10^4 5000 15.94×10^4 5.59×10^4 4.92×10^4 根据表4中的实验数据,随着循环次数的增加,所有方法的吞吐量都有显著提高,但本文方法的改进幅度最明显。在每个循环次数上,本文方法的吞吐量显著高于参考[6]和[7]方法。当循环次数较高时,这一优势尤为明显,证明了该方法在数据进行处理和分析方面的强大性能。由此可以得出结论,本文方法在数据分析和决策支持层显示出非常高的吞吐量,表明该方法在处理复杂的数据分析和决策支持任务时具有显著的效率优势。随着循环次数的增加,本文方法的吞吐量持续稳定增长,没有明显的下降趋势,表明该方法在处理大规模数据集时具有良好的稳定性和可扩展性。总而言之,本文方法在数据采集和预处理层的效率和优越性为“双碳”数字智能监控中心的数据流并行共享优化提供了有力支持。该方法在数据存储和管理方面也高效稳定,并指出了这一层面的优化空间,对“双碳”数字智能监控中心的数据流并行共享优化具有重要的指导意义。本文方法在数据分析和决策支持层的效率、稳定性和可扩展性为“双碳”数字智能监控中心提供了强有力的技术支持。同时,它还揭示了现有方法在该领域的局限性,并指出了未来研究和改进的方向。4.4. 实验结果分析本研究测试了“双碳”数字智能监控中心数据流并行共享优化的效果,并验证了客户端用户使用该方法时是否会出现延迟。为了完成测试,将设计的实验数据系统部署在测试网站上,并通过浏览器连接的客户端在局域网和本地网络调制解调器背后的不同服务器上测试共享目标数据所需的时间,以测量客户端的感知延迟。为了更清楚地了解数据流并行共享优化的应用效果,使用本文方法、参考[6]方法和参考[7]方法进行了延迟测试,结果如表5所示。表5. 客户端感知延迟的测试结果。方法 客户端延迟时间/毫秒 本文方法 云服务器 90 Dietbory服务器 85 文件服务器 93 CMS服务器 89 参考[6]方法 云服务器 140 Dietbory服务器 160 文件服务器 178 CMS服务器 795 参考[7]方法 云服务器 221 Dietbory服务器 210 文件服务器 238 CMS服务器 206 根据表5中的实验数据,本文方法的延迟时间显著低于参考[6]和参考[7]方法在各种类型服务器上的延迟时间,并且不同类型服务器上的延迟相对稳定,波动范围较小(从85ms到93ms)。参考[6]方法和参考[7]方法在时间延迟上存在显著差异,总体延迟时间较长。特别是参考[6]方法在CMS服务器上的延迟极高,为795ms,远高于其他服务器和方法。因此,本文方法在数据流并行共享优化方面取得了显著成果,有效降低了客户端的感知延迟,改善了用户体验,为“双碳”数字智能监控中心的数据流并行共享优化提供了有力支持。4.5. 算法比较和消融研究为了验证所提出混合求解器的可靠性和效率,我们进行了收敛性和最优性差距评估。收敛性分析:我们跟踪了优化过程中Pareto前沿在几代中的演变。图5显示了所提出混合方法与标准遗传算法(GA)和粒子群优化(PSO)在200次迭代中的超体积指标收敛曲线。结果表明,我们的方法在120次迭代内就达到了最大超体积的95%,显示出更快更稳定的收敛性。最优性差距界限:在链路容量有界和Lipschitz连续延迟函数的假设下,我们推导出最优性差距的上限为:(21)Δ≤CT+η。在公式(21)中,C是问题依赖的常数,T是迭代次数,η代表网络状态估计中的随机噪声。在我们的实验中,6000轮后观察到的最优性差距保持在2.5%以下,证实了求解器接近全局最优解的能力。复杂性证明:混合求解器的时间复杂性主要由NSGA-II中的非支配排序步骤决定,每代的复杂度为O(M·N^2),其中M是目标数量,N是种群大小。通过自适应种群大小和提前终止,总体复杂性对于实时部署在监控中心是可行的。为了验证所提出混合求解器的有效性,我们将其与三种基线优化器进行比较:标准遗传算法(GA)、粒子群优化(PSO)和模拟退火(SA)。此外,还进行了消融研究以评估我们框架中每个组件的贡献。表6总结的结果表明,我们的混合方法实现了最高的吞吐量和最低的延迟,而消融研究确认了优化流程中每个模块的必要性。表6. 优化算法的性能比较。算法 吞吐量(×10^4比特)延迟(毫秒)收敛迭代次数 提出的混合方法 15.31 89 120 标准GA 12.45 112 200 PSO 11.88 105 180 SA 10.67 98 250 4.6. 数据流并行共享优化的时间延迟验证为了验证本文方法下数据流并行共享的效果,本文比较了参考[6]方法、参考[7]方法和本文方法下的数据流并行共享优化延迟。结果如图6所示。下载:下载高分辨率图像(167KB)下载:下载全尺寸图像图6. 数据流并行共享的优化延迟。根据图6的分析,当循环次数为1000时,参考[6]方法的数据流并行共享优化延迟为64ms,参考[7]方法的数据流并行共享优化延迟为76ms,本文方法的数据流并行共享优化延迟为2ms;当循环次数为8000时,参考[6]方法的数据流并行共享优化延迟为251ms,参考[7]方法的数据流并行共享优化延迟为152ms,本文方法的数据流并行共享优化延迟为18ms;上述结果表明,本文方法的数据流并行共享优化延迟远低于其他方法,验证了该方法的有效性。4.7. 节点数量扩展实验在实验环境中,逐步增加网络节点数量,从100个节点扩展到500个节点,保持其他参数不变,测试该方法在不同节点规模下的吞吐量和延迟性能。结果表明,随着节点数量的增加,吞吐量保持稳定,延迟略有增加,但仍处于较低水平,表明所提出的方法具有良好的水平扩展能力。5. 讨论5.1. 吞吐量性能改进的机制分析从表2到表4的实验结果可以看出,在数据采集和预处理、数据存储和管理以及数据分析和决策支持这三个层次上,本文方法的吞吐量显著高于参考[6]和[7]方法。尤其是在迭代次数达到6000次时,我们方法在分析层的吞吐量达到了16.89 ×10?比特,这分别是参考文献[6]和[7]中方法吞吐量的2.83倍和2.87倍。这一优势主要归因于以下三个方面:首先,本文构建了一个多约束优化模型,旨在最大化吞吐量,并引入了动态权重系数,使系统能够在带宽容量和负载平衡约束下自适应调整流量分配策略。与参考文献[6]中基于固定流水线并行的RC4加密方法相比,这种方法具有更强的资源适应能力。其次,三层解耦架构显著降低了各层之间的耦合程度。引入异步缓冲接口和专用资源池使得每一层可以独立优化吞吐量,避免了传统架构中由于I/O阻塞或锁竞争导致的吞吐量瓶颈。第三,混合智能优化算法在解决吞吐量目标函数时能够有效避开局部最优解并提高收敛质量。表6显示,本文提出的混合方法的收敛迭代次数为120轮,远低于标准Genetic Algorithm (GA)、Particle Swarm Optimization (PSO)和Simulated Annealing (SA),这验证了其在解决效率方面的优势。

5.2 延迟控制的有效性和机制
表5和图5的结果表明,在不同类型的服务器下,我们方法控制的客户端感知延迟约为90ms;当循环次数从1000次增加到8000次时,延迟仅从2ms增加到18ms,远低于参考文献[6]和[7]中的方法。这一结果验证了本文提出的延迟建模和控制策略的有效性。延迟优化的关键在于以下两点:首先,本文在high-dimensional状态空间中对链路利用率、缓冲区占用率和信道质量等时变参数进行建模,并推导出了传输延迟编码函数。与基于固定队列模型的传统延迟估计方法相比,该模型能更好地反映动态网络环境中的真实传输行为。其次,延迟目标函数和吞吐量目标函数通过加权融合实现了多目标协同优化。通过调整,系统可以在网络拥堵期间优先降低延迟,避免因盲目追求吞吐量而导致的响应延迟激增。

5.3 消融研究和组件贡献分析
表7中的消融实验进一步量化了每个关键组件对整体性能的贡献。在完整框架下,吞吐量为15.31×10?比特,延迟为89ms;然而,在移除动态权重后,吞吐量降至13.92×10?比特,延迟增加到102ms,这表明动态权重机制在平衡吞吐量和延迟方面起着关键作用。移除混合求解器后性能下降最为显著,表明在复杂约束条件下混合优化策略是不可替代的。移除约束自适应模块后,吞吐量略有下降,延迟也有所增加,这说明该模块对系统的鲁棒性有积极影响。

表7. 框架组件的消融研究
| 组件 | 吞吐量(×10?比特) | 延迟(ms) |
|-------------|-------------|---------|
| 完整框架 | 15.31 | 89 |
| 无动态权重 | 13.92 | 102 |
| 无混合求解器(仅GA) | 12.45 | 112 |
| 无约束自适应 | 14.10 | 96 |

5.4 节点可扩展性和动态适应性
表8中的节点扩展实验表明,当网络节点从100个扩展到500个时,我们方法的吞吐量仅从15.31×10?比特略微下降到15.18×10?比特,延迟从89ms增加到102ms,仍在可接受范围内。这表明所提出的方法具有良好的水平可扩展性,适用于“双碳”监测中心的大规模部署。此外,实验中引入的动态数据流仿真进一步验证了该方法在真实复杂环境中的适应性。

表8. 节点数量扩展对性能的影响
| 节点数量 | 吞吐量(×10?比特) | 平均延迟(ms) |
|------------|-------------|-----------|
| 100 | 15.31 | 89 |
| 200 | 15.28 | 92 |
| 300 | 15.25 | 95 |
| 400 | 15.22 | 98 |
| 500 | 15.18 | 102 |

6. 结论与前景

6.1 结论
在全球气候变化的严峻挑战下,实现“双碳”目标已成为国际社会的关注焦点。作为支持这一战略目标的关键技术之一,“双碳”数字智能监测中心中数据流并行共享优化方法的研究与应用尤为重要。本文提出了一种考虑吞吐量和延迟的“双碳”数字智能监测中心数据流并行共享优化方法,可以提高数据处理效率并减少系统延迟,为实现“双碳”目标提供坚实的技术支持。本研究的主要结论如下:在数据采集与预处理层、数据存储与管理层以及数据分析与决策支持层,该方法? 吞吐量显著高于参考文献[6]和[7]中的方法。同时,该方法在数据流并行共享优化方面取得了显著成果,有效降低了客户端的感知延迟。

6.2 前景
本研究的主要结论和贡献如下:首先,从方法论角度来看,提出的结合延迟编码函数和分层约束的联合优化模型有效捕捉了数据流共享中的吞吐量-延迟权衡,这与以往工作的单一目标优化有所不同。其次,从架构角度来看,三层解耦的访问共享结构被验证为实现各层高稳定吞吐量的关键因素,特别是通过缓解存储和分析组件间直接耦合通常导致的I/O压力瓶颈。第三,从实证角度来看,相对于基线方法的显著性能提升强调了采用针对“双碳”数据中心的整体、场景特定优化方法的实际价值,而非应用通用的并行计算技术。

数据可用性声明:目前研究中使用和/或分析的数据集可应相应作者的要求提供。

CRediT作者贡献声明:
Sha Jiangbo:撰写——原始草稿,概念构思。
Ma Rui:数据整理。
Kang Wenni:验证,数据整理。
Zhu Dongge:撰写——审阅与编辑。
Liu Jia:监督,形式分析。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号