考虑不确定性的深度强化学习在建筑车队管理中的应用：数字孪生方法

《COMPUTERS IN INDUSTRY》：Uncertainty-aware deep reinforcement learning optimised construction fleet management: A digital twin approach

　　摘要：在动态且不确定的作业条件下，建筑行业在优化设备管理方面面临巨大挑战。现有方法要么依赖静态调度计划，要么依靠启发式规则，这类方法难以适应不确定的作业环境，也无法体现现实建筑工地情况的复杂性，从而导致资源分配不均、施工进度受阻，进而使运营成本不确定性加剧。本研究提出了一种全新的数字孪生框架，该框架结合建模、仿真以及深度强化学习技术，尤其是深度Q网络，用于在高度动态和不确定的条件下优化设备管理。通过在数字世界中构建土方作业仿真模型，模拟挖掘机与自卸车之间的协作关系。遵循数字孪生的物理-虚拟-物理工作流程，利用真实世界数据来量化作业参数及其相关不确定性。这些不确定性被纳入深度Q网络训练过程中，通过一种新的奖励设计机制，实现多目标平衡，从而生成最优的实时调度策略。实验结果表明，所提出的解决方案能够带来1.41%至9.71%的成本节约，同时即便在高度不确定的情况下也能确保决策的稳定性。本研究还探讨了不同程度的不确定性对作业效率及成本的影响。此项工作凸显了深度强化学习与数字孪生技术整合的潜力，强调了在建模和训练过程中考虑不确定性的重要性和作用，以此提升预测精度与决策水平。所提出的框架旨在推动可持续且智能化的建筑实践发展。

引言：作为全球经济的核心支柱之一，建筑行业始终致力于提升效率与成本效益。在施工阶段，设备管理起着至关重要的作用，因此无论是在研究领域还是实际应用中，都不断有创新举措出现（Lim和Kim，2020）。设备管理涉及对施工机械的规划、调度和监控，旨在在降低成本和减少停机时间的同时最大化生产效率（Mehmood，2021）。然而，管理施工设备队伍面临着诸多挑战，包括高昂的初期投资（Deshmukh和Jangada，2017）、较高的运营成本，以及日常管理的复杂性（Wang等人，2016）。研究表明，像挖掘机这样的施工车辆由于过度空转，每周会造成数百英镑的损失，这不仅导致资源浪费，还降低成本效率。随着建筑项目规模的扩大以及作业环境复杂性的增加，这些挑战愈发严重（Xu等人，2021）。在建筑施工中，不同类型的设备需要紧密配合才能高效完成任务（Bhoye和Attarde，2016）。例如，挖掘机与自卸车之间有效的协调对于确保土壤或其他材料的顺利挖掘、运输和卸载至关重要。有效的设备管理能够确保机械在正确的时间出现在正确的地点，最大限度地提高设备利用率，减少不必要的停机时间和空转时间（Aslan和Koo，2012）。传统的管理方法，如手工调度和基于启发式规则的方法，往往无法同时实现成本控制与运营效率的双重目标，从而导致性能不佳和成本上升（Nabi和El-adaway，2021）。此外，这类方法通常依赖静态调度计划，对实时变化的处理能力较差（Farahpoor等人，2023）。另外，全球建筑活动的增多使得对挖掘机、自卸车等各类施工设备的需求不断增加，而这些设备的采购和运营成本都相当高（Chen，2022）。租赁已成为一种普遍做法，但制定最优的租赁策略以及有效调度设备仍是一项艰巨任务，尤其是在动态且难以预测的作业环境中。数据驱动的优化、基于人工智能的决策制定以及实时监控等先进技术的应用，为解决这些难题提供了希望（Wang等人，2024；Sanchez等人，2023）。这些技术不仅能提高设备调度的精确度，还能对现场出现的不确定性做出动态响应，从而显著提升适应性及整体运营效率（Zhang等人，2024）。随着建筑项目规模和复杂性的不断提升，采用此类先进的设备管理方法对整个行业而言愈发重要。

近年来，如何高效管理和优化施工设备队伍已成为众多研究的重点（You等人，2023a）。研究重点包括数据驱动的管理系统，以及设备选型与调度的优化。有一些研究提出了利用设备遥测数据来实现设备管理的系统。Avetisyan和Skibniewski（2017）提出了一种基于遥测技术的施工设备管理系统，该系统将实时数据采集与混合整数规划模型相结合，用于优化多个工地的设备配置，从而降低成本并提高效率。他们的研究凸显了将实时数据与数学优化相结合在提升设备利用率方面的巨大潜力。类似地，Rodriguez等人（2024）研究了大林组开发的设备管理系统，该系统利用远程控制和半自动化技术来降低劳动力成本和减少职业健康风险。此外，Kassem等人（2021）开发了一种深度神经网络模型，该模型利用遥测数据预测挖掘机的作业效率，并提出了一种基于挖掘速率的基准评估方法。这种方法大大提升了设备管理的自动化程度和精准度，尤其适用于高度机械化的施工环境。与此同时，无人机辅助成像技术（Gurung，2025）、物联网和建筑信息模型平台（Jain等人，2023；Raj等人，2021；Zhai等人，2019；Yue等人，2025），以及身份与访问管理技术（Kaluvakuri和Khambam，2024）也被引入设备管理中，以提高设备运行的可靠性及整体性能。

在优化设备选型与配置方面的研究中，人们探索了多种方法来提升生产效率并降低运营成本。一些研究通过结构化的管理系统和任务调度策略来寻求效率提升。Dandwate（2015）通过计算设备的工作周期时间并比较不同的设备组合，运用生产力最大化与成本差异分析方法来提升整体效率。他们的研究强调了选择合适的设备组合对于优化设备管理的重要性。Jadhav和Thorbole（2020）对公路施工设备进行了经济性分析，结果表明优化设备使用可显著减少时间和成本。同样，Buccafusco等人（2023）通过分析工业车辆的运行数据，了解其工作模式和运行周期，找出过度空转的情况，并根据这些模式提出调度和维护建议，有效减少了空转时间，提升了设备利用率。Kadir（2024）开发了一种数字化自卸卡车管理系统，用于优化土方工程中的设备作业。他们的研究表明，通过结构化的燃料跟踪、维护调度以及作业监管，能够提升施工物流的效率并降低成本。Ngov等人（2024）提出了一种基于混合整数非线性规划的优化方法，用于土方作业中的设备管理。通过整合建筑标准生产率体系，他们的方法能够优化设备组合，尤其在项目初期数据有限的情况下，仍能提升成本和工期效率。Gao等人（2022）提出了一种基于数字孪生的调度框架，用于自动化场内作业，该框架结合实时仿真与基于规则的调整，提升了调度效率及系统的响应速度。

与上述发展同步，近期的研究更加强调在复杂或多变条件下的智能设备分配方案。Botyan和Pushkarev（2021）提出了一种改进的方法，用于在矿山设备升级过程中选择合适的挖掘机与自卸车型号，该方法采用一种通用的选择算法，能够考虑北极地区不断变化的特殊因素。其创新之处在于运用回归分析方法，通过将车辆性能与气候及作业约束条件相关联，来优化设备配置的扩展。Choudhury和Naik（2022）提出了一种基于机器学习的卡车调度优化方法，该方法能够预测露天矿中的行驶时间，并结合线性/整数规划来优化设备管理。这项工作的创新点在于将大气条件作为预测行驶时间的关键输入因素，从而提升调度决策对现实环境变化的适应能力。Liu等人（2023）提出了一种基于混合整数规划与混合元启发式算法的矿山挖掘机排班方法，用于优化挖掘机的分配与作业顺序，从而减少露天采矿过程中的延误和运输成本。

除了传统的优化方法和机器学习方法之外，近期还有越来越多的研究开始探索将数字孪生技术与深度强化学习相结合，为建筑领域的设备管理带来了新的发展方向。Ding等人（2026）进行了一项全面的综述，系统总结了数字孪生技术在智能产业中的发展历程、应用现状及未来前景，强调了在数字孪生技术支撑的系统中，智能决策机制的重要性日益凸显。Lee和Deria（2024）提出了一种基于数字孪生与深度强化学习的建筑风险管理框架，在该框架中，不确定性因素会在数字孪生模型中得到明确模拟，而决策规则则是通过深度Q网络和近端策略优化算法来学习的，这种方法能够在高不确定性场景下提升系统的稳健性。You等人（2023b）开发了一种用于土方工程的数字孪生模型，实现了推土机的自动远程操控，证明了高精度数字孪生模型在模拟土壤与机械相互作用方面的作用，而且通过基于学习的控制方法，这一模型还有进一步发展的潜力。更广泛地说，Lee等人（2022）总结了数字孪生技术在建筑领域的应用情况，指出数字孪生技术与人工智能驱动的优化方法正逐渐融合，同时也指出了将不确定性建模与设备级调度相结合的未来发展方向。在其他领域，类似的具有不确定性感知能力的深度强化学习框架也在智能社区、空天地一体化网络以及车联网场景中得到了应用，在这些场景中，计算卸载（Chen等人，2024a）、服务迁移（Chen等人，2025）以及自适应资源分配（Chen等人，2024b）都在动态条件下得到优化。这些跨领域的研究表明，深度强化学习在资源调度方面具有广泛的适用性，进一步推动了其在建筑设备管理中的应用。

尽管在设备管理及调度优化方面已经取得了显著进展，但在应对现实建筑环境中的动态性与不确定性方面，仍然存在诸多不足。由于操作人员的行为（Ferreira等人，2023）、天气状况（Buccafusco等人，2023）以及现场限制等因素，加载时间、行驶速度和燃油消耗等作业参数可能会发生较大波动。现有的方法往往依赖静态调度计划或确定性假设，因此难以快速适应施工过程中的实时变化。虽然有一些研究将深度强化学习引入数字孪生优化框架中，但这些研究大多仅限于证明数字孪生驱动的控制或学习方法的可行性，往往没有明确对不确定性进行建模，也没有专注于除设备调度之外的其他决策层面。这些局限性影响了挖掘机与自卸车等设备的最佳协同作业，尤其是在需要在长期运营效率与日常成本控制之间取得平衡的情况下。正因如此，本研究旨在构建一个集成数字孪生仿真与深度强化学习的框架，以便在不确定性条件下生成既具成本效益又具备稳健性的调度策略。具体而言，本研究需要解决以下两个关键问题：

•实时优化：传统方法严重依赖静态调度计划和启发式规则，缺乏灵活应对作业不确定性的能力。因此，亟需一种能够利用实时数据来优化调度决策的适应性框架，以便在面对不可预测的现场条件及资源可用性时，仍能保持良好的适应能力。

•不确定性纳入：当前的研究往往忽视不确定性对决策的影响，通常将设备性能和环境因素的变动视为次要问题。为了提升设备管理工具的可靠性与适应性，需要建立能够明确考虑这些不确定性的稳健优化策略。

本研究的目的是在不确定性条件下，通过优化挖掘机与自卸车的配置，最小化土方作业的总体运营成本。其创新之处在于采用数字孪生技术来设计一种能够动态应对作业不确定性的设备管理工具。我们提出了一种具有不确定性感知能力的深度Q网络，该网络将多日、单位体积成本优化与数字孪生技术相结合，在挖掘-运输循环中引入随机干扰。通过将量化的不确定性直接融入状态表示和奖励设计中，学习到的决策策略能够根据不同的不确定性水平动态调整设备配置。这种方法在以往的数字孪生与深度强化学习研究中取得了新进展，它通过将作业不确定性明确纳入决策过程，从而实现更加符合实际的、成本最优的土方作业效果。本研究的主要贡献如下：•提出了一种集成框架，通过运用建模与仿真、深度强化学习以及数字孪生技术，有效应对施工车队管理中因动态且不确定的运行参数所带来的挑战，从而提升决策效率。•在深度强化学习中将不确定性作为模型参数，以提高在高不确定性条件下的传统仿真稳定性，进而形成稳健且具备适应性的调度策略。•借助真实世界数据量化运行参数的不确定性，将其纳入模型训练中，使数字孪生系统与物理-虚拟工作流程相契合，进而为实际施工场地提供优化的可行方案。本文的其余部分结构如下：第2节介绍数字孪生系统架构，详细阐述物理世界描述、作业建模以及土方施工仿真器的相关内容；第3节详细讲解基于深度强化学习的车队管理框架，包括状态空间与动作空间定义、DQN架构、奖励函数设计以及训练过程；第4节介绍实验设置与结果，评估模型在不同不确定性水平下的性能；第5节探讨不同不确定性水平对作业效率及燃油消耗的影响；第6节总结研究发现，给出关键见解及未来研究方向。

数字孪生系统架构
在本研究中，我们构建了一个用于施工车队管理的数字孪生系统，将该物理作业环境与其数字对应体相结合，用于仿真、预测及优化。如图1所示，所提出的框架由三层构成：•物理层：该层负责监测实际施工场地，并收集仿真所需的各类关键数据（详见2.1节）。

基于深度强化学习的车队管理
本节详细介绍所设计的基于深度强化学习的车队管理模块。土方施工优化问题需要每天做出决策，比如确定合适的挖掘机和自卸车数量，在控制成本的同时提升效率。为考虑这一过程中存在的时序状态依赖性及不确定性，我们引入DQN框架，用于学习长期奖励并优化序列决策策略。通过将这一问题建模为……

实验设置
表1列出了土方施工仿真器及基于DQN的车队管理环境中使用的挖掘机和自卸机的关键机械参数。这些参数决定了优化过程中需考虑的作业约束条件及成本因素。包括设备容量、燃油消耗率、租赁成本以及行驶距离在内的静态参数，均直接取自制造商的规格说明书和技术手册（小松有限公司，2016年；Hydrema A/S公司）。

不确定性条件下的设备使用情况分析
本研究的核心目标是通过优化车队管理配置，降低土方施工任务的总运营成本。借助我们的仿真工具，不仅可以深入分析成本之外的其他重要运营指标，如设备协作效率。通过观察在不同不确定性水平下固定策略的仿真结果，我们可以发现设备使用率的变化情况，尤其是在……

结论
本研究提出了一种融合深度强化学习与仿真的数字孪生车队管理方法。通过充分考虑现实施工环境的动态性与不确定性，该框架显著提升了作业效率，降低了成本与排放，尤其适用于那些运行参数具有高度不确定性的场景。虽然物理-虚拟-物理循环仍是未来的研究方向，但这一基于数字孪生的概念验证为相关研究奠定了基础。

作者贡献说明
张志超：写作——审稿与编辑、写作——初稿撰写、可视化、验证、软件开发、方法论、研究分析、形式化分析、数据整理、概念设计。魏壮坤：写作——审稿与编辑、写作——初稿撰写、验证。塞缪尔·科特：写作——审稿与编辑、指导工作。杨立超：写作——审稿与编辑、验证。王硕之：写作——审稿与编辑、验证。赵一凡：写作——审稿与编辑、指导工作、资源协调、项目管理。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究得到了英国皇家工程院工业奖学金[#grant IF2223B-110]的支持。

张志超|魏壮坤|塞缪尔·科特|杨立超|王硕之|赵一凡
中国宁波东部理工学院机械工程与力学学院