基于模糊小波神经网络和强化学习的非线性粘弹性环境中墙体建造机器人自适应阻抗控制

《AUTOMATION IN CONSTRUCTION》：Adaptive impedance control of wall-building robots in nonlinear viscoelastic environments using fuzzy wavelet neural networks and reinforcement learning

　　

•FWNN 准确估计并补偿砌墙机器人的不确定动力学。
•强化学习实时自适应调整阻抗控制参数。
•所提出的控制器实现了最小的跟踪误差，并增强了稳定性和鲁棒性。
•阻抗控制显著提高了砌砖精度。

引言

近年来，社会经济快速发展、城市化进程加速以及新技术的不断涌现，给我们的生活带来了重大变化。特别是智能制造、自动化和机器人等技术，正在不断改变我们的工作方式和生活方式。然而，建筑行业长期由劳动密集型生产方式主导，工人经常执行高强度任务，同时面临恶劣的工作条件和较高的安全风险。同时，不断增长的施工规模和复杂的项目标准，对传统人工施工模式下的施工效率和质量监管提出了严格要求。得益于智能传感、自动化和人工智能的快速发展，建筑行业迎来了变革性的技术升级 [1]。建筑机器人正逐渐成为建筑行业技术创新的主要方向之一。建筑机器人能够在复杂环境中自主执行任务，显著提高了施工效率和精度 [2]。此外，建筑机器人的高精度减少了人为错误和质量缺陷，有助于确保工程质量并降低长期维护成本。目前，大多数建筑项目中使用建筑机器人主要局限于材料搬运和涂抹等单一、简单的任务 [3]。然而，在建筑机器人中，专为砌筑工作设计的机器人是最关键的类别之一。然而，这些机器人尚未被广泛采用或利用，主要是因为砌筑工作的质量和精度无法得到保证。传统的砌墙机器人忽略了实际砌筑任务中砖块与水泥砂浆之间粘弹性接触耦合产生的负面机械影响。在砌墙过程中，机器人的末端执行器与水泥砂浆发生粘弹性接触，产生的强烈接触力加剧了轨迹控制的复杂性。因此，设计一种抗干扰的控制方案，充分考虑机器人与环境的交互行为，以解决非线性粘弹性工作介质下砌筑精度低的问题，势在必行。

尽管传统的位置控制机器人在结构化环境中能提供极高的精度，但它们往往难以适应涉及内在接触力和环境不确定性的动态交互。这一局限性推动了阻抗控制技术的发展。这是一个结合运动精度与柔顺性的通用框架，使机器人能够在从工业装配到人机协作的任务中表现出类似人类的适应性 [4]。机器人操纵器的阻抗调节阐述了末端执行器运动与交互接触载荷之间的动态相关性。与直接调节力信号的直接力控制不同，阻抗控制通过模拟质量 - 弹簧 - 阻尼机械特性，调节机器人对外部扰动的动态反馈。预设目标刚度、阻尼和惯性系数后，控制器建立位置误差与产生接触载荷之间的数学映射，使机器人能够被动适应环境限制。控制逻辑从以位置为主导的调节向以交互为导向的柔顺调整的转变，有效突破了传统机器人控制框架的多个瓶颈。由于砖块在接触水泥砂浆时会产生非线性粘弹性交互载荷，砌墙机器人需要阻抗调节来协调输出接触力和运动轨迹，从而赋予末端执行器不同于其原始机械属性的定制动态特性，以实现稳定平稳的砌筑操作。得益于其能够在机器人接触周围介质时，无需模式切换即可处理自由空间运动和约束接触任务的能力，阻抗控制仅需已知环境刚度数据，已在各种机器人控制研究领域得到广泛应用 [5]。例如，在钻孔和销钉插入装配任务中，阻抗控制使机器人能够通过柔顺运动补偿位置误差，从而消除了对精确预编程轨迹的需求，并减少了可能损坏组件的接触力。同样，在协作场景中，阻抗控制为人机交互提供了自然接口，允许操作员在物理操纵过程中引导机器人，同时确保安全、无碰撞操作。

阻抗控制领域出现了多个发展分支，可归类为两大主流技术框架：基于位置的阻抗控制（PBIC，或称导纳控制）和基于动力学的阻抗控制（DBIC）。PBIC 将收集的接触载荷数据转换为位置修正量，这使其能够兼容仅配备位置和速度闭环接口的标准工业机械臂。该方案采用内外双控制环。其阻抗数学模型仅关联末端执行器检测到的接触反馈，不与机械臂的真实关节位置关联，而内环负责跟踪参考位移信号 [6]。内位置环配备了内置误差补偿单元，增强了系统对建模失配的免疫力，因此 PBIC 不需要完全依赖精确的机器人动力学表达式。然而，动力学建模的任何偏差都会在内环内引发振荡，阻碍目标阻抗性能的实现。另一个局限性是 PBIC 的性能容易受运动学参数不准确的影响，因为其运行依赖于机器人的运动学模型。Hogan [7] 提出了一种名为 DBIC 的动态补偿控制方法，利用实时关节位移、速度信号以及环境接触力读数，赋予末端执行器预设的柔顺行为。该控制器产生的输出力矩高度依赖于机器人动力学模型的精度，意味着 DBIC 对任何建模不确定性表现出极端敏感性，并要求对机械臂的动力学参数进行高度准确的描述。DBIC 的另一个缺点是计算复杂性高，其独特的控制算法结构使其难以与传统工业控制器集成。这两种控制方法的区别具有重要的实际意义：PBIC 在传统工业环境中被广泛采用，而 DBIC 在 Franka Panda 等协作机器人平台中更受欢迎，因为直接力矩控制能够安全地与人类进行物理交互。

传统固定参数阻抗控制适用于环境刚度已知且任务条件明确定义的工况。通过配置合理的惯性、阻尼和刚度系数，控制框架可以精确调节机器人与周围介质之间的交互载荷，保证整个系统的稳定运行和快速动态响应。给定已知的环境参数，传统阻抗控制方法可以实现良好的接触力跟踪性能。然而，传统阻抗控制仍然存在固有局限性。当机器人面临未知或动态变化的环境条件时，固定参数阻抗控制难以根据实际情况调整控制策略，导致系统性能不佳或不稳定，限制了其在复杂环境中的广泛应用 [8]。例如，在低阻尼、高刚度应用（如精密装配）中，传统方法可能会遭受力跟踪误差或系统振荡。自适应阻抗调节主要针对机器人与时变或不可测量环境交互的操纵任务，在刚度特性模糊的工作条件下尤其有效。其核心设计思想是建立实时参数迭代定律，每当环境参数波动或无法直接测量时，动态修正阻抗增益。该技术克服了传统阻抗方案的缺点，包括静态增益设置和抗干扰性能弱，并进一步提高了机器人末端执行器接触外部介质时的柔顺调整能力 [9]。自适应阻抗控制分为两大主流分支：直接自适应算法和间接自适应算法。间接类型首先识别未知的阻抗模型参数，并将识别值输入控制环，这要求参数估计误差收敛到零。因此，这一类别要求对机器人及其工作环境具有相对完整的先验知识。在实际工程实现中，直接自适应阻抗方法应用更广泛，它通过自适应规则直接调整控制增益以实现预期的跟踪性能，而无需中间参数识别过程。为了克服现有控制算法稳定性不足的问题，Sun 等人 [10] 提出了一种可变阻抗调节方案，通过动态逆理论近似未建模系统动力学，并保证目标柔顺动力学的指数收敛。Liang 等人 [11] 开发了一套自适应阻抗控制规则。该方案修正了基本阻抗方程，提取环境特征参数，生成参考位置轨迹并构建自适应姿态调节器。利用李雅普诺夫稳定性准则严格验证了整个控制框架的收敛性。针对不可测量环境下力调节模型泛化能力弱的问题，Zhang 等人 [12] 提出了一种优化的自适应阻抗框架。自适应控制器根据外部环境特征构建，并自动调整机器人刚度以适应变化的工作条件，同时伴有方向补偿模块以消除末端执行器的角度偏差。Qin 等人 [13] 集成扩展状态观测器和反步法技术设计了一种自适应鲁包阻抗控制器。自适应更新律在充分考虑能量守恒和位置跟踪性能的基础上制定，实验结果验证了其出色的稳定性能。Seghiri 等人 [14] 将模型参考自适应控制（MRAC）引入工业机器人系统，并设计了一种分数阶 MRAC 控制框架。对回转窑内运输圆柱形钢锭的机械臂进行的数值模拟测试验证了这种分数阶自适应方案的可靠性。为了抑制机器人首次接触物体时的瞬时力振荡，Cao 等人 [15] 设计了一种非线性自适应阻抗算法，通过实时阻抗调整优化力跟踪精度。该算法具有突出的鲁棒性，适用于环境剧烈变化的场景。Shen 等人 [16] 构建了一种基于模糊推理规则的自适应阻抗控制方案，动态修改阻抗系数以提高非线性接触条件下的力跟踪精度。

自适应阻抗调节的核心运行机制在于利用来自机器人及其周围环境的接触力等在线反馈信号实时调整阻抗增益。然而，这种方法需要准确的数学模型，依赖参数调整，并且面临近似和学习系统内未知非线性的挑战，甚至可能导致不稳定。为了克服这些局限性，除了自适应阻抗控制方法外，神经网络控制也被引入到机器人阻抗控制中 [17]。该算法增强了机器人在复杂任务期间的适应性和泛化能力。目前，许多研究人员进一步发展了基于神经网络的自适应阻抗控制算法，将阻抗控制与神经网络控制算法相结合以提高系统性能。Huo 等人 [18] 提出了一种新型自动化抛光机器人，以解决现有手工抛光过程中的安全隐患。机器人可以根据预定义的阻抗模型自主调整其与目标表面的交互，从而在处理不确定物体时最大限度地减少人为干预。采用神经网络辅助阻抗调节来抵消系统不确定性和外部扰动，并进行李雅普诺夫稳定性分析以严格验证闭环控制系统的收敛性。Li 等人 [19] 为约束机械臂平台提出了一种自适应神经有限时间阻抗算法。该方案利用神经逼近器连同扰动观测器来对抗时变未知干扰。结合屏障函数和有限时间稳定性理论，它在物理限制下加快了系统收敛到预设平衡状态的速度。为了提高接触力调节的精度，Ding 等人 [20] 设计了一种事件触发的自适应神经阻抗框架。通过将事件触发调度集成到阻抗控制环中，该方法减少了冗余计算和数据传输开销，其中径向基神经网络近似未建模系统动力学，参数更新规则由李雅普诺夫函数推导得出。针对机械臂力调节中的弱稳定性问题，Xu 等人 [21] 在多约束条件下构建了一种基于循环神经网络（RNN）的力控制器。原始关节力矩优化二次规划（QP）问题被转换为速度域 QP 公式，通过动态神经网络在线求解以获取实时最优控制增益。Fan 等人 [22] 探索了在不可测量环境下多机器人协作任务的神经自适应阻抗策略。引入径向基函数神经网络进行自自适应阻抗调整，优化机器人单元与外部介质之间的交互载荷调节。依托模糊神经网络计算，Kong 等人 [23] 开发了一种针对具有多重运动约束和模糊动态接触特性的机器人的阻抗学习方案。模糊神经网络控制协调多个机器人之间共享工件的运输，并优化机器人与环境的交互性能。

此外，李等人 [24] 提出了一种模糊神经动态优化方法，该方法可以为未识别的下肢外骨骼用户自学习踝关节阻抗系数，并通过模糊近似技术提升运动控制性能。与机器人相比，人类更擅长处理与非结构化环境交互相关的任务，并能对未知的动态环境进行实时响应。因为人类拥有强大的适应和学习能力，他们可以为不同的任务开发相应的运动技能，并将其存储在中枢神经系统中。因此，将学习算法引入机器人控制策略以开发相应的运动模式，可以显著改善机器人在与非结构化环境交互过程中的运动性能。许多海外学者探索了强化学习算法与机器人阻抗调节在非结构化、不确定工作场景中的集成 [25]。基于强化学习的阻抗控制作为一种由机器学习赋能的柔顺调节方法，自适应地优化机器人阻抗特性，从而增强机器人在复杂动态条件下的环境交互性能。其核心设计理念是将强化学习 (RL) 优化模块嵌入经典阻抗控制架构中，以实现阻抗系数的在线调整，从而便于机器人在时变或不可测量的环境中进行更高效的力跟踪操作。强化学习方法主要分为两类：基于模型的强化学习 (MBRL) 和无模型强化学习 (MFRL)。MBRL 建立与真实操作条件一致的代理动力学模型，允许智能体在不与真实环境进行物理接触的情况下完成离线训练，大大提高了数据利用效率。图鲁塞尔等人 [26] 为软体机械手设计了一种 MBRL 闭环预测控制方案，其中循环神经网络作为正向动力学模型。闭环控制策略是通过轨迹优化和监督学习过程获得的。该算法首先通过具有分段恒定应变特性的电缆驱动欠驱动软体机器人的仿真测试进行了验证，随后通过气动驱动软体手臂的物理实验进一步证明了其生成自适应控制律以应对可变频率输入和未建模外部干扰的能力。阿南德等人 [27] 提出了一种基于 RL 框架的数据节省型可变阻抗学习控制器。该方案采用高斯过程回归在 MBRL 架构下建立机器人的概率动力学模型，然后优化神经网络策略函数以调整阻抗增益，从而获得最大的长期任务奖励。可变阻抗规则只需少量的环境交互样本即可学习。罗维达等人 [28] 集成了 MBRL 和可变阻抗调节，利用神经网络模型描述人机交互行为，同时进行阻抗参数的实时优化。李等人 [29] 将 MBRL 技术引入机器人控制系统，采用多层深度神经网络来近似系统动力学并捕捉建模不确定性。为了进一步吸收无模型 RL 方法的优越渐近收敛性能，引入了深度确定性策略梯度 (DDPG) 算法来优化机器人的运动控制策略。无模型强化学习具有一个突出优点，即它不需要高保真的环境动力学模型。与基于模型的强化学习不同，MFRL 通过与周围环境的直接物理交互来获取最优策略，这消除了环境动力学繁琐的建模过程，适用于无法建立准确数学表达式的应用场景。此外，MFRL 在策略收敛后可以提供更好的控制性能，并消除由环境模型不匹配带来的累积偏差。作为一项代表性研究，胡等人 [30] 提出了一种机器人的无模型 RL 力调节方案。该算法在任务执行过程中在线优化控制参数以增强适应性和定位精度；使用真实接触数据进行策略更新，以减弱建模偏差对跟踪精度的不利影响。卢茨等人 [31] 设计了一种 RL 自适应控制器，用于解决飞机装配过程中的复杂变形调节问题。该方法无需精确的环境描述，在时变工作条件下具有出色的适应性和抗干扰能力。实验结果验证了其在不依赖环境建模情况下的强泛化能力。为了在不可测量的环境中稳定接触力，肖等人 [32] 构建了一个 RL 驱动的力控制框架。采用 RL 来分析接触状态和位置偏移，以进行阻抗环的残差补偿。神经网络预拟合初始策略数据以加速补偿增益的搜索过程，离线预训练减少了真实世界交互的次数，提高了算法的实用价值。徐等人 [33] 为康复机器人开发了一种 RL 阻抗调节策略，该策略根据健全肢体的运动特征调整驱动扭矩，以补偿受损肢体的运动缺陷。利用 LQR 算法最小化双侧跟踪误差和人工操作负荷，并在 RL 优化器中集成了可调节的训练切换机制，以获取最优阻抗增益并提升不确定环境下的力控制性能。岩泽等人 [34] 设计了一种基于无模型 RL 的可变阻抗算法，以前馈神经网络作为评估器，赋予机器人人性化的柔顺调节能力。米特罗维奇等人 [35] 提出了一种由 RL 优化的拮抗系统可变阻抗框架。该算法学习系统动力学和随机特征，扩展随机最优控制理论，并实现跟踪精度、能量损耗和柔顺性能之间的平衡。布赫利等人 [36] 提出了一种无模型 RL 可变阻抗方法，通过路径积分联合优化参考轨迹和阻抗系数，该方法已在多个高维机器人控制任务中得到验证。综上所述，MBRL 可以利用预建的环境代理模型降低所需的训练样本，但其致命缺陷是对建模精度的高度依赖，而在复杂的工程任务中建模偏差是不可避免的。相反，MFRL 通过真实的环境交互而不是数学建模来优化策略，从而表现出更强的适应性和泛化性能 [37]。

然而，在砌墙等复杂任务场景中，单一的智能方法往往无法满足实际需求。因此，本文提出了一种结合神经网络近似与强化学习的理论框架，集成了两种方法的优势，以更高效地完成砌墙任务。因为砌墙机器人的动力学模型具有强耦合、非线性和高维度的特征，且易受摩擦、惯性、重力和外部干扰的影响，难以准确建模。此外，一旦砌筑机械手与非牛顿水泥砂浆代表的粘弹性介质发生物理接触，非线性接触特征将使接触载荷与结构变形之间的准确数学关联难以建立。机器人难以适应这些变化，导致控制精度下降。此外，由于机器人具有高刚度，在砌墙接触瞬间可能产生显著的粘弹性力，影响控制稳定性和精度。传统的阻抗控制算法在未知环境中需要大量的参数调整，难以快速适应环境变化。配备静态目标阻抗增益的控制架构无法适应水泥砂浆产生的时变和不确定粘弹性力。结合上述分析并面向机器人砌砖工程需求，将模糊小波神经网络和强化学习策略引入阻抗控制，可以有效解决机器人砌墙系统中的阻抗控制和轨迹跟踪挑战，从而提高砌墙精度。本文主要贡献如下：

(1) 本文突破了传统砌墙机器人控制方案中适应性差和操作精度低的技术瓶颈。通过创新地将模糊小波神经网络与强化学习算法集成，开发了一种自适应阻抗控制方案。从控制策略的角度来看，所提出的方案解决了在复杂接触环境下具有粘弹性水泥砂浆的机器人砌筑精度下降的工业挑战，并有效提高了机器人砌筑任务的环境适应性和操作精度。

(2) 针对砌墙机器人动力学不确定性强且准确建模困难的关键痛点，采用 FWNN 实现机器人动力学的高精度近似建模和动态参数修正。这克服了传统建模方法无法适应动态施工条件的局限性，为后续阻抗控制的准确实施和动态优化建立了高保真的模型基础。

(3) 为解决传统阻抗控制中固定阻抗增益无法适应动态砌砖条件的缺点，提出了一种基于递推最小二乘滤波的自然梯度 Actor-Critic 强化学习方法，以实现阻抗增益的实时动态自优化。它打破了人工增益调整和固定增益控制的技术束缚，实现了阻抗控制从“被动适应”到“主动优化”的技术升级。

(4) 为了消除由外部干扰和 FWNN 建模不匹配引起的稳态误差和轨迹偏差，在控制回路中嵌入了一种鲁棒补偿机制，并使用李雅普诺夫稳定性准则进行了严格的理论证明。这种设计补偿了智能建模和自适应优化算法的稳定性不足，实现了控制精度和系统稳定性的同步提升。

(5) 在 Nova5 机器人平台上进行了多种场景下的数值模拟和真实砌筑条件下的物理样机实验。与几种主流传统控制策略进行了全面的对比验证。结果实验验证了所提出的集成控制方案的工程可行性和技术优越性，为砌墙机器人智能控制的工程实施和技术迭代提供了坚实的理论支持和实际参考。

本文的结构安排如下。第 2 节详细阐述了机器人 - 砌筑阻抗交互模型、FWNN 内部结构以及基本强化学习理论。第 3 节推导了复合 FWNN-强化学习阻抗控制律，并通过李雅普诺夫分析完成了严格的稳定性证明。第 4 节提供了基于 Nova 六轴机械手参数的对比数值模拟结果。第 5 节介绍了砌砖测试台，并为所提出的控制框架提供了实验验证。第 6 节总结了所有核心研究成果。

节选片段

模型描述

为了设计在粘弹性接触水泥砂浆条件下砌墙机器人的复合阻抗控制器，本节依次建立了机器人 - 环境交互阻抗模型、模糊小波神经网络近似模型和强化学习优化框架。首先，分析物理砌筑过程，并推导出砌墙机器人的关节动力学和末端执行器阻抗控制基本方程，这些方程

基于 FWNN 的强化学习自适应阻抗控制方案

前一节已建立了机器人动力学模型、阻抗模型、FWNN 和强化学习理论框架，并揭示了传统固定参数阻抗控制在时变和不确定砌筑环境中的局限性。为解决此问题，提出了一种结合 FWNN 和强化学习的复合自适应阻抗控制策略。采用 FWNN 来近似系统动力学不确定性，并加入鲁棒项以抑制

仿真分析

在本节的数值模拟实验中，基于 Nova5 机械手构建了专用仿真框架，以对所设计的砌墙机器人阻抗控制方案进行性能验证。实施了多组与替代控制框架的对比模拟，以验证本文提出的 FWNN 和强化学习集成自适应阻抗算法的可靠性和优越性。四种不同的控制方案

实验分析

本节详细阐述了为在非线性的粘弹性砂浆环境中工作的砌筑机械手所设计的阻抗控制方案的实验验证和定量分析。开展了与多种替代控制律的对比实验，以证明本文提出的 FWNN-强化学习集成阻抗控制器的可靠性和优越性。由于砌砖堆叠过程中产生的粘弹性交互载荷不能被

结论

当砌墙机器人与水泥砂浆等非线性环境接触时，它会受到非线性粘弹性力的作用。这些时变且未知的粘弹性力影响机器人的运动控制，导致砌砖精度下降。传统的阻抗控制方法依赖于具有固定阻抗参数的控制系统，无法解决水泥砂浆中粘弹性力的不确定性和时变性。因此，

CRediT 作者贡献声明

石庆毅：写作 – 审查与编辑，写作 – 原创草稿，监督，资源，项目管理，方法论，资金获取，数据整理，概念化。徐文霞：写作 – 原创草稿，软件，形式分析，数据整理。曹刘：写作 – 审查与编辑，资源，调查。孔春燕：验证，形式分析。肖祥涛：可视化，软件。陈柯：写作 – 审查与编辑。

宋亚东：验证、调查。利益冲突声明：作者声明，他们没有已知的竞争性财务利益或个人关系，这些因素可能影响本文报告的研究工作。致谢：本研究由西华大学科学研究启动基金（ZX20250074）资助。石清义|许文霞|曹刘|孔春燕|肖向涛|陈科|宋亚东