《Communications Engineering》：Learning coupling for pendulum swing-up using physical reservoir control
编辑推荐：
生物体内的动力学系统耦合经常产生涌现协同效应，如动物的运动与稳态控制中所见。这些自然机制启发了机器人控制策略，但现有方法需要精确模型以及大量人工或计算投入来设计耦合。研究人员提出了物理储备池控制（physical reservoir control），其中物理
生物体内的动力学系统耦合经常产生涌现协同效应，如动物的运动与稳态控制中所见。这些自然机制启发了机器人控制策略，但现有方法需要精确模型以及大量人工或计算投入来设计耦合。研究人员提出了物理储备池控制（physical reservoir control），其中物理储备池学习并持续自适应其与被控对象（plant）的耦合，无需外部干预即可执行非线性控制任务。研究结果表明，由一对双摆组成的物理储备池能够实现力矩受限单摆的摆起（swing-up）与平衡（balancing）。研究人员证明，耦合的被控对象-储备池系统在存在随机噪声时表现出明显的吸引特性，并且重要的是，在受到外部脉冲或信号丢失等扰动后能够重新建立耦合。进一步实验表明，破坏被控对象-储备池耦合会导致摆起失败，而使用替代振子储备池也能实现成功控制。除实现无模型（model-free）控制外，研究结果还揭示了自然动力学系统如何利用物理耦合产生非线性行为、增强鲁棒性（robustness）并保持稳定性（stability），从而引领下一代机器人设计。
**研究背景与问题**
生物体内的动力学系统耦合常产生涌现协同模式，如肢体协调，这为机器人设计提供了灵感。传统协调控制依赖集中式控制架构，由单一外部计算机指挥各系统组件。近年来，研究焦点转向设计内在物理耦合以实现动态协调。自然系统中的物理耦合通常无需外部计算参与，例如去大脑猫可通过肢体间协调在跑步机上行走，鱼类可通过与周围流场中涡旋的机械交互被动逆流游动。在上述案例中，协调行为在缺乏通常被视为中央计算单元的大脑的情况下涌现。然而，在人工系统中再现这种内在协调行为仍是一大挑战，尤其因为大多数物理系统具有非线性与欠驱动（underactuated）特性。在运动中，物体与环境间的接触约束导致欠驱动关节；在操作中，有限的执行器功率限制了跟踪任意轨迹的能力。传统方法应用局部线性控制律在狭窄操作范围内维持期望轨迹，而欠驱动系统通常需要在时域中进行显式运动规划以实现全局一致的行为。这些方法通常依赖精确的系统建模或大量数据驱动训练，二者均高度依赖外部计算。理解复杂的目标导向行为如何纯粹从物理耦合中涌现，仍是一个开放的基础性问题。
近期研究引入了储备池控制（R-Control）作为耦合两个动力学系统的基于学习的框架。R-Control建立在储备池计算（reservoir computing）原理之上，其中高维储备池系统的动力学与被控对象耦合。经典架构包括输入层、固定非线性储备池、学习的线性读出层和被控对象。早期R-Control研究聚焦于传统方法（如PID和LQR控制器）所处理的线性控制任务，证明基于循环神经网络（RNN）的储备池可有效执行轨迹跟踪。然而，基于RNN的储备池的计算需求远超自然物理系统。这促使研究人员转向物理储备池实现作为更高效且更具生物合理性的替代方案。另一研究方向探索将物理系统本身用作计算储备池，包括软硅臂、光子芯片和振子网络等。这些物理储备池在时间记忆形成、时间序列分析和混沌吸引子重建等任务中展现出强大能力。然而，这些研究主要通过嵌入式传感器状态的加权组合来调节自身动力学。如何将物理储备池用作独立动力学对象的外部非线性控制器，从而通过被控对象-储备池交互实现反馈控制，仍是一个开放挑战。此外，此前研究常依赖理想化或仿真环境，主要关注涌现行为而非明确构建面向目标控制的物理耦合。在真实世界条件下，尤其在存在不可预测扰动时，能否在两个不同动力学系统之间学习有目的的物理耦合，也仍是一个开放问题。
**研究内容与结论**
本研究提出了一种基于学习的方法，用于在被控对象与物理储备池之间建立耦合，而不依赖被控对象动力学的显式解析模型。这种闭环耦合允许储备池通过实时交互调节被控对象行为，研究人员将此方法称为物理储备池控制（PR-Control）。为验证其有效性，研究人员将PR-Control应用于力矩受限的欠驱动单摆作为被控对象，目标是实现摆起运动继而稳定直立平衡。物理储备池由一对外部驱动的双摆实现，其复杂度高于目标被控对象。学习通过被动运动进行：将摆锤手动提升至高位后释放，使其自由下落摆动，记录所得轨迹并重组以训练储备池提供控制信号并生成可行的摆起轨迹。研究人员通过真实世界实验验证了学习到的控制行为，证明了纯粹通过物理耦合实现成功摆起与平衡。仿真补充了这些结果，允许进行理论分析和设计验证。为评估被控对象-储备池系统的鲁棒性，研究人员引入外部噪声并分析耦合动力学中的随机稳定性。进一步使用线性化模型从数学上表征稳定性，并通过引入参数扰动检验模型的鲁棒性。随后，研究人员在仿真和实验中测试系统对外部脉冲和信号丢失等扰动的恢复能力，确认了各种条件下被控对象-储备池吸引特性的持续性。最后，研究人员通过将所提系统与对象无关的周期性储备池激励以及替代非线性振子储备池进行比较，考察了被控对象-储备池耦合和储备池实现的作用。总体而言，本研究在力矩受限摆锤任务上验证了PR-Control。将框架扩展至更高维或更复杂系统可能需要任务特定的储备池设计和改进的训练策略，这超出本工作范围。
**关键技术方法**
研究人员采用的核心技术方法包括：(1) 储备池计算框架，由输入层、动力学储备池和线性读出层组成，读出权重通过岭回归（ridge regression）优化，正则化系数β=10??；(2) 物理储备池实现，由一对双摆组成，第一关节（q??, q??）由伺服电机驱动，第二关节（q??, q??）被动自由旋转，通过光学跟踪标记以240 Hz采样率测量储备池状态；(3) 被控对象为力矩受限单摆，在MATLAB Simulink中仿真，与外部物理硬件进行实时信号交换；(4) 训练数据通过将单摆从初始角度θ_ini = π ? 0.1 rad自由释放收集20秒，同时训练控制信号输出和未来状态估计两个读出任务；(5) 线性化闭环模型分析，围绕下平衡点和上平衡点分别推导系统矩阵，进行极点-零点和参数扰动鲁棒性分析。样本队列来源为物理实验装置，无生物样本队列。
**研究结果**
*物理储备池控制框架*：研究人员展示了PR-Control框架的三个关键阶段：数据收集、训练和控制测试。训练阶段，单摆自由摆动产生正弦模式轨迹，储备池学习生成控制信号τ_a(t)和摆动轨迹预测θ?(t+dt)，训练输出与目标匹配良好。控制测试中，参考切换根据摆锤角度与目标角度距离是否小于切换阈值θ_T = π/4 rad，在摆动模式与平衡模式间切换，唯一外部指定目标为直立平衡点，摆起轨迹本身通过被控对象-储备池交互涌现。
*欠驱动控制性能*：真实世界实验证明系统成功实现欠驱动控制，同时完成摆起和平衡。摆起阶段（t < 14.27 s），被控对象和储备池状态振荡幅度均增大，反映协调能量积累；t = 14.27 s后，摆锤到达直立位置并过渡到稳定平衡状态，储备池振荡幅度减小，表明从能量积累转向稳定化。对外部脉冲的响应测试表明：小脉冲仅引起轻微同步振动，确认紧密动力学耦合的存在；中等脉冲导致暂时失稳但系统在t = 38.37 s时自主恢复平衡，证明物理耦合在中等扰动下的恢复力；大脉冲则导致不可逆的耦合失败。仿真与实验对比展示了五个连续阶段（摆起、平衡、中等脉冲响应、再平衡、大脉冲响应），仿真中摆起至平衡过渡发生在t = 15.72 s，实验中为t = 17.49 s。中等脉冲（0.08 N·m）后摆锤短暂失稳但快速恢复；大脉冲（1 N·m）将摆锤状态驱出储备池操作范围，导致解耦且无法恢复。
*噪声下物理耦合的随机稳定性*：系统在60秒运行中计算摆锤角位置θ与期望最终状态θ_r* = π之间的均方根误差（RMSE）。仿真和实验结果一致揭示噪声阈值约为σ2_r-p = 10?3和σ2_p-r = 10?2，超过此阈值系统从低RMSE（成功控制）转变为高RMSE（失败）。在稳定区域内，适度噪声可改善性能：例如在σ2_r-p = 1.67×10??和σ2_p-r = 7.74×10??时，RMSE为1.0690 rad，显著低于无噪声基线的1.5014 rad。噪声有助于打破初始对称性，加速摆起过程（6.20 s vs 无噪声17.49 s）。最大容忍噪声水平下，被控对象-储备池通道信噪比（SNR）为33.96 dB，储备池-被控对象通道SNR = ?2.85 dB。
*线性稳定性*：极点-零点分析表明，储备池控制器有效将摆锤的不稳定极点移入复平面稳定区域。通过缩放学习到的读出权重W_out（因子k_W ∈ [0, 1]），研究人员追踪了控制器激活过程中系统极点的连续演化。在上平衡点，储备池读出W_out将摆锤动力学从不稳定转为稳定；在下平衡点，储备池读出使摆锤失稳以注入能量启动摆起。在摆锤参数（质量m_p、长度l_p、阻尼μ_p）±50%变化（1331种组合）和储备池参数（质量m_r、长度l_r、质心C_r、转动惯量I_r、阻尼系数μ_r）±50%变化（1024种配置）下，系统在上平衡点保持局部稳定，在下平衡点保持不稳定，确认了控制器对大幅参数不确定性的鲁棒性。
*其他扰动*：脉冲测试中，脉冲幅度在[0.002, 0.1] N·m范围、频率在[0.01, 0.4] Hz范围变化。当脉冲幅度不超过0.032 N·m时，摆锤保持直立且耦合保持；幅度在[0.038, 0.062] N·m范围内，摆锤掉落但通过摆回一致恢复；在[0.034, 0.036] ∪ [0.064, 0.100] N·m区间，系统表现更混沌，解耦概率增加。信号丢失测试中，丢失起始时间在[0.5, 25] s范围、持续时间在[0.2, 5] s范围变化。信号丢失发生在行为切换点附近时系统对持续时间显著更敏感；信号丢失总是导致暂时解耦，系统响应为二值：要么在丢失后重新耦合恢复，要么永久解耦。吸引盆分析表明，在大多数测试状态空间（摆锤初始关节角∈[?π, π] rad，初始角速度∈[?20, 20] rad/s）中，PR-Control成功摆起并稳定摆锤。额外实验表明，以独立周期性激励驱动双摆储备池导致摆起失败，而以四节点非线性振子网络替代双摆储备池并保留状态依赖输入时成功摆起与平衡得以保持，表明状态依赖的被控对象-储备池耦合起重要作用，而成功控制不限于特定双摆储备池。
**讨论与结论**
本工作引入了PR-Control算法，使储备池能够学习其与目标被控对象的物理耦合。以一对耦合双摆作为储备池，研究人员展示了力矩受限摆锤的成功摆起与平衡。学习到的耦合展现出三个关键特性：第一，耦合形成闭环动力学系统，任一子系统的扰动传播至另一子系统，这种双向交互是实现摆起和持续平衡的核心；第二，物理耦合表现出在信号噪声下维持稳定的吸引特性，线性稳定性分析进一步确认上平衡点在物理耦合下保持稳定；第三，耦合对暂时解耦具有恢复力，系统可从脉冲和信号丢失中恢复，但超过一定阈值的扰动会导致持续解耦。补充实验表明PR-Control也可使用非线性振子储备池运行，表明框架不限于特定双摆储备池；同时独立周期性激励下性能降低凸显了维持状态依赖交互的重要性。然而，跨不同被控对象的泛化仍是储备池计算和物理储备池计算中的长期开放挑战。当前实现中被控对象与储备池通过双向信号交换而非直接机械传动耦合，未来全模拟或混合实现可能进一步降低传感和接口消耗。训练数据生成策略也需进一步研究，更广泛复杂的控制任务可能需要更丰富的激励策略。总之，研究人员提出了一种数据高效的方法用于学习储备池与被控对象间的物理耦合以执行非线性控制任务，除控制性能外，本工作为自然和工程物理系统中调节性耦合的涌现提供了见解。
