《Scientific Reports》：A vibration control method for chatter mitigation in milling process based on sliding mode control and reinforcement learning
颤振（chatter）是一种自激振动现象，会限制铣削加工的生产率、表面质量和刀具寿命。本研究通过集成滑模控制（SMC）、强化学习（RL）与主动减振器（AVD），提出了一种主动颤振抑制策略。首先，构建了一个二维自由度（two-degree-of-freedom）铣削模型，用于描述刀具在进给方向与法向方向上的振动，其中纳入了再生切削力效应、非线性力分量以及减振器摩擦动力学。随后，研究人员开发了连续时间滑模控制器，以在有界非线性和建模不确定性条件下实现对颤振的鲁棒抑制。为减弱保守的切换动作并提高自适应补偿能力，在控制器中引入了行动者—评论家（actor-critic）强化学习组件，作为有界辅助控制信号。该RL智能体利用振动状态、滑模变量以及先前控制信息，学习补偿力，从而在惩罚过大控制能量和突变力变化的同时降低残余颤振。研究建立了基于Lyapunov的有界性定理，证明当切换增益主导集总不确定性及有界RL补偿时，滑模面、振动误差以及闭环铣削状态均保持一致最终有界（uniformly ultimately bounded, UUB）。研究人员基于既有非线性铣削颤振研究中提取的切削与结构参数开展了数值仿真，并将所提出的SMC-RL控制器与无控制工况及传统比例-积分-微分（PID）控制器进行了比较。结果表明，该方法在两个振动方向上均实现了更快的振动衰减和更低的残余颤振。依据均方误差（MSE）指标，所提控制器在x方向实现了86.27%的振动衰减，在y方向实现了87.09%的振动衰减，优于PID基准控制器。这些发现表明，将SMC的鲁棒性与基于RL的自适应补偿相结合，为高生产率铣削过程中的主动颤振抑制提供了一个具有前景的框架。
该文发表于《Scientific Reports》，围绕铣削加工中最具限制性的动态问题之一——颤振（chatter）展开研究。颤振本质上是一种由切削过程与机床—刀具—工件系统结构动力学相互作用诱发的自激振动，会显著削弱尺寸精度、表面完整性、刀具寿命与材料去除率。传统基于稳定叶瓣图的工艺参数选择方法，本质上属于“避开不稳定区”的被动策略，虽然可用于选择稳定转速和切深组合，但当加工过程逼近稳定边界或进入不稳定区时，难以主动压制已形成的再生振动。与此同时，被动减振器或可调吸振器又存在频带有限、依赖调谐、工况变化后效果下降等问题。因此，在高切深、高转速和柔性刀具/工件条件下，开发兼具鲁棒性、适应性与可实施性的主动颤振控制方法具有重要必要性。
针对上述问题，研究人员提出了一种基于滑模控制（SMC）与强化学习（RL）融合的主动颤振抑制方法，并以主动减振器（AVD）作为执行机构，将控制力直接施加于主轴—刀具振动结构。论文首先建立了适用于控制器设计的二维自由度铣削振动模型，描述刀具在x、y两个主振方向上的位移和速度响应；在模型中显式考虑了再生时滞项、非线性切削力高阶项、减振器摩擦以及执行器作用，从而将铣削颤振问题表述为带有匹配不确定性的非线性时滞振动控制问题。在此基础上，研究人员设计了连续时间SMC律，用滑模面将位移误差与速度误差耦合，利用切换控制保证系统对有界不确定性的鲁棒性；同时，为减轻传统滑模控制的高频抖振（chattering）与过于保守的高增益切换，引入了行动者—评论家（actor-critic）RL模块，作为有界辅助补偿信号学习残余非线性扰动。研究结论表明，该混合控制结构不仅保留了滑模控制对不确定切削力、摩擦和建模误差的鲁棒性，而且通过学习补偿进一步提升了瞬态衰减速度、降低了稳态残余颤振，并在MSE指标上显著优于PID控制与标准SMC基线。其意义在于，为非线性、高不确定性铣削系统的主动颤振控制提供了一种兼具理论可证性与性能优势的新框架。
研究所用关键技术方法主要包括以下几类。其一，建立包含再生时滞、三次多项式非线性切削力、减振器摩擦与AVD作用的二维自由度状态空间模型；其二，构造连续时间滑模面并设计饱和函数替代符号函数的SMC控制律；其三，采用行动者—评论家强化学习结构，以振动位移、速度、滑模变量及前一时刻控制量构成状态，以有界补偿力为动作，以振动、滑模偏差、控制能量和控制变化率构造奖励函数；其四，利用Lyapunov方法证明闭环系统一致最终有界；其五，采用基于既有非线性铣削研究参数的数值仿真，并与无控制、PID、标准SMC进行对比，同时实施±10%随机参数扰动的鲁棒性分析。本文未使用样本队列，验证方式为数值模拟。
以下结合论文主体部分的小标题，对研究结果进行归纳解读。
一、Control objective, challenges and comparison framework
该部分明确了研究控制目标，即通过AVD控制力
u
c(t)抑制刀具在两个主振方向上的再生颤振，使位移与速度收敛到无颤振平衡点附近。研究人员将目标定义为零参考振动跟踪/调节问题，而非一般时变轨迹跟踪问题；同时给出性能指标泛函，对位移、速度、控制输入及控制变化量进行联合惩罚。该部分说明了铣削颤振控制的难点：系统具有再生时滞、非线性切削力、摩擦、参数不确定性和执行器约束，因此需要兼具鲁棒性和自适应性的主动控制策略。论文同时设置了四类比较对象：无控制、PID、标准SMC和SMC-RL，为后续性能判定提供了清晰框架。
二、Two-degree-of-freedom milling-tool dynamics
这一部分建立了刀具横向二维自由度动力学模型，将主轴—刀具系统简化为x、y两个正交方向的等效质量、阻尼和刚度系统。研究人员用二阶矩阵方程和对应标量方程描述刀具在切削力作用下的振动响应。这一建模形式是经典铣削颤振分析框架，为后文引入再生切削力、控制作用和状态空间表达提供了基础。
三、Regenerative displacement and time delay
该部分阐述了再生颤振形成机制：当前刀齿切削厚度取决于当前刀位与上一齿留下表面之间的差异，因此系统中自然引入齿通过时滞τ。研究人员定义了Δx(t)、Δy(t)作为再生位移项，说明这类延迟反馈会在不利相位关系下向结构模态注入能量并放大振动。通过这一部分，论文明确了控制对象不是普通振动系统，而是具有时滞再生特性的铣削动力系统。
四、Nonlinear cutting-force model
这一部分采用三阶多项式形式描述x、y方向切削力，将线性项、二次项、三次项及耦合项统一纳入模型。研究人员进一步将切削力分解为名义线性再生刚度项和非线性剩余项，后者作为有界不确定性处理。该结果表明，论文并非仅基于线性化切削模型设计控制器，而是保留了非线性切削特性，从而增强了控制设计与实际复杂工况的一致性。该分解也为RL的作用提供了解释基础：SMC负责鲁棒稳定，RL针对未建模或高阶残余效应进行补偿。
五、Active vibration damper model
此部分介绍了AVD的物理配置与力学作用方式。研究人员将AVD安装于主轴顶部，并以倾角φ布置，使单个执行机构可在两个主振方向上产生控制分量。模型中，AVD控制力以向量形式进入刀具动力学方程，构成对切削激励的主动对抗机制。论文强调，AVD方案的优势在于不必直接改变切削参数，而是通过结构主动控制来抑制颤振，因此具有较好的工程实用性。
六、Damper friction and bounded disturbance representation
这一部分将AVD摩擦表示为黏性项与平滑Coulomb摩擦项之和，并用tanh函数近似符号函数，避免理想不连续摩擦模型引发的数值和实现问题。随后，研究人员把再生项、非线性切削力、摩擦和建模误差统一归并为集总扰动Ψ(t)，并假设其有界。通过这一步，原始复杂的非线性时滞系统被转化为带有匹配有界不确定性的受控系统，为SMC和Lyapunov分析奠定了严格基础。
七、State-space representation for SMC-RL design
该部分将二阶动力学改写为一阶状态空间模型，定义状态向量包含位移与速度，并指出延迟与非线性项进入同一控制通道，可视为匹配不确定性。研究人员还给出了测量输出形式和理想目标状态z
d(t)=0，并构造了后续控制设计所需的滑模面。其结论是：铣削颤振问题可以在标准鲁棒控制框架中表述，从而使SMC-RL结构具备明确的数学支撑。
八、Control-input decomposition for the proposed SMC-RL framework
这里给出核心控制思想：总控制输入由鲁棒滑模控制项u
SMC(t)与强化学习补偿项u
RL(t)组成。论文特别要求RL输出满足有界性约束，以保证执行器安全和后续稳定性证明成立。同时，研究人员设计了两种RL状态构造方案，并给出了典型奖励函数，其核心是同时压低振动、滑模偏差、控制能量和控制突变。该部分奠定了“SMC保稳定、RL提性能”的层级化控制架构。
九、Sliding surface design
该部分以位移误差和速度误差线性组合构造滑模面s(t)=?(t)+Λe(t)。研究人员指出，当轨迹到达滑模面时，误差动力学退化为指数稳定的一阶系统，因此振动抑制问题可转化为“到达并维持在滑模面附近”的问题。这一定义使振动控制目标获得了清晰、可分析的结构表达。
十、Baseline continuous-time sliding mode controller
在这一部分，研究人员设计了由等效控制和切换控制组成的连续时间SMC。等效控制用于补偿名义动力学，切换项用于对抗不确定性。考虑到传统符号函数会带来严重抖振，文中以饱和函数替代符号函数，在边界层内实现平滑切换。该部分得出的结论是：标准SMC可实现鲁棒抑振，但由于边界层存在，系统收敛到的是原点邻域而非严格原点，同时仍存在固定增益与性能折中问题。
十一、Reinforcement learning-assisted compensation
这一部分引入RL辅助补偿，指出仅依赖固定切换增益的SMC难以同时兼顾强鲁棒性与低抖振。研究人员将RL输出设计为经tanh约束的有界补偿力，使其根据系统状态学习减少残余振动。该结构并不取代SMC，而是改善其在非线性和不确定工况下的剩余误差表现，体现出学习控制对传统鲁棒控制的增强作用。
十二、Relationship between SMC and RL and the reduced SMC case
该部分从理论上厘清了SMC与RL的关系。若令u
RL(t)=0，则控制器退化为标准SMC，且在切换增益足够大时仍能保证有界性。这表明稳定性主干由SMC提供，RL只是性能增强模块。论文据此强调，RL在框架中被有意限制为“有限但重要”的辅助项：有限，是因为其不承担主稳定功能；重要，是因为其能降低残余颤振与过度切换需求。
十三、RL state, action and reward design
这一部分给出了RL设计细节。状态向量包含位移、速度、滑模变量和先前控制量；动作即辅助补偿力；奖励函数则同时惩罚振动幅值、速度、滑模偏差、控制能量与控制变化率。由此，RL学习目标不是单纯最小化振动，而是在抑振性能与控制平滑性、执行器负担之间取得平衡。
十四、Actor-critic learning structure and convergence of the training law
该部分采用行动者—评论家框架处理连续状态和连续动作控制问题。研究人员给出了价值函数、时序差分误差、评论家损失函数以及行动者策略更新律，并把离线训练收敛解释为：时序差分误差、评论家损失和回报增量收敛到小邻域，且输出始终受限于u
max。这说明论文并未声称获得全局最优策略，而是强调在闭环控制语境下得到一个稳定、有效、可部署的局部有界补偿策略。
十五、Complete SMC-RL control law
此部分汇总形成完整控制律，即名义等效控制、滑模饱和切换项和RL有界补偿项之和，并给出实施流程，包括状态测量、误差计算、滑模面构造、名义控制生成、RL状态构造、补偿力输出及训练更新。该部分表明所提方法具备明确的工程实现路径。
十六、Boundedness analysis of the proposed SMC-RL controller
这是全文理论核心。研究人员基于Lyapunov函数V(t)=1/2 s
TM
ms，对闭环系统进行了有界性证明。在假设质量矩阵正定、建模误差有界、RL输出有界的条件下，只要切换增益满足λ
min(K
s)＞Δ?+u
max，则滑模变量收敛到边界层内，进而位移误差、速度误差和完整状态向量一致最终有界。该定理说明：RL的引入并未破坏SMC的鲁棒性结构，前提是其输出受到严格约束。理论结论也对参数选取给出了清晰物理解释，即滑模切换强度必须覆盖不确定性与学习补偿上界的总和。
十七、Simulation setup
该部分说明了仿真区间、主轴转速、齿数、AVD质量比例以及切削与结构参数来源。研究采用基于既有非线性铣削研究的参数集，以确保工况具有可比性和典型性。四类工况分别为无控制、PID、标准SMC与SMC-RL。
十八、Controller implementation
在这一部分，论文分别给出了PID、标准SMC和SMC-RL控制器的实现形式。PID控制器经迭代仿真调参，以获得尽可能好的传统基准性能；标准SMC用于隔离鲁棒滑模基线效应；SMC-RL则使用前文完整结构，并配置离线训练参数。该设计保证了后续比较既能体现与工业常用控制的差异，也能辨析RL相对于纯SMC的增益。
十九、Performance evaluation indicators
研究人员采用均方误差（MSE）作为主要定量评价指标，并计算相对于无控制情形的振动衰减率，同时结合时域响应、控制力历史和奖励收敛过程进行综合评价。这一评价体系覆盖了抑振效果、控制代价和学习行为三方面。
二十、Time-domain vibration responses
结果显示，在x、y两个方向上，无控制系统均出现明显持续颤振；PID虽可降低振幅，但仍存在较显著残余振动；标准SMC能抑制颤振并保持系统有界，但在选定非线性切削条件下仍有可观残余振动；SMC-RL则实现了更快衰减和更小振幅范围。该部分直接证明了RL补偿对标准SMC基线的增强作用。
二十一、Control-force behaviour and RL convergence
控制力结果表明，PID控制力能够稳定系统，但线性反馈对复杂非线性扰动补偿有限；标准SMC具有更强切换特征；SMC-RL在获得更好抑振效果的同时，整体控制力演化更平滑，说明RL减轻了切换项负担。离线训练奖励逐步上升并趋于稳定，则支持了RL策略经训练后可形成有效辅助补偿。
二十二、Comparative validation using MSE
该部分给出了最重要的量化结果。无控制时，x、y方向MSE分别为0.3823和0.3702；PID降至0.1851和0.1744，对应衰减51.58%和52.89%；标准SMC降至0.2260和0.2352，对应衰减40.88%和36.47%；SMC-RL进一步降至0.0525和0.0478，对应衰减86.27%和87.09%。这表明，SMC-RL在两个方向上均明显优于PID和标准SMC，且相较PID和标准SMC都取得了大幅MSE降幅，验证了“鲁棒主控制+学习补偿”结构的有效性。
二十三、Robustness analysis under random parametric variations
为评估参数不确定性下的鲁棒性，研究人员对质量、阻尼、刚度、非线性切削力系数和摩擦项施加±10%的均匀随机扰动，并对每类控制工况进行了50次Monte Carlo仿真。结果显示，参数变化会提高所有工况的MSE，但无控制最敏感，PID性能波动较大，标准SMC保持有界响应，而SMC-RL在x、y两个方向上均取得最低平均MSE、最低标准差和最低最坏情形MSE。该结果与理论有界性分析一致，表明所提方法在参数偏离标称值时仍具有更强的鲁棒抑振能力。
二十四、Discussion of the numerical findings
讨论部分指出，SMC-RL性能提升的根源在于两类机制互补：SMC通过滑模面和切换项提供鲁棒稳定骨架，RL通过有界学习补偿减少剩余非线性误差与过度切换需求。PID虽能作为主动控制基线，但由于缺少对再生非线性、摩擦和时滞不确定性的显式处理，其残余振动明显更大。论文认为，RL并非替代鲁棒控制，而是在稳定结构之上增强补偿能力。
二十五、Interpretation of the boundedness analysis
该部分进一步解释了定理的物理意义：切换增益必须足以压倒不确定性与RL最大补偿；边界层的存在意味着收敛目标是一个小邻域，这是一种降低抖振的工程折中。论文据此强调，RL必须被约束在有界范围内，不能作为不受限制的“黑箱控制器”，否则将破坏稳定性分析的可解释性与可验证性。
二十六、Practical implications for milling chatter control
研究指出，该方法保留AVD主动控制优势，可直接调节主轴—刀具结构响应而不必重新设计机床结构；同时适用于具有再生、非线性切削力与摩擦效应的复杂动力学；在切削条件变化时，相较固定参数PID更具适应性。此外，控制力结果显示其能在颤振增长初期提供较强抑制，在稳态阶段减小控制负担，具有实际部署价值。
二十七、Conclusion
论文结论可译为：本文提出了一种基于滑模控制与强化学习的铣削过程主动颤振抑制方法。研究以包含非线性切削力效应和AVD主动控制的二维自由度铣削模型为基础，构建了连续时间SMC与有界行动者—评论家RL补偿相结合的控制器。SMC通过由位移与速度误差构成的滑模面实现鲁棒收敛，并通过饱和函数减轻传统滑模的抖振问题；RL则利用振动状态、滑模变量和先前控制信息生成有界辅助补偿，同时在奖励函数中综合惩罚振动、滑模偏差、控制能量与突变。基于Lyapunov的定理证明，当切换增益大于建模不确定性与最大RL补偿之和时，闭环系统保持一致最终有界。数值结果表明，该方法较PID控制具有更快的振动衰减和更低的残余颤振，在x方向和y方向分别实现了86.27%和87.09%的振动衰减。总体而言，该方法在保留滑模控制稳定性导向结构的同时，引入强化学习提升了非线性、不确定切削条件下的补偿能力，为铣削颤振主动控制提供了有前景的研究方向。
