面向电力设备的射频指纹漂移自适应特征蒸馏连续认证方法

《Future Internet》：Adaptive Feature Distillation-Based Continuous Authentication Against RF Fingerprint Drift for Power Equipment

　　

摘要翻译：
射频指纹（RF fingerprint）会因环境变化和设备老化而随时间漂移，这逐渐降低基于固定模型构建的认证系统的性能。现有的增量学习方法在处理此类漂移时，往往要么遗忘历史设备，要么无法适应新分布。研究人员针对该场景提出了一种增量更新策略，并在自建的64维模拟漂移数据集上进行了评估。在每次更新时，从当前批次计算每个特征通道的梯度重要性，并通过三个特征级蒸馏项（通道均方误差、协方差对齐和空间注意力）使新模型的表示与旧模型保持接近。蒸馏强度随更新步数呈指数衰减，从而在早期强保留旧知识，后期则允许更灵活的适应。一个小型记忆缓冲区将旧样本混入每个训练批次，以进一步增强历史识别能力。在合成数据集上，该方法在最终历史准确率方面优于静态模型、微调、EWC（弹性权重巩固）和LwF（不遗忘学习）基线。消融研究证实，多级蒸馏、动态衰减和动量平滑通道权重均产生正向贡献。这些基于模拟的初步结果表明，在所构建的模拟评估框架内，该方法在缓解指纹漂移引起的遗忘方面显示出潜力，同时保持对新指纹的适应性。

论文解读：
在电力物联网环境中，海量设备通过无线方式交换数据，设备身份认证是基本安全需求，而高级持续性威胁已成为最突出的网络安全风险之一。射频指纹识别利用硬件制造公差带来的独特信号特征，相对于传统基于密钥或证书的方法，更难被伪造且不增加额外通信开销，因此被用于电力设备的接入认证。然而，电力设备常在户外变电站运行，温度波动、振动和元器件老化会导致射频指纹发生缓慢而持续的漂移。已有研究表明，环境因素和老化会损害射频指纹的长期稳定性，同一设备在不同时间段会出现显著分布偏移。若静态训练模型不进行更新，其决策边界会逐渐偏离实际指纹分布，导致合法设备被拒绝，虚警率上升并扰乱正常运行；同时漂移后的特征空间可能与其他设备或攻击者信号重叠，增加误接受风险。因此，长时间部署后静态认证系统性能会逐步恶化。为维持认证系统长期有效，模型必须适应指纹渐变，同时保持识别历史指纹的能力。这本质上属于持续学习问题，但与常见类别增量设置不同：设备类别数固定，而类内指纹分布发生偏移。大多数现有增量学习方法针对类别增量场景设计，直接移植到“类别固定但类内漂移”场景时其假设不再成立。例如，微调在新指纹学习时迅速覆盖旧知识；EWC（弹性权重巩固）基于旧分布计算Fisher信息矩阵，参数约束形成“禁区”限制模型灵活性；LwF（不遗忘学习）依赖旧模型在新样本上的软输出，但漂移积累后软标签几乎均匀或对错误类别过度自信，教师信号信噪比急剧下降，产生教师-学生分布失配偏差。为此，研究人员提出了一种基于自适应特征蒸馏的连续认证方法，旨在解决类别固定但类内分布漂移的增量学习问题。该研究定义了区别于传统类别增量学习的固定类别增量学习场景，要求模型稳定类间决策边界同时捕获类内数据分布变化；提出自适应多层特征蒸馏算法，在特征层面施加通道均方误差、协方差对齐和空间注意力三种对齐损失，并引入动态蒸馏衰减和动量更新通道权重以平衡旧知识保留与新分布适应；采用小型历史样本重放缓冲器缓解灾难性遗忘；在合成指纹漂移数据集上验证了方法优于静态训练、微调、EWC和LwF等基线。该论文发表于《Future Internet》（未来互联网期刊）。
研究人员所用到的主要关键技术方法包括：基于梯度期望的通道重要性权重计算，通过温度缩放Softmax和动量平滑获得稳定的通道权重；多层特征蒸馏损失，包括通道均方误差、协方差对齐和空间注意力对齐；动态指数衰减的蒸馏强度策略；固定容量（200样本）的先进先出重放缓冲器；模拟数据生成时采用包含预热项、周期项和老化项的物理启发漂移模型，以及设备特定偏置和特征维度敏感性系数。数据集为自建的64维模拟漂移数据集，样本按8：2划分为训练集和验证集，覆盖10个设备类别，共20个漂移更新时间步。
实验部分的主要结果如下：
5.4节 与现有方法比较：在图1中，静态模型历史准确率保持100%，但当前准确率降至11.7%，完全无法适应新分布；微调和EWC（弹性权重巩固）保持高当前准确率但历史准确率严重下降，20次更新后低于20%；LwF（不遗忘学习）在前期有中等抗遗忘能力，后期迅速下降至25%以下；添加重放后，LwF+Replay和EWC+Replay最终历史准确率分别为29.3%和22.6%，但仍远低于所提方法的58.4%。图2显示所有更新方法当前准确率均接近100%，静态模型仅为11.7%。表5的多指标对比中，所提方法平均历史准确率0.8841，平均当前准确率0.9990，综合稳定-适应性分数S为0.9386，均优于所有基线。图3的EER（等错误率）曲线表明所提方法在所有时间步上EER最低，有效降低对未授权设备的误接受风险。
5.5节 消融实验与参数敏感性：通过逐步移除组件构建变体，图4结果显示动态蒸馏强度相比固定强度会降低约1-2个百分点历史准确率，但换取更好的适应性；在没有Softmax动量时，从单层到三层蒸馏带来约20个百分点的显著提升；引入Softmax动量后，三层蒸馏的增益变小，表明动量平滑通道权重已提供较强抗遗忘能力；完整方法（三层+动态λ+Softmax动量）在所有变体中历史准确率最优。图5显示Replay-only基线最终历史准确率与完整方法相差约38个百分点，证明特征蒸馏模块独立贡献显著。图6显示重放缓冲容量从0增至200时性能提升，但超过200后饱和；图7显示蒸馏衰减半衰期在10和20时性能接近，方法对参数选择鲁棒。
5.6节 讨论：当不使用动量时，协方差和空间注意力对齐非常有效，可作为不方便应用动量时的替代方案；一旦采用动量平滑通道权重，可根据计算预算决定是否保留高阶蒸馏损失。在实验框架内，特征级结构化约束比参数约束或输出概率约束更有效缓解类内漂移下的遗忘，可能原因是特征层直接携带分类必需判别信息，而参数约束仅间接影响特征，输出蒸馏可能丢弃中间层编码的结构化信息。注意相对贡献的结论需结合蒸馏和重放的整体设计理解。
6. 结论部分总结：本文提出一种针对长期电力设备运行中缓慢射频指纹漂移的增量更新算法，通过基于梯度的通道重要性权重、三种特征级蒸馏约束（通道均方误差、协方差对齐、空间注意力对齐）、逐渐衰减的蒸馏强度和小型历史重放缓冲器，平衡知识保留与新分布适应。在20个漂移阶段的模拟实验中，所提方法在第20步达到58.4%的历史准确率，比LwF（不遗忘学习）高出34个百分点，同时保持良好当前准确率。消融研究支持动态蒸馏、多层蒸馏损失和动量通道权重更新的贡献。需强调所有评估均在自建合成数据集上进行，模拟虽包含物理启示的漂移先验（预热效应、周期温度波动、老化趋势），但在真实电力设备信号上的性能尚待验证。未来工作将结合大语言模型和知识图谱思想改进增量更新策略，并收集真实电力设备长期射频测量数据进行严格验证。
最后，研究人员指出本文结果应视为受控模拟环境下的初步验证，而非真实系统性能的确证证据。