《Electronics》：Automated Acoustic Side-Channel Attack on Keyboard Inputs via Combined Video–Audio Analysis
编辑推荐：
随着中国智能电表的大规模部署，电力公司需要能够评估电表运行状态并定位故障单元而无需现场巡检的在线方法。电表数据本质上是多模态的，结合了时间序列测量值与文本事件日志。这些模态之间的语义差距限制了现有方法的准确性。本文提出了一种基于大语言模型（LLM）跨模态感知的
随着中国智能电表的大规模部署，电力公司需要能够评估电表运行状态并定位故障单元而无需现场巡检的在线方法。电表数据本质上是多模态的，结合了时间序列测量值与文本事件日志。这些模态之间的语义差距限制了现有方法的准确性。本文提出了一种基于大语言模型（LLM）跨模态感知的智能电表在线运行状态评估方法。首先，采用带有分位数回归的Bi-LSTM和TCN-Attention网络构建一个稳健的台区线损基准，该基准能够捕获季节性波动和运行不确定性。然后，一个跨模态对齐模块融合两种模态：测量序列由PatchTST编码，事件日志由LoRA微调的大语言模型（LLM）编码；融合通过对比学习和门控融合完成，检索增强知识图谱提供额外支持。最后，一个多指标健康指数将电表划分为五个状态等级，隐马尔可夫模型（HMM）估计剩余使用寿命。案例研究结果表明，所提方法达到85.7%的准确率，优于最强基线。
**论文解读：基于跨模态感知的智能电表在线运行状态评估方法**
**研究背景与问题**
随着新型电力系统的大规模建设，配用电侧感知能力显著提升，智能电表作为电量计量、电费结算、线损管理和用电行为分析的关键终端，在中国已部署数亿计。然而，长期在线运行中，电表持续产生海量多源异构数据，包括连续时间序列信号、结构化指标以及半结构化/非结构化事件文本和运行日志。如何实现在线运行状态评估成为计量运维领域的核心挑战之一。传统方法依赖周期性轮换和抽样检测，但覆盖范围低、时效性差，难以全面监控实时状态。基于AMI（高级计量基础设施）数据的远程状态监测方法，如规则法和机器学习方法，要么无法适应动态运行条件导致高误报率，要么仅依赖电气测量数据而忽略事件日志中的故障信息。此外，台区线损率作为残差检测的基准，受季节和负荷非线性影响而不稳定；现有研究多将问题视为二分类，但电表退化是一个渐进过程，需要分级健康评估和早期预警。因此，需要一种融合多模态数据、建立稳健基准并实现分级评估的方法。
**研究人员开展的研究与结论**
本文提出了一种基于大语言模型（LLM）跨模态感知的智能电表在线运行状态评估方法。该方法首先构建深度学习的台区线损率预测模型（Bi-LSTM+TCN-Attention），通过分位数回归提供概率预测区间，作为异常检测的稳健基准。然后，采用跨模态语义对齐框架：时间序列由PatchTST编码，文本事件日志由LoRA微调的LLM编码，通过对比学习和门控融合实现模态对齐，并结合检索增强知识图谱（RAG）提供领域知识支持。最后，建立多指标健康指数（HI），将电表划分为五个状态等级，并利用隐马尔可夫模型（HMM）估计剩余使用寿命（RUL）。在省级电网12000个电表数据集上的案例研究表明，该方法在故障识别上达到85.7%的准确率，优于所有基线方法（包括Transformer-Encoder-BiLSTM的83.4%），且差异具有统计显著性（p<0.05）。消融实验显示，LoRA微调贡献最大（准确率从80.1%提升至85.7%），其次为软提示调优和RAG。该论文发表在《Electronics》。
**关键技术与方法**
研究人员主要使用了以下关键方法（基于省级电网12000个电表数据，包括居民、商业和工业混合负荷类型，数据已匿名化）：
1. **深度学习线损基准模型**：结合双向长短期记忆网络（Bi-LSTM）捕获短期局部动态，时序卷积网络（TCN）与注意力机制（Attention）捕获长期季节性模式，并通过分位数回归输出预测区间，用于筛选异常台区。
2. **跨模态语义对齐框架**：采用PatchTST作为时间序列编码器，LoRA（低秩适应）微调的大语言模型（LLM）作为文本编码器，通过对比学习（InfoNCE损失）和门控融合实现模态对齐，同时引入检索增强生成（RAG）机制从电力领域知识图谱中检索相关子图增强表示。
3. **多层级健康评估系统**：构建包含电气性能、通信状态、计量精度和运行环境的多指标健康指数（HI），通过熵权法和变异系数法组合赋权，将电表分为五个等级，并利用隐马尔可夫模型（HMM）估计剩余寿命。
**研究结果**
- **3. 基于深度学习的故障电表区域筛查模型**：通过构建Bi-LSTM和TCN-Attention混合模型，预测台区线损率及其预测区间，利用残差统计量（式18）触发异常警报。该模型能够过滤季节和负荷波动引起的正常线损变化，为后续电表异常识别提供稳健基准。
- **4. 融合大语言模型的跨模态数据语义对齐技术**：采用LoRA微调LLM（实验中选用Llama-2-7B），结合软提示调优和RAG，将时间序列与事件日志投影到共享语义空间，通过门控融合和MLP分类头进行故障识别。对比实验表明，该方法准确率85.7%，优于单模态方法（LSTM仅64.2%、BERT仅73.1%）和普通多模态融合方法（Transformer-Encoder-BiLSTM为83.4%）。
- **5. 智能电表多层级评估系统**：基于线损偏差、测量正常概率等指标计算健康指数（HI），将电表分为优秀、良好、一般、关注和故障五个等级。HMM估计的转移矩阵显示自转移概率占优，且退化方向概率随退化程度增加，符合工程经验。模拟加速老化轨迹呈现慢退化、加速老化和临界失效三阶段。
- **6. 案例研究分析**：在12000个电表数据上，该方法的健康等级分布显示大多数电表处于良好状态，但随时间性能逐渐退化。消融实验表明，移除LoRA微调导致准确率下降最大（至80.1%），移除软提示调优降至83.2%，移除RAG降至83.1%。在线部署成本测试显示，在单张RTX 4060 GPU上，4位量化LLM的推理延迟为0.47秒/样本，可满足45分钟/轮次的在线评估需求。
**总结与讨论**
本文提出了一种基于大语言模型跨模态感知的智能电表在线状态评估方法。该方法融合时间序列测量和文本事件日志，在省级电网12000个电表数据上实现85.7%的故障识别准确率。消融研究表明，LoRA领域适应贡献最大，其次是软提示调优和知识检索。健康指数将每个电表分为五个状态等级，在绝大多数抽样案例中与现场校验结果一致。未来研究将引入因果推理机制，构建故障传播因果图，以增强模型对复杂故障根因的追溯能力。
