基于知识的多模态推理框架在智能电网维护中的应用

《Scientific Reports》：Knowledge-guided multimodal reasoning framework for intelligent power grid maintenance

　　

摘要

电网基础设施维护需要可靠地整合各种数据源，包括历史故障记录、技术文档和视觉检查图像。现有方法在确保输出完整性、一致性验证以及系统化的多模态数据集成方面存在挑战——而这些对于高风险的操作决策至关重要。本文提出了一种集成的多模态推理系统，通过系统的质量保证机制来解决这些可靠性问题。该系统架构包含三个组成部分：（1）文档处理流程，从10,247条异构维护记录中构建结构化知识库（其中8,198条用于训练，其余用于验证和测试）；（2）检索增强型推理模块，实现了递归增强思维（RAT）机制，并结合了三维自我评估（槽位完整性、置信度评估、逻辑一致性验证），以满足电网故障诊断的需求；（3）注意力增强型视觉检测模块，用于识别设备异常。通过对120个真实故障案例的验证表明，RAT机制通过迭代优化实现了95%的输出完整性和0.82的置信度得分（大约在3次迭代内收敛到98%），而单次处理仅能达到65%的完整性和0.55的置信度。在对15,648张检查图像进行视觉检测时，该系统的mAP@.5值达到了0.952，并且在具有挑战性的条件下（如遮挡、距离和恶劣天气）仍保持了良好的鲁棒性（性能保留率为87.4%）。这些结果表明，该系统在实际的电网维护操作中具有潜在的应用价值。