基于多模态微调大型模型的水力发电工程施工安全风险智能识别方法

《Integrated Circuits and Systems》：Intelligent Identification Method for Construction Safety Hazards in Hydropower Engineering Based on Multimodal Fine-Tuned Large Models

　　

摘要：

水力发电建设中的安全隐患种类繁多，且往往出现在复杂多变的地理环境中。基于经验的人眼评估容易受到认知和心理偏差的影响。现有研究存在诸多局限，包括单模态模型无法捕捉跨模态的危险特征，小型模型的泛化能力有限，以及通用预训练模型的领域适应性较差。为解决这些问题，本研究构建了首个用于水力发电工程安全隐患的多模态图像文本数据集。通过利用Qwen2.5-VL模型，并采用LoRA和指令微调技术，实现了高效的领域适配。研究还提出了一种经过微调的多模态大模型，可用于智能识别水力发电建设中的安全隐患。通过对不同类型隐患、不同模态以及不同模型架构的对比实验表明：（1）数据不平衡对不同类型隐患之间的性能差异影响较小；（2）文本描述通常能传递比视觉特征更多关键的隐患相关信息；（3）领域特定微调与有效的多模态融合是提升隐患识别性能的关键因素。