
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于多摄像头视觉的古建筑砖石宣礼塔结构健康监测,结合大语言模型/视觉语言模型辅助损伤识别
《Scientific Reports》:Multi-camera vision-based structural health monitoring of historic masonry minarets with LLM/VLM-assisted damage interpretation
【字体: 大 中 小 】 时间:2026年07月23日 来源:Scientific Reports 4.9
编辑推荐:
摘要本研究提出了一种由大语言模型/视觉语言模型协作的多智能体框架,用于对历史砖石结构尖塔进行基于多摄像头的结构健康监测。该框架的核心创新在于其具备区域感知能力且可追溯的决策支持策略:通过摄像头获取的位移异常数据、传感器间关系的变化以及视觉语言模型生成的视觉观测结果都被作为可追溯的
本研究提出了一种由大语言模型/视觉语言模型协作的多智能体框架,用于对历史砖石结构尖塔进行基于多摄像头的结构健康监测。该框架的核心创新在于其具备区域感知能力且可追溯的决策支持策略:通过摄像头获取的位移异常数据、传感器间关系的变化以及视觉语言模型生成的视觉观测结果都被作为可追溯的证据流保存下来,并在决策层进行整合,而非通过不透明的特征级融合方式处理。该框架在经过可控振动台试验的缩小比例砖石尖塔上进行了实验验证。多摄像头光流跟踪技术为全局及基于关系的异常分析提供了位移时间序列,而特定区域的检测图像则由视觉语言模型解读为定性视觉证据。与参考状态相比,全局重建误差分析结果显示,在可能受损阶段异常现象更为频繁且持续存在。基于关系的分析方法则发现了传感器间一致性存在的非均匀退化现象,其中最强的定位线索来自与实验中受损区域对应的传感器所在位置。最为重要的是,整合后的区域级风险图与振动台试验后尖塔模型上的实际损伤情况在空间分布上具有良好的一致性。这些研究结果表明,所提出的多智能体框架能够将不同的结构健康监测数据转化为易于理解的区域风险优先级信息以及可供审核的报告结果,同时还能保持专家参与下的审慎分析策略。