RAG增强的多智能体LLM/VLM框架：面向历史砌体结构可审计与区域感知的结构健康监测

《Scientific Reports》：A RAG-enhanced multi-agent LLM/VLM framework for auditable and region-aware structural health monitoring of a historic masonry structure

　　

历史砌体结构要求监测工作流具备非破坏性、可解释性以及对现场变异性的鲁棒性。本文提出一个概念验证性的检索增强生成（retrieval-augmented generation, RAG）增强结构健康监测（structural health monitoring, SHM）工作流，并在单个历史砌体宣礼塔案例研究中演示；其中管理者–编排器协调信号分析、视觉分析和跨模态融合。来自安装于该宣礼塔的四个传感器的振动数据通过可重复流程处理，包括数据清洗、基于功率谱密度（power spectral density, PSD）的基线表征、自适应加窗、鲁棒归一化，以及使用在健康参考数据（Measurements 1–12）上训练的一维卷积自编码器（1D convolutional autoencoder）进行异常筛查，随后在Measurements 13–20上评估。通过传感器对上的关系型自编码器和传感器到区域损伤映射增强定位。并行地，视觉语言模型（vision–language model, VLM）分析来自同一案例研究的传感器关联检查图像，而针对所监测宣礼塔的经整理检索增强结构记忆包（几何、材料、基线动力学、有限元（finite element, FE）注释和检查手册）支持上下文感知解释。三智能体决策层（智能体A：大语言模型（large language model, LLM）+RAG，智能体B：VLM+RAG，智能体C：融合+RAG）协调信号衍生证据与图像衍生证据之间的一致性与冲突，以生成案例特定的全局和区域级风险评估。该研究在此单次部署中比较有RAG与无RAG分析模式，并报告结构化、可追溯输出，包括JSON产物、逐图像发现、逐传感器摘要、叙述性报告和最终风险图。其主要贡献是展示信号衍生异常、图像衍生证据和检索接地结构记忆如何在一个受监测历史砌体宣礼塔的可追溯多智能体SHM工作流中结合。

论文解读：RAG增强的多智能体LLM/VLM框架用于历史砌体结构可审计与区域感知SHM

一、研究背景与问题
历史砌体宣礼塔细高，承载文化身份，同时易受渐进劣化和突发灾害影响。老化砂浆、材料非均质、环境暴露、邻近施工和地震活动可引入裂缝、剥离和平面外变形，且可及性有限、干预需微创，早期检测困难。此类遗产资产的SHM需要非接触传感和数据驱动推断，能够连续运行、定位损伤并提供可解释证据。高细长砌体还受几何不连续（如阳台、开口、过渡）、材料属性空间变异和复杂土–结构相互作用影响，损伤可集中并改变动力响应。实践中的SHM常结合振动/位移指标与表面视觉检查证据，以将全局模态变化与局部开裂、剥落和风化特征一同解释。欧洲砌体钟楼相关SHM研究也强调传感器布局需区域感知、上下文敏感并适应结构状态变化。视觉SHM面临光照天气、视角变化、尺度模糊、运动模糊以及区分良性外观变化与结构异常的挑战；遗产SHM还需区域感知推理，优先开口、阳台、过渡和既有裂缝网络。深度学习裂缝分割在遗产砌体细、不连续裂缝和纹理表面中易混淆。LLM/VLM可编排复杂SHM流程，但已有研究仍存在三方面缺口：视觉方法未明确连接振动衍生全局或关系异常；异常数值评分难以与结构构件、既往干预和区域脆弱性关联解释；LLM/VLM工作流需要显式检索控制、置信度处理和溯源。因此，需要将信号异常证据、图像视觉证据和检索接地结构记忆结合于透明可审计决策流程。

二、研究开展、结论与意义
研究人员提出一个LLM/VLM编排、RAG增强的多智能体框架，用于历史砌体宣礼塔的区域感知SHM，整合多视角传感、区域感知分析、RAG结构记忆检索和智能体编排。研究在?skenderpa?a Mosque宣礼塔上开展，使用四传感器振动数据，Measurements 1–12为健康参考，Measurements 13–20为评估，并行分析传感器关联检查图像，并比较有RAG与无RAG模式。结论表明，该框架能提供一致的区域级风险解释和操作优先级；无RAG融合阶段给出更高、更广风险分配；有RAG解释更保守并更受结构接地约束，减少视觉模糊线索影响。智能体A（LLM处理信号关系）适合结构一致排序，智能体B（VLM）适合可见症状检测但对表观混杂敏感，智能体C通过可靠性感知决策逻辑平衡模态。意义在于支持维护规划，将异常证据链接到可解释区域优先，并使决策假设显式化；但验证基于单案例且无独立时间同步损伤标签，应视为概念验证，而非泛化损伤分类性能主张。

三、主要关键技术方法
研究样本来源为?skenderpa?a Mosque历史砌体宣礼塔。关键技术方法包括：管理者–编排器将信号、图像和RAG融合路径分解；四传感器振动数据按Measurements 1–12为健康参考、13–20为评估；信号端进行数据清洗、PSD基线主频估计、自适应加窗、鲁棒归一化（去趋势、中位中心化、MAD/IQR缩放和tanh压缩）、一维卷积自编码器全局异常检测与阈值分级；以传感器对关系型自编码器进行异常定位，并经传感器到区域映射至{base, lower_shaft, transition, balcony, upper_shaft, cap}；视觉端由VLM分析传感器关联检查图像，输出严重度和置信度；RAG以项目记忆包（几何、材料、基线动力学、FE注释和检查手册）通过轻量词汇匹配注入提示；三智能体A/B/C融合，并比较有/无RAG。

四、研究结果
案例研究：?skenderpa?a Mosque宣礼塔。该宣礼塔位于Türkiye Trabzon的Ortahisar区?skenderpa?a街区，1529/1530年委托建造，约23.2 m高（项目档案23.23 m），砌体主体约19.9 m，映射为base、transition、body、balcony、upper body和spire，并在计算框架中映射为六区域。监测系统部署于距宣礼塔约35 m、距地约3 m处，四相机阵列在清晨低交通时段记录。研究人员强调，最终智能体B视觉分数来自传感器关联检查图像，而非视频光流位移特征。

基于多传感器振动数据的信号异常检测。研究人员用稠密一维卷积自编码器训练健康参考窗口。采样频率160 Hz，AdamW优化器，初始学习率2×10^-3，权重衰减1×10^-4，批大小32，最多50 epochs，余弦退火学习率、梯度裁剪和基于验证损失的早停。训练损失稳定于约0.248，验证损失约0.239，无明显发散。N_te=4800、目标两个误报时，实际分位数q=0.99958，τ≈0.3324；仅3/7171训练窗被标记（0.04%）。结论是异常检测器稳定且实用，评估段超阈值更集中。

用于异常定位的成对传感器关系分析。对四个传感器构成的六个传感器对，研究人员提取双通道窗口，训练轻量全连接关系自编码器（50 epochs，潜在维度8，Adam学习率1×10^-3，批大小32），阈值取健康参考重构误差99百分位。结果输出至pair_summary.csv，并以qwen2.5:14b进行文本解释。经传感器到区域聚合，生成传感器–时间损伤热图和二维融合地图。全局异常优先门控规定：仅当全局异常筛查显示有意义偏差时，局部成对定位才作为诊断证据。

智能体结果。Agent A结果（成对摘要驱动）：Agent A给出全局风险0.63（Medium）；区域排序为transition=1.00（Critical）、base=0.75（High）、lower_shaft=0.75（High）、balcony=0.63（Medium）、upper_shaft=0.26（Low）、cap=0.00（None）。成对异常最强为S₂–S₃（严重度=1.00，标志率=8.9%）、S₃–S₄（0.87，8.1%）、S₁–S₄（0.67，7.1%），S₁–S₂最弱（0.00，4.6%）。结论是transition–balcony界面和下部主体为主要风险走廊，cap无有意义损伤。

Agent B结果（VLM驱动）。基于VLM对传感器关联检查图像的评估，Agent B给出区域分数：base=1.00、lower_shaft=1.00、transition=0.912、balcony=0.912、upper_shaft=0.912、cap=0.00。传感器摘要为S₁严重度/置信度0.475/0.85，S₂为0.75/0.85，S₃为0.75/0.90，S₄为0.77/0.90；平均传感器严重度0.686，平均置信度0.875。S₄中5/5图像有损伤，S₂中2/2，S₃中1/1，S₁混合2/3。主要视觉特征为裂缝、剥落、材料损失、湿渍/泛碱和局部接缝张开。结论是相对Agent A，Agent B将高风险解释扩展至更广表面劣化，尤其下部/基座和上部立面。

Agent C结果（融合驱动）。Agent C以可靠性有界自适应加权融合A和B。VLM可靠性为0.877（平均置信度0.877，低置信率0.000），据此视觉分支权重为0.70，信号/CSV分支权重为0.30；最终全局风险0.816（High）。一致性总体0.80，热点强调transition和balcony邻近证据；冲突集中于base和lower_shaft，其中Agent A为High、Agent B为Critical。操作决策为base、lower_shaft、transition优先检查，balcony次级调查/监测，upper_shaft维护级随访。

跨智能体差异与方法学解释。Agent A受结构约束、排序导向，强调传感器间依赖断裂，transition峰值最锐；Agent B对外观敏感，捕捉立面劣化线索，抬高base/lower_shaft并保持upper_shaft风险高于Agent A；Agent C在固定融合权重下结合模态，保持信号主导稳定性并注入视觉粒度。共识为cap低风险、transition至lower_shaft/base风险升高；主要A–B差异在于upper_shaft和base/lower_shaft是信号主导的中/高，还是视觉主导的接近临界。

RAG对异常定位的影响。RAG结果应解释为决策层敏感性比较，而非外部验证。RAG包包含结构化检索束和五个主题记忆文档，覆盖来源、建筑/材料、动态基线、FE注释和行动手册，贡献几何/材料与区域语义、干预敏感区（balcony、upper body、cone、base-transition）、修复后动态基线（频率1.04–14.99 Hz，阻尼0.26–3.65%）、邻近开挖导致的支撑条件谨慎，以及VLM护栏，防止装饰带和砖纹理被过度判为损伤。Agent A with RAG：数值全局分数仍0.63，但在RAG约束工程框架下报告High级解释；区域分数不变，关键效果是解释转向干预敏感区和支撑条件谨慎，抑制装饰/纹理过度解释。Agent B with RAG：区域分数变为base=0.00、lower_shaft=0.00、transition=0.00、balcony=0.571、upper_shaft=1.00、cap=0.00；相对无RAG，base、lower_shaft和transition分别从1.00、1.00、0.912降至0.00；平均传感器严重度从0.686降至0.075，平均置信度从0.875降至0.688。研究人员解释，这显示VLM视觉分支对提示上下文敏感，RAG约束了纹理、装饰带、砌体颜色变化、修复痕迹、湿痕、阴影和建筑细节等模糊线索，但并非独立证明更准确。upper_shaft仍高，因对应视觉证据被视为更直接或较不模糊，但也不是确认损伤标签。Agent C with RAG：数值融合权重不变，但通过RAG感知上下文检查更新视觉可靠性；最终全局风险降至Medium（0.491）。这不应解释为RAG输出客观上更准确，而表明RAG约束减少视觉模糊线索影响。净RAG效应为从广泛高风险标记收缩为更选择、上下文约束风险图；LLM侧RAG改善上下文推理和可审计性，VLM侧RAG约束视觉模糊线索，融合侧RAG在最终风险声明前惩罚低置信视觉证据。实际含义是优先检查transition/balcony和干预敏感区，避免在视觉混杂区域夸大。

案例内比较与统计评估。因无独立时间同步真实损伤标签，研究未报告准确率、精确率、召回率或F1-score。评价包括训练参考重构误差行为、评估期阈值超限、warning/alarm/critical分布、各传感器对异常严重度和标志率、传感器到区域投影风险、VLM视觉严重度和置信度，以及有/无RAG融合风险差异。该比较为消融式决策支持分析，而非外部验证；单案例、单一传感器配置和有限检查图像使其成为概念验证，需更广泛基准。

五、讨论总结与结论翻译
讨论指出，多智能体设计产生一致风险叙述；无RAG运行中Agent C报告全局High风险0.816，损伤集中于transition至lower_shaft/base；有RAG运行最终全局风险降至Medium（0.491），表明初始高风险标记很大部分由无上下文视觉过度判读而非结构支持劣化驱动。RAG主要有两个操作效果：改善工程可追溯性，将决策链接到干预历史、区域语义和支撑条件谨慎；约束视觉模糊线索解释，提醒VLM装饰带、砖纹理、修复痕迹和预期建筑模式不应直接判为损伤。RAG诱导风险降低需谨慎，无真实标签不能视为诊断准确性更高，更合适解释是RAG改变智能体系统决策边界，使输出更保守可追溯。VLM图像解释对提示上下文敏感，检索太严格也可能抑制相关视觉证据。Agent A与B互补，Agent C作为决策调节器。LLM不替代确定性数值流程，而用于可审计决策支持。融合权重非独立标签校准，采用可靠性有界自适应规则。全局异常优先门控控制局部过解释，但可能延迟极早期局部劣化。异常分数不等于确认损伤。物理上，transition、balcony、lower_shaft和base较高风险指标合理，因几何不连续、刚度变化、质量分布变化和边界条件效应可集中变形需求；upper_shaft和cap需谨慎解释。局限包括单案例、四传感器、有限图像覆盖和无完全独立时间同步真实损伤图；健康参考应视为操作基线而非独立验证无损伤状态；缺乏多模型水平基准。

结论翻译：本文提出了一种可审计、RAG增强的多智能体SHM框架，用于历史砌体结构，整合信号处理、VLM视觉评估和置信度感知融合。方法上，系统结合全局异常筛查、成对传感器关系定位、区域映射和智能体推理，并在明确溯源下直接比较有RAG与无RAG操作模式。在报告的应用中，框架提供一致的区域级风险解释和操作有用的优先级。无RAG时，融合阶段产生更高且更广的风险分配；有RAG时，在检索上下文约束下减少视觉模糊线索影响，解释更保守且更受结构接地。结果确认Agent A（LLM处理信号关系）有效进行结构一致排序，Agent B（VLM）有效检测可见症状但对表观混杂敏感，Agent C对通过可靠性感知决策逻辑平衡这些模态至关重要。由于当前验证基于单案例且无独立时间同步损伤标签，报告发现应解释为所提决策支持工作流的概念验证证据，而非泛化损伤分类性能主张。总体上，所提工作流通过将异常证据链接到可解释区域优先并使决策假设显式化，支持实际维护规划；同时讨论发现表明定位可靠性应由全局异常证据门控，并辅以周期局部检查。未来工作应扩展到多结构和更长监测周期，纳入更强环境归一化，并以更丰富真实检查数据集为基准。观察到的RAG诱导风险降低应解释为上下文驱动的决策行为变化，而非改善诊断准确性的独立证据。报告输出不应解释为独立验证损伤状态，而是指示基于异常和上下文支持的检查优先级，需进一步现场确认。