面向结构损伤检测的多跳检索增强推理基准与瓶颈诊断：DamageRAG

《Knowledge-Based Systems》：DamageRAG: Benchmarking and diagnosing multi-hop retrieval-augmented reasoning for structural damage inspection

　　

结构损伤检测需要跨图像检索与多跳推理，而当前多模态大语言模型（MLLMs）与检索增强生成（RAG）流程无法满足这一需求。本研究贡献了一个基准、一个其结构使失败可归因的流程，以及该归因所支持的诊断。该基准（dacl10k v2）包含覆盖7910张图像的5794道多项选择题，涉及11种任务类型与3个跳数层级，其确定性真值由多边形标注生成。DamageRAG在MLLM生成的结构化损伤报告（Damage Reports）上进行字段匹配检索，并将定量查询路由至程序化求解器；所有阶段均未经训练。在给定真值报告（GT Reports）的条件下，该方法将7B模型从57.9%提升至82.9%。三层诊断将检索、推理与感知失败区分开来；感知失败占主导：在MLLM生成的报告下，完整流程降至29.5%，而随机下限为25.0%，仅比无检索基线高3.0个百分点（p=0.020），且与最强的朴素RAG基线（31.0%，p=0.249）无法区分。感知侧敏感性分析表明瓶颈并非架构性：在域内图像上对感知模型进行LoRA微调，可将宏平均F1从0.37提升至0.60、准确率提升至37.5%，对CLIP检索基线的贡献为0.0个百分点，且在每一系统均获得可比预算适配的情况下，使该流程从落后最强基线1.5个百分点转变为领先6.5个百分点（p<10^?6）。存在两项范围限制：从自由表述中恢复查询结构会使定量分支从79.9%降至41.9%–46.4%，且路由器对9.6%的模板查询发生误路由，每次代价为50.4个百分点。在该基准上，开放词汇损伤感知——而非检索或推理——是当前MLLMs与可部署检测助手之间的分水岭。

研究背景方面，桥梁、隧道与建筑等民用基础设施的结构损伤检测每次检测活动可产生数百至数千张图像，从这类图像语料生成检测报告需要跨图像检索、比较与聚合，例如"哪个位置的锈蚀最严重"需要跨全部图像检索并排序，"在开裂区域中哪些同时存在最严重的腐蚀"需要筛选与比较，"最严重锈蚀区域与桥梁平均值相比如何"涉及多步聚合与推理，这类多跳问题直接服务于维修优先级判定。目前此类跨图像分析依赖人工，耗时、主观且难以随无人机与自主平台产生的检测数据规模扩展。现有单图像视觉问答（VQA）忽略检索挑战，HotpotQA、MuSiQue、2WikiMultiHopQA等文本多跳问答基准缺乏视觉 grounding，通用视觉多跳基准缺乏领域专业知识且不要求从大规模语料检索，MRAG-Bench等检索增强多模态基准评估检索但不评估多跳推理，尚无工作将领域特定视觉检索与真实检测语料上的多跳推理相结合。评估本身亦非易事：开放式答案带来度量歧义（"rust"与"corrosion"与"oxidation"）、混淆感知失败与推理失败，且多跳查询的正确答案为特定文件名或计数时缺乏确定性真值，因此研究人员采用封闭式多项选择题（MCQ），其真值由像素级多边形标注程序化计算，从而实现精确的逐属性诊断。现有方法难以应对该挑战：7B MLLM直接问答仅达26.5%，与4选1 MCQ随机猜测在统计上无法区分；采用CLIP嵌入的朴素RAG仅微弱提升至31.0%，揭示检索瓶颈——CLIP无法解析"同时包含裂缝与锈蚀的图像"这类领域特定查询；即使Oracle RAG（真值检索）也仅达52.4%，暴露推理瓶颈——MLLMs无法可靠执行多图像数值比较。这种检索失败与推理失败的双重失败正是该基准旨在暴露、该流程旨在归因的问题。研究意义在于：该诊断将"MLLMs难以处理检测图像"这一模糊认识转化为可量化、可归因的差距，为后续领域特定感知研究提供可度量、可累积的测量工具。

研究人员开展的研究包括五项贡献：构建首个面向结构损伤检测的多跳视觉检索推理基准（dacl10k v2上5794道MCQ、7910张图像、11种任务类型、3个跳数层级，真值由像素级多边形标注程序化计算）；提出免训练的DamageRAG流程，由封闭式MLLM感知、基于MLLM生成损伤报告的结构化字段级检索与推理组成；提出任务自适应推理，用轻量0.5B LLM路由器将定量查询交由程序化求解器、定性查询交由MLLM推理，在真值损伤报告下较纯MLLM推理提升25个百分点；开展跨模型规模（7B、72B）与商用API（GPT-4o）的三层瓶颈诊断，识别检索、推理、感知三个具有不同补救措施的独立层级；开展感知敏感性分析，在6935张域内dacl10k v2训练图像上对Qwen2.5-VL-7B的语言模型进行LoRA微调（1与3个epoch，每epoch约2小时H200 GPU），证明差距属于感知而非架构。研究得出结论：在该基准上，开放词汇损伤感知而非检索或推理是当前MLLMs与可部署检测助手之间的分水岭；结构化检索与任务自适应推理在当前MLLM感知之上贡献了大部分可获得的增益，而残余的53个百分点感知差距超过上述任一增益，并使7B→72B规模带来的3个百分点提升相形见绌。重要意义在于：部署工作应优先投入感知质量而非更大模型，混合推理是必要的，感知质量定义了实际性能上限。

关键技术方法方面（不超过250字）：研究基于dacl10k v2数据集（7910张桥梁检测图像，13类损伤，训练集6935张、测试集975张，后者产生2466道MCQ），通过五步流程从像素级多边形标注构建确定性真值：Shoelace公式计算实例面积比、边界框质心映射至空间象限、逐图像聚合为结构化损伤报告、构建四层倒排索引、模板化查询生成并施加八项质量过滤。DamageRAG采用三阶段架构：离线阶段以封闭式MLLM感知（13个二分类是/否问题加每类3个属性MCQ）生成损伤报告；在线阶段将查询解耦为过滤、排序、argmax、聚合等结构化操作并在报告字段上精确匹配检索；第三阶段由0.5B LLM路由器分类定量/定性查询并分别路由。评估使用Qwen2.5-VL-7B、InternVL2.5-8B、LLaVA-NeXT-7B、Qwen2.5-VL-72B与GPT-4o，全部冻结不微调。感知敏感性分析采用LoRA微调，适配匹配对照见附录F.8。

研究结果方面，方法比较（7B）分离出三层瓶颈：检索瓶颈（朴素CLIP/Contriever几乎不超过25%随机基线，结构化检索达57.9%，提升27个百分点）、推理瓶颈（纯MLLM为57.9%，自适应推理为82.9%，路由定量任务至程序化求解器带来25个百分点提升）、感知瓶颈（以MLLM生成报告替换真值报告使自适应推理从82.9%跌至29.5%，无论推理引擎如何均下降53个百分点）。跨MLLM比较中，三个7B/8B模型在真值报告下程序化推理均达100%，验证基准正确性；自适应推理对Qwen提升29.8个百分点、InternVL提升31.4个百分点、LLaVA提升35.5个百分点，较弱模型受益更大。模型规模与商用API比较中，扩展至72B使纯MLLM推理提升7.3个百分点，但在自适应推理下增益较小（oracle路由下提升2.9个百分点），72B配oracle路由（90.6%）超过GPT-4o（88.6%），CoT提示在各规模均有害（7B下57.9%→44.9%，72B下65.2%→51.8%）。检索与推理消融中，CoT提示使准确率从57.9%降至44.9%（?13.0个百分点），在定量任务上降幅最大；以CLIP嵌入替换结构化检索在固定oracle路由器下使准确率从87.7%降至76.7%（?11.0个百分点，配对精确McNemar p<10^?40），差距完全落在定性分支。文本与视觉推理比较中，纯文本模式（57.9%）略优于视觉模式（54.1%），InternVL同向（53.4% vs 50.8%）。真值与MLLM报告比较中，无论推理引擎如何，替换后准确率下降30–55个百分点，确认感知质量为根本瓶颈。逐任务分析显示定量/定性不对称：oracle路由下所有定量任务在各模型规模均达100%，而纯MLLM仅25.6%–62.9%；定性任务准确率随模型质量变化。感知质量分析显示所有模型类型检测F1偏低（0.32–0.41）、计数误差大（MAE>1.5）、空间定位差（Jaccard<0.25）；LLaVA-NeXT召回最高（0.93）但精确率最低（0.21）；7B→72B使F1从0.37升至0.41、象限Jaccard从0.17升至0.25，有意义但不足以弥合差距；逐类分析显示视觉上显著的损伤（锈蚀F1=0.73、涂鸦F1=0.66）可检测，而细微或罕见损伤（空洞F1=0.15、中空区域F1=0.10、石窝F1=0.15）几乎不可见。

讨论部分总结：三层瓶颈分析表明每层需不同架构方案，感知层仍未解决。模型规模效应显示架构比规模更重要——7B模型配自适应推理（82.9%）超过无此机制的72B模型（65.2%）17.7个百分点，即使LLaVA-7B配自适应推理（80.5%）也超过72B纯MLLM；自适应增益与模型强度呈反向关系；即使GPT-4o在无程序化推理时也无法解决定量任务（compare_avg：RAG下19.4% vs 自适应下100%）。关于任务自适应推理为何有效：提升并不均匀，定量任务从25%–63%跃升至100%，定性任务基本不变；真值报告下定量任务的100%应解读为基准与符号求解器的一致性检验——两者同源于像素级多边形标注，当输入损伤报告也源于这些标注时求解器机械地复现真值，并非部署数字。较弱模型从自适应推理中受益更多，部署意义在于适度的开源模型配任务自适应推理即可达到有竞争力的总体准确率，无需依赖昂贵的大规模模型。CoT提示失败而自适应路由成功，两个规模下近乎相同的退化表明失败是结构性的而非能力问题。对工业部署的启示：结构化感知比模型规模更重要（7B配准确报告82.9%超过72B配噪声报告29.5%）；混合推理必要；感知质量定义实际上限。研究人员明确指出，在MLLM生成报告下免训练流程达29.5%，较随机下限25.0%仅高4.5个百分点，比直接问答高3.0个百分点（p=0.020），与最强朴素基线（CLIP检索的朴素RAG，31.0%）无法区分（p=0.249）；在该基准上以现成感知而言，所评估的任何方法（包括本方法）均未与随机猜测有意义地区分，故部署建议应为"先修复感知，流程方能见效"。该论断可检验：单次LoRA微调使宏感知F1从0.37升至0.60、端到端从29.5%升至37.5%（+8.0个百分点，p<10^?11），计数任务为残余瓶颈；该微调是感知侧敏感性分析而非流程组件，流程各阶段均未训练。适配匹配对照显示排序反转：现成配置下流程落后最强基线1.5个百分点，而在各系统均获自身最佳可比预算适配后领先6.5–6.8个百分点（p<10^?6）；纯文本基线在同预算下达30.7%，与未适配流程相当但不及适配后流程；同一感知适配器对从不读取损伤报告的CLIP检索基线贡献0.0个百分点。局限性方面：感知仍是端到端部署的主导失败模式，LoRA仅为例证而非完全弥合，残余37.5%→82.9%差距表明需更广泛的计数感知适应；仅扩展感知不足（7B→72B仅使F1从0.37升至0.41），微调而非容量才是可操作的杠杆；基准源自单一数据集，向其他检测领域的定量结论仅在这些领域共享dacl10k多标签像素标注结构时成立；CoT发现仅限结构化、算术密集查询；封闭式MCQ评估无法捕捉开放式检测报告场景，且四选一准确率有25%随机下限，MCQ结果相对自由形式部署略高估绝对性能。查询结构是第二项范围限制并适用于所有主表数字：基准MCQ为模板生成，结构化检索器与程序化求解器从基准记录而非查询字符串中读取操作符及其损伤参数，故这些数字测量的是给定查询结构下的检索、推理与感知；部署系统需用MLLM分解器从自由文本恢复结构，附录F.7量化该代价：给定结构时流程在模板查询上得79.9%，分布内措辞下恢复结构损失2.2个百分点，自由形式措辞使同一流程降至41.9%与46.4%，约一半损失来自路由器、一半来自分解器，且几乎全部落在操作符识别上，即使所有损伤术语替换为工程同义词，损伤参数抽取仍保持89%–99%。路由器可靠性是相关部署约束且在推荐配置下最为尖锐：0.5B路由器与oracle一致率为90.4%，但9.6%误路由子集相对oracle路由产生?50.4个百分点准确率下降（25.85% vs 76.27%），集中于filter_compare_area、spatial_cooccurrence与extreme_attribute等定量结构隐含而非句法信号的任务；该风险不因使用更大零样本路由器而消除（Qwen2.5-3B总体比0.5B差4.3个百分点）；在自由形式改写下路由器一致率从90.4%降至47.3%与56.4%，误路由比例约为一半；基于操作符分类法监督的路由器或路由器前置查询改写步骤是自然修复方案但尚未评估。未来工作方面，感知瓶颈提示若干方向：在损伤检测数据上通过LoRA或适配器调优进行领域特定感知微调可带来显著下游增益（鉴于误差乘性传播，即使F1从0.41升至0.6也会显著提高QA准确率）；主动感知策略如多尺度或多裁剪高分辨率图像块检测可改善细粒度属性抽取，类比人类检测员放大关注区域；集成感知结合多个MLLM输出亦有前景（LLaVA高召回0.93与Qwen高精确率0.41互补）；DamageRAG架构本质上是领域无关的，适配其他检测领域仅需新的感知提示与真值标注。

结论部分翻译：研究人员提出了面向结构损伤检测的多跳检索增强推理基准、其结构使失败可归因的DamageRAG流程，以及该归因支持的三层诊断。该基准（5794道MCQ、7910张图像、11种任务类型、3个跳数层级）填补了领域特定视觉RAG评估的空白，该流程所支持的分析逐层定位了瓶颈。在检索层，领域特定辅助文本（损伤报告）使结构化字段级检索成为可能，将准确率从21.3%–31.0%（朴素嵌入）提升至57.9%。在推理层，任务自适应推理将定量查询路由至程序化求解器，将准确率从57.9%提升至82.9%（+25个百分点）；链式思维提示在7B下降低准确率13.0个百分点、72B下降低13.4个百分点（针对本研究的定量MCQ任务），这与计算应归属于解释器而非语言模型生成链相一致。在感知层，MLLM生成的损伤报告使端到端准确率从82.9%跌至29.5%，是现实部署中主导性的未解决瓶颈；oracle路由（+1.7个百分点）与将感知扩展至72B（+2.17个百分点）均无法弥合该差距。在该工作点上，流程位于随机下限之上4.5个百分点，且与最强朴素RAG基线无法区分，这是当前现成感知下该任务的真实状态，也是研究人员围绕诊断组织本文的原因。然而该差距是感知而非架构的属性：对Qwen2.5-VL-7B在6935张域内训练图像上进行单次LoRA微调——一种分析工具而非流程组件——将现实自适应准确率从29.5%提升至37.5%（+8.0个百分点；宏感知F1 0.37→0.60），并使流程与适配匹配基线区分开来。弥合至真值报告上限的残余差距是该基准未来工作最具影响的方向。上述每个数字还受两项进一步范围限制约束：它们是在给定查询操作符结构下测得的，而从自由形式措辞恢复该结构使定量分支损失33–38个百分点，其中一半来自轻量路由器（对9.6%的模板查询与约一半的自由形式查询发生误路由）。扩展至72B（总体+2.9个百分点）与商用API（GPT-4o +0.9个百分点）在自适应推理下仅带来边际增益，而架构创新本身带来+25个百分点，支持了在该任务族上"如何使用MLLMs比使用哪个MLLM更重要"的论断。研究人员将DamageRAG定位为一种有意的工程组合——在MLLM生成的损伤报告上进行字段级结构化检索，加上任务自适应路由至程序化求解器——其概念新颖性在于领域特定的组合而非任何单一新组件，其实际价值受感知质量约束。真值报告下程序化求解器在定量任务上100%的准确率是求解器与像素级标注之间的一致性检验，而非部署就绪信号。研究人员发布该基准与流程，作为结构检测中多跳检索增强推理的可复现基线与未来领域特定感知研究的测量工具。