工业化建造焊接质量检测：基于小规模视觉-语言模型的物理信息驱动方法

《AUTOMATION IN CONSTRUCTION》：Welding quality inspection for industrialized construction: physics-informed approach using small-scale vision-language models

　　

• VPR-Weld 实现了小模型无训练即可进行焊接检测的本地推理。• 多模态知识库将经验数据与刚性的物理定律解耦。• 针对特定机器人的检索减少了硬件偏差的影响。• 基于物理引导的思维链减少了物理上不合理的参数建议。

1. 引言

工业化建造正在从根本上重塑建筑、工程与建筑行业，将结构制造从劳动密集型的现场作业转变为自动化的场外预制生产 [1]、[2]、[3]。在此背景下，机器人焊接已被广泛采用于预制钢构件的生产中。虽然机器人焊接取代了危险的人工操作以增强安全性和效率，但严格的质量检测仍然是确保土木基础设施所需结构完整性的关键。

在高混合度、低产量的预制生产模式下，由于公差累积、装配间隙变化和热变形 [4]、[5]、[6]，物理装配体不可避免地会偏离设计好的建筑信息模型（BIM）。为了确保焊接质量，机器人平台必须动态调整工艺参数（如电流、电压、行进速度）——这是一种认知任务，依赖于传统预编程机器人中缺失的默会知识 [7]、[8]。尽管计算机视觉已被广泛用于提供感官反馈 [9]，但现有方法通常仅限于将视觉特征映射到预定义的缺陷标签或几何偏差 [10]、[11]、[12]。它们缺乏内在的语义推理能力来解释潜在的物理因果关系，例如将观察到的缺陷与热输入、行进速度和熔池行为之间的特定缺陷交互关联起来。因此，这些系统无法提供将诊断结果与过程控制连接起来所需的可操作且可解释的纠正措施，使得缺陷检测成为一个孤立的被动终点。

研究前沿目前正转向大语言模型（LLM）和视觉语言模型（VLM）。这一转变通过利用在大量图文数据集上预训练的基础VLM的语义先验，促进了从被动缺陷检测到主动认知检测的转变。此外，为了提高推理可靠性，高级策略采用检索增强生成（RAG）和思维链（CoT）提示来将视觉分析与工业标准和理论控制方程对齐。这些模型能够生成综合诊断报告。尽管取得了这些进展，VLM的实际实施受到一组相互关联的障碍的阻碍。边缘计算处严格的数据隐私和计算限制需要使用小规模的VLM。不幸的是，这些紧凑模型固有的推理能力有限，在复杂的检测任务中容易产生幻觉。虽然通常采用参数微调来缓解这些缺陷，但焊接数据标注的严重短缺往往导致负迁移和训练不稳定。这一挑战因不同机器人平台之间的硬件差异性（例如传感器漂移）而进一步加剧，限制了共享全局模型的可迁移性，并促使需要针对特定机器人进行参数化。

因此，一个关键的研究问题随之产生：如何使小规模VLM能够执行可靠的、可解释的且针对特定机器人的焊接质量检测？为解决这一挑战，本文提出了基于视觉-物理参考引导的焊接检测（VPR-Weld），这是一种无训练方法，旨在赋予小规模VLM与专家对齐的推理能力。具体来说，VPR-Weld涉及三个核心贡献：（1）无训练的多模态焊接知识库（MW-KB），利用可验证的视觉和因果锚点消除模型微调带来的计算和标注成本；（2）针对特定机器人的视觉检索约束，减少硬件引起的偏差，实现跨异构机器人单元的适应；（3）一个认知循环，将视觉语义诊断与基于物理引导的推理耦合起来，将质量检测扩展为基于物理引导的参数优化建议，通过物理引导的约束减少物理上不合理的推荐。

本文其余部分组织如下：第2节回顾了基于视觉的机器人焊接缺陷检测和质量诊断的相关工作。第3节详细介绍了所提出的VPR-Weld方法的架构和实现。第4节展示了实验设置、对比结果和消融研究以验证VPR-Weld的有效性。最后，第5节讨论了研究意义并强调了贡献，第6节总结了全文。

2. 相关工作

深度学习已为焊接缺陷的自动化检测奠定了坚实基础。如表1所示，当代研究主要集中在四个技术维度：（1）多尺度特征聚合，（2）环境鲁棒性，（3）数据效率策略，（4）面向边缘的效率。尽管这些方法在精确定位方面表现出色，但它们缺乏语义推理能力来说明检测到的模式为何构成缺陷 [13]、[14]。因此，它们作为"黑盒"运行，仅产生表面级检测，而非有效缺陷解决所需的可解释诊断洞察。

表1. 传统基于视觉的焊接缺陷检测研究概述。

| 研究焦点 | 代表性技术 | 参考文献 |
|---|---|---|
| 多尺度特征聚合 | SPP、FPN、多尺度对齐、游走高斯、多尺度密集交叉块 | [15], [16], [17], [18], [19], [20] |
| 环境鲁棒性 | 全局/空间注意力、Retinex增强、小波分解 | [21], [22], [23], [24], [25], [26] |
| 数据效率策略 | 半监督迁移学习、零样本泛化（WRT-SAM） | [27], [28] |
| 面向边缘的效率 | 模型重参数化、轻量级非对称头 | [29] |

最近的工作已开始将该领域从被动的缺陷定位转向主动的认知诊断。第一个重大进展在于弥合视觉特征与语言描述之间的"语义鸿沟"。通用VLM并非专门设计用于捕获工业检测任务所需的细粒度领域特定语义。为解决这一问题，WeldLLM将视觉缺陷特征与技术语言标记对齐以生成综合诊断报告，超越了简单分类标签的局限性 [30]。类似地，QA-VLM通过结合注意力机制与从同行评审文献中蒸馏的领域知识来增强可解释性，将视觉分析锚定于既定的焊接原理 [31]。然而，将通用基础模型直接应用于焊接评估需要谨慎：最近对Gemma模型的评估报告显示，在测试条件下，27B变体的焊接缺陷检测性能优于较小的变体 [32]；这促使了本工作中采用的无训练参考引导诊断。为了克服这些泛化瓶颈，LLM-MANUF框架引入了协作决策范式，通过微调多个并行LLM作为不同特征子空间上的专门专家；这些专家然后通过动态加权混合专家机制进行编排，以优化复杂制造场景中的决策排序 [33]。

生成式模型在工程场景中的一个关键局限性是幻觉风险，即生成看似合理但事实上错误的技术建议。为了缓解这一问题，近期研究强调集成RAG和知识图谱（KG）以将模型输出锚定于检索到的领域知识。例如，ConSTRAG框架利用LLM驱动的代理和KG推理来生成个性化的施工安全培训材料 [34]。相关研究还探索了将领域知识和检索机制集成到多模态LLM中，以支持建筑任务中的可解释推理 [35]、[36]。在焊接应用中，对称KG-DB混合RAG策略结合了用于结构化约束的图形数据库和用于语义上下文的向量数据库，以支持关于焊接规范和操作过程的问答 [37]。将RAG范围扩展到微观力学，近期研究引入了LLM驱动的电阻点焊框架，利用检索机制通过交叉引用力学数据和冶金文献来自主解读微柱断裂行为 [38]。为了进一步增强推理可靠性，WeldPrompt采用CoT提示结合上下文学习，旨在提高推理能力并减轻焊接评估中的幻觉 [39]。为了应对基于物理的推理需求以区分可接受的焊缝几何形状与特殊场景中的细微异常，T2EGPT框架利用LLM通过综合理论文献和实验工艺参数来推导跳动缺陷的控制物理方程 [40]。

尽管取得了这些进展，在将高层次认知能力转化为资源受限的边缘环境方面仍存在一个关键差距。现有方法主要依赖大规模模型、通用视觉RAG系统或广泛的领域特定微调。这些方法往往难以将显式的视觉缺陷形态与机器人焊接优化所需的隐式热力学推理协调一致。为此，需要一种方法，使小规模模型具备上下文感知推理能力，将针对特定机器人的硬件约束与通用焊接逻辑联系起来，同时保持高计算效率。

3. 方法论

所提出的VPR-Weld方法概述如图1所示。为解决小规模VLM有限认知能力与工业化建造高保真要求之间的冲突，VPR-Weld优先考虑2D视觉。这一选择利用了基础VLM在语义推理方面的原生认知效率和较低的计算开销。通过将推理锚定于针对特定机器人的历史上下文以缓解硬件差异性，并强制执行基于物理引导的约束以抑制幻觉，这一设计支持了基于参考的、可解释的参数优化。详细实现分为四个不同阶段：

(1) 多模态焊接知识库（3.1节）：通过构建标准样例、缺陷样例和基于物理引导的因果规则到解耦仓库中来建立显式锚定机制，以锚定VLM的推理过程。

(2) 基于视觉检索的上下文（3.2节）：通过从查询机器人的历史中检索缺陷锚点和标准样例来构建针对特定机器人的推理上下文，形成参考集以区分异常与正常。

(3) 上下文对比缺陷诊断（3.3节）：通过CoT推理编排差异分析，将形态偏差与标准基线进行对比隔离，并验证与缺陷锚点的语义对齐，从而在结构化诊断中将观察映射到特定缺陷类型。

(4) 基于视觉-物理引导的参数优化（3.4节）：通过CoT推理将参数调整制定为生成式推理任务，综合检索到的参数基线和基于物理引导的约束，将诊断映射为可解释的、基于物理引导的调整建议。

图1. VPR-Weld概述。

3.1. 多模态焊接知识库

MW-KB作为显式锚定机制，提供可验证的视觉、语义和因果参考来锚定VLM的推理过程。通过将经验数据与物理逻辑解耦，MW-KB确保VPR-Weld在多样机器人平台上的硬件异构性下既保持可解释性又保持适应性。在结构上，MW-KB组织为三个专门组件：标准样例库 ????（3.1.1节）、缺陷样例库 ????（3.1.2节）和基于物理引导的因果规则库 ????（3.1.3节）。

3.1.1. 标准样例库

标准样例库 ???? 聚合了代表各种配置下焊接接头理想化状态的高质量历史实例。该库中的每个条目正式定义为三元组 ???? ={????,????,????}（见图2），其中 ???? 是无缝图片，???? 代表与该特定焊缝关联的机器人焊接参数（如电流、电压和行进速度），???? 作为源机器人平台的唯一标识符。在功能上，???? 作为视觉基准来锚定几何偏差分析，而 ???? 为定量优化建立已验证的参数参考。

图2. 标准样例库的示例。

3.1.2. 缺陷样例库

缺陷样例库 ???? 归档了各种历史失效案例以提供关键的语义和经验上下文。每个条目形式化为四元组 ???? ={????,????,????,????}，如图3所示。其中，???? 是缺陷焊缝图像。???? 表示生成对应焊缝所用的机器人焊接参数。???? 是专家标注的诊断描述。在功能上，???? 作为上下文视觉演示来指导缺陷表征，???? 提供将参数偏差与视觉异常关联的经验相关性，???? 提供将视觉异常与标准化技术描述关联的语义基准。

图3. 缺陷样例库的示例。

为确保标注效率和专业严谨性，???? 通过VLM辅助的人机协作流程开发。由VLM使用专门的提示模板（见附录列表A1）生成初始诊断草稿，该模板强制结构化输出格式并减少生成变异。这些草稿仅作为人工审查的初始参考而非最终标注。三位资深焊接工程师（>5年经验）组成的专家组随后根据表2中的缺陷分类法审查和修订了草稿。模糊或不一致的描述通过共识审查进行讨论和解决。只有专家确认的标注才纳入 ????。此过程提高了与缺陷分类法的术语一致性并降低了未经证实的VLM生成内容被引入知识库的风险。

表2.

代表性焊接缺陷的分类学与物理引导的整改指令。类别、缺陷名称、视觉特征（I?? 的关键特征）以及整改指令如下：

几何类：咬边——焊缝根部出现纵向凹槽或凹陷；通常表现为一条连续的深色阴影线。Δ??? <0；Δ??? <0。

重叠/冷接——多余金属超出焊缝根部且未与母材熔合；通常表现为一个尖锐的凸缘或连续的深色阴影线。Δ??? >0。

余高过大——焊缝熔珠高度超出正常轮廓，在根部呈现陡峭的过渡角。Δ??? >0；Δ??? <0。

气孔类：表面气孔——焊缝表面或弧坑区域存在可见的圆形或长条形空腔。Δ??? <0；Δ??? <0。

弧坑缺陷——焊缝末端出现弧坑裂纹、弧坑缩孔或与收缩相关的空腔。Δ???crater >0；Δ???crater >0。

夹渣/污染类：夹渣/硅酸盐夹杂——焊缝表面或根部线附着有棕色、玻璃质或不规则的沉积物。Δ??? <0，提升工艺稳定性。

工艺不稳定类：熔道偏移/宽度波动——焊缝熔道呈非线性路径，宽度不稳定，出现缩颈或沿焊缝可见的波纹。稳定工艺控制，减小参数波动。

飞溅——相邻于焊缝母材表面附着的小型金属液滴。微调 Δ??? 和 Δ???。

注：??、??、?? 分别表示电流、电压和行进速度；??crater 和 ??crater 分别表示弧坑填充电流和停留时间；Δ >0 表示增加，Δ <0 表示减小。

**3.1.3. 物理引导的因果规则库**

与存档经验历史数据的范例库不同，物理引导的因果规则库 ???? 将焊接工艺相关的物理引导定性工艺关系编码化。它通过将已识别的缺陷类型映射到其底层的物理和工艺机制，将定性的视觉诊断转化为方向性的参数调整。

???? 的基础是热输入 ?? 的基本原理，该原理定义了单位长度传递到工件的热能 [J/mm]。这一主导关系形式化为：

(1) ?? = ??·??·??/??

其中 ?? 为热效率，?? 为电弧电压 [V]，?? 为焊接电流 [A]，?? 为行进速度 [mm/s]。

由于 VLM 本质上擅长语义推理而非连续数值模拟，VPR-Weld 采用"物理引导"范式，将公式 (1) 中的标称热输入关系和已建立的缺陷修复知识转化为一组离散的、符号化的因果约束。表 2 中的指令代表了由热力学关系和缺陷特异性熔池行为共同启示的定性工艺倾向。例如，当行进速度过快时，熔融金属可能没有足够的时间填充焊缝根部，从而产生咬边；而过高的电弧电压可能导致电弧过宽。因此，编码的指令通过降低行进速度 (Δ??? <0) 来改善根部填充，通过降低电压 (Δ??? <0) 来限制电弧过度扩展。在结构上，这些物理引导的关系被编码为条件-动作映射。每个映射将一个缺陷类别与一个整改指令关联起来（详见表 2 最右列）。与抽象的数值向量不同，这些结构化约束旨在直接被注入推理提示中，确保 VLM 的优化过程不仅由数据驱动，还引导向物理上合理的调整方向。

**3.2. 视觉检索上下文**

视觉检索阶段通过将新采集的查询图像 ???? 映射到共享特征空间来启动，使用视觉编码器 ??(·)。为量化语义相关性，计算视觉嵌入 ??(????) 与统一仓库 ?? = ???? ∪ ???? 中每个第 ?? 个条目 ??(??) 的 ??(?????) 之间的余弦相似度 ????。此处选择余弦相似度是为了缓解高维欧几里得空间中固有的距离集中问题。通过归一化向量幅值并关注方向对齐，该度量提供了一个稳定的语义基线，对基础模型输出中常见的特征尺度变化不太敏感。随后，该过程受到单位身份一致性约束：

(2) ???? = ??(????)·??(?????) / (‖??(????)‖·∥??(?????)∥)，s.t. ??????? = ????

其中 ??????? 和 ???? 分别表示第 ?? 个历史条目和查询样本的机器人平台标识符。该约束通过严格将搜索空间限制在对应机器人的历史中，将实际缺陷与固有的硬件引起的形态偏差区分开来。

该方法通过拒绝阈值 ?? 控制的过程使用相似度排名 {????} 来确定缺陷状态。如果最大余弦相似度 ??max < ??，则样本被识别为分布外案例并标记为需要人工干预，以防止不可靠的推理。否则，最终类别通过广义加权 Top-k 投票机制确定，其中类别 ?? ∈ {标准, 缺陷} 的决策分数 ???? 计算为最近邻 ?? 个指示器的加权和：

(3) ???? = ∑(??∈????) ??(???? = ??) · ????

其中 ???? 表示最近邻 ?? 个集合，???? 表示第 ?? 个邻居的类别标签，??(·) 为指示函数，???? 表示分配给第 ?? 个检索邻居的重要性权重。?? 和 ???? 的具体超参数根据机器人特定的数据分布经验调整。

在通过 ???? 进行分类后，如果结果为标准，诊断流程结束。反之，如果分类为缺陷，系统检索最相关的语义证据以构建推理上下文。具体来说，选择排名最高的标记为缺陷的范例 ????? 和排名最高的标记为标准的范例 ?????。最终的机器人特定上下文构建为 ??ret = {????, ?????, ?????}，为后续的推理阶段向 VLM 提供最优的正负参考。

**3.3. 上下文比较缺陷诊断**

此阶段利用上下文比较机制生成结构化诊断。而非依赖隐式模型先验（存在幻觉风险），该机制通过比较查询与 ??ret = {????, ?????, ?????} 中识别出的显式形态偏差来为 VLM 的推理提供依据。

诊断过程通过 CoT 提示策略（详见附录 Listing A2）来编排，该策略将推理任务分解为顺序步骤。首先，?????（来自 ?????）作为规范基线。在该参考的指导下，VLM 执行差分分析，将 ???? 与 ????? 进行比较，以隔离偏离理想状态的形态异常。其次，VPR-Weld 利用 ????? 和 ?????（均来自 ?????）作为上下文示范。通过将隔离的异常映射到 ????? 中的历史故障模式，VPR-Weld 执行语义对齐以准确分类和描述特定缺陷。最终输出为结构化缺陷诊断 ????，严格遵循 ???? 的模式。该结构化诊断作为后续参数优化阶段的输入条件。

**3.4. 视觉-物理引导的参数优化**

鉴于焊接参数优化的不适定性质（不存在单一的"正确答案"），传统数值回归隐含的确定性映射往往无法捕捉工艺的语义有效性和物理约束。因此，VPR-Weld 避免简单的数值拟合，通过生成式推理工作流实现优化。

为确保可解释性，采用 CoT 提示策略（详见附录 Listing A3）将优化任务分解为三阶段推理过程。首先，提示向 VLM 注入查询图像 ???? 和诊断 ????，用于验证缺陷类型和严重程度，建立对故障模式的语义理解。其次，VPR-Weld 通过从 Top-k 检索的标准范例中推导每个参数的均值来引入参数上下文，得到参考参数集 ??ref。该统计基准有效引导 VLM 执行局部优化而非无引导的全局搜索。

此外，推理过程受物理引导规则库 ???? 约束，该规则库作为生成式参数优化的物理约束发挥作用。通过将识别到的参数差距映射到物理引导指令，???? 约束了纠正动作的允许方向，并减少了物理上不合理建议的风险。例如，模型不是单独调整电流，而是实施电流和行进速度的协同调整。这种物理引导方法将提议引导向物理上合理的调整方向，减少了物理不一致建议的风险。

**4. 实验与评估**

为阐明实验逻辑，评估按渐进方式考察 VPR-Weld 的主要主张。第 4.1 节介绍机器人平台、数据集构成、评估的 VLM 骨干网络和实现设置。第 4.2 节定义评估协议，包括留一法 (LOO) 检索策略、语义相似度指标和 LLM-as-a-judge 标准。第 4.3 节评估缺陷检测和检索敏感性以检验机器人特定视觉定位的有效性。第 4.4 节使用 BERTScore 语义相似度和 LLM-as-a-judge 评分评估视觉缺陷诊断。第 4.5 节从物理合规性、推理特异性和自适应校准方面评估生成的参数优化提议。第 4.6 节通过人类专家对齐验证 LLM-as-a-judge 协议的可靠性，第 4.7 节分析焊接检测的计算效率。

**4.1. 实验设置**

为在不同工艺动力学下评估 VPR-Weld，实验验证在两个不同的机器人平台上进行：(1) 机器人 1 (R1)，配备数字气保焊 (GMAW) 电源的 EFORT 机器人，代表标准高热量焊接（如图 4(a) 所示）；(2) 机器人 2 (R2)，集成冷金属过渡 (CMT) 电源的 KUKA 机器人，代表高精度、低热量输入模式（如图 4(b) 所示）。凝固后，焊缝表面形态使用外部固定工业相机在固定视角下离线采集，从而绕过动态电弧干扰并避免几何失真。固定平台配置总结于表 3。两个平台的优化参数空间在维度上有所不同。R1 使用 11 个可调参数的高维集合（例如送丝伸出长度和特定阶段的起弧/弧坑设置），而 R2 在协同 CMT 策略下简化为三个控制变量（电流、电压和速度）运行。

图 4. EFORT 机器人 (R1) 和 KUKA 机器人 (R2)。

表 3. R1 和 R2 的固定焊接参数。

| 机器人平台 | 类别 | 参数 | 值/设置 |
|---|---|---|---|
| R1 | 工艺控制 | 电压控制模式 | 独立（Indep.）??/?? |
| | | 极性模式 | 直流 |
| | 焊材 | 丝径 | 1.2 (mm) |
| | | 丝牌号 | WH50–6 |
| | 保护气体 | 气体成分 | 80% Ar + 20% CO? |
| | | 气体流量 | 17.0 (L/min) |
| | 收弧阶段 | 收弧电流 | 200 (A) |
| | | 收弧电压 | 22% (修剪) |
| | | 收弧时间 | 0.05 (s) |
| R2 | 工艺控制 | 动态修正 | 0.0 |
| | 焊材 | 丝径 | 1.2 (mm) |
| | | 丝牌号 | G3Si1（碳钢） |
| | 保护气体 | 成分 | 100% CO? |
| | | 气体预流量 | 0.2 (s) |
| | | 气体后流量 | 0.5 (s) |
| | | 气体流量 | 20.0 (L/min) |
| | 引弧阶段 | 引弧电流 | 150% |
| | | 引弧时间 | 关 |
| | | 上升时间 | 0.4 (s) |
| | 弧坑填充阶段 | 弧坑电流 | 30% |
| | | 弧坑时间 | 关 |
| | | 下降时间 | 0.4 (s) |
| | 收弧阶段 | 收弧修正 | ?0.2 (s) |

基于这些平台，MW-KB 由 410 个样本构建。表 4 总结了平台特定的分布，其中机器人 1 (R1) 和机器人 2 (R2) 分别贡献 214 和 196 个样本。此外，表 5 提供了数据库中 528 个缺陷实例的详细分类。值得注意的是，实例数量超过样本数量，因为数据集捕捉了现实世界的复合故障模式，即单个样本可能表现出多个共存缺陷（例如气孔和咬边）。为验证方法的适应性，VPR-Weld 与来自 Gemma、Qwen、InternVL 和 YouTu 系列的多个最先进小型 VLM（0.8B–4B 参数）进行了基准测试。所有骨干网络均为指令微调变体，其架构规格详见表 6。所有本地 VLM 推理和效率分析在一台配备 Intel Core i7–12700 CPU、64.0 GiB RAM 和 NVIDIA RTX 3090 GPU（24 GB 显存）的工作站上运行 Ubuntu 22.04.5 LTS 进行。

表 4. 两个机器人平台上标准范例和缺陷范例的分布。

| 机器人平台 | 标准范例 | 缺陷范例 | 总样本 |
|---|---|---|---|
| 机器人 1 (R1) | 132 | 82 | 214 |
| 机器人 2 (R2) | 71 | 125 | 196 |
| 总计 | 203 | 207 | 410 |

表 5. 机器人平台上缺陷实例的详细分布。

| 类别 | 缺陷名称 | R1 | R2 | 总计 |
|---|---|---|---|---|
| 几何类 | 咬边 | 3 | 8 | 11 |
| | 重叠/冷接 | 25 | 93 | 118 |
| | 余高过大 | 13 | 18 | 31 |
| 气孔类 | 表面气孔 | 68 | 34 | 102 |
| 弧坑类 | 弧坑缺陷 | 17 | 36 | 53 |
| 夹渣/污染类 | 夹渣/硅酸盐夹杂 | 47 | 70 | 117 |
| 工艺不稳定类 | 熔道偏移/宽度波动 | 3 | 6 | 9 |
| | 飞溅 | 15 | 15 | 30 |
| 总计 | | 191 | 337 | 528 |

表 6. 评估的 VLM 骨干网络架构规格。

| 模型实例 | 编码器维度 | 视觉令牌 | LLM 隐藏维度 |
|---|---|---|---|
| InternVL3.5-2B | 1024 | 256/块 | 2048 |
| InternVL3.5-4B | 1024 | 256/块 | 2560 |
| Qwen3-VL-2B | 1024 | 动态 | 2048 |
| Qwen3-VL-4B | 1024 | 动态 | 2560 |
| Qwen3.5-VL-0.8B | 768 | 动态 | 1024 |
| Qwen3.5-VL-2B | 1024 | 动态 | 2048 |
| Qwen3.5-VL-4B | 1024 | 动态 | 2560 |
| Gemma-3-4B | 1152 | 256/裁剪 | 2560 |
| YouTu-VL-4B | 1152 | 动态 | 2560 |

注：视觉令牌数量在投影或合并到语言模型后报告。InternVL3.5 每 448 × 448 块使用 256 个令牌，Gemma 3 每 896 × 896 裁剪使用 256 个令牌。每张图的总令牌数取决于分块或裁剪方式。对于 Qwen3-VL、Qwen3.5-VL 和 YouTu-VL，视觉令牌数量随处理的图像分辨率变化。

**4.2. 评估指标与标准**

VPR-Weld 通过多阶段协议进行评估，使用 LOO 检索策略。评估强调跨数据集、模型骨干网络和参考设置的描述性性能比较。形式上，对于一个数据集 ?? = {???1?, …, ?????}，每个条目 ????? 被迭代隔离为查询，而其余 ?? ? 1 个样本形成检索池，有效防止数据泄露。核心任务评估包含三个阶段：感知（第 4.3 节）、认知（第 4.4 节）和决策（第 4.5 节）。

为量化生成的诊断的语义一致性，采用 BERTScore [41]，使用 RoBERTa-large 骨干网络。与传统 n-gram 指标（如双语评估替补（BLEU））依赖精确字符串匹配不同，BERTScore 计算生成的诊断与专家标注真值之间的上下文嵌入余弦相似度。该方法对工业保真度至关重要，因为它能识别同义技术术语（例如"气孔"与"吹孔"），而这些术语通常会被刚性重叠度量所惩罚。

召回率（??BERT）、精确率（??BERT）和 F1 分数（??BERT）通过贪心匹配计算：

(4) ??BERT = 1/|??| ∑_{???∈??} max_{????∈???} ???? · ????

(5) ??BERT = 1/|???| ∑_{????∈???} max_{???∈??} ???? · ????

(6) ??BERT = 2 · ??BERT · ??BERT / (??BERT + ??BERT)

其中，?? = ????, …, ???? 和 ??? = ?????, …, ????? 分别表示真实标签 ??gt 和生成诊断 ??q 的 token 序列；??? 和 ???? 分别表示第 ?? 个参考 token 和第 ?? 个生成 token 的上下文嵌入；|??| 和 |???| 分别为序列长度。在评估之前，从 VLM 的输出中剥离了 JSON 结构 token，以确保指标反映实质性内容。

此外，引入了一种 LLM 作为评判者的协议，以弥合自动指标与逻辑评估之间的差距。近期的基础性研究 [42]、[43] 已验证，最先进的大语言模型与人类专家判断具有强对齐性，可作为代理评估者。本研究通过 Gemini 3 Pro 的官方 API 将其作为评估者，使用固定解码设置（温度 = 0.0，top-p = 1.0，最大 token 数 = 1024）以减少随机变异性。

**4.3 缺陷检测与检索敏感性评估**

本节评估该方法在无训练情况下进行缺陷检测和参考检索的能力。Qwen3.5-VL-2B 作为代表性骨干模型，用于评估不同检索深度和投票策略下的性能敏感性。评估比较了零样本基线、标准 Top-1 方法以及等权和加权 Top-k 投票策略（k = {3, 5}）。对于加权配置，Top-3 和 Top-5 分别采用衰减权重 5:3:2 和 8:5:4:2:1。此外，引入分布外拒绝阈值 τ = 0.68 作为统计下界，以缓解分布外幻觉。该值确定为内部相似度分布（平均相似度 0.88）的第 1 百分位数，旨在对新颖或异常缺陷形态保持高敏感性，同时限制对有效样本的误拒绝。

如表 7 所示，在样本级别评估标准/缺陷的二元分类，其中包含至少一个标注缺陷的样本被视为含缺陷样本。结果表明，检索增强的上下文相比零样本基线有显著提升，后者在 R1 上的表现低于多数类基线。对于标准占优的 R1 数据集，Top-1 策略最为有效，因为额外的邻居可能引入无关类别噪声。相比之下，缺陷占优的 R2 数据集在加权 Top-5 策略下表现最佳。这种加权共识通过减少不均匀样本分布中离群点的影响来稳定分类。所有后续评估均沿用此按平台规则。

表 7. 各机器人平台上的检索策略评估（Qwen3.5-VL-2B）

| 机器人 | 权重方案 | Top-k | 准确率 | 精确率 | 召回率 | F1 |
|--------|----------|-------|--------|--------|--------|-----|
| R1 | 零样本基线 | – | 0.2523 | 0.3600 | 0.2727 | 0.3103 |
| R1 | – | 1 | 0.7523 | 0.7762 | 0.8409 | 0.8073 |
| R1 | 等权 | 3 | 0.7150 | 0.7591 | 0.7879 | 0.7732 |
| R1 | 等权 | 5 | 0.6963 | 0.7481 | 0.7652 | 0.7566 |
| R1 | 加权 | 3 | 0.6916 | 0.7661 | 0.7197 | 0.7422 |
| R1 | 加权 | 5 | 0.6682 | 0.7480 | 0.6970 | 0.7216 |
| R2 | 零样本基线 | – | 0.3418 | 0.2264 | 0.3380 | 0.2712 |
| R2 | – | 1 | 0.8520 | 0.7838 | 0.8169 | 0.8000 |
| R2 | 等权 | 3 | 0.8163 | 0.7397 | 0.7606 | 0.7500 |
| R2 | 等权 | 5 | 0.8010 | 0.7162 | 0.7465 | 0.7310 |
| R2 | 加权 | 3 | 0.8469 | 0.7887 | 0.7887 | 0.7887 |
| R2 | 加权 | 5 | 0.8673 | 0.8082 | 0.8310 | 0.8194 |

注：计算精确率、召回率和 F1 分数时，标准样本被视为正类。

图 5 通过行归一化混淆矩阵展示了细粒度性能。尽管未熔合（Und）等类别较为稀少，该方法仍通过 MW-KB 中的语义锚点保持了对角线准确性。这表明检索机制在此数据集测试中对罕见缺陷类别仍然有效。

下载：下载高分辨率图像（572KB） 下载：下载全尺寸图像

图 5. VPR-Weld 在 R1 和 R2 上的行归一化混淆矩阵。

注：Und = 未熔合；O/C = 重叠/冷焊；ExR = 焊材过量；Por = 表面气孔；Cra = 弧坑缺陷；SSI = 夹渣/硅渣夹杂；BWF = 焊道摆动/宽度波动；Spa = 飞溅。

**4.4 视觉缺陷诊断评估**

遵循第 4.2 节建立的协议，评估分为两个阶段。第 4.4.1 节使用 BERTScore 量化生成诊断与真实标签之间的语义一致性。第 4.4.2 节则采用 LLM 作为评判者的协议来评估更高层次的推理能力，包括逻辑正确性、描述保真度和术语精确性。

为评估 VPR-Weld 对诊断性能的影响，建立了三个消融设置：

(1) 无参考（w/o Ref.）：VLM 仅依赖内部知识，无检索引导；

(2) 带缺陷参考（w/ Defect Ref.）：输入增补了视觉相似的历史缺陷样本；

(3) 带缺陷 + 标准参考（Ours）：输入引入缺陷和标准参考，以实现对比推理。

**4.4.1 缺陷诊断的语义相似度评估**

图 6 使用 BERTScore 热力图可视化评估结果。数据表明，大多数评估架构在从 w/o Ref. 过渡到所提出的 Ours 策略时呈现改善趋势。具体而言，Ours 策略的引入始终产生最高的 ??BERT，尤其对于 Qwen3.5-VL-0.8B 和 InternVL3.5-2B 等超小型模型。这一趋势表明 VPR-Weld 使小型 VLM 实现更高的语义对齐，通常超过显著更大且无辅助模型的性能。此外，R1 和 R2 数据集之间的高度一致性表明，所提出的方法在两个评估数据设置下均保持稳定的诊断保真度。

下载：下载高分辨率图像（609KB） 下载：下载全尺寸图像

图 6. 各 VLM 在不同参考设置下的语义相似度指标性能。

**4.4.2 缺陷诊断的 LLM 作为评判者评估**

在语义指标的基础上，本节采用 LLM 作为评判者的协议来评估更高层次的诊断质量。评估采用 1 至 5 的李克特量表，涵盖三个不同维度（详见附录 Listing A4）。评分标准优先考虑鉴别推理而非逐字复制，使评估能够区分仅镜像参考文本的模型与准确解读当前样本独特形态特征的模型。高分取决于模型能否阐述查询图像中特定的偏差和特征，从而保持诊断评估的严谨性：

(1) 缺陷检测准确性：该指标评估识别的基本正确性，严格验证核心缺陷类型和数量是否与真实标签一致。评分对幻觉（假阳性）或遗漏等严重错误严格扣分，并将其与轻微定位偏差区分开来。

(2) 描述保真度：该指标评估生成文本的视觉准确性，评估形状、大小和表面纹理等细节是否准确反映视觉证据。它专门针对语义矛盾，对包含不存在特征或模糊肤浅观察的描述进行扣分。

(3) 术语精确性：该指标评估对标准工业分类体系的遵循程度，验证精确技术术语的使用（避免非技术语言），并检查严重性分类（如高 vs. 低）的准确性，确保诊断具有专业可操作性。

定量性能从两个互补角度进行评估。图 7 中的详细分数分布显示诊断质量有明显转变。与语义评估一致，w/o Ref. 基线的分数集中在较低的李克特类别中，而所提出的 Ours 策略将分布向较高级别转移。特别是，更多分数超过第 3 级，表明幻觉输出减少、诊断质量更高。基于这一分布性转变，图 8 可视化了平均性能轨迹（综合数值日志见附录表 A1）。上升趋势表明所测试架构的诊断准确性稳步改善。

下载：下载高分辨率图像（1MB） 下载：下载全尺寸图像

图 7. 视觉缺陷诊断的 LLM 作为评判者分数分布。

下载：下载高分辨率图像（226KB） 下载：下载全尺寸图像

图 8. LLM 作为评判者在三个评估维度上的分数趋势。

对 R1-R2 性能范围的深入分析（通过图 8 中的阴影区域可视化）揭示了标准占优的 R1 与缺陷占优的 R2 数据集之间的性能逆转现象。在零样本基线中，VLM 在 R1 上始终优于 R2，这与通用模型的正常性偏差一致——模型倾向于默认预测正常，在标准焊缝上获得较高表面准确率，但在实际缺陷上表现较差。引入视觉参考后逆转了这一趋势，R2 轨迹超过其 R1 对应值。这一现象表明信息增益的不对称性：参考对于同质标准焊缝提供的额外信息相对有限，但对于多样化的缺陷形态则充当具体的视觉原型。

**4.5 参数优化建议评估**

评估生成的优化建议面临独特挑战。传统的数值回归指标无法捕捉语义逻辑和物理有效性，特别是因为获取多样缺陷场景下真实最优参数仍然困难。该方法将评估重点从严格的数值准确性转向物理合理性和逻辑一致性。因此，采用 LLM 作为评判者的协议来系统评估生成建议的物理合规性、推理特定性和自适应校准。

**4.5.1 评估指标**

为严格解耦外部知识、视觉感知和显式诊断推理的贡献，在四种策略上进行了全面的消融研究：

(1) 图像 + 参数（IP）：输入由缺陷图像和当前参数组成，排除统计参考。该策略评估 VLM 仅基于视觉线索和内部物理知识优化参数的内在能力，明确评估优化过程中外部统计检索的必要性。

(2) 参数 + 统计参数参考（PS）：输入增补了统计参考。这引入了外部统计领域知识来指导优化，但对当前缺陷的具体视觉形态仍然盲视。

(3) 图像 + 参数 + 统计参数参考（IPS）：缺陷图像与当前参数和统计参数参考一起提供，以直接预测数值。关键在于，该设置省略了中间显式诊断步骤，以评估连接视觉与物理的语言推理过程的必要性。

(4) 诊断驱动（Ours）：VPR-Weld 整合了视觉感知、统计先验和显式诊断推理。参数调整明确基于生成的缺陷诊断，使统计参考能够根据识别缺陷的具体严重程度进行自适应修改，而非静态地遵循历史数据。

为结构化量化，使用 1–5 李克特量表从三个互补维度评估性能（详见附录 Listing A5）：

(1) 物理合规性：该指标评估缺陷诊断与提议的参数调整之间的语义对齐性。它作为筛选因检索不匹配或 VLM 幻觉产生的物理矛盾建议的筛选标准，通过验证与物理引导因果规则库（??c）的一致性来实现。关键在于，应用"安全否决"机制，任何与编码的物理引导指令相矛盾的调整（如对未熔合增加电压）将受到严重扣分，并明确标记供人工审查。

(2) 推理特定性：该指标评估生成推理的可解释性。它区分通用启发式（如"为稳定性而调整"）与基于具体视觉形态的证据推理。只有当模型明确引用视觉特征（如"焊趾处深度咬边"）作为特定参数调优策略的因果基础时，才给予高分。

(3) 自适应校准：该指标衡量该方法对源于检索统计参考的"锚定偏差"的稳健性。它评估模型根据当前缺陷的独特严重程度自适应调节统计平均值的能力，区分"盲目复制"历史数据（低分）与"动态适应"诊断推理（高分）之间的差异。

**4.5.2 参数优化建议的 LLM 作为评判者评估**

九个架构的性能轨迹（图 9）展示了一个一致的层级，即整合诊断推理能改善物理合理性与自适应校准之间的平衡。IP 基线在自适应校准上表现出高变异性，但由于不受约束的视觉推理，它经常触发安全否决（物理合规性维度得分 1；见图 A1 和附录表 A2）。表 8 量化了这些物理矛盾，表明端到端 IPS 基线在约 30% 的案例中产生物理矛盾的建议。虽然 PS 和 IPS 设置中统计先验的引入抑制了这些关键故障，但它引发了锚定偏差，表现为分数收敛至 2–3 的中位范围，其中模型复制历史平均值而非根据特定缺陷严重程度进行调整。

下载：下载高分辨率图像（282KB） 下载：下载全尺寸图像

图 9. 不同参数优化策略的性能得分。

表 8. 安全否决在减少物理不安全参数建议方面的有效性

| 模型 | IPS R1 否决前不安全率 (%) | Ours R1 残余不安全率 (%) | SVSR R1 (%) | IPS R2 否决前不安全率 (%) | Ours R2 残余不安全率 (%) | SVSR R2 (%) |
|------|---------------------------|--------------------------|-------------|---------------------------|--------------------------|-------------|
| InternVL3.5-2B | 32.9 | 23.1 | 29.8 | 45.2 | 17.0 | 62.4 |
| InternVL3.5-4B | 25.4 | 11.8 | 53.5 | 25.4 | 11.3 | 55.5 |
| Qwen3-VL-2B | 31.3 | 12.9 | 58.8 | 26.8 | 16.6 | 38.1 |
| Qwen3-VL-4B | 32.3 | 16.3 | 49.5 | 27.3 | 8.7 | 68.1 |
| Qwen3.5-VL-0.8B | 57.6 | 33.6 | 41.7 | 58.7 | 32.6 | 44.5 |
| Qwen3.5-VL-2B | 35.0 | 17.3 | 50.6 | 25.9 | 16.6 | 35.9 |
| Qwen3.5-VL-4B | 25.9 | 7.5 | 71.0 | 24.9 | 6.3 | 74.7 |
| Gemma-3-4B | 26.8 | 10.5 | 60.8 | 21.8 | 8.3 | 61.9 |
| YouTu-VL-4B | 15.9 | 6.1 | 61.6 | 16.6 | 4.0 | 75.9 |
| 总体 | 31.5 | 15.5 | 50.8 | 30.3 | 13.5 | 55.4 |

注：安全否决成功率（SVSR）表示相对于 IPS 基线的物理矛盾建议减少百分比。残余不安全表示推理循环后仍不合规的建议。SVSR 值根据表中报告的不安全率计算。

向 Ours 策略的转变促使分数向 4–5 范围迁移，特别是在推理特定性维度上。VPR-Weld 将残余不安全建议降至 15.5%（R1）和 13.5%（R2）。这使得大多数骨干模型的安全否决成功率（SVSR）超过 50%，有效将物理矛盾的发生频率减半，相比 IPS 基线。

对于复合缺陷场景，这些诊断锚点似乎缓解了零样本视觉语言模型（VLM）中常见的逻辑纠缠，减少了物理上不合规的建议，同时保持了对观察到的形态特征的特定性。为了进一步澄清复合缺陷下的安全否决行为，将多模态焊接知识库（MW-KB）中的 207 个含缺陷样本分为单缺陷和多缺陷组，其中多缺陷案例定义为包含多个缺陷实例的样本。报告的比率汇总了九个评估骨干模型的输出，采用与表 8 相同的安全否决协议，该协议涵盖所有样本（R1: 214; R2: 196），而 ?? 表示唯一含缺陷样本的数量。如表 9 所示，VPR-Weld 在两组中均减少了物理矛盾的建议，安全否决成功率（SVSR）值分别为 53.4% 和 51.9%。尽管多缺陷案例显示出较高的初始和残留不安全率，但可比的 SVSR 表明，推理循环在复合缺陷条件下仍能提供一致的不安全建议减少效果。对剩余不安全案例的检查显示，大多数残留失败与竞争参数方向冲突有关（92.5%，478 个评估输出），其次是严重性主导歧义（6.0%，31 个输出）和复合因果性纠缠（1.5%，8 个输出），表明这些失败主要源于物理上相互竞争的调整需求，而不仅仅是缺陷识别错误。

表 9. 单缺陷和多缺陷案例的安全否决有效性。

| 缺陷组 | ?? | 不安全率（之前）(%) | 残留不安全率 (%) | SVSR (%) |
| :--- | :--- | :--- | :--- | :--- |
| 单缺陷 | 41 | 47.22 | 2.0 | 53.4 |
| 多缺陷 | 166 | 60.7 | 29.2 | 51.9 |
| 含缺陷总体 | 207 | 58.0 | 27.8 | 52.1 |

### 4.5.3. 定性案例分析
为了评估超越统计指标的推理保真度，图 10 使用以严重簇状表面气孔为特征的案例进行了定性比较。如左面板所示，基线表现出明显的视觉误解；尽管存在宏观气孔，它却将焊缝描述为光滑且成形良好。尽管基线建议将焊接电流从 180 A 降低到 170 A，但其理由（“为了保持光滑的焊缝”）是基于对焊缝无缺陷的错误解释，并未解决观察到的气孔问题。因此，该数值上合理的调整缺乏特定缺陷视觉证据的支持。

图 10. 通用基线与 VPR-Weld 之间的诊断和参数优化定性比较。

相比之下，VPR-Weld（右面板）通过识别球状起弧轮廓和深腔簇，将其诊断基于视觉证据。通过语义理解、参数间隙分析和物理引导推导的三阶段推理工作流，VPR-Weld 将当前工艺参数与检索到的参考值进行比较，并将识别出的间隙映射到适用的物理指令。生成的建议将焊接电流从 180 A 降低到 170 A，起弧电压从 24.4 V 降低到 19.8 V，同时将行走速度从 4.0 mm/s 增加到 5.0 mm/s 以将焊缝宽度约束在参考值附近。特别是，起弧电压降低 4.6 V 明确与弧起附近检测到的异常形态相关联。此案例说明了 VPR-Weld 如何产生可解释且受物理引导的建议，其调整可追溯到视觉证据、检索的参数参考和编码的物理指令。

### 4.6. 人类专家对齐与评判可靠性
为了验证“大语言模型作为评判者”协议的可靠性，在一个包含 50 个 R1 和 50 个 R2 样本的平衡子集（共 100 例）上进行了人类对齐研究，使用 Qwen3.5-VL-2B 作为代表性测试台。三名高级焊接工程师使用相应的 1–5 评分标准独立评估了诊断输出和优化建议。在使用其平均评分作为人类参考之前，首先检查了人类专家之间的一致性。

对于每个案例，平均三个维度特定分数以获得每个评估者的一个任务级别分数。使用皮尔逊相关系数（??）、二次加权科恩卡帕系数（??）和平均绝对误差（MAE）作为一致性指标。专家间一致性在三位专家之间成对计算，报告的数值是三个专家对的平均值。对于每对比较，?? 和 MAE 使用连续的任务级别分数计算，而 ?? 是在将任务级别分数舍入到最近的李克特类别后计算的。如表 10 所示，专家达到了总体平均成对 ?? 为 0.82，?? 为 0.80，MAE 为 0.30，表明人类评估者之间具有高度一致性。

表 10. 专家间一致性。

| 评判任务 | 数据集 | 平均成对 ?? | 平均成对 ?? | 平均成对 MAE |
| :--- | :--- | :--- | :--- | :--- |
| 缺陷诊断 | R1 | 0.81 | 0.79 | 0.30 |
| 缺陷诊断 | R2 | 0.86 | 0.84 | 0.24 |
| 参数优化 | R1 | 0.78 | 0.76 | 0.36 |
| 参数优化 | R2 | 0.83 | 0.81 | 0.29 |
| **总体平均** | | **0.82** | **0.80** | **0.30** |

对于 LLM-人类比较，?? 和 MAE 是在 LLM 作为评判者的分数与连续平均专家评分之间计算的。?? 是在将平均专家评分和 LLM 分数舍入到最近的李克特类别后计算的。如**图 11**和**表 11**所示，LLM 作为评判者达到了总体 ?? 为 0.79，?? 为 0.72，MAE 为 0.40，表明与专家评分存在实质性对齐。R2 缺陷主导案例的一致性数值高于 R1 标准主导案例。这表明明确的缺陷形态提供了更强的物理锚点，限制了人类和基于 LLM 的判断，而 R1 案例包含较弱或不明确的异常线索，因此允许专家解释有更大的差异。此外，诊断评估的对齐略好于参数优化，反映了评估多目标物理推理和因果一致性难度的增加。

图 11. LLM 作为评判者分数的人类对齐。

表 11. VPR-Weld 下 Qwen3.5-VL-2B 结果的人类专家对齐。

| 评判任务 | 数据集 | ?? | ?? | MAE |
| :--- | :--- | :--- | :--- | :--- |
| 缺陷诊断 | R1 | 0.79 | 0.71 | 0.39 |
| 缺陷诊断 | R2 | 0.83 | 0.76 | 0.33 |
| 参数优化 | R1 | 0.75 | 0.68 | 0.47 |
| 参数优化 | R2 | 0.80 | 0.73 | 0.40 |
| **总体平均** | | **0.79** | **0.72** | **0.40** |

**图 11(a)**中的误差分析显示，大多数样本级评分紧密遵循对角线一致线，表明 LLM 评判者通常遵循人类专家的评分倾向。此外，如**图 11(b)**所示，绝对评分误差主要集中在 0.5 个李克特单位内。重要的是，结果显示没有严重的等级不一致，表明 LLM 评判者很少偏离专家评估。总体而言，这些发现支持将该协议作为专家评估的可靠近似使用，同时也表明人类监督对于物理复杂的优化案例仍然有价值。

### 4.7. 计算效率分析
在第 4.1 节描述的工作站上评估了 VPR-Weld 的计算效率。如**表 12**详述，剖析的处理周期涵盖了从缺陷诊断到参数优化的推理工作流。对于 Qwen3.5-VL-2B，峰值显存（VRAM）占用为 3184 MiB，完整的处理周期大约需要 10.2 秒。

表 12. 计算概况和资源效率。

| 模型 | 峰值 VRAM (原始) (MiB) | 峰值 VRAM (优化) (MiB) | 延迟 (原始) (s) | 延迟 (优化) (s) |
| :--- | :--- | :--- | :--- | :--- |
| InternVL3.5-2B | 7540 | 5432 | 37.68 | 11.49 |
| InternVL3.5-4B | 13,400 | 9110 | 73.64 | 21.21 |
| Qwen3-VL-2B | 4852 | 3362 | 39.42 | 11.04 |
| Qwen3-VL-4B | 9242 | 6280 | 58.00 | 16.53 |
| Qwen3.5-VL-0.8B | 2190 | 1620 | 13.69 | 6.33 |
| Qwen3.5-VL-2B | 4602 | 3184 | 36.54 | 10.23 |
| Qwen3.5-VL-4B | 9290 | 6128 | 76.32 | 21.06 |
| Gemma-3-4B | 8458 | 5760 | 95.71 | 25.84 |
| YouTu-VL-4B | 13,380 | 9236 | 72.56 | 20.89 |

注：“优化”配置利用 INT4 权重量化和 vLLM 加速。延迟值反映十次独立运行的平均值，观察到的波动约为±15%。

## 5. 讨论
以下小节从五个方面讨论本文的发现：视觉 - 物理锚定机制（5.1 节），观察到的增益一致性及与专家判断的对齐（5.2 节），适用于现场应用的计算效率（5.3 节），对工业化建设的实践意义（5.4 节），以及局限性和未来研究方向（5.5 节）。

### 5.1. 视觉 - 物理锚定的机制见解
VPR-Weld 的诊断保真度源于一种上下文比较机制，这与当前最先进的异常检测中常见的抽象双分支范式 [44], [45] 形成对比。尽管现有方法通常依赖于潜在特征对齐或可学习的语义提示，但提出的方法在机器人特定上下文中执行显式差异分析。通过使用缺陷范例作为语义原型来锚定描述，并使用标准范例作为视觉基线，该策略将形态缺陷与硬件特定噪声隔离开来。这种视觉锚定解决了零样本 VLM 推理中观察到的正常性偏差和幻觉问题，支持在标注训练数据有限的情况下进行诊断。

基于这种语义理解，优化策略解决了物理合理性与自适应校准之间的平衡问题。标准统计策略往往是僵化且无引导的，而不受约束的 VLM 预测可能缺乏物理上合理的参数校正所需的严重性量化和物理边界。为了解决这个问题，VPR-Weld 将显式诊断与物理引导规则库相结合。VLM 解释视觉严重性以推导方向性调整，而规则库作为物理约束，引导调整方向趋向物理一致性。生成式推理与符号物理锚定的结合减少了物理矛盾的建议，并能够使小模型生成与专家判断相一致的物理锚定优化建议。

### 5.2. 性能一致性与人类专家对齐
VPR-Weld 的性能稳定性在从 0.8B 到 4B 参数的多种模型架构中观察到。这种跨模型模式表明，观察到的改进与提供的参考约束有关，而不是单个骨干模型的容量，支持其在各种小模型 VLM 骨干上的适用性。与高级焊接工程师的对齐研究表明，LLM 评判者与人类基线之间存在实质性一致。在 R2 缺陷主导案例中观察到较高的一致性突出了明确缺陷形态作为物理锚点的作用，使 AI 判断与专家使用的因果边界相一致。

### 5.3. 适用于现场应用的计算效率
测量的 VRAM 占用表明，推理管道可以在不依赖云服务的情况下执行，这对于要求数据局部性、响应稳定性和现场可访问性的工业化建设场景很重要。测量的延迟支持在焊接操作间隔期间（如机器人重新定位或焊缝准备）进行本地咨询使用。

### 5.4. 对工业化建设的实践意义
VPR-Weld 通过将推理逻辑与特定的机器人硬件解耦，解决了自动钢铁生产的可扩展性挑战。通过机器人特定检索，VPR-Weld 能够适应不同的生产单元，而无需与模型重新训练或微调相关的停机时间或计算开销。这适用于预制钢构件的高混合、低批量特性，其中经常需要根据定制几何形状进行工艺调整。

符号物理规则的集成建立了生成式决策的边界。通过将参数建议锚定在物理引导规则上，VPR-Weld 减少了物理上不合理的建议，并支持更保守的决策。虽然通用规则在初始设置期间提供方向性指导，但 VPR-Weld 的检索增强性质允许随着操作数据的积累进行数值优化。这种从通用物理启发式方法向机器人特定校准的转变，符合自动工业化建设的长期可靠性要求。

### 5.5. 局限性与未来工作
应指出本研究的一些局限性。首先，VPR-Weld 目前实现为开环咨询方法，以保持推理的可解释性。虽然生成的建议受物理引导规则约束，但没有未来的闭环执行经验验证，它们并不能保证物理成功。其次，当前对受控成像条件下 2D 视觉的依赖强调了认知效率，但缺乏 3D 计量提供的体积深度精度，同时其对灰尘、低对比度、相机更换、视角变化、表面污染和更广泛车间干扰的鲁棒性尚未测试。第三，将物理规则离散化为符号约束可能会过度简化复杂的多变量相互作用，可能忽略诸如电流、电压和行走速度等参数之间的非线性耦合效应。

为解决这些限制，未来的研究将集中于几个主要方向。首先，VPR-Weld 将与实时控制接口集成，以从咨询输出过渡到严格的闭环经验试验。其次，将探索纳入轻量级几何先验，以体积精度补充语义诊断，弥合定性推理与计量测量之间的差距。第三，未来迭代将集成高保真物理代理模型或深度神经 - 物理模型，以更好地捕捉焊接变量之间的非线性耦合。此外，将开发细粒度特征对齐策略，以增强对细微几何和形态偏差的敏感性以及对多样化工业照明和表面污染的鲁棒性。

## 6. 结论
本文解决了使小模型 VLM 能够执行可靠、可解释且机器人特定的焊接质量检查的关键挑战。提出的方法，视觉 - 物理参考引导焊接（VPR-Weld），通过多模态焊接知识库、机器人特定视觉检索、比较缺陷诊断和物理引导因果规则将 VLM 推理锚定其中，提供了一种无需训练的解决方案。与其依赖任务特定微调，VPR-Weld 使用检索到的视觉和参数参考来约束小模型 VLM 进行缺陷感知和物理可解释的推理。

实验结果验证了三个主要发现。首先，参考引导的视觉锚定在异构机器人平台和小模型 VLM 骨干上提高了缺陷检测和诊断一致性，优于零样本 VLM 推理。其次，比较诊断与物理引导约束的集成实现了更物理合规、视觉锚定且与专家判断对齐的参数优化建议。第三，人类专家对齐研究支持了评估协议的可靠性，而计算剖析展示了所提推理管道的效率及其作为焊接检查场景中咨询助手的潜力，在这些场景中，大量数据收集、重复模型微调和云推理受到限制。一个关键局限性是，VPR-Weld 目前是一种开环咨询方法，其参数建议仍需通过闭环焊接试验进行验证。

未来的努力将集中在集成实时传感器反馈和机器人控制接口上，以实现从开环辅助诊断向动态闭环过程控制的转变。CRediT作者贡献声明：温江涛：撰写—初稿，软件，方法论，概念构思。张甘：撰写—审阅与编辑，撰写—初稿，方法论。李小：撰写—审阅与编辑，撰写—初稿。周伟：可视化，调查，数据管理。方伟利：撰写—审阅与编辑，监督，资金获取。温江涛 | 张甘 | 李小 | 周伟 | 方伟利