面向歧义感知路面裂缝检测的知识引导软共识学习

《ADVANCED ENGINEERING INFORMATICS》：Knowledge-guided soft-consensus learning for ambiguity-aware pavement crack inspection

　　

• •
  八位评分者的共识被正则化为软裂纹支撑场（SoftGT）。
• •
  RSC–VL 通过排序、α切割、拓扑结构和视觉–语言校准学习其排序关系。
• •
  在849张测试图像上取得最佳的软重叠度、排序一致性和混淆因子抑制效果。
• •
  通过评分者数量和原始审计分析探索标签层；明确阐述局限性。
• •
  分级场将12.8%的路段维修优先级改变了，相较于二值化流程。

引言

路面裂缝检测是一项知识密集型工程任务。经验丰富的检测人员会解读微弱且部分可见的视觉证据，判断一个模糊标记是开裂还是沥青纹理，排除类似裂缝的干扰因素——如接缝、阴影、车道标线、轮胎痕迹和修补痕迹——并根据当前的维护决策选择合适的严格程度。这一判断的输出结果将被用于几何量化、严重程度评级以及整个路网层面的预防性维护规划，因此是路面资产管理的核心输入之一[1]。在此层级上实现可靠的路况输入，越来越多地依赖于融合多源工程数据流，数据融合和数字孪生领域的文献已为此奠定了基础[2]、[3]。车载摄像头现已能够在路网规模下提供道路图像，这使得检测判断而非图像采集成为瓶颈。本文所解决的工程问题是如何表示这种判断中所使用的模糊知识，以及如何让自动化检测系统能够利用这些知识。

大多数裂缝模型在每张图像的单个二值掩膜上进行训练。这种标注方式对于传统分割是实用的，但它丢弃了大量当多位经过培训的阅读者对同一路面进行判断时可获得的信息。他们的分歧往往出现在对决策最相关的区域：模糊的裂缝边界、发丝状片段、密封裂缝、接缝、修补痕迹、阴影、轮胎痕迹以及因透视而模糊的远处像素。二值掩膜将每个此类像素分配到单一的是/否类别中，而底层的检测证据往往是分级的。对于细结构而言，后果更为显著：一两个像素的差异就可能改变拓扑结构、打断中心线连续性或改变估计的裂缝长度。关于模糊分割、贝叶斯深度学习和多评分者共识的研究表明，预测不确定性和概率性监督比单一硬标签更忠实地保留了这种模糊性[4]、[5]、[6]、[7]。然而，经典的路面图像检测器以及后来的深度裂缝分割网络[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]通常仍使用二值目标作为训练参考。

因此，我们将标签层重构为检测知识的显式表示。每张图片由八位经过培训的路面检测标注人员独立标注，八张掩膜被聚合为一个结构正则化的连续裂纹支撑场，即图1中所示的SoftGT目标。一个确定性算子将原始投票比例转化为归一化场，该场表示评分者共识、中心线到边界的衰减，以及敏感、标准和严格的操作阈值。语义干扰因子由学习者通过一组固定的已命名非裂缝概念库单独处理。该语料库包含4245张分辨率为3840 × 2160像素的图像，划分为2972张训练图像、424张验证图像和849张测试图像。结果是一个相对裂纹支撑场，其排序和操作点在精确的后处理强度值依赖于算子的情况下仍然具有意义。

学习者将此表示不仅仅用作回归目标。RSC–VL将SoftGT场保持为单一连续预测，并通过与所表示知识相匹配的约束对其进行塑形：软重建恢复分级证据，排序损失保持裂缝相似性的顺序和中心线到边界的衰减，α切割损失对齐操作阈值，拓扑项维持曲线连续性，视觉–语言分支根据车道标线、阴影、接缝、轮胎痕迹和修补斑块等特定于图像的干扰因子进行校准。输出是分级的、保持排序的裂缝证据，资产管理工作流程可以按维护决策所需的严格程度读取这些证据。

主要贡献如下。

• •
  一种结构正则化的SoftGT表示，用于表达模糊的检测知识，将八张独立的路面检测掩膜聚合为一个连续场，编码共识强度、中心线到边界的衰减以及操作阈值。
• •
  一个包含4245张高分辨率图像的歧义感知车载视角路面裂缝数据集，携带八位评分者共识层和一个独立的人工审计子集用于对齐检查。
• •
  RSC–VL，一种通过软重建、关系排序、α切割操作约束、拓扑保持和视觉–语言干扰因子校准在单一连续裂纹支撑场上使用该表示的学习器。
• •
  一种用于歧义感知检测的验证协议，测量软重叠度、排序一致性、操作点Dice系数、中心线连续性、困难负样本假响应、后处理鲁棒性、统计显著性以及独立人工审计的对齐情况。

与早先的CrackSeg/SAM研究[15]不同（该研究将可提示分割模型适配到硬掩膜基准上），本研究将标签层本身重构为八位评分者、结构正则化的场，使得分级检测判断和操作标准得以显式表达，并通过排序、α切割、拓扑和视觉–语言校准从该场中学习。两个数据集之间的关系在第3.2节中精确阐述：3540张图像继承自早期语料库，705张为新采集的，所有4245张图像均按本文协议由八位经过培训的标注人员从空白画布重新标注，早期单一的掩膜不得以任何形式（作为目标、初始化或提案）被复用；标签层、审计子集、任务定义、学习者和验证协议全部是新的（见表2）。

本文其余部分组织如下。第2节回顾裂缝分割的深度学习、软标签与多评分者学习以及视觉–语言分割。第3节描述SoftGT表示和RSC–VL学习者。第4节报告实验结果。第5节讨论和第6节结论讨论研究结果并对论文进行总结。

章节摘要

相关工作

自动化裂缝分析处于四条研究线的交汇点：路面裂缝分割、歧义感知与多评分者监督、可提示的视觉–语言模型，以及从工程信息学视角将检测视为知识密集型资产管理任务。以下综述连接了这些研究方向，并指出了一个表示层面的差距——即需要一个携带检测知识的裂纹支撑场，而非单一硬掩膜。表1总结了定位关系。

模糊路面检测的工程信息学建模

路面裂缝检测作为工程决策任务运作，而非单纯的掩膜图像处处理任务。车载视角帧很少包含清晰的物理边缘：发丝状裂缝渐变为沥青纹理，密封裂缝类似于接缝或修补痕迹，阴影和轮胎痕迹遵循类裂缝几何形状。经过培训的阅读者会对同一路面的多种合理解读进行协调，推理裂缝证据如何从管状核心向外衰减，判断该证据的强度

实验方案

训练使用1024 × 1024随机裁剪，配合随机缩放、水平翻转、亮度/对比度抖动、运动模糊和轻微透视扰动。推理时，3840 × 2160全幅图像通过滑窗预测处理，窗间重叠256像素，并使用高斯加权软融合。CLIP编码器被冻结，而校准头和投影层与分割解码器联合训练。在缓存模式下，概念选择每次计算一次

每项主张的依据。

论文提出了五项主张，每项均与特定证据相关联。共识场优于硬掩膜作为监督目标的主张，基于评分者数量消融实验（表9），其中将标签层减少至一位评分者会导致Soft Dice下降0.039、Spearman下降0.052，以及审计对比结果，即$S$在算子空间（表16）和原始空间（表17）中与独立审阅者的对齐程度优于硬投票。RSC–VL比通用软学习器更好地利用该场的主张，基于

结论

本文提出了RSC–VL，一种知识引导的软共识学习框架，用于在路面裂缝评估中表达和利用模糊的人工检测判断。连续SoftGT映射由八张独立的裂缝掩膜通过确定性结构正则化算子导出，保留了评分者共识、中心线到边界的衰减以及操作点语义。RSC–VL将此表示作为关系性裂纹支撑结构使用，将软重建与

CRediT作者贡献声明

周伟：撰写 – 初稿，可视化，方法论，概念化。周震伟：撰写 – 初稿，可视化，方法论。陆晶：撰写 – 初稿。杨丽：撰写 – 初稿，经费获取。

利益冲突声明

作者声明不存在任何已知的竞争财务利益或可能影响本文所报告工作的个人关系。

致谢

作者感谢图像采集团队和标注人员对本研究的车载视角道路裂缝数据集的贡献。本工作得到了国家自然科学基金（项目批准号52502402和92370203）和江苏省基础研究项目（项目编号BK20251462）的支持。

周伟|周震伟|陆晶|杨丽