综述：用于边缘汽车衬套检测的高度编码视觉语言蒸馏技术

《Journal of Visual Communication and Image Representation》：Height-encoded vision-language distillation for edge automotive bushing inspection

　　摘要：在汽车衬套中检测缺陷对于确保悬架系统的可靠性和安全性至关重要，但目前仍难以实现生产线的自动化检测。视觉语言模型能够提供超越传统模式匹配的语义理解能力，但其较大的内存占用和较高的能耗限制了其在边缘设备上的应用。我们提出了一种教师-学生知识蒸馏框架，可将大型视觉语言模型的语义信息转换为结构紧凑的边缘模型。该框架中的教师模型Qwen3-VL-4B接收来自16位TIFF表面数据的灰度图像与分层高度编码的双流输入，而学生模型则通过响应、特征和注意力目标进行训练。通过对模型进行对称8位整数量化处理，使其在NVIDIA Jetson Orin Nano设备上的大小降至480 MB。在25,000个样本的测试中，该学生模型达到了91.3%的mAP@50值，延迟时间为94毫秒，功耗为17.5瓦，同时保留了教师模型93.4%的mAP@50性能，在100毫秒的实时处理要求下，其性能比YOLOv12高出4.6个百分点，这表明基于视觉语言模型的语义缺陷检测技术可以在边缘硬件上运行。

引言：汽车悬架系统依赖衬套组件来维持正常功能并保障车辆安全。这些橡胶与金属复合制成的部件在车辆动力学中发挥着多种作用，如承受载荷、控制运动以及隔离各部件之间的振动[1]。衬套的质量直接影响驾驶舒适性、车辆响应性能以及整个车辆生命周期内的部件使用寿命。若这些部件存在制造缺陷，将会影响悬架性能和车辆安全，因此汽车生产过程中需要有效的质量控制手段。由于衬套是由不同材质构成且具有复杂的几何结构，其缺陷检测十分困难[2]。生产缺陷从可见的表面不规则到影响功能表现的细微尺寸偏差不等[3]。基于人工测量和目视检查的传统检测方法在检测一致性和处理效率方面存在局限[4]，难以在高速生产环境中识别出细微缺陷。因此，人们开始研究将先进成像技术与计算方法相结合的自动检测系统，以实现高效的高速检测[5]。近年来，视觉语言模型被广泛应用于各类制造业的缺陷检测领域[6]。这类模型结合了视觉感知能力和自然语言理解能力，能够对缺陷进行语义层面的分析，从而实现比传统模式匹配更精细的质量评估[7]。已有研究显示，基于视觉语言模型的方法在工业检测任务中表现良好[8]。由于它们能够将视觉缺陷模式与文本描述相关联，因此能够提供可解释且灵活的缺陷分类方案。然而，视觉语言模型在实际生产环境中的部署仍面临资源限制。目前的视觉语言模型通常需要6.8至18.4 GB的内存，功耗超过150瓦[9]，这样的计算需求使得它们无法在资源有限的边缘设备上运行，进而限制了其在实时生产线检测中的应用。此外，持续依赖云连接还会带来延迟、可靠性问题以及数据隐私方面的隐患，这在工业环境中尤为突出[10]。知识蒸馏技术可以压缩大型神经网络，同时保留其大部分性能[11]。在这种技术框架下，大型教师模型会指导小型学生模型的学习，最终得到的学生模型便可部署在资源受限的设备上[12]。已有研究表明，轻量级模型依然能够保持与大型模型相当的性能水平[13]。尤其是对于视觉语言模型而言，知识蒸馏为实现具备语义理解能力的边缘设备部署提供了可行路径[14]。深度学习技术结合高度信息成像已被用于检测工业部件的几何缺陷[15]。高度信息成像能够以亚毫米级的精度记录表面地形，有助于区分尺寸缺陷与纹理变化或照明引起的伪影。由于许多衬套缺陷除了视觉异常外还表现为细微的尺寸变化，因此将高度信息成像与基于视觉语言模型的语义理解相结合，对于衬套检测而言具有重要意义。这种区分非常重要，因为最严重的衬套缺陷往往是几何形状上的问题：橡胶过量会导致凸起，而橡胶缺失则会形成凹陷或暴露的空腔。在灰度图像中，这两种情况都可能被误认为是正常的纹理、阴影或表面反光，从而被仅依靠视觉特征的检测器误判。高度信息则能将这些凸起或凹陷的形态清晰地呈现出来，从而将真正的尺寸缺陷与无害的表面痕迹区分开来。正是基于这一考虑，我们设计了将高度编码与灰度图像相结合的双流检测架构。目前，像NVIDIA Jetson这样的边缘人工智能平台已被广泛应用于工业质量控制领域[16]。这类嵌入式系统具备足够的计算能力，可实现实时推理，同时还具有低功耗和紧凑的体积，非常适合在生产环境中使用[17]。最新的Jetson Orin系列设备配备了能够支持压缩神经网络模型运行的图形处理单元架构，且性能表现良好[18]。尽管有了这些进展，要在边缘设备上实现基于视觉语言模型的实际缺陷检测，仍然需要一种能够在多模态分析、检测性能和资源消耗之间取得平衡的模型。由于缺陷类型多样，模型需具备多模态分析能力；而实时处理的要求则决定了模型架构必须高效。对于衬套检测而言，所用的模型不仅要具备视觉语言语义理解能力，还要对决定主要缺陷类型的几何高度特征敏感，同时其内存占用和运行延迟必须控制在边缘设备可承受的范围之内。为满足这些要求，我们设计了一种基于教师-学生框架的解决方案，该方案采用了分层高度编码、多目标蒸馏以及8位整数量化技术。我们提出的这一框架实现了基于视觉语言模型的汽车衬套缺陷检测技术在边缘设备上的实际应用。该方法能够克服资源有限环境下的各种限制，同时保持出色的检测性能。该框架的结构如图1所示。该框架将预训练好的Qwen3-VL-4B教师模型进行知识蒸馏，从而得到一个适合在边缘设备上部署的紧凑型学生模型。在NVIDIA Jetson Orin Nano 4 GB设备上，该学生模型的mAP@50值为91.3%，内存占用为480 MB，延迟时间为94毫秒，功耗为17.5瓦。我们将固定的五层高度编码与灰度图像相结合，这样就能将几何形态特征和纹理信息一同传递给学生模型。通过多目标的响应、特征和注意力蒸馏机制，可将教师模型中的语义缺陷知识传递到可部署的模型中。在25,000个衬套样本上的测试表明，该学生模型能够保留教师模型93.4%的检测性能，通过实验对比还分析了高度编码和知识蒸馏效果，结果表明视觉语言模型的语义检测技术能够满足边缘设备在内存、延迟和功耗方面的限制。本文的后续内容安排如下：第二部分为相关研究，第三部分为方法论，第四部分为实验与分析，第五部分为结论与未来工作方向。

相关片段：用于工业检测的视觉语言模型：视觉与语言的结合改变了工业缺陷检测的方法体系[19]。传统系统仅依据视觉特征进行分类[20]，无法对异常现象进行语义层面的解读，因此在需要上下文推理的复杂场景中，传统系统的实用性较为有限。视觉语言模型则将视觉感知能力与自然语言理解能力相结合[21]，它们通过大规模数据学习，建立将视觉模式与文本描述相关联的联合表征。

问题定义：我们将衬套缺陷检测问题定义为一种物体检测任务，该任务需要在资源有限的边缘设备环境下，同时实现准确的分类和精确的空间定位。给定一个由检测图像组成的数据集X={xi}i=1N，其中每个样本xi均为来自汽车衬套组件的双模态输入，包括高度信息图像和灰度图像，我们的目标是通过某种方法学习一个紧凑型的检测函数fθs:X→D。

实验设置与评估方案：我们采用双模态成像技术，对汽车衬套缺陷检测任务中的教师-学生框架进行了评估。该评估方案涵盖了数据集、基准方法、评价指标、实现方式以及统计分析方法。

结论：我们解决了在资源受限的边缘设备上部署视觉语言模型以检测汽车衬套缺陷的问题，这类设备的内存和功耗限制了视觉语言模型的实际应用。我们提出了一种教师-学生知识蒸馏框架，该框架将分层高度编码与灰度图像相结合，通过结合响应、特征和注意力目标，将大型教师模型的语义理解能力传递到紧凑型的学生模型中。此外，我们还采用了对称8位整数量化技术。

CRediT作者贡献说明：陈世坤：研究设计、形式化分析、数据整理、概念构建；熊松泉：论文初稿撰写、可视化处理、结果验证、方法设计、研究开展、数据整理、概念构建；吕龙金：结果验证、项目监督、软件开发、资金筹集、形式化分析、数据整理；卢学勤：论文审阅与编辑、结果验证、项目监督、资金筹集；李文祥：项目监督、资源协调、数据整理；毛俊杰：可视化处理、项目管理工作。

利益冲突声明：作者声明不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。

致谢：本研究得到了浙江省自然科学基金（项目编号ZCLTGS24D0101）以及浙江省高等学校重大人文社会科学研究项目（项目编号20230N024）的支持。此外，该研究还获得了浙江省基础公益研究计划（项目编号LGF22G020002）和宁波市自然科学基金（项目编号2023J060）的资助。

陈世坤|熊松泉|吕龙金|卢学勤|李文祥|毛俊杰