《Sensors》：A Closed-Loop Active Vision and Reinforcement Learning Framework for Online Optical Lens Inspection in Computer-Integrated Manufacturing
编辑推荐：
透明光学镜片的自动化缺陷检测仍具挑战性，原因是镜面反射会遮蔽弱缺陷并产生眩光诱发的虚假响应。本文提出一种面向计算机集成制造在线质量控制、由置信度驱动的端到端主动检测框架。该框架集成Transformer增强的You Only Look Once（YOLO）检测
透明光学镜片的自动化缺陷检测仍具挑战性，原因是镜面反射会遮蔽弱缺陷并产生眩光诱发的虚假响应。本文提出一种面向计算机集成制造在线质量控制、由置信度驱动的端到端主动检测框架。该框架集成Transformer增强的You Only Look Once（YOLO）检测器（TE-YOLO）、置信度驱动的近端策略优化（PPO）控制器（CDR-PPO）以及时间序列相机视角调整过程。TE-YOLO在检测头之前引入带Transformer编码器的C3模块（C3TR），将卷积局部特征提取与全局上下文建模相结合，用于划痕与异物颗粒检测。在所提架构中，检测器同时输出视觉特征与缺陷置信度分数，这些输出被转换为阈值感知奖励信号，直接参与PPO优势估计与策略优化，从而将视觉感知与离散相机位姿控制耦合。与奖励基于几何覆盖或模型不确定性的主动视觉方法不同，CDR-PPO针对接受观测的同一检测器阈值来训练视角策略。由此形成的闭环反复执行图像采集、缺陷感知、奖励构建、策略更新、相机调整与再观测；检测器与策略分别训练。镜片图像在物理检测装置上采集，该装置配备安装于可调支架上的工业相机。TE-YOLO在208幅物理镜片图像上评估，在近重复分组划分上达到交并比阈值0.50下的平均精度（AP50）0.995以及阈值0.50至0.95平均的平均精度（AP50:95）0.865，与不含Transformer编码器的普通C3变体精度相同。装置上的物理采集序列表明，改变相机配置会使眩光相对于镜片和缺陷发生移动。CDR-PPO在复现装置几何的仿真检测环境中训练与评估，该环境生成置信度与状态特征。在留出测试场景上，其以每回合5.1次观测在87.3%的回合中达到置信度阈值，而固定视角为42.4%，贪心置信度搜索为每回合22.1次观测。在10次观测预算内，CDR-PPO恢复了77.8%起始低于阈值的回合，而贪心搜索未恢复任何回合。这些结果支持将自适应视觉检测集成到自动化制造质量控制工作流中。
研究背景方面，光学镜片是现代精密成像系统的核心元件，制造过程不可避免地引入表面与内部缺陷，严格质量控制十分必要，但人工检测难以扩展且易受操作者差异与疲劳影响，因此基于机器视觉的自动化检测被广泛采用。然而透明高反射镜片带来严峻挑战：其一，镜片缺陷多为形态模糊、对比度低、空间尺度小的“弱微缺陷”，尽管深度卷积神经网络（CNN）理论感受野大，但有效特征聚合仍偏局部，难以对高反射表面进行长程建模，易将高频反射噪声误判为微缺陷；其二，固定相机位姿无法自适应规避眩光区域，当缺陷与强镜面高光重叠时，视觉信息在传感器层面物理丢失，后续任何图像处理算法均无法恢复。已有主动视觉与强化学习检测方法虽移动传感器，但通常以几何覆盖或模型不确定性为奖励。为此研究人员提出将全局上下文缺陷感知与迭代相机位姿调整相耦合的统一端到端框架，其中端到端指从图像采集、缺陷感知到阈值感知奖励构建、近端策略优化（PPO）、相机位姿调整与再观测的完整闭环处理链，而非通过共享反向传播路径联合优化，检测器单独训练，其输出作为策略输入与奖励信号。研究人员开展了TE-YOLO感知模块与CDR-PPO决策模块的研究，并建立动态观测协议，得出TE-YOLO在208幅物理镜片图像上达到AP50为0.995、AP50:95为0.865，与普通C3变体精度相同但仅增加4%浮点运算量与0.3 ms延迟；CDR-PPO在留出测试场景以每回合5.1次观测在87.3%回合中达到阈值，显著优于固定视角、随机动作、规则搜索、下一最佳视角（NBV）与优势演员-评论家（A2C）基线，并以约为贪心搜索四分之一的观测次数完成任务，且在10次观测预算内恢复77.8%的低于阈值起始回合。其重要意义在于将自适应视觉检测集成到自动化制造质量控制工作流，为在线质量控制提供可行方案。
关键技术方法方面，研究人员在物理检测装置上采集镜片图像，装置采用Basler ace 2 a2A2464-23gmBAS单色GigE工业相机配35 mm、f/2.0、2/3英寸定焦镜头，分辨率1920×1080，相机安装于镜片上方可调支架，镜片置于平面面光源上的白纸，后方设黑色挡板、上方设黑色遮罩以限制杂散光，检测中镜片、光源与接收屏固定，仅调整相机位姿。数据集含120片物理镜片的208幅图像、248个标注缺陷框，划痕、异物与气泡合并为单一DEFECT类，采用感知哈希与缩略图相关性筛选近重复图像并按7:2:1分组划分。TE-YOLO以COCO预训练YOLOv8权重初始化，输入1280像素，采用AdamW优化器、批大小2、最多200轮、早停耐心50轮。CDR-PPO每种子训练2000回合，每回合最多20步，16连续回合为一训练批，10个更新轮次、小批量64，采用Adam优化器、GAE与裁剪替代目标。策略训练与统计比较在基于Gazebo复现装置几何的仿真检测环境中进行，场景由缺陷位置、光照方向、光强与表面粗糙度参数化，训练、验证与测试场景按分箱参数的不相交组合分配，各配置以5个随机种子训练并以配对t检验比较。
研究结果方面，在“视觉模块在物理数据集上的验证”中，通过将TE-YOLO与基线YOLOv8、基于Transformer的RT-DETR及普通C3变体在镜片缺陷数据集上对比，得出所有基于YOLO的检测器AP50接近0.995，AP50:95更具信息量，RT-DETR-L均值较低且种子间方差大，TE-YOLO与普通C3变体精度相同，C3TR模块未带来可测精度增益，其计算代价为相对普通C3增加4%浮点运算量与0.3 ms延迟，策略网络每次决策增加0.03 ms。在“主动控制策略评估与消融”中，通过在主动视觉环境中将CDR-PPO与固定视角、随机动作、规则搜索、贪心置信度搜索、基于采样的NBV搜索、A2C及违反权重条件的CDR-PPO对比，得出CDR-PPO以5.1次观测在87.3%回合达到阈值，分别超过固定视角44.9、随机动作30.7、规则搜索38.0、NBV23.2、A2C37.8及违规策略47.7个百分点，贪心搜索虽达99.9%但需22.1次观测；在固定观测预算下，CDR-PPO在5次观测内恢复68.6%、10次内恢复77.8%的低于阈值起始回合，而贪心搜索10次内未恢复任何回合，在34次观测预算内CDR-PPO达到最多回合；奖励消融表明含阈值奖励的变体均超过固定视角，不含者均低于固定视角，完整CDR奖励比稀疏奖励多11.9个百分点，去除状态特征向量使达到率下降27.4个百分点。在“眩光下检测器行为的定性说明”中，通过示意性对比YOLOv8、DETR与TE-YOLO在两幅受眩光影响镜片图像上的表现，得出YOLOv8依赖局部感受野易将眩光边界误判，DETR全局自注意力可抑制此类响应但微缺陷框较松，TE-YOLO结合两者特性。在“主动检测矩阵定性结果”中，通过在物理装置上对正常A级、划痕与异物三类镜片进行四次连续观测的定性矩阵，得出随物距、像距、俯仰角与照度改变，镜面反射与亮边环在镜片上移动，一次观测中被遮蔽的区域可在另一次观测中显露。
讨论部分总结如下：检测时间方面，1280像素输入下TE-YOLO前向传播每幅4.84 ms、策略网络每次决策0.03 ms，检测时间主要由相机运动与图像采集主导，减少每次检测观测数是主要设计目标。检测器置信度作为奖励信号方面，因置信度同时进入奖励与阈值判据，研究人员另以策略不可观测的潜在可见度评估，CDR-PPO终末可见度0.794高于固定视角0.707、接近贪心搜索0.811。物理与环境证据方面，检测器在物理镜片图像上训练测试，物理采集序列佐证眩光对相机配置的依赖，策略统计比较在可配对重复评估的检测环境中完成，权重条件仅依赖阈值与折扣因子可直接应用于装置实测置信度，下一步将在限于装置可观测量的状态上重训策略并在装置上以实际TE-YOLO输出运行评估。研究结论翻译如下：本文提出一种面向计算机集成制造情境在线质量控制的置信度驱动端到端主动检测框架，围绕TE-YOLO感知模块、CDR-PPO视角控制器与时间序列动态观测过程三个耦合组件组织；TE-YOLO在检测头前放置C3TR模块以结合局部缺陷表征与全局上下文信息；CDR-PPO不改变PPO基本优化规则，其贡献在于将检测器置信度及其阈值化响应转换为策略训练信号的特定任务奖励以及相机运动项；动态观测协议通过反复采集图像、评估缺陷、选择离散位置或方向调整并捕获下一观测来闭合环路；在208幅物理镜片图像上TE-YOLO以相对等精度普通C3变体的少量额外代价达到AP50为0.995、AP50:95为0.865；装置上物理采集序列表明改变相机配置使镜片上的眩光移动；在复现装置几何的检测环境中CDR-PPO以每回合5.1次观测在87.3%留出测试回合中达到置信度阈值，超过固定、随机、规则、NBV与A2C基线，所需观测约为贪心置信度搜索的四分之一，奖励消融确认按所导条件加权的阈值奖励是其决定性成分；未来工作将把训练策略迁移至物理装置，在更多镜片上以缺陷与正常镜片的独立真值评估，对照生产节拍测量检测时间，并将评估扩展到更多镜片类型、制造批次、产线接口与检测配置。
