一种结合2D纹理与3D形状特征的戳记字符识别混合预处理方法

《Journal of Manufacturing Processes》：A hybrid preprocessing approach for stamped character recognition using 2D texture and 3D shape features

　　

摘要
曲面金属表面冲压字符的自动识别仍具有挑战性，原因在于低对比度以及表面退化，如锈蚀和划痕。本研究提出了一种鲁棒的识别系统，其基于一种混合预处理方法，该方法利用二维强度信息和三维深度信息倾向于独立失效的特性——源于其不同的物理原理——构建互补的融合表示。研究采用三维视觉传感器获取高压气瓶的空间对齐的二维和三维图像。分析表明，虽然二维图像易受表面污染影响，但三维图像易受浅冲压和传感器噪声的影响。为解决这些问题，开发了一种混合预处理方法；该方法将通过局部二值模式提取的二维纹理特征与通过统计异常值移除精化的三维形状特征进行融合。此外，实施了一种集成方法，基于置信度分数整合单模态和混合结果。实验结果表明，混合方法显著优于单模态方法，达到98.1%的单词识别率（WRR）。最终集成系统实现了100%的WRR，证实了纹理和形状信息的融合能有效克服环境噪声，确保工业应用中的高精度可追溯性。

引言
可追溯性是指利用记录的识别数据在整个生命周期中访问有关物体信息的能力[1]。在制造业中，产品可追溯性作为一种风险管理工具，用于跟踪物品和验证真实性。其应用已从食品和农业领域扩展到更广泛的行业[2], [3]。对于安全部件，如航空发动机零件，跟踪序列号对于确保适当的维护和质量保证至关重要[4]。单件识别对于高压气瓶的安全管理同样至关重要。因此，包括日本《高压气体安全法》[5]、美国交通部（DOT）法规[6]和欧洲《可运输压力设备指令》（TPED）[7]在内的监管框架都强制要求实施可追溯性。然而，目前大多数这些过程仍依赖人工目视检查，效率低下且易受人为错误影响[8]。人工过程耗时较长；然而，一项关于自动钢坯识别算法的案例研究表明，自动化可通过在几秒内提供识别数据来加速最终处理，同时防止致命的人为错误[9]。同样，在发动机维护中，人工记录被视为非增值活动[4]。

尽管对自动化的需求日益增加，但金属表面上冲压字符的识别与标准印刷字符识别相比存在独特挑战，这源于目标应用的四个物理特性。首先，加工和腐蚀金属表面的镜面反射会产生高光和暗区，标准面阵相机无法可靠地将它们与真实的字符笔画区分开来；基于机器视觉的加工表面检查已被充分记录受到此类表面纹理的强烈影响，这使可靠视觉特征的提取复杂化[10]。其次，字符与周围金属具有相同的材料和颜色，许多冲压字符还表现出浅浮雕，因此无论照明条件如何，字符与背景之间的强度对比度都极低[11], [12]。第三，表面污染物，如污垢、锈蚀、划痕和保护膜残留物，作为噪声通常无法与字符边缘区分[12]。第四，当标记表面是曲面时，如圆柱形气瓶，传感器与表面之间的入射角在整个视场内连续变化，引入几何畸变，固定几何面的相机无法在逐像素校正的情况下解决此问题。

先前文献中没有单一方法能同时解决这四个挑战。多向照明融合[12]和多曝光图像融合[11]大幅缓解了低对比度、表面污染以及，在后一种情况下，曲面金属工件上由曲率引起的照明变化，但两者都纯粹基于二维强度图像操作；因此，它们无法恢复因镜面反射缺失或浅浮雕冲压而丢失的信息，在这种情况下，字符本身在任何照明条件下产生的强度对比度都不足。最近基于目标检测的雕刻和冲压字符识别方法[13], [14], [15]通过学习、数据增强模型在低对比度、反射表面和任意方向下实现高准确率，但同样仅依赖二维成像，其作者报告在浅浮雕或重度暴露的雕刻上性能下降，将其失败归因于仅强度传感的基本局限性。为平面目标（如车辆车牌）开发的透视和几何畸变校正方法[16]通过图像空间变换校正曲率类似畸变，但不能推广到连续曲面。深度检测方法直接测量物理浮雕而非依赖受照明影响的对比度，已被证明在古贝叶经手稿字符识别的不同领域中具有表面退化和褪色的鲁棒性[17], [18]。其退化来源和表面几何——有机衰变和平整、无反射表面的墨水褪色——与本文处理的曲面金属表面上的镜面反射、腐蚀和浅浮雕存在根本差异，因此其结果作为跨领域证据引用，而非可直接复制的基准。另外，来自单个三角测量传感器的深度信息已被用于重建金属硬币表面上冲压字符的精细三维形状[19]，以及以微米分辨率检查曲面金属表面的尺寸精度[20]。然而，这些基于深度的研究均未在曲面上、工业退化的金属表面进行字符识别，也没有将深度与二维纹理结合。这一空白——缺乏一种融合单个传感器获取的二维纹理和三维深度以共同解决金属冲压字符识别中镜面反射、低对比度和浅浮雕、表面污染以及曲面畸变的方法——正是本研究要解决的具体研究空白。本研究假设，从冲压字符直接获取物理地形信息，并与同一传感器获取的二维纹理融合，将消除表面污染、变色和照明变化对单模态方法的限制，从而增强曲面、浅浮雕条件下的识别鲁棒性。

本研究旨在建立一个高精度识别系统，用于曲面金属表面冲压字符的识别，该系统基于同时获取二维纹理和三维深度的线扫描激光三角测量（光截面）传感器。这种获取原理本身并非新的贡献——线扫描激光三角测量是一项成熟技术——但采用它已在测量阶段缓解了上述四个挑战中的两个：线扫描配置将曲面展开为平面图像，无需事后几何校正（第2节），直接解决曲率引起的畸变，而斜三角测量几何将镜面反射限制在狭窄的局部表面取向范围内，残余的、空间局部化的数据丢失由第2节描述的插值处理。剩余的两个挑战——由字符与背景之间的共享材料和颜色引起的低对比度，加上浅浮雕，以及表面污染引起的噪声——是本研究提出的预处理方法的焦点，该方法利用纹理（强度）和形状（深度）信息倾向于独立失效的特性构建互补的融合表示。首先，对强度图像和深度图像独立应用传统图像处理技术以量化每种模态的局限性。随后，提出一种融合方法以消除与低对比度和表面退化相关的噪声。最后，通过将单模态结果与此混合方法整合，本研究旨在实现通常无法通过单模态方法达到的高精度、稳定识别性能水平。

章节片段
实验
为评估不利条件下的识别性能，本研究专注于高压气瓶曲面上冲压的八位识别号码。图1展示了数据集中的典型退化图像。数据集包括103张图像（824个字符），表现出多样的表面异常，包括污垢、锈蚀、划痕、凹痕和保护膜残留物。由于目标气瓶的具体编号方案，数字类别存在不平衡。

二维图像优化
在二维图像识别中，表面异常如污垢和锈蚀是准确率下降的主要原因。因此，研究了预处理技术以抑制此噪声同时增强字符区域。除基线（无预处理）外，评估了各种方法，包括平滑滤波器（均值、中值、高斯和双边）、反锐化掩蔽、限制对比度自适应直方图均衡（CLAHE）以及通过Otsu方法进行的二值化。图3展示了

混合方法
前节分析确认了二维和三维模态倾向于独立失效，每种模态由不同的物理原理支配。本节详细介绍了一种新颖的混合预处理方法，该方法利用这一特性——在特征级别融合纹理和形状信息——构建能够抑制单模态处理无法应对噪声的互补系统。工作流程如图7所示。

讨论
优化的单模态方法（2D-best和3D-best）分别达到93.2%和92.2%的相当WRR。值得注意的是，3D-best方法表现出比2D-best方法（0.84%）更高的字符错误率（1.46%），这种差异可能归因于由浅冲压或磨损引起的地形信息丢失。相比之下，所提出的混合方法达到98.1%的WRR和0.25%的CER，显著优于单模态方法。这种显著

结论
本研究证明，二维纹理和三维形状特征的整合显著增强了冲压字符识别。通过将这两种模态趋于独立失效的特性——源于其不同的物理原理——融合为互补系统，并通过决策级集成进一步解决残余重叠情况，并使用训练数据增强进行强化，所提出的混合方法在数据集中实现了100%的识别率（103/103）

CRediT作者贡献声明
Kodai Matsudaira：概念化、数据管理、形式分析、调查、方法学、软件、验证、可视化、初稿撰写、审阅与编辑。Yusei Tsuboi：概念化、调查、方法学、监督、审阅与编辑。

稿件准备过程中生成式AI和AI辅助技术的声明
在本工作准备过程中，作者使用了Claude（Anthropic）来协助文本修改和释义。在使用此工具后，作者根据需要审查和编辑了内容，并对已发表文章的内容承担全部责任。

资助
本研究未获得公共、商业或非营利部门资助机构的任何具体资助。

利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Kodai Matsudaira是SICK K.K.的实习生，Yusei Tsuboi受雇于SICK K.K. SICK K.K.是SICK AG的日本子公司，后者是本研究中用作主要数据采集设备的Ruler3000传感器的制造商。

Kodai Matsudaira|Yusei Tsuboi