用于工业集装箱标记和自然场景文本检测的维度解耦视觉-语言Transformer

《Journal of Industrial Information Integration》：Dimension Decoupling Vision-Language Transformer for industrial container marking and natural scene text spotting

集装箱表面文本识别存在垂直文本和语义缺失问题，传统非端到端方法性能不足。本文提出DVLT模型，集成视觉语言框架，通过语义增强模块（SAM）引入上下文知识，中心线提案生成器（CLP）处理垂直文本，并设计维度解耦解码器（D2-Dec）融合多模态特征。实验表明DVLT在CMTS数据集及CTW1500、ICDAR2015等公开数据集上达到SOTA性能。

　　随着人工智能技术的不断进步，其在工业领域的应用日益广泛，特别是在涉及文本识别的场景中，深度学习技术的突破为多个下游任务提供了强大的支持。例如，在电子文档识别、交通标志识别以及票据号码识别等领域，深度学习模型已经展现出卓越的性能，极大地提升了这些任务的自动化水平。然而，尽管自然场景文本识别技术已经取得了显著进展，其在特定工业场景中的应用仍然面临诸多挑战，尤其是集装箱标记文本识别（Container Marking Text Spotting, CMTS）这一关键任务。

集装箱标记文本识别对于物流系统的智能化管理至关重要。在现代物流体系中，集装箱作为运输的重要载体，其表面通常带有大量的文本信息，如集装箱编号、物流信息、货物描述等。这些文本信息不仅关系到货物的识别与追踪，还直接影响到仓储管理、运输调度和资源分配等关键环节。然而，与自然场景中的文本相比，集装箱上的标记文本往往具有特殊的属性，如缺乏上下文、文本排列方式复杂、部分文本为垂直方向等。这些特性使得现有的文本识别技术难以直接应用于CMTS任务，从而限制了集装箱行业在智能化和信息化方面的进一步发展。

因此，如何开发一种高效、通用且易于部署的集装箱标记文本识别方法，成为当前研究的重点。现有的文本识别系统大多采用“检测器+识别器”的级联模式，这种方法虽然在某些场景下表现良好，但在面对集装箱标记文本时，其性能往往不尽如人意。主要问题包括：文本识别模型对垂直文本的识别能力不足，缺乏对无上下文文本的处理机制，以及非端到端的训练方式容易导致模型的局部优化，从而影响整体识别效果。此外，由于集装箱标记文本的特殊性，现有的自然场景文本识别模型在处理这类数据时，常常无法准确捕捉到关键信息，导致识别准确率较低。

为了解决这些问题，本文提出了一种名为Dimension Decoupling Vision-Language Transformer（DVLT）的端到端文本识别模型，专门用于集装箱标记文本识别任务。DVLT通过引入视觉-语言模型（Vision-Language Models, VLMs）来增强对无上下文文本和垂直文本的识别能力。其中，Semantic Augmentation Module（SAM）利用语言模型引入先验知识，从而提升模型对无上下文文本的预测能力。SAM仅在训练阶段参与，不会在推理过程中增加额外的计算开销，确保了识别过程的高效性。同时，为了更好地处理垂直文本，本文在视觉模型中引入了Center-Line Proposals（CLP）生成器，该生成器能够生成以曲线形式表示的视觉提案，从而提高模型对垂直文本的适应能力。

此外，DVLT还引入了Dimension Decoupling Decoder（D2-Dec），该解码器利用注意力机制，将视觉模型和语言模型的特征进行综合融合。通过这种方式，目标查询能够获得更丰富的语义信息，从而提升对无上下文和垂直文本的识别准确率。D2-Dec的设计不仅提升了DVLT的整体性能，还确保了模型在不同场景下的良好泛化能力。最终，DVLT通过端到端的训练方式，实现了对集装箱标记文本的高效识别，并在多个公开数据集上取得了优异的性能表现。

在实验部分，本文对DVLT进行了全面的评估。首先，我们使用了专门针对集装箱标记文本设计的数据集，以及多个自然场景文本数据集，如CTW1500、ICDAR2015和Total-Text等。通过实验结果可以看出，DVLT在CMTS任务中的表现显著优于其他文本识别模型，达到了当前最先进的水平（State-of-the-art, SoTA）。同时，DVLT在自然场景文本数据集上的表现也十分出色，显示出其在不同文本识别任务中的广泛适用性。这些实验结果不仅验证了DVLT的有效性，也表明其在推动集装箱行业智能化发展方面的巨大潜力。

在实际应用中，DVLT的引入可以显著降低集装箱信息识别的成本，并提升整个物流系统的智能化水平。例如，在自动化集装箱码头（Automated Container Terminal, ACT）中，DVLT能够帮助快速识别集装箱表面的标记信息，从而优化装卸设备的调度，提高货物的处理效率。而在智能物流系统（Intelligent Logistics System, ILS）中，DVLT可以用于自动化运输任务，如货物追踪和仓储管理，从而减少人工干预，提高系统的自动化程度。此外，DVLT还可以与现有的物流技术相结合，进一步提升整个供应链的效率，实现更高效的货物流转和资源分配。

本文的主要贡献包括：首先，提出了一种全新的端到端文本识别模型DVLT，该模型专门针对集装箱标记文本识别任务进行了优化，能够有效提升识别准确率和效率。其次，构建了一个视觉-语言框架，通过SAM和CLP生成器的结合，实现了对无上下文文本和垂直文本的高效识别，同时保证了模型在推理过程中的计算效率。第三，设计了一种新颖的D2-Dec解码器，通过综合融合视觉和语言模型的特征，提升了模型的识别性能。第四，通过大量的实验验证了DVLT在多个数据集上的优越表现，不仅在CMTS任务中取得了最先进的结果，还在自然场景文本识别任务中表现出色。

为了确保模型的性能，本文在方法论部分详细介绍了DVLT的结构和工作原理。首先，本文回顾了现有的文本检测与识别方法，包括传统的“检测器+识别器”模式以及近年来发展起来的端到端模型。接着，本文详细阐述了DVLT的整体架构，包括输入处理、特征提取、语义增强、视觉提案生成以及解码过程。最后，本文对各个模块的组成和训练目标函数进行了深入分析，确保模型在训练过程中能够有效学习和优化。

在实验部分，本文采用了多种评估方式，包括消融实验、对比实验和可视化分析。通过消融实验，我们验证了各个模块对模型性能的影响，发现SAM和CLP生成器的引入对识别准确率有显著提升。对比实验则展示了DVLT在不同数据集上的表现，证明其在CMTS任务中的优越性。可视化分析则帮助我们更好地理解模型的识别过程，确保其在实际应用中的可行性。此外，本文还探讨了DVLT与现有技术的结合方式，展示了其在提升物流效率方面的应用潜力。

综上所述，本文提出的DVLT模型为集装箱标记文本识别任务提供了一种高效、通用且易于部署的解决方案。通过引入视觉-语言框架和创新的解码机制，DVLT不仅提升了对无上下文和垂直文本的识别能力，还保证了模型在不同场景下的良好泛化性能。实验结果表明，DVLT在多个数据集上的表现优于现有方法，特别是在CMTS任务中达到了最先进的水平。因此，DVLT有望成为推动集装箱行业智能化发展的重要工具，为物流系统的高效运作提供强有力的支持。