日志：基于局部特征引导的中文场景文本识别全局语言序列重建方法

《Pattern Recognition》：LOG: Local Feature-Guided Global Linguistic Sequence Reconstruction for Chinese Scene Text Recognition

　　

辛秋怡|张楚|郎青|吴晓鹏|叶嘉斌|金连文|齐恒年

• •
  提出了一种基于局部特征引导的全局语言序列重建方法。
• •
  通过异构键值交叉注意力机制分离引导源与内容源。
• •
  多阶段建模方式能够捕捉字符间深层的隐含语义关系。
• •
  在场景文本、网页文本、文档文本以及手写文本等基准测试中均展现出优异的性能。

引言

中文场景文本识别旨在从图像或视频中提取并识别中文文本，已成为计算机视觉与人工智能领域的重要研究方向。随着图像和视频数据的快速增长，在医疗健康、自动驾驶、教育、电子支付以及文档数字化等领域，高效准确的中文场景文本识别需求日益增加。由于汉语是联合国六大官方语言之一，全球有超过16亿人使用，其识别技术具有显著的研究与应用价值。

然而，在复杂背景、光线不均以及阴影环境下，中文场景文本识别仍然面临诸多挑战，同时还存在若干与语言特性相关的难题。首先，如图1(a)所示，同一个汉字在不同字体和风格下表现差异极大，导致视觉上不同的实例却被赋予相同的标签。其次，许多汉字的结构较为相似，尤其是那些结构复杂的汉字，如图1(b)所示。再者，汉字包含复杂的笔划及部件组合，如图1(c)所示，这会导致文本序列中部件的分布十分复杂。最后，中文单词的分界往往不够明确，一个序列中可能包含多个单词或是不完整的单词，如图1(d)所示。所有这些因素都要求模型既具备精细的局部区分能力，又拥有强大的序列级语义理解能力。

早期的中文光学字符识别主要依赖模板匹配和手工设计的特征提取方法，这类方法对图像质量要求较高，且难以应对复杂背景和多样化的字体。深度学习通过卷积神经网络、循环神经网络、注意力机制以及序列到序列建模等方式提升了中文场景文本识别的性能，使得模型能够从大规模数据集中实现端到端的特征学习。代表性的方法包括MORAN[1]，它结合了多目标校正网络与基于注意力的序列识别网络，用于处理复杂的场景文本；CIRN[2]则能够处理任意方向的中文文本；RSST[3]则采用层次树结构对汉字进行建模。不过，这些方法在处理复杂的中文文本时仍存在四个局限。首先，基于部首或笔划的方法通常需要对每个汉字进行明确的结构标注，这种方法难以扩展到数以万计的汉字类别，且对于视觉上相似的汉字适应性较差。其次，如图2(a)所示，现有的解码器在交叉注意力机制中通常为键和值使用相同的特征源，这使得局部细节无法独立指导解码过程；而LOG方法则如图2(b)所示，将引导源与内容源分开。第三，现有的序列建模方法主要是为结构较为简单的语言如英语设计的，无法充分捕捉中文字符的部件分布及其组合关系。第四，如图3所示，大多数方法采用单阶段策略，无法逐步捕捉到解决模糊单词边界问题所需的更深层次的隐含语义关系。

为了解决上述问题，本文提出了用于中文场景文本识别的基于局部特征引导的全局语言序列重建方法——LOG。LOG采用多阶段的语言序列建模设计，每一阶段都利用局部特征来引导全局语言序列的重建，从而在保留字符级细节的同时保持全局语义理解。具体而言，在序列解码过程中，LOG将局部细节特征和全局语言序列特征分别作为交叉注意力机制的引导源与内容源，其中注意力分配由局部特征决定，而用于重建的语义内容则来自全局特征，从而在局部特征的引导下实现全局语言序列的重建。本文设计了字符细节增强模块、全局语言序列建模模块以及字符细节引导模块，并进一步提出了多阶段的语言序列建模方法。实验结果表明，所提出的模型在各类中文基准数据集上均取得了优异的性能。

综上所述，本文的主要贡献如下：

我们提出了LOG，这是一种用于中文场景文本识别的新型多阶段语言序列建模架构，它利用局部特征引导全局语言序列的重建，显著提升了识别的准确率与鲁棒性。

我们设计了全局语言序列建模模块和字符细节增强模块，通过有效的全球依赖关系建模以及多尺度局部特征提取，有效解决了中文字符部件分布复杂以及不同类别汉字之间的相似性问题。

我们设计了字符细节引导模块以及多阶段语言序列建模方法，通过精细化处理字符部件间的关系，同时借助逐步的多阶段依赖关系建模，有效降低了模糊单词边界带来的影响，解决了同一类别汉字之间的差异问题。

章节要点

场景文本识别

场景文本识别是一项重要的计算机视觉任务，因为图像中的文本蕴含着丰富的语义信息。现有的方法大致可分为基于单词的方法、基于字符的方法以及基于序列的方法。基于单词的方法将每个单词视为一个类别，基于字符的方法则负责检测并分组单个字符，而基于序列的方法则通过编码器-解码器架构将识别任务转化为序列标注任务，这类方法目前在场景文本识别领域占据主导地位。编码器负责提取

方法

在本节中，本文首先在3.1节介绍了LOG的整体框架，随后在3.2节介绍全局语言序列建模模块，3.3节介绍字符细节增强模块，3.4节介绍字符细节引导模块，3.5节则介绍位置注意力模块。

数据集

我们在BCTR中文文本基准数据集[18]上对LOG进行了训练与评估。场景文本数据集由RCTW[30]、ReCTS[31]、LSVT[32]、ArT[33]以及CTW[34]等多个数据集整合而成，其中包含509,164个训练样本、63,645个验证样本以及63,646个测试样本，这些样本涵盖了遮挡、弯曲、倾斜、复杂背景以及模糊等多种情况。网页文本数据集则来自MTWI[35]，其中包含112,471个训练样本、14,059个验证样本以及14,059个测试样本，这些样本中包含大量艺术风格的字体。文档文本数据集

结论

本文针对中文场景文本识别中的关键难题，包括不同类别汉字之间的相似性、同一类别汉字之间的差异性、复杂的字符部件分布以及模糊的单词边界等问题进行了研究。我们提出了基于局部特征引导的全局语言序列重建方法——LOG，其核心创新在于序列解码阶段采用了异构键值交叉注意力机制：局部细节特征作为注意力引导源，而全局语言序列特征则为

CRediT作者贡献说明

辛秋怡：论文撰写——初稿编写、验证工作、方法设计、数据整理、概念构思。张楚：方法设计、相关研究工作。郎青：方法设计、相关研究工作。吴晓鹏：方法设计、相关研究工作。叶嘉斌：方法设计、相关研究工作。金连文：论文撰写——审稿与编辑工作。齐恒年：论文撰写——审稿与编辑工作、资源准备、相关研究工作。

利益冲突声明

作者声明不存在任何可能影响本文研究结果的已知财务利益关联或个人关系。

致谢

作者感谢湖州大学给予的支持。本研究还得到了潮米科技合作项目（项目编号：HK16003）以及浙江省重点研发计划（项目编号：2017C03047）的资助。