ESTR-CoT：基于思维链推理的可解释且精确的事件流场景文本识别方法

《Neurocomputing》：ESTR-CoT: Towards explainable and accurate event stream based scene text recognition with chain-of-thought reasoning

　　

Xiao Wang|Jingtao Jiang|Qiang Chen|Lan Chen|Lin Zhu|Yaowei Wang|Yonghong Tian|Jin Tang

安徽大学计算机科学与技术学院，中国合肥230601

摘要

基于事件流的场景文本识别是近年来新兴的研究方向，在极端复杂的场景中，比如低照明条件、快速运动场景下，其性能优于常用的RGB摄像头。现有的研究要么采用端到端的编码器-解码器架构，要么使用大型语言模型来提升识别效果，但这些方法仍存在可解释性不足以及上下文逻辑推理能力较弱的问题。在本研究中，我们提出了一种基于思维链推理的新的基于事件流的场景文本识别框架，名为ESTR-CoT。具体而言，我们首先使用视觉编码器EVA-CLIP（ViT-G/14）将输入的事件流转换为标记，再利用Llama分词器对给定的生成提示进行编码。接着通过Q-former模块将视觉标记与预训练的大型语言模型Vicuna-7B对齐，从而同时输出答案和思维链推理过程。我们的框架可以通过端到端的监督微调进行优化。此外，我们还构建了一个大规模的思维链数据集，通过三阶段处理流程（即生成、优化和专家验证）来训练该框架。这一数据集为后续开发基于推理的大型模型提供了坚实的数据基础。在三个常用的基于事件流的场景文本识别基准数据集（EventSTR、WordArt*、IC15*）上的大量实验充分证明了我们所提框架的有效性和可解释性。源代码及预训练模型将会发布在https://github.com/Event-AHU/ESTR-CoT上。

引言

场景文本识别旨在利用机器学习模型理解和识别场景中的文字。它最初基于RGB摄像头发展起来，借助深度神经网络取得了显著进步。该技术可应用于自动驾驶、增强现实、文档数字化、零售和电子商务等领域。然而，在快速运动或极端照明等复杂场景中，仅依靠RGB摄像头的识别性能仍不尽如人意，这主要是由于其帧率较低且对光照条件敏感度不高。因此，亟需能够有效应对极端成像条件，并提供更可靠、更具可解释性识别结果的场景文本识别模型。

近年来，大型语言模型在自然语言处理领域取得了巨大成功，例如ChatGPT [1]、GPT-4o [2]、DeepSeek [3]、Qwen [4]。这些大型语言模型也被引入多模态场景中，可应用于视觉问答[5]、[6]、[7]、[8]，以及医学报告生成[9]、[10]、[11]、[12]等领域。一些研究者还将大型语言模型用于场景文本识别任务[13]、[14]、[15]、[16]、[17]、[18]，其效果显著优于基于非大型语言模型的场景文本识别系统，如图1(a, b)所示。具体来说，TextMonkey [13]提出了一种高分辨率、具备位置感知能力的大型语言模型，用于整合OCR和VQA任务；DocPedia [14]则直接处理频域文档图像，无需依赖传统OCR技术；而Vary [15]则扩展了视觉词汇量，提升了多语言文档的理解能力，这些都体现了大型语言模型在精细文本识别方面的潜力。

在低照明和快速运动等极端复杂场景中，一些研究者转而使用事件相机来进行感知，基于事件的处理方法已被应用于物体检测[19]、[20]、[21]、[22]、[23]、目标跟踪[24]、[25]、[26]、[27]以及场景文本识别[18]等领域，用以替代或辅助RGB摄像头。Wang等人提出的EventSTR [18]构建了一个大规模的基于事件的文本识别基准数据集，同时还提出了SimC-ESTR框架，该框架通过视觉-文本对齐、基于记忆的推理以及字符级校正，将基于事件的目标视觉处理与大型语言模型相结合，从而在复杂视觉条件下展现出更强的稳定性。

尽管取得了这些进展，但这些场景文本识别模型仍存在以下局限：(1)主流的场景文本识别算法通常以RGB图像作为输入，因此容易受到低照明、高速运动和过度曝光等问题的影响。(2)即便采用了大型语言模型，主流的场景文本识别算法仍然缺乏可解释性以及强大的推理能力，难以清晰地构建不同字符之间的关系，而基于上下文的推理正是实现复杂场景下高效识别的重要手段。(3)这类模型的推理能力依赖于大规模、高质量思维链数据集的支持，但目前学术界尚不存在专门针对基于事件流的场景文本识别的数据集，这进一步限制了现有模型的推理能力。因此，自然而然地会提出这样的问题：“如何设计一种基于事件流的场景文本识别框架，使其能够有效整合上下文信息，借助大型语言模型的优势实现更精准的识别？”

为了解决上述问题，本文提出了一种基于思维链推理的新的基于事件流的场景文本识别框架，名为ESTR-CoT。如图1(c)所示，我们所提出的框架以大型语言模型为基础，核心创新在于引入了专门的推理任务模块，从而在实现准确文本识别的同时，还能进行高质量的上下文推理。具体而言，对于输入的事件流，我们首先使用视觉编码器（本文采用的为EVA-CLIP（ViT-G/14）[28]）将其转换为事件标记，再利用Llama-Tokenizer [29]对给定的生成提示进行编码。随后将这些标记与随机初始化的查询标记拼接起来，输入到Q-former网络中，以便为大型语言模型对视觉标记进行对齐处理。之后，我们使用预训练的大型语言模型Vicuna-7B [30]同时解码相关内容。为弥补数据缺口并完成框架训练，如图2所示，我们借助大型语言模型DeepSeek-V3根据真实答案生成思维链推理数据。此外，还需要通过大型语言模型和人类专家对生成的数据进行进一步评估，才能得到高质量的思维链数据。图3展示了部分代表性样本，图4则介绍了我们所提框架的整体结构。

综上所述，本文的主要贡献可归纳为以下三点：

• (1)
  我们提出了一种基于思维链推理的新的基于事件流的场景文本识别框架ESTR-CoT。该算法可通过上下文推理显著提升场景文本识别的可解释性，进而提高识别精度。
• (2)
  我们为基于事件流的场景文本识别构建了一个大规模的推理数据集，该数据集包含16,222组图像-推理对，每组数据包括一张基于事件的场景文本图像、对应的识别结果以及详细的思维链推理过程，用于说明模型是如何得出最终答案的。
• (3)
  在三个广泛使用的基于事件的场景文本识别基准数据集（EventSTR [18]、WordArt* [31]、IC15* [32]）上的大量实验充分证明了我们所提出的推理策略的有效性和可解释性。

本文的其余结构如下：第2节我们将回顾场景文本识别、大型语言模型以及推理模型方面的相关研究。第3节介绍我们所提出的基于大型语言模型的场景文本识别推理策略。第4节进行实验分析，包括定量和定性分析。最后，在第5节中总结本文工作，并提出未来可能的研究方向。

章节摘录

场景文本识别

场景文本识别[33]、[34]、[35]、[36]本质上涉及视觉处理和语言处理两大方面。以往的研究往往侧重于视觉特征提取或语言建模，但近期的研究则致力于更好地整合这两种处理方式，以提高在不同场景下的识别稳定性。E2STR[37]通过引入富含上下文的文本序列以及相应的上下文训练策略，提升了模型的适应能力，使其能在更多环境中正常工作。CCD[38]

概述

在本文中，我们提出了ESTR-CoT这一经过推理增强的框架，旨在提升在视觉条件恶劣环境下的场景文本识别的准确性和可解释性。其核心思路是让模型不仅能给出正确答案，还能呈现清晰的推理过程，从而提升识别的透明度与可交互性。如图4所示，ESTR-CoT由四个核心组件构成，分别是视觉编码器、Q-Former模块、预训练的大型语言模型，以及

数据集与评估指标

我们在三个基于事件流的场景文本识别基准数据集上对所提方法进行了测试，分别是WordArt*、¹IC15*、²以及EventSTR[18]。这些数据集与我们之前研究[18]中的评估标准一致，因此可以方便地进行直接比较，确保评估的公平性。

$$WordArt*：该数据集是通过事件模拟器ESIM [66]从原有的WordArt [31]数据集中转换而来的，其中包含具有艺术风格的文字内容

结论

为了解决当前基于事件流的场景文本识别方法在可解释性不足以及上下文逻辑推理能力较弱等方面的缺陷，本文提出了一种基于思维链推理的新的基于事件流的场景文本识别框架，名为ESTR-CoT。该框架利用视觉编码器（EVA-CLIP）从事件流中提取视觉特征，再通过Q-former模块将这些特征与预训练的大型语言模型（Vicuna-7B）进行对齐，从而使模型不仅能

CRediT作者贡献说明

Xiao Wang：撰写——审稿与编辑。Jingtao Jiang：撰写——审稿与编辑。Qiang Chen：撰写——审稿与编辑。Lan Chen：撰写——审稿与编辑。Lin Zhu：撰写——审稿与编辑。Yaowei Wang：撰写——审稿与编辑。Yonghong Tian：撰写——审稿与编辑。Jin Tang：撰写——审稿与编辑。

利益冲突声明

作者声明不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。

Xiao Wang（IEEE会员）于2013年获得中国宣城西皖大学的学士学位，2019年在中国合肥安徽大学获得计算机科学博士学位。2015年和2016年，他曾作为访问学生赴中国广州中山大学数据与计算机科学学院学习。2019年，他还曾访问过悉尼大学工程系的UBTECH悉尼人工智能中心。他已在彭某处完成了博士后研究工作