《Neural Networks》：OTSNet: A Unified Observation-Thinking-Spelling Network for Robust Scene Text Recognition
编辑推荐：
•
OTSNet 将观察、思考和拼写统一起来，以实现强大的场景文本识别（STR）功能。
•
D
- •
OTSNet 将观察、思考和拼写统一起来，以实现强大的场景文本识别（STR）功能。
- •
DAME 通过注意力强化来抑制噪声并突出显示字形。
- •
SQ 将特征端到端映射到离散的字形级别单元。
- •
OTSNet 在 Union14M-L 数据集上达到了 83.5% 的准确率，在 OST 数据集上达到了 79.1% 的准确率（从零开始训练）。
引言
场景文本识别（STR），旨在识别复杂自然图像中的文本，是计算机视觉中的一个核心问题（Fu 等人，2023）。由于布局不规则（例如弯曲和透视文本）以及遮挡、模糊和背景干扰等严重退化现象，现实世界的 STR 仍然具有挑战性。早期的 STR 方法主要集中在字符级分割和分类上，语义建模方面较为有限。
最近的进展通过引入语言模型（LMs）提高了性能（Qiao 等人，2020）。Fang 等人（2021）提出的一个典型设计将视觉模型（VM）和语言模型解耦，并在它们之间阻塞梯度以稳定迭代优化（图 1(a)）。然而，这种硬性解耦削弱了视觉证据和语义先验之间的双向交互，这在视觉条件不明确的情况下可能导致错误的预测。
为了缩小这一差距，最近的方法如 BUSNet（Wei 等人，2024）尝试通过统一的表示学习来实现更紧密的视觉-语言耦合（图 1(b)）。然而，为了稳定这种复杂的多模态交互，这些架构通常依赖于分阶段的预训练，并在最终解码前分离中间文本特征的梯度。因此，视觉感知和语义推理之间的优化仍然是根本分离的。这种结构上的妥协迫使模型过度依赖语言先验，当遇到严重退化或模糊的文本时，可能导致视觉上不一致的预测。相比之下，人类的阅读是一个直接且适应性强 的过程：面对模糊的文本时，人们会自然减少对语义猜测的依赖，仅通过观察字符笔画和形状来准确转录文本。受这一直观行为的启发，我们将 STR 重新构建成一个简单且完全可微分的“观察-思考-拼写”流程，该流程既不需要梯度阻塞也不需要预训练。
具体来说，我们将这种人类阅读行为转化为三个相应的计算阶段：视觉观察（Kastner 和 Ungerleider，2000）、语义抽象（Zheng 等人，2024）和序列解码（Yang 等人，2024）。为了实现这一流程，我们提出了 OTSNet（图 2），其架构与这三个阶段相一致：（1）在观察阶段，双注意力马可隆编码器（DAME）作为注意力强化机制，交替使用标准自注意力和差分自注意力来提取具有区分性的视觉证据，并在杂乱的场景中提高特征选择性。（2）在思考阶段，位置感知模块（PAM）将补丁特征与固定的字符位置对齐，而语义量化器（SQ）通过可微分的代码本学习将这些对齐的特征转换为离散的字形级别语义单元。（3）在拼写阶段，多模态协作验证器（MMCV）通过联合利用视觉特征、离散的语义单元和字符嵌入来进行自回归多模态解码。这三个阶段从头开始端到端进行训练，视觉和语义分支之间没有梯度阻塞。
章节摘录
场景文本识别
基于深度学习的场景文本识别（STR）已经逐渐从需要昂贵的字符级注释的分割基流程转向了序列识别模型。早期的序列方法主要专注于提取和對齐视觉特征。基于 CTC 的方法通常结合卷积编码器和循环网络进行序列建模。ASTER（Shi 等人，2018）引入了空间校正，然后是基于注意力的解码，而 ViTSTR（
方法论
OTSNet 遵循图 2 中所示的观察-思考-拼写流程。在观察阶段，DAME 从图像块中提取去噪且具有区分性的视觉特征。在思考阶段，PAM 将视觉标记与字符位置对齐，而 SQ 将这些对齐的特征转换为离散的字形级别语义单元。在拼写阶段，MMCV 结合视觉特征、语义特征和字符特征进行最终预测。
数据集和实现细节
我们在涵盖场景文本识别（STR）全谱的基准测试上评估了 OTSNet：
- 1.
通用基准测试：ICDAR 2013（IC13）（Karatzas 等人，2013）、街景文本（SVT）（Wang 等人，2011）、IIIT5K（Mishra 等人，2012）、ICDAR 2015（IC15）（Karatzas 等人，2015）、街景文本视角（SVTP）（Phan 等人，2013）和 CUTE80（Risnumawan 等人，2014）。根据标准评估协议，我们使用了 IC13 和 IC15 的 857 张和 1,811 张测试图像版本，
结论
我们提出了 OTSNet，这是一个端到端的 STR 框架，它将视觉编码、字形级别语义抽象和多模态解码组织为观察、思考和拼写三个功能阶段。 DAME 交替使用 MHSA 和 DMHA 在背景干扰下提取视觉特征，而 PAM 将这些特征与固定的字符位置对齐。SQ 使用硬 Gumbel-Softmax 为每个位置感知特征选择一个字形级别语义单元，MMCV 将这些单元与视觉特征和字符特征结合进行自回归解码。实验表明，OTSNet 达到了 83.5% 的准确率
CRediT 作者贡献声明
Lixu Sun：撰写——原始草案、软件开发、方法论设计、概念框架。 Jian Peng：撰写——原始草案、可视化设计。 Nurmemet Yolwas：撰写——审稿与编辑、项目管理、资源协调、资金申请。 Wushour Silamu：项目管理、资源协调。
利益冲突声明
作者声明他们没有已知的利益冲突或个人关系可能影响本文报告的工作。
致谢
本工作得到了中国国家重点研发计划（项目编号 2023B01005）的支持，该项目名为《多模态互联网内容安全生态系统中智能感知、分析和决策的关键技术研究与应用》。
