HTR-MB：结合Mamba和BiLSTM算法用于手写文本识别

《Pattern Recognition》：HTR-MB: Combining Mamba and BiLSTM for Handwritten Text Recognition

　　我们提出了HTR-MB，这是一种基于CTC的线级HTR架构，旨在围绕手写文本的单调结构进行设计。Mamba的序列状态诱导偏见与这种有序的识别过程更为契合，相较于全局自注意力机制而言。在训练该系统时，我们发现了两个主要障碍：过拟合倾向和短期依赖关系的建模问题。为了解决这些问题，我们将BiLSTM解码头与Mamba架构结合使用。这样做提高了短期时间一致性，并减少了过拟合现象，无需进行掩码处理或正则化，同时在多个数据集上超越了之前的最佳性能水平，无论是从字符错误率（CER）还是词错误率（WER）来看。

引言
手写文本识别（HTR）是一项旨在从手写图像中解释和转录文本的任务。这项任务的重要性在于开发一种可靠的方法，将不同的书写风格映射成机器编码的文本，其应用范围包括历史文档的数字化、人机交互以及为视障用户提供便利[1]。这一领域已经得到了广泛的研究[2][3][4][5]，许多模型在字符错误率（CER）和词错误率（WER）等指标上取得了显著改进。这些方法大多使用了众所周知的深度学习架构，如CNN[6][7][8]、RNN[3][9][10]、Transformer[5][11][12]或其组合[13][14]。Transformer代表了当前最先进的解决方案。然而，Transformer仍存在一些局限性。首先，其复杂度与序列长度呈二次方关系，这使得它们在计算上成本高昂且内存需求大。其次，在HTR中，图像特征与字符之间的序列对齐几乎是单调的；而标准的自注意力将所有位置视为同等相关。因此，模型必须从数据中学习这些约束，通常需要更多的训练数据才能实现稳定的对齐。最后，对于长序列而言，全自注意力可能需要大量的激活张量和内存，这限制了其在常用于HTR的边缘硬件上的应用。

最近，Mamba[15][16]被提出作为Transformer的替代方案，并在多个视觉任务中证明了其有效性[17][18][19][20]。Mamba解决了Transformer的几个局限性。首先，其复杂度与序列长度呈线性关系。其次，Mamba提供了与基于CTC的线级HTR的单调结构更为契合的诱导偏见。实际上，它保持了一个紧凑的隐藏状态，以一种符合从左到右阅读过程的方式建模信息积累。最后，Mamba的推理成本对于每个标记都是恒定的，并且随着序列长度的增加而展现出良好的扩展性。

不幸的是，Mamba也存在一些需要解决的问题，以便成功地将其应用于HTR任务。特别是，Mamba被设计用于建模长距离依赖关系，但在HTR中，字符预测主要依赖于局部视觉线索和短期上下文信息。因此，在这种情况下，短期依赖关系以及附近特征之间的相互作用起着核心作用，而不是长距离依赖关系和全局特征对于字符分类来说。

此外，在HTR中工作时，涉及的数据集规模通常有限，这也是一个存在的问题。这一因素降低了参数数量较多的模型的效果，通常迫使采用预训练技术[21][22]与合成数据进行训练，以及通过标记进行正则化[23][24]、使用Sharpness Aware Minimization优化器[25]来避免过拟合。不幸的是，这些技术大多是为Transformer设计的，并不适用于基于Mamba的架构。

上述局限性指出了一个更根本的问题：手写文本识别具有强烈的短期、字符级依赖结构，而最近的序列模型主要是为捕捉长距离依赖关系而设计的。现有的HTR架构隐含地假设单个序列模型可以同时处理全局上下文建模、局部时间对齐以及在有限数据集下的正则化。然而，不同序列模型的诱导偏见与基于CTC的HTR所施加的依赖结构之间的相互作用尚未得到明确分析。特别是，最初为自然语言处理开发的跨长序列的广泛特征混合可能不适合稳定的局部对齐，需要额外的正则化或大规模预训练[5][11]。

基于这些考虑，我们设计了一个管道，明确分离了长上下文序列编码和局部时间细化。具体来说，我们将基于Mamba的编码器（提供高效且单调的长距离序列建模）与双向LSTM（BiLSTM）解码头结合使用，后者增强了短期时间依赖关系并有助于正则化，这一点通过训练/验证曲线得到了证实。这种架构分离使模型能够满足全局上下文和局部字符级对齐的不同需求，从而在不依赖于Transformer特定正则化或大规模预训练的情况下提高了性能。

本文的主要贡献总结如下：
- 我们提出了HTR-MB，这是一种基于CTC的线级HTR架构，旨在围绕手写文本的单调结构进行设计。Mamba的序列状态诱导偏见与这种有序的识别过程更为契合。
- 在训练该系统时，我们发现了两个主要障碍：过拟合倾向和短期依赖关系的建模问题。因此，我们将BiLSTM解码头与Mamba架构结合使用。这样做提高了短期时间一致性，并减少了过拟合现象，无需进行掩码处理或正则化，在多个数据集上超越了之前的最佳性能水平，如图1所示。
- 我们进一步评估了更强大的Transformer变体、多种子鲁棒性、参数控制模型、合成线课程以及真实的推理工作负载，证明了所提出的架构仍然具有竞争力，并且能持续提高识别精度。

相关工作
HTR的先前工作可以分为线级系统和页面级系统。线级系统仅处理严格分割的文本条带。相反，页面级（或端到端）系统接受完整的文档，要求架构隐式地处理行检测和阅读顺序[6][8][9]。在这项工作中，我们专注于线级HTR架构。

手写文本行识别和CTC训练
在线级设置中，输入是一个预分割的行图像x∈RH×W。

理论前沿
状态空间模型（SSMs）最近作为Transformer的一种高效替代方案出现，它们在计算和内存方面都表现出与序列长度成线性的复杂度。与自注意力的二次方成本相比，SSMs通过一个随时间递归更新的隐藏状态来处理序列，实现了线性复杂度，同时仍能进行大规模训练[15][41]。
为了将SSMs集成到深度学习架构中，我们提出了HTR-MB方法（见图2）。

数据集
我们在三个标准的线级HTR基准测试集上评估了我们的方法：IAM、READ2016和LAM。除非另有说明，所有行图像均转换为灰度并调整大小至64×512像素的固定分辨率，遵循Li等人[5]制定的协议。每个手写行图像x首先通过Li等人[5]的协议进行一系列数据转换：增强流程包括弹性变形、颜色抖动、膨胀、侵蚀、模糊、锐化和...

限制
所提出的方法是为基于CTC的线级手写文本识别设计的，因此假设文本行分割已经完成。因此，HTR-MB不直接处理页面级布局分析、文本行检测、段落级识别或无需分割的手写文档识别。这是一个重要的限制，因为双向Mamba序列建模、局部递归细化与二维页面之间的交互...

结论
在这项工作中，我们从序列模型诱导偏见的角度研究了手写文本识别，超越了用另一种架构替换现有架构的常见做法。通过分析HTR所施加的依赖结构，我们发现了现代序列模型的长距离建模能力与稳定转录所需的短期、字符级依赖关系之间的不匹配。这一分析促使我们在架构上进行了分离...

作者贡献声明
Filippo Botti：撰写——审阅与编辑、原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据curation、概念化。
Vittorio Bernuzzi：撰写——审阅与编辑、原始草稿、软件、调查、形式分析。
Tomaso Fontanini：撰写——审阅与编辑、原始草稿、验证、方法论。
Massimo Bertozzi：撰写——审阅与编辑、原始草稿、监督。
Andrea Prati：...

利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。