基于改进DBNet和CRNN的手写税收票据识别方法

《PLOS One》：Handwritten tax receipt recognition method based on improved DBNet and CRNN

　　

为识别手写税收发票文本并管理税收发票，研究人员提出了一种基于改进可微分二值网络（DBNet）和卷积循环神经网络（CRNN）的手写税收发票识别方法。该方法首先通过集成特征金字塔增强模块（FPEM）的可微分二值网络实现票据文本检测与定位，然后使用改进的CRNN实现票据文本内容识别。在文本检测方面，所提模块的平均检测精度为89.1%，召回率为86.4%，平均帧率为63.5帧/秒。与基于Segformer和增强特征金字塔的文本检测模型及改进傅里叶轮廓嵌入网络相比，精度分别提高了4.9%和3.5%，帧率分别提高了20.5和11.7帧/秒。在文本识别方面，改进的CRNN平均识别精度为95.6%，召回率为94.2%，平均帧率为56.5帧/秒，F1分数为0.94。与融合空间和频域特征的双流网络及基于视觉注意和语义感知的多模态网络相比，精度分别提高了4.9%和3.0%，F1分数分别提高了0.07和0.04。该方法在处理复杂手写税收票据时表现出色，具有突出的识别精度和鲁棒性，显著减少了税收工作量，提高了税收申报和管理效率。

**论文解读文章**

**研究背景与问题**

在信息技术驱动下，税收管理的数字化转型已成为提升申报效率和管理水平的重要手段。手写税收票据作为税收管理中的重要凭证，其快速准确的数字化录入是实现高效税收管理的关键环节。然而，传统人工录入方式不仅效率低下，且易出错，严重制约了税收管理的现代化进程。当前的光学字符识别（OCR）技术在文档处理和信息提取方面取得了显著进展，能够自动识别和解析图像中的文本内容，但手写税收票据的识别面临诸多挑战：手写字体差异显著，字符间可能存在严重连笔和干扰，票据布局复杂多样，这些都增加了识别难度。现有方法存在明显技术缺陷：大多数文本检测模型缺乏对弯曲或倾斜手写文本特征的融合，难以平衡定位精度与检测速度；手写识别模型对字符粘连和字体变异的适应性差，单一网络的特征提取能力有限，无法充分捕捉手写税收票据的复杂文本特征；现有的OCR解决方案大多针对通用场景设计，未考虑税收票据的固定布局和专业字符特征，严重降低了实际识别效果。基于上述研究空白，本研究结合可微分二值网络（DBNet）的检测优势与卷积循环神经网络（CRNN）的序列识别优势，进行针对性改进，旨在创建一种适用于手写税收票据场景的高精度、高鲁棒性识别方法。该研究发表在《PLOS One》。

**主要技术方法**

研究人员在文本检测方面，采用集成特征金字塔增强模块（FPEM）的DBNet，并引入可变形卷积替代普通卷积，以增强多尺度特征提取与变形适应能力。在文本识别方面，使用DenseNet替代CRNN中原始CNN的卷积层，以强化特征提取；采用1×2平均池化层替代原始池化层，以保留宽度信息；使用双向长短期记忆网络（BiLSTM）捕捉序列双向依赖关系。实验采用Total Text数据集（包含1555张图像，覆盖水平、多方向和弯曲文本，共11165个标注文本实例）以及SCUT-IARAC专用手写票据数据集（包含2000张税收/财务手写票据图像），在相同软硬件环境下进行对比与消融实验，超参数通过网格搜索优化。

**研究结果**

**3.1. 手写税收票据检测模型测试结果**

为验证手写税收票据检测模型，研究人员将其与TDMSEFP（基于Segformer和增强特征金字塔的文本检测模型）和IFCENet（改进傅里叶轮廓嵌入网络）进行对比。实验结果表明，DBNet-FPEM的平均检测精度为89.1%，平均召回率为86.4%，平均F1分数为0.88，平均帧率（FPS）为63.5帧/秒，均显著高于对比模型。消融实验显示，当FPEM数量为2时，模型在检测精度、召回率和F1分数与速度之间取得平衡（FPS为63.5），而FPEM数量为3时精度最高（89.6%），但FPS降至58.4。因此，选择2个FPEM作为最终配置。

**3.2. 手写税收票据识别模型测试结果**

为验证改进CRNN的性能，研究人员将其与DSNFSDF（融合空间和频域特征的双流网络）和MMNVASC（基于视觉注意和语义感知的多模态网络）进行对比。实验结果表明，改进CRNN的平均识别精度为95.6%，平均召回率为94.2%，平均F1分数为0.94，平均FPS为56.5帧/秒，均优于对比模型。消融实验显示，当引入DenseNet、1×2平均池化层和双BiLSTM时，识别精度从81.6%提升至95.6%，说明三者协同作用显著。在SCUT-IARAC专用数据集上，检测精度达90.5%，F1分数为0.89；识别精度达96.8%，F1分数为0.96，进一步验证了算法的泛化能力。

**总结讨论与结论**

讨论部分指出，DBNet-FPEM通过FPEM进行多尺度特征融合，结合可变形卷积自适应调整卷积核形状和尺度，有效提升了复杂文本布局的检测精度。改进CRNN通过DenseNet模块增强特征提取能力，1×2平均池化保留宽度信息，BiLSTM优化长距离依赖捕捉，从而在复杂手写场景中取得更高精度和鲁棒性。该算法采用模块化设计，具有良好可扩展性，可迁移至其他手写票据识别任务。研究结论：本研究提出了一种基于改进DBNet和CRNN的手写税收票据识别方法，通过集成FPEM和可变形卷积优化DBNet实现精确文本检测，结合DenseNet、1×2平均池化和双BiLSTM强化CRNN的特征提取与序列建模能力。实验结果表明，改进DBNet的平均检测精度为89.1%，召回率为86.4%，F1分数为0.88；优化CRNN的平均识别精度为95.6%，召回率为94.2%，F1分数为0.94，均优于主流模型，且在复杂手写场景中表现出强鲁棒性。该工作为手写税收票据的数字化处理提供了有效技术方案，减少了人工工作量，推动了税收管理的智能化转型。该方法仍存在局限性：依赖高质量标注数据，对严重模糊、污损或粘连的手写字符识别准确率下降；多模块融合增加了模型复杂度，难以在低算力边缘设备上实时部署；仅适用于手写税收票据，未在其他类型税务文档上验证。未来研究将聚焦于模型轻量化设计、增强对模糊和连笔手写的抗干扰能力，以及构建多场景税收票据数据集，以进一步提升泛化能力和实际部署性能。