任意形状场景文本检测与识别的字符级视觉引导

《Electronics》：Character-Level Visual Guidance for Arbitrarily Shaped Scene Text Detection and Recognition

　　

摘要：弯曲、模糊、低对比度和杂乱场景中的文本，因其视觉边界和字符身份往往模糊不清而难以定位和转录。大多数检测器从视觉和位置特征中细化空间区域，而许多识别器则依赖全局图像令牌与语言上下文之间的隐式注意力。这种分离削弱了定位和文本解码中的字符级证据。为解决此问题，本文研究场景文本检测与识别中的显式字符级引导。对于任意形状文本检测，字符引导自适应检测器（CADet）结合了文本增强网络（TENet）、字符信息自适应引导模块（CIA）和位置与分类补偿模块（COMP）。由此，字符语义可在最终检测之前参与边界查询的构建。对于场景文本识别（STR），用于文本识别的序列化图像嵌入（SIETR）通过字符局部图像嵌入模块（CLIE）和排列语言建模（PLM）将局部视觉嵌入引入自回归解码。在ArT、Total-Text和CTW1500上，CADet分别获得79.5%、89.4%和89.2%的F值，以较小的计算开销增加优于代表性的基于Transformer的检测器。在识别方面，SIETR以23.8 M参数和3.2 G FLOPs达到95.6%的样本量加权平均准确率，并在大多数不规则文本基准上以更少的FLOPs优于PARSeq。结果表明，用于检测的字符语义和用于解码的局部视觉证据是提高困难场景文本鲁棒性的有效途径。

论文解读：字符级显式引导的任意形状场景文本检测与识别研究

一、研究背景与问题

场景文本分析是计算机视觉领域的重要研究方向，在智能交通、移动翻译、信息检索和人机交互等应用中发挥着关键作用。与文档光学字符识别（OCR）相比，场景文本分析面临更为严峻的挑战：文本可能出现在杂乱背景中，并伴随透视畸变、弯曲布局、光照不均、遮挡、低分辨率以及字体、尺度和方向的显著变化。这些复杂的视觉条件使得场景文本分析既依赖精确的空间定位，也依赖可靠的语义解释，而非单纯的几何或语言建模。

近年来，深度学习显著推动了场景文本检测与识别的发展。在检测方面，基于分割的方法通过预测密集文本图并在像素级重建文本实例，提升了任意形状文本的定位能力；残差网络和Transformer架构进一步增强了多尺度特征表示和长距离依赖建模。在识别方面，卷积循环网络、基于注意力的解码器、语言增强模型和视觉Transformer架构在规则与不规则文本基准上均取得了显著性能提升。然而，字符级视觉证据在定位和转录中仍未得到充分利用。大多数检测器主要从视觉和位置特征构建文本区域或边界查询，缺乏显式的字符语义，使其在弯曲、模糊或低对比度场景中易受背景纹理和弱边界干扰。与此同时，许多识别器依赖全局视觉令牌和上下文建模，预测字符与局部图像区域之间的对应关系仅被隐式建立，这种弱关联可能导致对全局表示或语言先验的过度依赖，尤其在字符畸变或模糊的情况下问题更为突出。因此，开展显式字符级引导研究，增强检测中的语义-几何交互和识别中的局部视觉-序列对齐，具有重要的学术价值和应用意义。该论文发表于《Electronics》期刊。

二、研究内容与关键技术方法

针对上述问题，研究人员提出了一种双分支字符级显式引导框架，用于任意形状场景文本检测与识别。检测分支为字符引导自适应检测器（CADet），识别分支为用于文本识别的序列化图像嵌入（SIETR）。CADet集成了三个核心模块：文本增强网络（TENet）、字符信息自适应引导模块（CIA）和位置与分类补偿模块（COMP）。TENet基于ResNet-50架构，通过文本增强块强化文本区域特征并抑制背景干扰；CIA模块将采样点特征投影为字符概率向量，与位置编码融合形成显式点复合查询，使检测器在边界解码前获得字符级语义线索；COMP模块采用两个零初始化的轻量级多层感知机（MLP）对查询的位置偏移和分类置信度进行残差补偿。SIETR采用ViT风格的视觉编码器，通过排列语言建模（PLM）减少对单一从左到右解码顺序的依赖，并引入字符局部图像嵌入模块（CLIE），将视觉令牌投影到字符相关特征空间，通过Top-K选择保留局部响应并归一化为序列化局部图像嵌入，与语义查询融合后由联合解码器进行自回归预测。实验使用了ArT、Total-Text和CTW1500等公开检测基准，以及IIIT5K、SVT、SVTP、CUTE、ICDAR2013和ICDAR2015等识别基准，检测部分额外使用了Synth150K、ICDAR2017 MLT和ICDAR2019 LSVT进行预训练。

三、研究结果

3.1 检测消融分析

在ArT和Total-Text上的消融实验表明，将ResNet-50替换为TENet使ArT的F值从78.1%提升至78.3%；单独添加CIA模块将召回率提升至75.6%，表明识别级字符语义有助于恢复漏检的文本实例；单独添加COMP模块将F值提升至78.9%。完整的CADet模型在ArT上取得79.5%的最佳F值，在Total-Text上取得89.4%的最佳F值，召回率达到88.0%。消融模式显示，CIA在单模块变体中产生了最大的召回率提升，从73.4%提升至75.6%，而COMP在保持精确率高于82%的同时获得了相近的F值增益。特征可视化进一步证实，TENet相比ResNet-50能将激活集中在文本笔画上并抑制非文本背景区域。

3.2 检测器对比

在ArT上，CADet取得79.5%的F值，比TextBPN++高3.7个百分点，比DPText-DETR高1.4个百分点。在Total-Text上，CADet取得89.4%的F值，比DPText-DETR高0.4个百分点，比SwinTextSpotter高1.4个百分点，比SwinTextSpotter v2和StarNet-Tex分别高1.7和2.9个百分点。在CTW1500上，CADet取得89.2%的F值，比DPText-DETR高0.3个百分点，比StarNet-Tex高4.1个百分点。计算量方面，CADet使用45.9 M参数和284.5 G FLOPs，与DPText-DETR的45.8 M参数和279.8 G FLOPs基本相当，额外计算仅增加约1.7%。

3.3 识别消融分析

识别消融实验评估了排列数量、掩码策略和CLIE模块的效果。六种排列产生了最稳定的整体结果。CLIE在大多数基准上提升了准确率，在SVTP和CUTE上增益尤为明显，CUTE准确率从无CLIE时的96.2%提升至99.0%，SVTP提升1.4个百分点，表明序列化局部图像信息对弯曲或不规则文本具有显著作用。

3.4 识别器对比

SIETR在SVT、IC13_857、IC13_1015、IC15_1811、IC15_2077、SVTP和CUTE上取得最佳或并列最佳结果。相比PARSeq，SIETR将SVTP从95.2%提升至96.3%，CUTE从98.6%提升至99.0%，IC15_1811从90.3%提升至91.1%，IC15_2077从89.1%提升至89.9%。相比CDistNet，SIETR在SVTP和CUTE上分别提升2.8和2.1个百分点。在IIIT5K上，SIETR比PARSeq低0.2个百分点，表明其优势在不规则和畸变场景中更为突出。效率方面，SIETR以23.8 M参数和3.2 G FLOPs取得95.6%的样本量加权平均准确率，FLOPs低于同参数规模的PARSeq。解码器注意力可视化显示，高亮区域沿字符序列移动并保持在对应字符笔画附近，即使输入单词模糊或弯曲。

四、讨论与结论

讨论部分指出，显式信息在最终预测阶段之前引入能够有效提升检测和识别性能。在CADet中，字符级语义引导边界细化，在ArT上CIA模块将召回率从73.4%提升至75.6%，完整模型取得79.5%的F值，改进主要归因于增强的文本区域响应和保留弯曲及弱文本边界的字符引导查询，而非模型规模的增大。在识别方面，SIETR在不规则基准上展现出更大增益，以更少的FLOPs和相同参数规模在SVTP、CUTE和ICDAR2015上优于PARSeq。总体而言，检测受益于用于区分文本与背景的字符语义，识别受益于用于可靠字符预测的局部视觉引导，这种非对称的显式引导设计为鲁棒场景文本分析提供了统一策略。

研究结论部分翻译如下：本文提出了场景文本分析的显式信息机制。CADet通过文本增强特征、自适应字符引导和位置/分类补偿，将字符级语义引导引入任意形状文本检测。SIETR通过基于排列的语义建模和字符局部视觉对齐，将序列化局部图像嵌入引入场景文本识别。在公开基准上，CADet在ArT、Total-Text和CTW1500上的F值分别提升至79.5%、89.4%和89.2%，而SIETR以23.8 M参数和3.2 G FLOPs取得95.6%的样本量加权平均识别准确率。研究结果支持将显式字符级视觉-上下文对齐作为处理弯曲、畸变和杂乱场景文本的紧凑策略。