
-
生物通官微
陪你抓住生命科技
跳动的脉搏
利用可学习融合技术实现的多粒度预测,用于场景文本识别
《INTERNATIONAL JOURNAL OF COMPUTER VISION》:Multi-Granularity Prediction with Learnable Fusion for Scene Text Recognition
【字体: 大 中 小 】 时间:2026年01月08日 来源:INTERNATIONAL JOURNAL OF COMPUTER VISION 9.3
编辑推荐:
本文提出基于Vision Transformer的MGP-STR模型,引入多粒度预测策略融合字形与子词表示,并设计置信度融合和可学习跨模态相似性融合两种方法,在多个场景文本数据集上平均准确率达94%,优于现有SOTA模型。
由于场景文本识别(Scene Text Recognition, STR)面临巨大的技术挑战且应用范围广泛,多年来它一直是计算机视觉领域的一个活跃研究课题。为了解决这一难题,人们相继提出了许多创新方法,将语言知识融入STR模型已成为一个显著的趋势。在这项工作中,我们首先借鉴了视觉Transformer(Vision Transformer, ViT)的最新进展,构建了一个概念上简单但功能强大的STR模型。该模型基于ViT,并结合了一个定制的自适应寻址与聚合(Adaptive Addressing and Aggregation, A3)模块。该模型已经超越了大多数先前的最先进模型,包括纯视觉模型和语言增强方法。为了整合语言知识,我们进一步提出了一种多粒度预测(Multi-Granularity Prediction)策略,以隐式的方式将语言模态的信息注入模型中。具体来说,我们在输出空间中引入了自然语言处理(NLP)中广泛使用的子词表示方法(如字节对编码(Byte-Pair Encoding, BPE)和WordPiece),同时保留了传统的字符级表示。此外,我们没有采用独立的语言模型(Language Model, LM)。为了生成最终的识别结果,我们设计了两种有效融合多粒度预测的策略:第一种策略称为基于置信度的融合策略(Confidence-based Fusion Strategy, CFS),它采用基于多粒度预测置信度的简单规则;第二种策略称为可学习融合策略(Learnable Fusion Strategy, LFS),通过一个可训练的模块直接测量文本(预测的单词)与图像之间的跨模态相似性,类似于CLIP算法。由此产生的算法(称为MGP-STR)将STR的性能提升到了一个新的水平。具体而言,采用LFS的MGP-STR在标准的场景文本识别基准测试(如IIIT 5K-word、ICDAR 2015、SVT和CUTE)上的平均识别准确率达到了94%。此外,它在广泛使用的手写文本基准测试(IAM、CVL和RIMES)以及更具挑战性的场景文本数据集(ArT、COCO-Text和Uber-Text)上也取得了最先进的结果,证明了所提出的MGP-STR算法的通用性。源代码和模型可访问地址:https://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/OCR/MGP-STR。
生物通微信公众号