QG-STR：基于视觉问答的训练时优化型问题引导场景文本识别方法

《ACM Transactions on Multimedia Computing, Communications, and Applications》：QG-STR: Training-Time Optimized Question-Guided Scene Text Recognition via Visual Question Answering

　　

摘要AI总结

要查看此由AI生成的总结，您需要拥有高级访问权限。

了解更多登录

摘要

摘要

场景文本识别技术旨在提取自然图像中的文本，通常包括场景文本检测和场景文本识别两部分。随着图像理解技术的进步，端到端的文本识别方法变得越来越可行。与此同时，多模态研究也凸显了视觉语言推理任务的重要性，比如视觉问答系统。为了利用多模态推理提升场景文本识别性能，我们提出了一种在训练阶段通过问题引导的框架，将视觉问答技术融入其中，该框架被称为Question-Guided Scene Text Recognition（QG-STR）。该框架将场景文本识别、视觉问题生成和视觉问答整合在同一个架构中，借助多模态推理提升文本识别精度以及整体文本识别效果。具体而言，训练过程中会利用视觉理解和逻辑推理作为监督信号，以提高文本识别准确性并优化端到端文本识别流程。QG-STR具有模型通用性，可适配多种场景文本识别和视觉问答架构，它仅将问题引导作为一种训练阶段的监督手段。在推理阶段，场景文本识别模块可以独立运行，无需外部问题输入。在Total-Text、ICDAR2015、ICDAR2013和CTW1500等数据集上的大量实验都证明了QG-STR的有效性。

AI总结

AI生成的总结（试验性内容）

此总结是通过自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助读者发现相关内容、判断文章相关性，以及让相关领域的读者更好地理解本文内容。它是对作者提供的摘要的补充，而作者提供的摘要仍是文章的核心总结。完整文章才是最具权威性的版本。点击此处了解更多。

点击此处，可以对这个总结的准确性、清晰度和实用性发表意见。您的反馈将有助于进一步优化未来的总结版本。

要查看此AI生成的通俗版总结，您需要拥有高级访问权限。