MLDN:通过恢复识别恶意(可变形)手写文本的多层扩散网络

《Pattern Recognition》:MLDN: Multi-Layer Diffusion Network for Recognizing Malicious (Deformable) Handwritten Text Through Restoration

【字体: 大 中 小 】 时间:2026年09月19日 来源:Pattern Recognition 9.1

编辑推荐:

   •提出结合 U-Net 与 GAN 来对恶意文本进行去噪。•通过扩散过程利用多头注意力网络恢复隐藏文本。•引入扩散视觉变换器 Tr-OCR 的双解码器用于识别。•通过文本恢复实现识别任务的当前最佳精度。引言手写文本识别(HTR)已经受到了广泛研究,并在移动手写文本识别、普通印

  
  • •
    提出结合 U-Net 与 GAN 来对恶意文本进行去噪。
  • •
    通过扩散过程利用多头注意力网络恢复隐藏文本。
  • •
    引入扩散视觉变换器 Tr-OCR 的双解码器用于识别。
  • •
    通过文本恢复实现识别任务的当前最佳精度。

引言

手写文本识别(HTR)已经受到了广泛研究,并在移动手写文本识别、普通印刷文本识别以及手写文本图像识别方面取得了成功应用。然而,在诸如描述性答案评价和评分等应用场景中,人们可以预期答案中包含多种形式的不良文本 [1],例如退化文本、涂鸦文本、覆写文本、划出文本以及可变形词汇。此类词汇被定义为恶意词汇。通常,当学生对答案不确定时,但为了凑足篇幅限制(如半页或一页等),这些词汇会出现在答案中。
在文献中,"恶意词汇"这一术语被广泛用于检测恶意 PDF 文档和可疑文本检测 [[2], [3], [4], [5], [6]]。文献 [2] 将恶意文本定义为可疑的、隐藏的、异常文本。此类文本的主要目的是误导用户。该文献还指出,当文档中恶意文本更多时,检测的复杂度会增加。为了检测此类文本,Roudsari 等人 [3] 提出了一个用于揭示恶意 PDF 文档行为的模型,其中提到攻击者可能利用这些表单中的元数据来隐藏代码片段,并将其用于实际的恶意攻击。Thomas 等人 [4] 指出,恶意黑客使 CAPTCHA 识别变得更加困难。Hamasaki 等人 [5] 也表示,由于恶意用户的伪造行为,识别与真实文本相似的 AI 生成文本是极具挑战性的。Jose 等人 [6] 提到,接收到的文本或恶意信息可能会误导人们。基于上述观点,在描述性答案评价中,从 OCR 和阅卷人的角度来看,将不可读的文本作为恶意文本的一种形式进行检测是合理的。这是因为这类词汇不可读,会误导 OCR 或阅卷人。此外,当我们回顾近期关于 OCR 后门攻击 [7] 以及针对 ViT 和 OCR 的文本攻击 [8] 的研究时,有时文本会被注入到输入数据中,形成 OCR 无法识别的恶意文本。在引言部分提到的描述性答案评价和历史退化文档的情况下,针对问题答案带有恶意的书写方式会使文本对 OCR 不可读。因此,有时被划出、涂鸦、退化的词汇——可称为可变形词汇——在描述性答案中是可疑的。因此,在此上下文中,我们在这项工作中使用了"恶意词汇"这一术语。上述事实促使我们在本研究中采用"恶意文本"这一术语。因此,我们认为将不可读词汇定义为恶意文本是合理的,尤其是在描述性答案评价分析的背景下。
从图 1 中由 Gemini 语言模型通过输入文本提示"What is malicious text/challenging text, noisy text?"(什么是恶意文本/挑战性文本、噪声文本?)所生成的样本图像中,也可以得出相同的结论。图 1 中展示的样本提供了一种复杂且具有挑战性的文本,包括被划出的词汇 [9,10]。
因此,基于上述事实,人们可以认为这些词汇可能会误导阅卷人 [11],尤其是在评分过程中评估错误答案时。因此,恢复恶意文本以帮助阅卷人准确、客观且无困惑地标记错误答案是至关重要的。因此,本工作旨在恢复恶意手写词汇,以进一步提高识别系统的性能。相比之下,大多数现有模型主要关注检测划出词汇以清理文档,以及恢复划出词汇 [[11], [12], [13]]。尽管它们解决了划出词汇检测和恢复以提高识别性能的问题,但其方法的适用范围仅限于划出词汇,而不包括恶意词汇,后者涵盖了划出、退化和可变形词汇。此外,它们仅适用于简单划出词汇的良好处理,却忽视了复杂情况。因此,有必要开发新模型,评估并解决这些现有方法的局限性。同时,文献 [14,15] 中探讨的模型使用了 CNN、RNN 和 Transformer 等近期最先进的技术来解决书写差异大 [16,17] 的问题。然而,这些技术尚未被探索用于恢复恶意文本以增强识别系统。
识别这些词汇具有挑战性,因为划线和书写风格隐藏了字符信息,因此现有的 HTR 技术可能不够有效。这一点从表 1 中报告的最先进 HTR 模型(Tr-OCR [18]、MHTR [19]、IMTLM-Net [20]、UNIT-VT [21]、HTR-VT [22]、SVTR [23]、SVTRv2 [24])的识别结果中显而易见,尤其是在面对恶意文本时。这一观察结果促使我们提出一种名为多层扩散网络(MLDN)的新型模型,用于通过恢复恶意文本来实现文本识别。
扩散模型已被广泛用于改善图像中的精细细节 [25,26]。受文献 [25] 中提出用于遮挡物体再识别的扩散网络(COFD-Net)的启发,我们以新颖的方式探索扩散模型,以通过恢复来解决恶意手写文本识别的挑战。
技术贡献如下。
  • •
    提出结合 U-Net 与 GAN 来生成噪声样本并对恶意手写文本进行去噪,以提高描述性答案评分系统的性能。
  • •
    通过多头注意力网络生成扩散特征图和图像特征图,以恢复隐藏文本。
  • •
    实现扩散视觉变换器的双解码器并对 Tr-OCR 进行定制,用于识别恶意手写文本。
本文其余部分结构如下。第 2 节回顾了与手写文本识别和恢复相关的方法。第 3 节通过三个阶段介绍了所提出的扩散模型。第 4 节讨论了在不同数据集上验证所提出模型的结果。第 5 节列出了研究发现和未来工作。

章节摘要

相关工作

本研究与手写文本的恢复和识别相关。本节提供了现有方法的详细概述,涵盖不同类别的手写识别方法,包括对手写恶意文本识别的综述 [15]。

所提模型的方法论

如前一节所述,通过恢复来识别恶意手写文本的问题相当复杂且具有挑战性。在本研究中,我们通过开发一种名为多层扩散网络(MLDN)的新型模型来解决这一问题。在本研究中,恶意文本指的是描述性答案手稿中不可读、退化、涂鸦、覆写和划出的手写词汇,且书写风格任意 [11]。为了应对如此复杂的问题,受启发

实验结果

为评估所提出的方法,由于没有标准数据集,我们构建了一个用于实验的数据集。实验在我们的数据集和基准数据集上对恢复和识别步骤进行了验证。

结论与未来工作

我们提出了一种通过恢复步骤来识别恶意划出文本的新型模型。与使用 GAN 和其他深度学习模型的现有模型不同,本工作实现了一种多层扩散网络(MLDN)。在加噪和去噪方面,本工作以新颖的方式探索了 U-Net 与 GAN 的结合,而在文本恢复方面,则以一种新的方式使用了扩散视觉变换器来从输入样本、噪声样本和干净样本中提取特征。

关于写作过程中生成式人工智能和人工智能辅助技术的声明

使用了人工智能工具 Gemini 来生成图 1 中展示的样本图像。生成此类样本的目的是为了支持本研究中使用的"恶意词汇"概念的含义。我们声明,本研究未将任何生成的样本用于实验或得出推断和结论。
CRediT 作者贡献声明 Prajwal Kumar P:方法论、验证、调查、数据管理;Basavanna M:监督与可视化分析;Shivakumara Palaiahnakote:监督,

CRediT 作者贡献声明

P Prajwal Kumar:撰写——初稿、方法论、数据管理、概念化。M. Basavanna:可视化、监督。Shivakumara Palaiahnakote:撰写——审阅与编辑、监督、形式化分析。Md Shadab Mashuk:撰写——审阅与编辑、验证。Cheng-Lin Liu:撰写——审阅与编辑、验证。

利益冲突声明

作者声明不存在已知的竞争性经济利益或个人关系,这些利益或关系可能影响本文所报告的工作。
P Prajwal Kumar|M. Basavanna|Shivakumara Palaiahnakote|Md Shadab Mashuk|Cheng-Lin Liu
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号