智能文档理解中基于 Transformer 的长程依赖建模综述

《ACM Computing Surveys》:A Survey on Transformer-Based Long-Range Dependency Modeling in Intelligent Document Understanding

【字体: 大 中 小 】 时间:2026年09月18日 来源:ACM Computing Surveys 30.4

编辑推荐:

   摘要AI 摘要要查看此AI生成的摘要,您必须拥有高级访问权限。了解更多登录摘要摘要Transformer模型通过捕获数据中的复杂模式彻底改变了自然语言处理(NLP),但它们仍然面临长距离依赖建模的挑战,尤其是在智能文档理解(IDU)任务中,需要在长篇且多样化的文档中保持连贯性

  

摘要

摘要

Transformer模型通过捕获数据中的复杂模式彻底改变了自然语言处理(NLP),但它们仍然面临长距离依赖建模的挑战,尤其是在智能文档理解(IDU)任务中,需要在长篇且多样化的文档中保持连贯性。本综述回顾了基于Transformer的模型在解决IDU中长距离依赖挑战方面的应用。它介绍了关键方法的分类法,并讨论了记忆导向、注意力导向和增强导向策略中的代表性模型。然后,它探讨了IDU中使用的输入模态和数据集类型,以及生成、文本分类、信息提取、多模态文档理解和序列建模等实际应用。本综述还讨论了在实际文档处理流程中将这些模型应用于长篇和复杂文档时出现的实际部署挑战。最后,我们概述了未来的研究方向,包括提高内存效率、优化注意力机制、改进长序列处理和推进多模态集成。我们还强调了开发能够有效处理复杂多模态文档、融入领域知识(如法律、医学)并跨领域泛化的模型的重要性,以获得更广泛的适用性。总体而言,本文强调了Transformer模型在IDU中长距离依赖处理方面的进展,并确定了构建更具可扩展性和结构感知的文档理解系统的关键研究方向。

AI 摘要

AI生成摘要(实验性)

此摘要使用自动化工具生成,并非由文章作者撰写或审核。它旨在支持发现,帮助读者评估相关性,并协助来自相关研究领域的读者理解该工作。它旨在补充作者提供的摘要,后者仍是论文的主要摘要。完整文章仍然是权威版本。点击此处了解更多。

点击此处对此摘要的准确性、清晰度和有用性发表评论。这样做将有助于改进和未来的重新生成版本。

要查看此AI生成的通俗摘要,您必须拥有高级访问权限。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号