基于Transformer的智能文档理解中长距离依赖建模综述

《ACM Computing Surveys》：A Survey on Transformer-Based Long-Range Dependency Modeling in Intelligent Document Understanding

　　Transformer（变换器）通过捕捉数据中的复杂模式彻底改变了自然语言处理（NLP）领域，但在建模长距离依赖方面仍面临挑战，尤其是在智能文档理解（IDU）等任务中，在长篇且多样的文档中保持连贯性至关重要。本综述回顾了基于Transformer的模型如何应对IDU中的长距离依赖挑战。文章引入了一套关键方法分类体系，并讨论了基于记忆的、基于注意力的和基于增强的三种策略中的代表性模型。随后，文章探讨了IDU中输入模态和所用数据集的类型，以及这些模型在生成、文本分类、信息抽取、多模态文档理解和序列建模中的实际应用。本综述还讨论了将这些模型应用于真实世界文档处理流程中的长篇复杂文档时所面临的实际部署挑战。最后，文章概述了未来的研究方向，包括提高记忆效率、优化注意力机制、改进长序列处理以及推进多模态集成。文章还强调了开发能够有效处理复杂多模态文档、融入领域特定知识（如法律、医疗）并具备跨领域泛化能力的模型的重要性。总体而言，本文突出了基于Transformer的模型在IDU中处理长距离依赖方面的进展，并确定了构建更具可扩展性和结构感知能力的文档理解系统的关键研究方向。AI生成的摘要（实验性）本摘要使用自动化工具生成，未经论文作者撰写或审核。本摘要旨在支持文献发现，帮助读者评估相关性，并协助来自相邻研究领域的读者理解本文工作。本摘要旨在作为作者提供的摘要的补充，作者摘要仍是论文的主要摘要。全文仍为权威版本记录。如需查看评论摘要的准确性、清晰度和实用性，请点击此处。您的反馈将有助于改进和未来的重新生成版本。如需查看此AI生成的简明语言摘要，您必须拥有高级访问权限。