在AEC资产管理中的多模态文档分类

《Intelligent Systems with Applications》：Multi-modal document classification in AEC asset management

本文针对建筑工程与营造业（AEC）资产管理的文档自动分类需求，开发了多模态分类模型并评估其性能。通过结合视觉（CNN）、文本（Transformer）和版式（LayoutLM）特征，在两个真实AEC数据集上测试了单模态和融合模型。结果表明，多模态融合在特定场景下提升分类精度，但跨组织泛化能力不足，需改进数据增强和模型融合策略。研究为智能资产管理中的文档自动化处理提供了方法论参考。

　　随着数字化进程的不断推进，建筑、工程与建筑（AEC）行业在资产管理方面面临着前所未有的挑战与机遇。在这一背景下，自动文档分类技术的重要性日益凸显，成为实现智能化资产管理的关键环节之一。本文旨在探讨多模态文档分类模型在AEC领域中的应用，通过综合考虑文档的视觉、文本和布局信息，评估不同模型在实际场景下的表现，并为未来的研究和行业实践提供有价值的见解。

### 文档分类的重要性

在AEC行业中，文档数量庞大且形式多样，涵盖技术报告、操作手册、设计图纸、照片、表格等。这些文档往往以非结构化形式存在，缺乏统一的分类标准，给信息提取和处理带来了诸多困难。传统的文档分类方法主要依赖文本内容，但在实际应用中，仅凭文本信息往往难以准确捕捉文档的全部特征。例如，许多AEC文档包含图表、结构图、安装图等视觉元素，这些信息对于分类至关重要。此外，文档的布局和格式也会影响分类效果，例如表格的结构、文字的排列方式等。因此，单纯依赖文本分类模型在处理AEC文档时可能会出现偏差，导致分类结果不够准确。

### 多模态文档分类的优势

近年来，随着人工智能技术的发展，多模态学习方法逐渐成为解决复杂文档分类问题的有效手段。多模态分类模型能够同时处理文本、图像和布局信息，从而更全面地理解文档内容。例如，视觉模型可以识别文档中的图表和图像，文本模型可以提取关键语义信息，而布局模型则可以捕捉文档的结构特征。通过将这些信息进行融合，模型能够更准确地判断文档类别，提高分类的鲁棒性和泛化能力。

在AEC领域，多模态文档分类模型的引入具有重要的实际意义。一方面，它能够帮助企业在资产管理过程中自动化处理大量文档，减少人工干预，提高效率。另一方面，它还能支持企业在不同阶段对资产进行更精确的分类和管理，例如在维护记录分类、安全检查报告分析以及技术文档整理等方面。这些应用不仅能够优化内部流程，还能为外部合作和跨组织数据共享提供基础。

### 研究背景与挑战

尽管多模态文档分类技术在其他行业已有广泛应用，但在AEC领域仍面临诸多挑战。首先，AEC文档的特殊性使得传统的分类方法难以直接应用。这些文档通常包含大量技术术语、复杂的图表和非标准的布局格式，对模型提出了更高的要求。其次，现有的AEC文档分类研究大多集中在文本分类方面，较少涉及视觉和布局信息的融合。此外，AEC行业的文档通常来自不同的组织，具有较高的异质性和多样性，这对模型的泛化能力提出了挑战。

因此，本文提出了一种系统的方法，通过评估多种先进的分类模型，并结合AEC行业的实际文档数据，探讨如何优化多模态模型在文档分类任务中的表现。同时，研究还关注模型的泛化能力，即如何在不同组织的文档数据上保持较高的分类准确率。这一研究不仅有助于提升AEC行业的文档处理效率，也为其他行业提供了可借鉴的多模态学习框架。

### 研究方法与数据集

本文采用了两个真实世界的AEC文档数据集，分别来自不同的组织。这两个数据集涵盖了多种类型的文档，包括设计图纸、安装图、照片、表格、报告等。为了确保研究的广泛性和代表性，数据集的类别定义采用统一的标注方案，共计七个类别。通过对这两个数据集的分析，研究能够评估模型在不同场景下的表现，并验证其跨组织泛化能力。

在模型选择方面，本文评估了多种单模态和多模态分类模型。单模态模型包括基于图像的模型（如EfficientNetB0、MobileNetV2、VGG16、ResNet50和Inception-ResNet-V2），基于文本的模型（如BERT、BERTje、RobBERT和TF-IDF），以及基于布局的模型（如LayoutLMv1、LayoutLMv2、LayoutLMv3、LiLT和UDOP）。此外，还探讨了三种不同的多模态融合策略：加权集成、简单拼接和自注意力机制。这些模型和策略的选择基于其在相关领域的研究和应用经验，并结合了AEC文档的特点。

在实验过程中，研究采用了5折交叉验证方法，以确保模型的稳定性和可靠性。同时，针对数据集中的类别不平衡问题，研究采用了随机欠采样策略，使每个类别的样本数量保持一致，从而避免某些类别在训练过程中占据主导地位。为了进一步提升模型的泛化能力，研究还引入了数据增强技术，包括对图像进行旋转处理，以增加训练样本的多样性。

### 研究结果与讨论

在对两个数据集的评估中，研究发现不同模态的模型在分类任务中表现各异。基于图像的模型在处理视觉信息方面具有显著优势，尤其是在经过ImageNet预训练和数据增强后，其分类准确率大幅提升。例如，Inception-ResNet-V2在数据集1中达到了96.63%的准确率，而在数据集2中也表现出良好的性能，达到了60.8%的准确率。这表明图像模型在AEC文档分类中具有较高的泛化能力。

相比之下，基于文本的模型在处理语言信息方面表现出色，但其在跨组织数据集上的表现有所下降。例如，BERTje在数据集1中达到了88.97%的准确率，但在数据集2中下降至42.02%。这说明文本模型可能对特定组织的语言特征和文档结构过于敏感，缺乏足够的泛化能力。而TF-IDF模型在两个数据集上的表现相对稳定，分别达到了88.71%和56.13%的准确率，显示出较强的鲁棒性。

基于布局的模型在处理文档结构信息方面具有独特的优势，但其在两个数据集上的表现不如图像和文本模型。例如，LayoutLMv2在数据集1中达到了86.6%的准确率，但在数据集2中仅达到54.41%。这表明布局模型虽然能够捕捉文档的结构特征，但在处理不同组织的文档时仍需进一步优化。

在多模态融合模型的评估中，研究发现不同的融合策略对模型性能的影响各异。例如，加权集成方法在数据集1中达到了89.13%的准确率，而在数据集2中仅达到55.93%。这表明，尽管融合策略能够提升模型的性能，但在跨组织数据集上的表现仍存在一定的局限性。而简单拼接方法在数据集1中表现最佳，但在数据集2中未能有效提升分类准确率。这提示我们，多模态融合模型的设计需要更加精细的考虑，特别是在处理不同组织的文档时。

### 管理启示与建议

本文的研究结果为AEC行业的管理者提供了重要的参考。首先，研究强调了多模态文档分类模型在自动化文档处理中的价值。通过结合视觉、文本和布局信息，这些模型能够更全面地理解文档内容，从而提高分类的准确性。其次，研究指出，管理者在选择模型时应考虑其在不同场景下的表现，特别是在处理跨组织数据时，模型的泛化能力至关重要。因此，建议企业在部署文档分类模型前，充分验证其在不同数据集上的表现，确保其能够适应多样化的文档类型和组织需求。

此外，研究还提出了实际应用的建议。例如，管理者可以利用自动分类技术优化维护记录管理，提高工作订单的处理效率；在安全检查报告分类中，自动分类能够帮助企业及时识别潜在风险，提高安全管理的水平；在技术文档分类方面，自动分类有助于提升审计准备工作的效率。这些应用场景不仅能够减少人工干预，还能提升企业的整体运营效率和数据利用水平。

从资源管理的角度来看，研究指出，对于计算资源有限的企业，采用轻量级模型如TF-IDF或MobileNetV2仍然能够实现良好的分类效果。而对于计算资源充足的企业，可以考虑采用多模态融合模型，以提升分类的准确性和泛化能力。然而，需要注意的是，多模态模型的复杂性可能会带来额外的计算负担，因此在部署前应充分评估其实际应用价值。

### 研究局限与未来方向

尽管本文的研究取得了显著成果，但仍存在一定的局限性。首先，数据集的规模相对较小，且主要来源于荷兰的两家组织，这可能会影响模型在其他语言和组织中的泛化能力。其次，研究主要关注分类准确率，而对模型的可解释性和计算效率的关注相对不足。未来的研究可以进一步探索这些方面，以提升模型在实际应用中的适用性。

此外，本文的研究结果表明，多模态融合模型在某些情况下能够提升分类性能，但在其他情况下可能并不优于单模态模型。因此，未来的研究可以进一步探讨不同融合策略的适用场景，以及如何优化多模态模型的结构和参数设置。同时，研究还可以扩展到其他IDP任务，如符号识别、实体提取等，以构建更全面的文档处理系统。

最后，本文的研究强调了数据集的重要性。为了提高模型的泛化能力和可重复性，未来的研究应优先开发和发布更多的AEC领域专用数据集。这些数据集不仅能够支持模型的训练和评估，还能促进不同研究团队之间的合作和知识共享。此外，研究还可以探索更先进的数据增强和预训练策略，以进一步提升模型在不同场景下的表现。

综上所述，本文的研究为AEC行业的文档分类提供了新的思路和方法，强调了多模态模型在提升分类性能和泛化能力方面的潜力。未来的研究应继续探索多模态模型的优化和扩展，以更好地服务于AEC行业的智能化资产管理需求。