基于信息融合的文档分类模式识别：多模态与多视角表示方法的系统综述

《Information Fusion》：Document Classification Pattern Recognition via Information Fusion: A Systematic Review of Multimodal and Multiview Representation Approaches

　　马辛·米哈乌·米隆丘克，波兰华沙独立大道188b号国家信息处理研究所，邮编00-608

摘要
信息融合通过整合多个数据源（多模态）或表征方式（多视角）被广泛用于提升文档分类性能。然而，该领域目前缺乏统一的框架、对其效力的定量评估以及针对实践者的明确指导。本系统综述通过分析139项原始研究来填补这些空白。它提出了一个用于构建该领域的正式框架，通过定性分析识别关键趋势，并进行了随机效应元分析（据我们所知，这是首次针对文档分类的此类分析），以量化性能提升效果。我们的元分析表明，多模态融合能显著提高分类精度——平均提升5.28个百分点，p值仅为0.0016；而在我们的模型中，F1分数的提升虽呈正向趋势，但统计上并不显著。多视角融合则能在精度（提升4.67%）、F1分数（提升3.08%）以及召回率方面带来稳定但有限的提升，所有指标的p值均低于0.05。尤为重要的是，我们的定性分析揭示了方法论严谨性及结果可重复性方面的问题：仅有11.8%的多模态研究和23.3%的多视角研究使用统计检验来验证其结论，这降低了许多研究结果的可靠性。本综述的主要贡献包括一个统一框架、首个定量证据基础以及基于数据的指导原则。综述认为，成功的消息融合并非取决于算法的复杂度，而在于融合方法与任务场景的策略性匹配，以及更严格的验证机制。

引言
数字信息的迅猛增长使得在从法律处理到医疗记录管理等多个领域中实现准确的文档分类变得极为重要。尽管传统方法已展现出一定潜力，但它们往往难以捕捉现代文档的复杂性，因为现代文档通常包含文本、元数据以及多媒体元素。这一局限性促使人们越来越关注多模态和多视角方法，这类方法借助信息融合技术来提升分类的准确性与稳健性。

尽管在文档分类技术方面已有诸多进展，但目前的研究仍存在四个关键缺陷：(1) 缺乏用于比较和评估不同文档分类信息融合策略的统一框架；(2) 对多模态和多视角场景下不同表征方法之间的相互作用理解不足；(3) 缺乏系统性、定量的证据对比，无法明确多模态/多视角方法与单模态/单视角方法之间的性能差异；(4) 针对特定文档分类任务，缺乏为实践者提供的关于选择合适融合策略的指导。本系统综述通过全面分析文档分类中的多模态和多视角表征方法，尤其聚焦于信息融合策略，以此弥补上述缺陷。

从信息融合的角度来看，目前的文档分类研究与传感器融合及决策制定领域中发展出的核心理论框架之间仅存在松散的联系。传统的贝叶斯融合、德普斯特-谢弗证据推理、卡尔曼滤波以及概率图模型都将融合视为对多个来源或传感器所提供的不确定证据的整合。类比而言，在文本环境中，这些来源对应于文档的不同“视角”（如词汇特征、话语结构、引用模式，或是图像、元数据等跨模态信号）。

现有的综述通常采取两种立场之一。那些以信息融合为基础的综述主要关注非文本领域（如3D建模、医学成像、机器人技术），详细探讨了贝叶斯融合和证据融合运算符，却很少涉及文档表征问题。相反，那些关于多模态和多视角自然语言处理或文档分类的综述虽然列出了相关架构和应用案例，却很少明确说明这些模型是如何实现形式化的融合运算符的，或是如何在不同视角间传递不确定性的。因此，据我们所知，目前还不存在一种统一的解释，说明文档级表征如何与传统的融合理论相衔接，如何处理特定视角下的不确定性及冲突，以及多模态和多视角文档分类的实践经验与既有的信息融合范式之间存在怎样的关联。

为系统地开展这项研究，本综述以四个主要研究问题作为指导：
• RQ1（形式化）：如何在模式识别框架内对基于多视角和多模态来源的文档分类进行形式化定义？现有的表征与融合机制又是如何与传统的信息融合理论相联系的？（第4节与第5节）
• RQ2（定性综合与分类）：多模态和多视角文档分类领域的最新进展是什么？如何将这些研究成果整理成一个全面的分类体系，从而明确关键研究问题、已发现的解决方案、持续存在的挑战以及尚未解决的问题？（第6节）
• RQ3（定量综合）：多模态/多视角文档分类方法与单模态/单视角方法在性能上的差异究竟有多大？这种差异的稳定性与一致性如何？（第7节）
• RQ4（启示与指导原则）：基于所建立的形式化框架以及定性分析和定量分析的结果，未来研究最具前景的方向是什么？对于该领域的实践者和理论研究者来说，可以制定出哪些通用指导原则？（第8节）

与那些更广泛的多模态综述不同，我们专注于文档分类以及以文本为中心的融合技术。通过系统地回答上述研究问题，本综述为多模态和多视角文档分类的发展做出了三项重要贡献：
• 提出了一个综合性的形式化框架，用于评估和比较信息融合策略，同时兼顾理论基础与实际应用需求；
• 设计了一种全新的、基于数据的分类体系，系统地梳理了多模态和多视角分类领域的最新进展，明确了不同表征方法之间的相互作用；
• 为实践者和研究人员提供了基于证据的指导建议，帮助他们选择合适的融合架构，并确定具有高价值的研究方向。

本文的其余部分结构如下：第2节回顾了相关的现有综述，第3节详细介绍了我们的系统综述方法。第4节和第5节阐述了模式识别中的理论基础，包括文档分类中的应用场景以及信息融合的相关概念。第6节对现有的多模态和多视角方法进行了定性分析，指出了其中的趋势、挑战以及未来的研究方向。第7节则展示了元分析的定量结果。第8节综合了综述的发现，为研究人员和实践者提供实用建议。第9节总结了全文并强调了其主要贡献。

相关研究
作为系统综述流程的一部分，我们首先对二手文献（即综述文章）进行了范围界定搜索，以确认我们研究问题的新颖性。这一基础步骤帮助我们明确了该领域的边界，了解了信息融合在文档分类相关综述中已被探讨的程度，进而确定了通过原始研究系统综述所要填补的具体空白。

系统综述方法
本节介绍了我们用于分析多模态和多视角文档分类研究的方法。我们借鉴了原本为医学研究设计的PRISMA指导流程[42][43]中的关键要素，将其应用于计算机科学领域的分析工作中。我们系统地检索了那些运用多模态和多视角方法进行文档分类的原始研究，遵循了一套符合PRISMA原则的结构化综述流程。

理论基础
文档分类中的模式识别是一个分层处理过程，旨在将原始数据转化为可操作的洞察结果。这一过程始于原始形式的未处理文档，如文本文件、PDF文档或网页。通常会先进行分词这一关键预处理步骤，该步骤将原始文本转换为一系列离散单元，即词、子词或字符等标记。这些标记构成了后续处理的基础元素。

模式识别中的信息融合基础
模式识别系统越来越依赖多种数据表征方式来提升分类能力。基于第4节中提出的形式化表征框架R=(F,E,M)和模式框架P=(S,C,T)，本节探讨了信息融合策略如何利用这些基础有效地整合多个数据源。信息融合是一种系统化的方法，用于整合不同的表征方式，从而形成统一的分析结果。

多模态表征方法
本节分析了文献中提出的主要研究问题、新发现以及关键挑战。它总结了各类研究的主要贡献，同时指出了未来研究需要解决的重要问题。为了更细致地分类，我们在补充材料A中提供了一个详细的分类体系，该体系根据模式类型、融合技术以及评估指标等关键特征对各类研究进行了分类；补充材料A中还包含了对这些文章的定量分析。

为了全面回答关于多视角/多模态方法在性能上优势这一核心定量研究问题（RQ3），我们从文献检索中找到的所有符合条件的实验中提取了性能指标。本节对那些使用多种信息来源或表征方式（即多视角和多模态）的研究，与那些仅使用单一来源（即单视角和单模态）的研究进行了定量比较。

信息融合的统一框架
本综述最重要的成果之一，就是建立了一个概念性（或形式化）框架，该框架将文档分类中的各个核心要素进行统一和组织，揭示了它们之间的相互关系，同时也提出了进一步扩展或通过实证进行测试的方法。该框架采用一致的符号体系来表示文档分类流程中的各个环节——分词、特征提取、编码、融合、识别：表征为R=(F,E,M)，模式为P=(S,C,T)，模型则为M=(P,R,RR)。

结论
本系统综述认为，虽然信息融合在文档分类中确实能带来显著的性能优势，但其实际效益较为复杂，而且由于现有研究中存在诸多方法论上的缺陷，其潜在价值目前还未能得到充分释放。针对我们的研究问题，本工作建立了一个统一的正式框架，将该领域的现代表征学习与传统的信息融合理论相结合；同时还给出了首个定量元分析估计结果……

关于生成式AI及AI辅助写作技术的声明
在撰写本文过程中，作者使用了openrouter.ai以及GPT、Grok 4和带有推理功能的Gemini等语言模型，以提高文本的可读性并保持科学的表达风格。在使用这些工具或服务之后，作者对内容进行了必要的审阅和修改，并对最终发表的文章内容承担全部责任。

CRediT作者贡献声明
马辛·米哈乌·米隆丘克：撰写——综述与编辑、撰写——初稿、可视化、验证、监督、软件、资源、方法论、研究设计、形式化分析、数据整理、概念构建。

利益冲突声明
作者声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。