基于多数共识与和谐引导的证据多模态分类

《Neurocomputing》：Majority-consensus and harmony-guided evidential multimodal classification

　　

Houdaifa Boukersoul|Faouzi Sebbak|Andrea Campagner|Davide Ciucci

阿尔及利亚阿尔及尔，Bordj El Bahri，邮政信箱17号，综合理工学院

摘要

证据深度学习因其在单次前向传播中既能识别数据中的复杂隐藏模式，又能量化预测不确定性而备受关注。通过将单模态证据深度学习的输出视为多项式观点，一些研究试图将该框架扩展到多模态场景。然而，这些研究大多假设所有模态都是可靠的，并依赖对冲突极为敏感的德普斯特组合规则，而在现实世界中，多模态数据往往存在噪声、异质性且存在固有冲突，这一限制尤为突出。在这种情况下，德普斯特规则可能会产生反直觉或不可靠的结果。为克服这一局限，我们提出了证据多模态分类器。其核心是一种新颖的融合策略——多数共识融合规则，该规则将斯梅茨的非标准化合取规则与多数投票相结合。这种混合方法能有效限制极端或异常观点的影响，从而在易冲突环境中提升模型的鲁棒性。此外，训练过程还引入了基于和谐度的正则化项，以促进融合观点之间的一致性。在向量型多视图数据集和RGB-D图像数据集上的大量实验验证了该方法的有效性。相关代码可在https://github.com/houdaifabou/EMMC处获取。

引言

多模态学习是一门日益重要且跨学科的研究领域，它旨在通过实现多种信息来源的联合表示与推理，推动人工智能的核心目标发展。通过利用文本、图像、音频和生理信号等不同类型的模态数据，多模态学习在各种实际应用中展现出巨大潜力。例如，医疗诊断系统可以将放射学图像与临床报告结合使用，以提高决策的准确性；而虚拟助手则依靠语音和面部表情来更有效地理解用户意图。

尽管多模态学习与多视图学习和数据融合密切相关，但三者的研究动机略有不同。数据融合侧重于整合不同的数据表示，而多模态学习则强调生成这些表示的不同模态本身。相比之下，多视图学习不仅在模型设计过程中考虑了这些不同的表示，还注重不同视图之间的关系。

目前，尤其是结合深度神经网络的多视图学习方法已在诸多实际应用中取得了显著成果。但在医疗诊断和自动驾驶系统等对安全性要求极高的领域，决策的可信赖性仍需重点考量。为解决这一难题，人们提出了可信多视图分类器，它是证据深度学习方法的创新扩展，用于处理多视图场景中的不确定性量化问题。该分类器利用主观逻辑中的狄利克雷模型来量化每个视图的预测不确定性，然后通过证据层面的德普斯特规则整合各视角的总体不确定性。

尽管可信多视图分类器取得了显著成功，但由于它依赖德普斯特组合规则，从信息融合的角度来看存在根本性问题，因为该规则在视图间存在强烈冲突时往往会表现出反直觉的行为。更广泛地说，许多将证据深度学习扩展到多视图场景的研究都隐含地认为，合并更多观点必然能降低整体不确定性。为避免德普斯特规则带来的不稳定问题，一些最新研究采用了简单平均或证据累积策略来进行观点融合。虽然这些方法提升了数值稳定性，但它们对所有观点一视同仁，可能会削弱那些可靠且占主导地位的观点，或者将不可靠且相互矛盾的证据纳入最终决策。此外，某些研究还采用了基于概率投影的冲突度量方法，但这需要先指定基础概率，且缺乏合理的估计机制。这种做法可能会将认知不确定性与真正的意见分歧混为一谈，表明仅靠冲突度量并不足以描述不同模态之间的关系。

为解决这些局限，我们提出了证据多模态分类器，该分类器由五个核心部分构成：模态预处理、证据生成、观点构建、观点融合以及损失函数设计。这些部分可视为工作流程中的不同阶段，每个阶段可根据具体任务进行灵活配置。我们的主要贡献有三点：

• •
  我们的第一个贡献在于模态预处理部分，我们引入了一种衡量两种模态之间一致性程度的新指标，即和谐度，该指标能够明确量化证据层面模态之间的一致性程度。
• •
  我们的第二个贡献在于观点融合部分，我们提出了一种名为多数共识融合的新融合策略。该策略通过将斯梅茨的非标准化合取规则与多数投票机制相结合，有效降低了不可靠或相互矛盾观点的影响。
• •
  最后，我们将和谐度作为正则化项纳入损失函数中，以此引导模型在训练过程中促进模态之间形成可靠的一致性。这一设计提升了模型在面对冲突时的鲁棒性，使得多模态环境下的证据聚合更为可靠。

为验证我们的主要贡献，我们在两项任务上进行了大量实验。首先，我们在成熟的多视图向量型数据集上评估了该方法的效果，并将其与当前最先进的多视图学习方法进行了比较，这些方法既包括基于证据深度学习的，也包括基于典型相关分析的方法。其次，我们在RGB-D场景识别任务上测试了该方法的效果，使用了两个常用的基准数据集。

本文的其余结构如下：第2节概述了与所提方法密切相关的现有最先进方法；第3节介绍了有助于全面理解所提方法的必要背景知识；第4节详细说明了所提分类方法的架构和组成部分；第5节汇报并分析了验证我们贡献的实验结果；最后，第6节给出了结论性意见，并提出了未来研究的潜在方向。

章节摘录

相关工作

本节探讨了多视图场景下证据深度学习的先前研究，重点分析了不同的融合策略和视图间依赖性建模技术是如何处理不确定性和冲突的。

虽然深度神经网络在学习潜在表示方面取得了显著成就，但量化预测不确定性仍然是一个核心挑战。贝叶斯神经网络通过为模型参数赋予概率分布来解决这一问题，但它们往往

基础知识

为使本文尽可能独立完整，本节简要介绍了理解所提方法所需的基本理论基础。我们首先阐述了多项式主观观点的概念，随后总结了证据深度学习框架。

证据多模态分类器

本节首先对所涉及的分类问题进行了数学表述，随后详细介绍了构成所提分类器的各个核心组件。

实验评估

本节对所提方法进行了实证评估。我们首先通过一个数值示例，展示了在存在冲突且存在高度可信的错误信息源时，融合规则的表现，并将其与传统的融合策略进行了比较。随后，我们报告了在两项任务上的实验结果：一方面是在无冲突和存在冲突的条件下，将所提方法与当前最先进的多模态学习方法在向量型多模态数据集上的表现进行对比；另一方面是

结论

本研究提出了一种针对多模态分类的理论完备的证据框架，该框架能够有效处理来自不同数据源的不确定性和冲突问题。通过引入多数共识融合规则，我们提供了一种能够识别冲突的聚合机制，该机制既能限制不可靠或极端观点的影响，又能保持各模态之间的可靠共识。此外，所提出的和谐度也为衡量

CRediT作者贡献说明

Houdaifa Boukersoul：撰写——初稿撰写、数据整理、概念构思。Faouzi Sebbak：撰写——审阅与编辑、概念构思。Andrea Campagner：撰写——审阅与编辑、概念构思。Davide Ciucci：撰写——审阅与编辑、概念构思。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知利益冲突或个人关系。

Houdaifa Boukersoul是阿尔及利亚综合理工学院的博士候选人。他致力于研究不确定性建模、多模态学习以及机器学习的理论基础。他的研究探索了可能性理论和信念函数等框架，用以处理不同数据模态中的不精确或不完整信息，从而提升复杂学习系统的稳健性和可解释性。