基于蒙特卡洛树搜索且具有帕累托最优保证的多模态分类

《Pattern Recognition》：Multi-modal classification based on monte carlo tree search with pareto optimality guarantee

　　

• •
  提出了一种用于多模态分类的帕累托最优 MCTS 框架。
• •
  开发了一种具有多项式奖励的帕累托最优动作选择方法。
• •
  为帕累托最优动作选择建立了理论支持。
• •
  在多个多模态基准上实现了具有竞争力的性能。

引言

多模态分类（MMC）[1], [2], [3] 因其集成了视觉、文本、音频、深度和姿态等异构模态以提高识别鲁棒性和语义完整性而引起了广泛关注。从模式识别的角度来看，MMC 旨在从异构观测中学习判别性和互补性模式，而不是依赖单一传感来源 [4], [5], [6]。在实际视觉系统中，多模态模型不仅要实现高识别准确率，还必须在有限计算资源、低延迟和可控模型复杂度等部署约束下运行。因此，MMC 不仅仅是一个性能驱动的学习问题，它也是一个需要平衡预测性能、架构复杂度和效率的模式表示和系统级优化问题 [7]。

现有的 MMC 研究主要分为两类：基于专家知识的方法 [8], [9], [10], [11] 和基于搜索的方法。其中，基于神经架构搜索（NAS）的 MMC 方法，包括 DC-NAS [12]、CSG-NAS [13] 和 CoMO-NAS [14]，在自动化、灵活性和效率方面表现出显著优势。这些方法从随机初始化的神经架构开始，采用进化学习、强化学习或基于梯度的优化来搜索有效的多模态融合结构。然而，更高的预测性能往往伴随着增加的架构复杂度和训练开销。这促使了同时考虑准确率、复杂度和时间成本的多目标架构搜索，近期的工作如 CoMO-NAS [14] 也反映了这一点。

尽管在经验上取得了成功，当前的基于 NAS 的 MMC 方法仍存在几个重要的局限性。首先，许多方法依赖梯度信息，这限制了搜索过程在可微松弛上，可能会使离散融合选择的探索产生偏差。其次，由于搜索景观的非凸性和高度结构化，它们容易陷入局部最优。第三，产生的架构通常难以解释，因为搜索过程对为何偏好特定的多模态交互提供了有限的洞察。第四，现有算法的理论基础仍然不够发达，特别是在搜索决策在多个层面交互的多目标设置中。这些局限性促使需要一个无梯度、不易陷入局部最优、结构可解释且有理论依据的多模态架构搜索框架。

为了解决这些挑战，我们引入了蒙特卡洛树搜索（MCTS），这是一种用于树状组合空间的无梯度序列决策方法。通过将强化学习反馈与增长树中的动态规划相结合，MCTS 可以快速关注到有望的搜索区域，并已应用于蛋白质结构预测 [15]、化学合成 [16]、多人游戏 [17] 和大语言模型推理 [18]。它在多目标场景中也同样有效 [19]，其中必须在探索和利用之间取得平衡。图 1 展示了一个具有不同奖励分布的双目标搜索示例。深灰色表示更高的奖励，黑色区域是障碍，绿色表示已探索的动作，红色标记帕累托最优根动作，蓝色表示帕累托最优轨迹。结果表明 MCTS 可以识别帕累托最优动作同时避免不可行区域。

在本文中，我们提出了一种基于帕累托最优蒙特卡洛树搜索的多模态分类神经架构搜索算法（PM-NAS）。具体来说，PM-NAS 通过将离散融合架构空间映射到树模型来直接搜索该空间，其中模态或模态 - 算子对表示为动作，融合架构表示为状态。这种表述自然地契合 MMC，因为多模态融合架构是通过顺序离散决策构建的，而没有将模态或算子选择松弛为连续权重。因此，MCTS 特别适合这种设置，因为它增量式扩展部分架构，通过模拟进行评估，并沿搜索轨迹传播价值估计。基于这种表述，PM-NAS 执行多目标搜索以识别帕累托最优动作并获得帕累托最优融合架构，同时提供理论保证以增强算法的可靠性。我们的贡献如下：

• •
  PM-NAS 为 MMC 提供了具有架构级可追溯性的树状搜索框架。搜索路径记录顺序模态或模态 - 算子决策，而节点访问和分支扩展表明搜索过程中强调的候选区域。在选择阶段，帕累托最优动作选择反映了当前部分架构下的首选融合选择，并指导模态 - 算子交互学习。在模拟阶段，新架构沿帕累托引导轨迹生成，促进高性能区域的探索。在传播阶段，它们的统计估计被传播以细化后续动作选择。
• •
  PM-NAS 解决了顺序融合架构构建中层间依赖导致的 MCTS 固有的非平稳性。据我们所知，它是首个在非平稳多目标 MCTS 设置下分析状态估计和经验平均收益的收敛性和集中性的框架之一。推导出的次优动作采样界和阶数为n^{1/4}的帕累托遗憾为每个树节点处可靠的帕累托最优动作选择提供了理论支持。
• •
  在多个代表性 MMC 数据集上的全面实验结果表明，PM-NAS 在保持有利搜索效率和架构复杂度的同时，实现了具有竞争力的识别性能。

章节摘要

相关工作

多模态融合和多目标搜索的 NAS： 神经架构搜索（NAS）[20], [21] 已被日益引入多模态学习，以自动化设计具有强预测性能且减少人工努力的融合架构。现有的基于 NAS 的 MMC 方法主要在搜索空间、搜索策略和优化目标上有所不同。EDF [22] 和 DC-NAS [12] 等进化方法在处理离散融合选择时很灵活，但它们的

基于 MCTS 的帕累托最优架构

我们提出了一种多目标架构搜索算法（图 2），使用树表示来探索离散融合架构空间。3.2 节介绍了融合架构的基于树的建模，3.3 节展示了用于帕累托最优动作选择的 MCTS 算法。然后使用探索到的架构构建经验帕累托前沿并推导候选融合架构。

理论分析

本节从两个方面分析 PM-NAS：节点估计和经验平均收益的收敛性和集中性，以及次优动作的采样复杂度及其导致的帕累托遗憾。这些结果支持帕累托最优动作选择和多目标遗憾的控制，而不是保证在有限搜索预算下融合架构的全局最优性。该分析是为树状多目标赌博机归纳的

实验分析

本节从数据集设置、分类性能、搜索效率和消融研究方面评估 PM-NAS，以验证其在多模态架构搜索中的有效性。

结论

在本文中，我们提出了 PM-NAS，一种用于多模态分类的帕累托最优蒙特卡洛树搜索框架。通过将融合架构设计表述为序列决策问题，PM-NAS 提供了可追溯的树状搜索过程来探索模态 - 算子组合。提出的具有多项式探索奖励的帕累托引导 UCB 策略使搜索能够平衡分类性能、架构复杂度和探索效率

CRediT 作者贡献声明

Guoqing Liu: 写作 - 初稿，方法论，形式分析。Yuhua Qian: 监督。Xiaofei Qi: 监督。Xinyan Liang: 写作 - 审阅与编辑。Shuai Jin: 写作 - 审阅与编辑。

资助信息

这项工作得到了国家自然科学基金重大项目 (T2495250, T2495251, T2495252) 和国家自然科学基金重点项目 (62136005) 的支持。

竞争利益声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

Guoqing Liu 于 2025 年在中国太原山西大学获得计算机科学与技术博士学位。她目前是山西大学数学与统计学院博士后研究人员。2023 年她曾是中国香港香港城市大学访问学者。她的研究兴趣包括多模态学习和强化学习。她在其研究领域发表了多篇文章，包括 JMLC、IEEE TFS、IEEE TEVC 等。

Guoqing Liu|Yuhua Qian|Xiaofei Qi|Xinyan Liang|Shuai Jin