多模态融合技术：自动化多模态机器学习的研究与分类

《ARTIFICIAL INTELLIGENCE REVIEW》：Bridging modalities: a Survey and Taxonomy of Automated Multimodal Machine Learning (MMAutoML)

　　

摘要

自动化机器学习（AutoML）通过自动化流程设计、模型选择和超参数优化，降低了构建高性能模型的成本。随着数据集越来越多地包含来自不同来源的数据（如文本、图像、音频以及结构化/表格数据），AutoML也逐渐应用到多模态场景中，在这类场景中，模型的性能取决于表示学习、跨模态融合以及模型搜索。本综述探讨了自动化多模态机器学习（MMAutoML），区分了那些能够自动处理表示学习和融合决策的核心系统，以及与之相近的系统、部分多模态AutoML工具和相关的多模态机器学习基础设施。我们按照早期融合、晚期融合和混合融合三种范式对多模态学习进行分类，并分析了在稳定性、可解释性和部署方面的权衡。接着，我们筛选并比较了具有代表性的开源和商业MMAutoML框架，总结了它们所支持的模态类型，并通过时间演变和相似性分组来描述该领域的生态系统。最后，我们概述了其在医疗保健、自主系统、金融和电子商务领域的应用，同时指出了在模态对齐、缺失或质量低下的输入数据、效率与可扩展性、可重复性以及治理（隐私、偏见和监控）等方面存在的挑战。最后，我们给出了实现可靠端到端MMAutoML的实际指导和建议及研究方向。