融合多模态数据中的跨领域知识以解决物理世界中的问题

《ACM Transactions on Intelligent Systems and Technology》：Fusing Cross-Domain Knowledge from Multimodal Data to Solve Problems in the Physical World

跨域多模态数据融合问题提出四层框架：域层选择跨领域数据，链接层揭示知识对齐机理，模型层提供两种融合范式，数据层统一异构数据。解决了单域假设不适用于跨域场景的核心挑战，为AI模型处理跨领域多源数据提供方法论。

　　

摘要

人工智能的蓬勃发展催生了多种应用，这些应用架起了数字世界与物理世界之间的桥梁。由于物理环境过于复杂，无法通过单一的信息采集方法进行建模，因此融合来自不同来源（如传感器、设备、系统和人类）的多模态数据对于解决现实世界中的问题至关重要。不幸的是，为每个问题从头开始部署新的资源来收集原始数据既不可行也不可持续。因此，当某个领域的数据不足时，从其他领域已有的多模态数据中提取知识就显得十分重要。我们将这种过程称为跨领域知识融合。现有的研究主要集中在单一领域内的多模态数据融合上，假设来自不同数据集的知识在本质上是对齐的；然而，在跨领域知识融合的场景中，这一假设可能并不成立。在本文中，我们正式定义了跨领域多模态数据融合问题，并讨论了其独特的挑战、差异以及相较于单一领域数据融合所具有的优势。我们提出了一个四层框架，包括领域层（Domains）、链接层（Links）、模型层（Models）和数据层（Data），以回答三个关键问题：“融合什么”、“为什么可以融合”以及“如何融合”。领域层为特定问题从不同领域中选择相关数据；链接层揭示了超越特定模型结构的知识对齐原理；模型层基于数据处理的基本机制提供了两种知识融合方法；数据层将结构、分辨率、尺度和分布各异的数据转化为一致的形式，以便输入到人工智能模型中。借助这一框架，我们可以设计出有效融合跨领域多模态数据以解决现实世界问题的解决方案。