综述：多实例多标签学习：理论、分类体系及现代方法——一项综述性研究

《Neurocomputing》：Multi-instance multi-label learning: Theory, taxonomy, and modern methods — A critical survey

　　摘要：多实例多标签（MIML）学习解决了现实世界中普遍存在的问题，即每个样本包含多个实例，并且同时与多个类别标签相关联。自2006年正式提出以来，MIML已经从一个理论上的奇观发展成为一个多功能框架，涵盖了图像注释、文本分类、生物信息学、医学成像和计算病理学等领域。本调查系统地审视了二十年（2006-2026年）内的MIML研究，通过严谨的审查方法识别出180篇相关出版物，并明确了纳入和排除标准。首先，我们确立了MIML的理论基础，确认了Wang和Zhou（2012年）的研究成果，即MIML比多实例学习（MIL）和多标签学习（MLL）更具通用性，并重新讨论了他们的PAC可学习性界限，同时明确指出了其假设条件——实例级别概念类的有限VC维度，以及将其视为最坏情况样本复杂性声明，而不是对所有MIML公式普遍优越性的保证。接下来，我们提出了一种双轴分类法，根据算法策略（基于分解的、直接的和基于深度的）和实例聚合机制（聚合、注意力和基于图的）对现有方法进行了分类。传统方法（包括基于支持向量机、神经网络和概率图模型的方法）与现代深度架构（利用Transformer注意力、图神经网络和对比表示学习的方法）进行了对比分析。对于每种方法，我们分析了其计算复杂性、标签关联建模能力和对大规模数据集的可扩展性。通过对原始出版物中的基准测试结果进行综合分析（这些结果来自作者自己的数据集、划分和协议），我们发现了当前MIML评估实践中存在的持续性能差距和方法论不一致性问题；我们明确表示不会在统一协议下重新运行实验。最后，我们指出了七个开放性的研究问题（包括不完整标签的MIML、基础模型集成以及深度MIML的理论泛化界限），这些问题为未来的研究指明了具体方向。

引言：现实世界的数据通常具有双重结构：每个样本包含多个部分，每个样本携带多个语义标签。一幅自然图像包含空间上不同的区域（天空、水面、植被），这些区域共同构成了图像的整体注释，例如“日落”、“湖泊”和“森林”等标签[2]。一份生物医学文档由讨论不同分子机制的段落组成，整篇文档可以与多个基因本体术语相对应[3]。一张千兆像素的全片病理图像被分割成数千个组织切片，相应的诊断报告会指出多个发现结果：肿瘤等级、分子亚型和淋巴结受累情况[4]。一段音频记录包含了多种鸟类的重叠鸣叫声，每个时间段代表一个实例，每个物种对应一个标签[5]。在所有这些情况下，从各个部分到标签的映射过程都是不可观察的：训练过程中只有整体输入和集合值输出是可用的。

多实例多标签（MIML）学习为这种情境提供了一个原理性的框架，如图1所示[6]。第一篇正式阐述MIML范式的文献展示了其在场景分类上的实用性[2]，该文章将MIML确立为四种典型学习范式中最通用的一种，将单实例单标签（SISL）、多实例学习（MIL）和多标签学习（MLL）视为特例。重要的是，[1]证明了MIML不仅仅是MIL和MLL的简单结合：在实例级别概念类的有限VC维度假设下，MIML的联合bag-and-label-set结构具有多项式最坏情况样本复杂性界限，这一界限不能从单独的MIL和MLL界限中得出。这一正式结果激发了原生MIML算法的开发，尽管我们在第2.4节中讨论，这一界限只是一个最坏情况样本复杂性声明，并不能保证任何特定MIML公式（无论是传统的还是深度的）在实证上的优越性。

MIML的算法发展经历了三个不同的时代。分解时代（2006-2012年）产生了将MIML转化为MIL或MLL子问题序列的方法，包括MIMLBoost、MIMLSVM[2]及其基于核的变体[7]。直接时代（2009-2017年）引入了在MIML空间内直接操作的方法：MIMLfast[8]学习了共享子空间，MIMLNN发现了中间子概念[2]，概率模型如M3LDA[9]通过潜在主题捕捉标签关联。深度时代（2017年至今）以DeepMIML[10]和MIML-FCN+ [11]为起点，随后出现了多模态CNN基础图像注释网络[12]、MIML-LSTM用于事件预测[14]、MetaMIML用于小样本设置[15]以及具有局部标签流形关联的并行注意力MIML[16]。同一时期还快速发展了概念上可转移的、源自MIL的深度架构（在本调查中都有提及；见第3.4节），包括基于门控注意力的MIL[17]、用于计算病理学的标签条件门控注意力[4]、双流MIL[18]、基于Transformer的相关MIL[19]和对比表示学习[20]，尽管这些架构最初是在单标签MIL基准测试上评估的，但它们显著影响了深度MIML的设计空间。这一时代取得了最显著的性能提升，并引起了计算病理学界的广泛关注，在该领域MIML自然应用于全片图像的多发现诊断。

本调查对二十年（2006-2026年）内的MIML研究进行了批判性审视，而不仅仅是一个描述性目录。我们特意强调“批判性”一词：对于每个方法家族，我们分析了其优势、局限性、计算权衡以及每种方法适用的条件。这种分析立场直接解决了文献中的空白之处。现有的调查涵盖了MIML的组成部分，但没有涵盖MIML本身[21]提供了早于MIML形式化的MIL调查[22]。另一项调查[22]全面综述了MIL的问题特征和应用，但仅简要讨论了多标签输出[23]，而[24]则提供了该领域的教程式调查，两者都假设输入为单实例[25]。还有研究[26]专门讨论了医学图像分析中的半监督、多实例和迁移学习，涉及到了MIL但没有涉及多标签扩展[26]。我们之前的工作[27]调查了专家系统中的应用中的MIL，但没有涉及多标签扩展[27]。唯一另一篇专门研究MIML的中文文献[28]回顾了经典和早期的神经方法，但涵盖的深度架构少于15种，并且早于第6节中记录的2022-2024年基于Transformer和图的MIML进展。没有英文调查系统地处理MIML方法、提供形式化的可学习性分析或跨越三个方法论时代的双轴分类法[28]。本调查同时解决了这三个空白。一个专门的开源MIML库（MIML Library of [29]）提供了几种经典MIML方法的模块化和灵活的实现，反映了实践者日益增长的需求。表1总结了这些工作，并指出没有现有的英文调查能够全面覆盖MIML方法，特别是目前研究中被主导的现代深度架构。

有四个发展使得专门的MIML调查变得及时且必要：1. 深度方法的爆发。自2017年DeepMIML[10]以来，注意力机制、Transformer和图神经网络从根本上改变了处理MIML问题的方式。这些方法需要一种统一的处理方式，将它们与经典MIML基础联系起来。2. 与计算病理学的融合。全片图像分析是一个数十亿美元的研究和临床领域，本质上涉及袋结构输入（组织切片），并且越来越多地需要多标签输出（每个切片多个诊断发现）。计算病理学界在很大程度上采用了MIL公式[4] [19]，但没有认识到MIML框架的相关性。弥合这一差距可以加速两个社区的进步。3. 基础模型的机会。预训练的视觉语言模型（如CLIP [31]）和特定领域的病理基础模型（如[32]、[33]）为零样本和小样本MIML创造了新的机会。目前没有调查探讨这些模型如何与MIML框架相互作用。4. 理论的成熟。"[1]的可学习性分析确立了MIML的理论优势，但后续的算法工作在很大程度上没有利用这些结果。一个同时关注理论和实践的调查可以指导原则性的算法设计。

本调查的主要贡献包括：1. 全面的专门覆盖。我们提供了第一份专门针对MIML学习的调查，系统地回顾了二十年的研究（2006-2026年），并通过严格的搜索方法（第1.1节）审查了155多篇出版物。2. 形式的理论分析。我们提供了MIML可学习性属性的独立处理，包括"[1]的PAC学习结果，并仔细界定了其假设和范围：在实例级别概念类的有限VC维度下，多项式样本复杂性界限在最坏情况下成立，但这并不意味着任何特定的MIML公式（尤其是现代深度架构）在实证上必然优于MIL/MLL基准[2.4]。3. 新颖的双轴分类法。我们提出了一种分类法，根据两个正交维度对每种方法进行分类：算法策略（基于分解的、直接的、深度的）和实例聚合机制（聚合、注意力、基于图的、混合的），从而能够在方法家族之间进行系统比较[3]。4. 批判性分析。对于每种方法，我们不仅分析了其算法实现，还分析了计算复杂性、标签关联建模能力和适用条件。这种分析深度使本工作区别于描述性报告。5. 计算复杂性分析。我们推导并比较了每个分类单元中代表性方法的训练和推理复杂性，这些复杂性用标准问题参数表示[9]。6. 可操作的开放性问题。我们确定了七个具体的研究方向，从深度MIML的理论泛化界限到基础模型集成和因果推理，每个方向都足够具体，以指导未来的研究[10]。

为了确保全面和可重复的覆盖，我们按照既定的计算调查指南进行了系统的文献搜索。我们查询了六个文献数据库：Scopus、Web of Science、IEEE Xplore、ACM Digital Library、Google Scholar和DBLP。搜索使用了查询字符串（“multi-instance multi-label” OR “MIML”）应用于标题、摘要和关键词。搜索时间范围从2006年（MIML提出的年份）到2026年3月。我们通过反向引用跟踪（被识别论文引用的文献）和正向引用跟踪（引用基础MIML工作的论文）来补充数据库搜索，以捕获未被主要查询词收录的相关出版物。如果一篇论文满足以下所有条件，则将其纳入：(I1) 发表在同行评审的期刊或会议论文集中；(I2) 提出了新的MIML方法，提供了对MIML的实质性理论分析，或对现有MIML方法在基准数据集上进行了严格的实证评估；(I3) 用英文撰写。如果一篇论文符合以下任何一项，则被排除：(E1) 重复出版（例如，会议论文后来扩展成期刊版本；在这种情况下，我们保留了更完整的版本）；(E2) 仅顺便提到MIML，而没有对范式做出方法论或实证贡献；(E3) 仅在研讨会中发表，没有后续的存档版本；(E4) 未经同行评审的预印本，除非它积累了大量的引用（50次），表明社区采纳了它。图2展示了PRISMA风格的选择流程。初步的数据库搜索产生了847条记录。去除423篇重复记录后，我们根据纳入标准筛选了424个标题和摘要，保留了278篇论文进行全文审查。其中123篇被排除：71篇因为缺乏实质性的MIML贡献（E2），31篇因为仅在研讨会上发表（E3），21篇因为被更完整的版本取代（E1）。剩余的155篇论文，加上通过引用跟踪额外识别的12篇作品，构成了原始搜索中的167篇出版物。在再次提交之前进行的最终针对性更新中，我们还根据相同的标准筛选了2023-2026年期间的13篇出版物，使审查的文献总数达到180篇。每篇纳入的论文都被放置在第3节中的（策略，聚合）分类法的特定单元中，并根据第3.4节中的固定规则确定了来源层次。对于轴1（算法策略），如果论文的预测流程将MIML简化为一系列MIL或MLL子问题，其输出随后被组合，则标记为基于分解的；如果论文在MIML空间内直接操作而不进行分解且不使用学习到的表示（即，它依赖于手工制作的特征），则标记为直接浅层；如果论文在同一模型内端到端学习实例表示，则标记为深度。对于轴2（实例聚合机制），如果bag聚合简化为无参数的操作符（如均值、最大值、对数和或、噪声或），则标记为基于聚合的；如果聚合使用学习到的实例权重（门控、基于标签的条件、多头或否则），则标记为基于注意力的；如果实例形成图并且聚合通过消息传递或图卷积进行，则标记为基于图的；如果方法结合了上述两种或更多方法，在单次前向传递中，例如Transformer自注意力后跟均值聚合，则标记为混合的。关于来源，如果一篇论文既提出了一种MIML方法，又至少在了一个标准的MIML基准测试上使用规范的MIML指标对该方法进行了评估，那么它就被标记为原生MIML；如果其核心机制源自MIL/MLL，但已经在具有多标签输出和MIML指标的MIML基准测试上进行了评估，那么它就被视为经过实证验证的MIML适配；如果方法是基于MIL的概念可转移的，则被标记为MIL起源（这些方法带有相应的标记）。有两个操作规则用于解决混合或模糊的分配问题：(R1) 主要贡献。当一篇论文结合了两种策略的元素（例如，基于分解的前端处理后跟着一个直接的多标签头部）时，它会被放置在其摘要和引言中确定的主要方法论贡献对应的类别中；次要元素则在讨论文本中被提及。(R2) 对于真正的混合方法，会在两个轴下都被列出。当一篇论文同时真正地对两个轴做出了贡献，并且这些贡献在原则上不可分离时（例如，一种方法的分解步骤是一个新的聚合机制的一部分），它会在表5中出现一次，并在所有相关小节的正文中被交叉引用。其余的模糊问题由三位作者在独立审查后通过多数投票来解决；我们的语料库中有六篇论文需要这一步骤，这些处理方式记录在补充材料的第S3节中。这一程序旨在使分类法的分配具有可重复性：读者应用相同的规则对一篇新论文进行分类时，应该能够将其放在与我们相同的类别中。本调查的其余部分组织如下，各部分之间的依赖关系在图3中有所说明。

• 第2节：问题表述和理论基础。介绍统一的符号系统，形式化MIML及其与相邻范式的联系（MIL、MLL、多视图、弱监督检测、计算病理学），展示建立MIML理论优势的学习能力分析，并列举关键技术挑战。
• 第3节：MIML方法的分类。提出双轴分类法（算法策略-聚合机制），提供涵盖所有评审方法的全面分类表，并追溯三个时代的历史演变。
• 第4节：基于分解的方法。回顾将MIML简化为MIL、MLL或SISL子问题序列的方法，包括MI-bridge、ML-bridge和SISL-bridge方法。
• 第5节：直接浅层方法。涵盖在MIML空间中直接操作的方法，使用手工制作的特征，包括基于SVM的方法、最近邻方法、神经网络方法和概率方法。
• 第6节：深度MIML方法。最广泛的部分，回顾基于CNN的方法、基于注意力机制的方法、基于Transformer的方法、基于GNN的方法以及同时学习表示和预测的对比学习方法。
• 第7节：应用领域。调查MIML在图像注释、文本分类、生物信息学、医学成像、音频分析以及新兴领域的应用。
• 第8节：评估方法论。定义标准MIML指标，整理基准数据集，回顾实验协议，并批判性评估当前的评估实践。
• 第9节：计算复杂性分析。推导代表性方法的训练和推理复杂性，并提供可扩展性基准。
• 第10节：开放问题和未来方向。确定七个具体的研究问题，涵盖理论、方法论和应用方面。
• 第11节：结论。总结调查的发现和贡献。

希望快速了解的读者可以直接从第3节开始，关注任何特定的方法家族（4 基于分解的方法，4.1 MIML到MIL的分解（MI-bridge）、MIMLBoost、MIMLSVM（分解版本）、优点和局限性，4.2 MIML到MLL的分解（ML-bridge）、聚合策略、聚合后应用的MLL求解器、MIMLSVM（聚合版本）、优点和局限性，4.3 MIML到SISL的分解（SISL-bridge）、代表性方法、优点和局限性，4.4 对分解方法的批判性分析、结构信息损失和学习能力、何时分解足够、何时分解失败，5 直接浅层方法，5.1 基于核的方法、D-MIMLSVM、M3MIML、多实例核、MIML的度量学习、优点和局限性，5.2 神经网络方法、MIMLNN、MIMLRBF、EnMIMLNN、变体和改进方法、作为概念桥梁的子概念范式，5.3 概率和图形模型方法、DBA、M3LDA、基于CRF和贝叶斯网络的方法、优点和局限性，5.4 优化和快速方法、MIMLfast、MIML-perf、MIML-kNN、度量学习方法、多目标和基于群体的优化、模式触发直接解决方案、优点和局限性，5.5 对直接浅层方法的批判性分析、建模能力、计算可扩展性、从直接方法到深度学习的概念桥梁、直接方法与分解的实证对比，6 深度MIML方法）。

对将MIML应用于特定领域感兴趣的实践者可以从第7节开始，然后参考其中引用的方法部分。

**问题表述和理论基础**
本节建立了支撑整个调查的数学框架。我们引入了一个统一的符号系统，形式化了多实例多标签（MIML）学习及其与相邻范式的联系，展示了学习能力结果，并列举了推动二十年算法创新的关键技术挑战。

**MIML方法的分类**
前一节将MIML确立为一个具有可证明学习能力保证的理论上完善的范式。现在我们转向组织算法景观。在二十多年的时间里，研究人员提出了不同的MIML方法，这些方法在如何将实例袋映射到标签集以及它们施加的结构假设方面存在根本差异。为了清晰地呈现这一多样化的研究工作，我们提出了一个双轴分类法，沿着两个正交维度对每种MIML方法进行分类：

**(i) 第1轴：算法**
**基于分解的方法**
最早的MIML学习方法是将问题简化为一个或多个已经存在成熟解决方案的子问题。给定一个MIML数据集，分解策略将每个实例转换为适合更简单学习范式（MIL、MLL或SISL）的一对或多对，然后应用该范式的现成算法。这种哲学反映了更广泛的机器学习问题简化传统，即复杂任务被分解为一系列易于理解的子任务。

**直接浅层方法**
这些方法直接在MIML输入-输出空间中操作，而不需要将问题简化为更简单的范式。通过在单一学习框架内联合建模实例袋、实例和标签，这些方法利用了第2.4节中识别的结构性协同效应。“浅层”一词将本节中的方法（依赖于手工制作的特征、固定深度的网络或核表示）与深度端到端方法区分开来。

**深度MIML方法**
深度学习的出现从根本上重塑了多实例多标签学习。在2017年之前，MIML方法依赖于独立于下游学习目标设计的手工特征（SIFT描述符、颜色直方图、词袋表示）。深度MIML方法通过从原始输入端到端学习整个嵌入-聚合-预测流程（第2.2节），消除了这一瓶颈。这种联合优化允许实例嵌入函数...

**应用领域**
MIML框架自然适用于任何示例由多个部分组成并且同时属于多个语义类别（标签）的问题，这解释了其在不同领域中的应用。在本节中，我们回顾了六个主要的应用领域，分析了每个领域如何构建实例袋和定义标签空间，并确定了推动方法论创新的领域特定挑战。表10提供了这些领域的综合概览...

**评估方法论**
严格和标准化的评估对于公平比较MIML方法以及识别该领域的真正进展至关重要。然而，正如我们在本节中记录的那样，MIML文献中的评估实践存在相当大的不一致性，这使得跨论文比较变得复杂。我们首先用正式的数学规格定义了标准评估指标（第8.1节），然后整理了主要的基准数据集（第8.2节），描述了常见的实验协议...

**计算复杂性分析**
MIML方法比较的一个关键但经常被忽视的维度是计算复杂性。随着MIML应用扩展到更大的实例袋（计算病理学中的数千个实例）、更大的标签空间（基因注释中的数百个标签）和更大的数据集（图像检索中的数万个实例袋），算法的计算开销与其预测准确性同样重要。本节提供了时间和空间复杂性的系统分析...

**开放问题和未来方向**
本节确定了从前几节分析中产生的七个具体研究问题。与一般的未来工作声明不同，每个问题都被构建为一个精确的研究问题，并提出了基于我们调查揭示的具体差距的方法论方法。这些问题从基础理论（第10.1节）到实际部署问题（第10.8节）不等，共同定义了MIML发展的下一阶段的研究议程。

**发现总结**
本研究提供了对二十年来（2006-2026年）多实例多标签学习的全面批判性回顾，通过系统回顾方法论和明确的纳入排除标准筛选出了180篇出版物。我们建立了MIML的理论基础，并通过[1]的学习能力分析表明，MIML不仅仅是MIL和MLL的结合，而是一个更加通用的范式，具有更丰富的监督信号...

**伦理批准**
本研究完全基于已发表的文献。没有涉及人类参与者、动物或新的数据收集。因此，不需要伦理批准。

**作者贡献声明**
Syed Umaid Ahmed：方法论、调查、形式分析、数据策划、概念化。
Muhammad Atif Tahir：概念化。
Muhammad Waqas：形式分析。

**写作过程中生成式AI和AI辅助技术的声明**
在准备这项工作时，作者使用了大型语言模型助手（ChatGPT和Claude）来提高某些段落的清晰度和可读性，并检查语法。使用这些工具后，作者根据需要审查和编辑了所有内容，并对发表文章的内容负全责。没有使用生成式AI工具来创建或修改图表、表格、实验结果，或生成科学内容或参考文献。

**资助**
本研究没有从公共、商业或非营利部门的资助机构获得任何特定资助。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。

**致谢**
作者衷心感谢巴基斯坦卡拉奇国家计算机与新兴科学大学（FAST-NUCES）提供的计算资源。

Syed Umaid Ahmed是巴基斯坦卡拉奇国家计算机与新兴科学大学（FAST-NUCES）FAST学院的人工智能博士研究生，他也教授数据科学。他的研究兴趣包括多实例学习、多实例多标签学习、多标签分类和计算机视觉，在医学图像分析方面有应用。他与Muhammad Atif Tahir和Muhammad Waqas Sheikh合著了多篇文章。

**部门**：
计算机科学系，巴基斯坦卡拉奇国家计算机与新兴科学大学（FAST-NUCES）