不完整多视图多标签学习：基于视图逆解纠缠恢复与标签标记的方法

《Information Fusion》：Incomplete Multi-View Multi-Label Learning via View Inverse Disentanglement Recovery and Label Tokens

　　•IDRLT统一了标签引导、解耦和缺失视图恢复。
•标签令牌将不完整标签语义注入视图一致的特征中。
•语义邻域恢复缺失的视图特定特征。
•IDRLT在缺失视图和标签率变化的情况下有效且稳健。

引言

多视图多标签学习（MVML）为建模复杂数据提供了一个重要框架，其中对象由多个异构视图描述，并与多个语义标签相关联[1]。例如，一张图像可以由颜色和纹理等不同视觉特征表示，并与“天空”、“建筑”和“汽车”等标签相关联。通过联合利用跨视图的互补信息和标签相关性，MVML已广泛应用于图像分类[2]、[3]、[4]和跨视图检索[5]、[6]、[7]等任务。然而，在现实场景中，数据收集和人工标注往往是不完整的。某些视图可能对某些样本不可用，而只有部分相关标签可能被观测到。这引出了双重不完整多视图多标签学习（DIMVML）问题，其中视图观测和标签标注都是不完整的。

在实际多视图场景中，数据通常来自可靠性水平不同的异构来源。某些视图可能缺失或损坏，而标签标注通常不完整，因为全面的多标签标注成本高昂。因此，DIMVML可以视为在不完整和弱监督观测下的可靠信息融合问题。目标不仅是填补缺失数据，还要从不确定的多视图信息中学习预测性表示。

最近的研究开始从不同角度解决DIMVML问题。不完整多视图方法主要关注通过共享潜在空间或样本相关性的视图恢复或表示对齐。然而，基于缺失指标[8]或简单插补[9]、[10]的方法可能无法充分利用对恢复有用的样本间语义关系。同时，假设标签完整或仅将标签作为弱监督的方法可能限制标签语义在引导表示学习中的作用。相比之下，不完整多标签学习方法通常针对单视图数据设计，不适用于建模跨视图的互补性[11]、[12]。由于在DIMVML中缺失视图和缺失标签相互作用，有效的DIMVML方法需要同时处理这两种不完整性来源。

除了处理两种类型的缺失信息，DIMVML还需要仔细处理哪些内容应该跨视图共享，哪些应该保持视图特定性。许多现有方法没有明确区分视图一致和视图特定的因素，这可能导致在某些视图嘈杂或不可用时表示不够可靠。它们也倾向于主要将不完整标签用作监督，而不是作为缺失视图恢复的语义引导[1]。尽管最近基于解耦的方法[13]分离了一致和特定表示，但不完整标签语义、视图一致表示学习和缺失视图特定恢复之间的相互作用仍未被充分探索。因此，关键挑战不仅在于从不完整视图中学习鲁棒的共享表示，还在于使用不完整标签语义来引导恢复缺失或不可靠的视图特定信息。

为了解决这一挑战，我们提出了一种基于变分自编码器（VAE）的框架，称为“通过视图逆解耦恢复和标签令牌进行不完整多视图多标签学习”（IDRLT）。IDRLT通过连接视图一致表示学习和视图特定特征重建，将语义引导与缺失视图恢复相结合。具体来说，IDRLT采用对比学习策略来学习观测视图间共享的表示，并引入注意力引导的标签令牌将不完整标签语义注入这些共享表示。然后，学到的共享表示为邻域构建提供语义基础，使得图引导的逆解耦策略能够从语义相关的样本中推断缺失的视图特定特征。恢复的特定特征与共享表示融合以进行最终预测，同时互信息目标减少了共享和特定分支之间的冗余。在五个基准数据集上的广泛实验证明了IDRLT在双重不完整性和不同缺失率下的有效性和稳健性。总之，我们的主要贡献如下：

•我们提出了IDRLT，一种DIMVML框架，将解耦从特征分离扩展到缺失视图特定恢复。视图一致分支捕捉观测视图间的共享语义，而视图特定分支编码互补信息，这些信息可以被恢复并融合用于分类。
•我们引入了注意力引导的标签令牌，从不完整标签提供语义引导。标签令牌将任务相关的标签语义注入视图一致表示，使标签信息参与跨视图表示学习，而不仅仅作为最终监督。
•我们设计了一种逆恢复策略，从语义邻域推断缺失的视图特定特征。邻域从视图一致表示构建，并使用掩码感知聚合从语义相关的样本中收集可靠的视图特定信息。
•在五个基准数据集上的广泛实验证明了IDRLT在双重不完整、不同缺失率、单缺失和完整数据设置下的有效性和稳健性。

章节片段

多视图多标签学习

多视图多标签学习旨在通过联合利用异构视图和标签相关性，为每个实例预测多个标签。与单视图或单标签学习相比，MVML需要解决两个耦合的建模问题。第一个是如何融合来自不同视图的互补信息，同时保留每个视图的有用语义。第二个是如何建模标签之间的相关性或依赖性，因为多个类别可能共现并提供

问题表述和概述

设 ??={(????,????)}????=1 表示包含N个实例的数据集。每个实例与V个潜在视图相关联，形式化为 ????={??(1)??,…,??(??)??}，其中 ??(??)??∈????? 表示第v个视图对应的特征向量。全局标签矩阵定义为 ??∈???×??，每个实例的标签向量由 yi ∈ {0, 1}^C 表示，其中C代表类别总数。为了解决不完整多视图场景，我们引入视图指示矩阵 M ∈ {0, 1}^N×V；

数据集

遵循文献[13]、[28]、[30]中的实验设置，我们在五个不完整多视图数据集上对所提方法进行了全面评估：Corel5k [45]、Pascal07 [46]、Espgame [47]、IAPRTC12 [48] 和 Mirflickr [49]，具体细节见表1。在所有数据集中，统一提取了六种不同的视觉描述符作为六个视图：DenseHue（100维）、DenseSift（1000维）、GIST（512维）、HSV（4096

结论

本文提出了IDRLT，一种用于双重不完整多视图多标签学习的语义引导解耦信息融合框架。IDRLT使用可学习的标签令牌通过交叉注意力将不完整标签语义注入视图一致表示。这些表示为邻域构建提供语义基础，使得图引导的逆解耦恢复能够从可用样本中恢复缺失的视图特定信息。一种互信息

生成式人工智能和AI辅助技术在写作过程中的声明

在准备这项工作期间，作者使用ChatGPT来改善语言的清晰度和可读性。使用该工具后，作者根据需要审查并编辑了内容，并对出版物的内容承担全部责任。

CRediT作者贡献声明

Yinghui Sun：写作 – 审阅与编辑，写作 – 初稿，软件，方法论，资金获取，数据管理，概念化。Min Ouyang：写作 – 初稿，监督，软件，方法论。Min-Ling Zhang：监督，资源，调查，资金获取。Yuhui Zheng：可视化，资源，调查。Quansen Sun：监督，项目管理，资金获取，数据管理。

利益冲突声明

作者声明，他们没有任何已知的竞争经济利益或个人关系，这些可能会影响本论文所报告的工作。

Yinghui Sun|Min Ouyang|Min-Ling Zhang|Yuhui Zheng|Quansen Sun