基于相关性感知的标签引导一致网络，用于部分多视图不完整多标签分类

《Neural Networks》：Correlation-Aware Label-Guided Consistent Network for Partial Multi-View Incomplete Multi-Label Classification

　　摘要：鉴于手动标注和数据收集存在的不确定性，多视图多标签学习的发展往往面临部分视图和不完整标签带来的挑战。尽管已有部分方法试图解决这些问题，但大多数方法并未充分利用视图间和标签间的相关性，而这些相关性对于提升融合表示的质量至关重要。为应对这一问题，我们提出了一种名为关联感知标签引导一致性网络（CALGC-Net）的局部多视图不完整多标签网络。与现有的多视图融合方法不同，我们设计了一个关联感知子网络，该网络能够根据视图间的核心相关性动态分配融合权重，从而提升融合表示的质量。此外，我们还利用标签之间的语义依赖关系来约束特征表示，确保嵌入空间中的语义结构与标签空间保持一致。在五个基准数据集上的大量实验表明，CALGC-Net在多种评估指标上均优于包括CDMM、iMvWL、NAIM3L、DD-IMvMLC-net、SSP、DICNet、LMVCAT和MTD在内的多种现有方法。这些结果充分体现了CALGC-Net在处理局部多视图不完整多标签分类任务方面的有效性。代码地址为https://github.com/yanglq2003/CALGC-Net。

引言：现实世界中的数据往往可以从多个视角进行观察和理解，每个视角都能提供关于数据对象的不同信息（Benjamin和Yang，2021；Chen和Liang，2025；Liang等人，2025；Zhang等人，2025）。例如，一个网页可以通过其上的文字以及其他网页指向它的链接来描述；在多媒体内容理解中，多媒体片段则可以通过视频摄像机的视频信号和录音设备的音频信号来同时描述。为了充分利用这些多源信息，人们引入并发展了多视图学习技术，旨在通过结合来自不同视角的互补信息来提高数据分析的准确性和鲁棒性。此外，一些近期研究还探讨了图对比学习、张量分解以及多视图图神经网络在推荐和预测任务中的应用（Chen等人，2025）。例如，Du等人（2025）提出的LargeMvC-Net采用深度锚点架构，提升了大规模多视图数据的可扩展性和聚类一致性，有效整合了表示学习、噪声抑制和锚点估计功能。Du等人（2024）提出了UMCGL，这是一种通用的多视图共识图学习框架，能够在不同视角和群体之间平衡一致性与多样性。另外，还有一种多视图开放集学习框架被提出，通过校准模糊不确定性并应用视角级去偏处理来提升未知类别的识别能力（Fang等人，2025）。尽管从多个视角综合信息在提升我们对数据的理解方面展现出巨大潜力，但现实应用中的复杂性往往超出了单标签分类的处理范围（An等人，2024；Basheer等人，2024；Li等人，2023；Patel等人，2024；Shao和Xu，2025；Zhang和Zhou，2013）。这种复杂性催生了多视图多标签分类（MVMLC）这一领域。近年来，MVMLC得到了广泛的研究。例如，Sun和Zong（2020）提出了LCBM，该方法通过在共享子空间中利用潜在变量将多个视角联系起来，从而实现跨视角的融合表示获取。另一种方法是Zhao等人（2021）提出的CDMM，它综合考虑了标签间的相关性以及不同视角对模型的影响。此外，Zhao等人（2022a）引入了MVLD，这是为了解决因视角不一致导致的标签不一致问题而做出的开创性尝试，旨在探索特定于视角的标签。更近期的研究中，Wang和Cheng（2024）首次将位置信息纳入MVMLC中，强调了视角位置的重要性。Xiao等人（2024）提出了MVMLP，该方法通过最小化不同视角下各标签的预测值来实现共识原则。Li等人（2025）提出了CSVL，该方法利用特征和标签流形来捕捉标签间的相关性，并通过弗罗贝尼乌斯范数来区分每个视角下不同标签的特殊子空间。值得注意的是，现实场景中常常会出现额外挑战，主要是部分视图和不完整标签的问题，这些问题可能会影响分类结果的可靠性。为了解决这些问题，研究人员开始探索能够处理局部多视图不完整多标签分类（PMVIMLC）的方法。Tan等人（2018）开发了iMVWL模型，旨在学习一个能够整合不完整视图信息和局部标签相关性的判别性共享子空间。Li和Chen（2021）进一步推动了这一领域的发展，他们提出了NAIM3L，该模型无需视角对齐即可有效处理缺失信息。Wen等人（2023）开发了DD-IMvMLC-net，该模型旨在有效利用现有的数据和标签信息，减少不完整信息带来的负面影响。在此基础上，Liu等人（2023a）开发了DICNet模型，该模型专注于不完整多视图数据的高级语义表示。Liu等人（2024）设计了MTD，该模型将视角级表示分为共享表示和特定于视角的表示，并通过跨通道对比损失函数增强这两个通道的语义属性。此外，图卷积网络也被用于解决这一问题。例如，Cui等人（2024）提出了LSGC方法，该方法利用图卷积网络来学习语义标签表示。Duan等人（2024）提出了VCMN，这是基于混合器的初始模型，用于在PMVIMLC中实现视角和通道的双重信息融合，它将单个视角的高级特征提取与跨视角信息交互相结合。Wang等人（2025）的CSCR方法利用标签共现矩阵构建半监督多视图对比学习对，使模型能够在视图缺失和标签不完整的情况下学习出具有判别性的潜在表示，从而提升多标签分类性能，而CALGC-Net则在融合过程中自适应地调整不同视角的权重。Yang等人（2025）的SGDC方法采用双重编码器解耦机制和结构引导的对比学习，在部分视图和标签不完整的情况下学习出具有判别性的潜在表示，从而提升多视图多标签分类性能，同时CALGC-Net会侧重于使用更可靠的视角信息来提升表示质量。Shao和Xu（2025）的CSA方法利用改进的对比学习和多视图循环生成对抗网络，在部分视图和标签缺失的情况下提取共识语义信息，从而提升多视图多标签分类性能。尽管多视图学习取得了显著进展，但传统的融合方法仍然难以有效利用视图间和标签间的相关性。为此，我们提出了一种名为关联感知标签引导一致性网络（CALGC-Net）的新型局部多视图不完整多标签网络。CALGC-Net模型由四个子网络组成：特定于视角的特征表示学习模块、关联感知子网络、标签引导一致性约束子网络以及不完整多标签分类子网络。首先，为了获得更具判别性的特征，我们使用了特定于视角的特征表示学习模块。随后，为了增强模型整合跨视角信息的能力，我们提出了一个关联评估器，用于量化并汇总视图间的核心相关性，从而重新分配融合权重。这样一来，那些视图间核心相关性更高的视角就能为融合表示做出更重要的贡献。此外，我们还提出了一个标签引导一致性约束子网络，该网络利用标签间的相关性信息来约束特定于视角的表示以及融合后的表示，从而确保具有相似标签的样本在特征空间中能更紧密地聚集在一起。再者，通过使用不完整多标签分类子网络，我们可以实现端到端的多标签预测。总之，我们网络的主要贡献如下：•我们提出了一种关联感知子网络，该网络能够根据视图间的核心相关性动态调整融合权重，从而优化信息整合，有效提升了模型整合跨视角信息的能力，进而显著提高了融合表示的质量。•我们提出了一种标签引导一致性约束机制，该机制在监督作用下使各个视角与融合表示保持一致。与以往的视角内对齐方法不同，我们的方法增强了跨视角交互，打破了视角间的壁垒，从而为后续分类提供了更具表现力的特征。•为了更好地利用视图间和标签间的相关性来提升融合表示的质量，我们将关联评估器和自适应融合模块以及标签引导一致性约束方法整合到一个统一的框架中。在五个数据集上的大量实证研究证明了我们网络的能力，显示出其在不同数据条件下的通用性。

章节节选：多视图多标签分类：近年来，有许多方法被提出来解决多视图多标签分类（MVMLC）中的问题，这些方法旨在同时处理包含多个视角和标签的数据。例如，Wu等人（2019）提出了SIMM方法，该方法将共享子空间探索与特定于视角的提取相结合。另一种方法是Kan等人（2016）提出的MvDN，该方法旨在学习跨多个视角的共享的、非线性的且具有区分度的表示。此外，还有Zhao等人的研究……

所提出的方法：本节介绍了如图1所示的一种新网络——CALGC-Net。首先，我们简要介绍问题的提出背景，为我们的研究奠定基础。接着，我们通过四个关键组成部分详细阐述该模型：特定于视角的特征表示学习、关联评估与自适应融合、标签引导一致性约束以及不完整多标签分类。最后，我们介绍了整体损失函数部分，该部分整合了……

数据集与数据准备：在Guillaumin等人（2010）、Li和Chen（2021）、Tan等人（2018）的工作基础上，我们在五个广为人知的基准数据集上评估了我们的方法。表2对这些数据集进行了简要总结，随后是更详细的描述：

Corel5k：Chandrashekar等人（2013）构建的这个数据集包含了5,000张高分辨率图像，涵盖了各种主题和场景。它在评估图像标注算法的性能方面发挥了重要作用，尤其是在存在噪声的情况下……

讨论：在本研究中，我们提出了CALGC-Net，旨在解决局部多视图不完整多标签分类问题。为了全面评估该模型，我们分析了其在不同条件下的性能，并总结了它的优点和局限性。在缺失视角比例为0%、30%、50%和70%的五个基准数据集上的实验表明，CALGC-Net在不同程度的缺失情况下都能实现稳定且显著的性能提升。这些结果表明……

结论：在本文中，我们提出了专门用于局部多视图不完整多标签分类任务的关联感知标签引导一致性网络。通过引入关联感知子网络，CALGC-Net即使在数据缺失的情况下，也能根据视图间的核心相关性动态调整融合权重。此外，标签引导一致性约束机制利用监督信息来调节特征表示，确保它们保持一致性……

未引用文献：表1，算法1C

CRediT作者贡献声明：Linqian Yang：撰写——初稿，可视化。Yishan Jiang：形式分析，数据整理。Xing Jin：数据整理，概念构建。Tao Zhuang：资源获取，资金筹集。Xiyin Wu：撰写——审阅与编辑，资金筹集。

利益冲突声明：作者声明没有已知的财务利益或可能影响本文所述工作的个人关系。

致谢：本研究得到了贵州省基础研究计划（黔科合基金[2024青年094]）和贵州省基础研究计划一般项目（黔科合基金MS[2026]149）的支持。

Linqian Yang|Yishan Jiang|Xing Jin|Tao Zhuang|Xiyin Wu