《Knowledge-Based Systems》:An efficient self-paced multi-view method for partial label learning
编辑推荐:
摘要部分标注学习(PLL)旨在从带有歧义监督的数据中学习,其中每个训练实例都与一个包含真实标签的候选标签集相关联。尽管多视图数据可以为主旨信息以缓解标签歧义,但现有的多视图PLL方法仍难以在统一框架下同时应对标签歧义、视图异质性和渐进式消歧。为此,我们提出了SP-MVPLL,
摘要
部分标注学习(PLL)旨在从带有歧义监督的数据中学习,其中每个训练实例都与一个包含真实标签的候选标签集相关联。尽管多视图数据可以为主旨信息以缓解标签歧义,但现有的多视图PLL方法仍难以在统一框架下同时应对标签歧义、视图异质性和渐进式消歧。为此,我们提出了SP-MVPLL,一种高效的自步多视图部分标注学习方法。具体而言,我们在最大间隔框架下对多视图PLL进行建模,并引入共识分布以在输出层面强制跨视图一致性。为减轻标签歧义和噪声监督的不利影响,我们引入自步学习,在训练过程中逐步强调容易且可靠的实例。同时,我们开发了一种熵正则化的自适应视图加权机制,以自动平衡不同视图的贡献并防止退化的视图聚合。在五个基准数据集上不同歧义水平下的大量实验表明,SP-MVPLL相比最先进基线方法具有有效性。一个受控的两视图运行时研究进一步表明,SP-MVPLL在五个数据集中的三个上是最快的方法。当使用所有可用视图时,SP-MVPLL在每个数据集上均快于CFDM,将训练时间减少了52.4%–66.6%。
引言
部分标注学习(PLL)[1], [2]是一种弱监督学习设定,其中每个训练实例都关联一个候选标签集,真实标签隐藏在该集合中而非明确给出。这一问题在许多实际应用中自然出现,例如图像标注、网络挖掘和众包标注,标注者可能为某个实例提供多个合理的标签。PLL的核心挑战因此在于标签消歧,即如何在从歧义候选中识别真实标签的同时学习一个可靠的分类器。
PLL已被应用于多媒体内容分析[3]、个人信息识别[4]以及病理分类[5]。尽管已有许多PLL方法被提出,但大多数都是针对单视图数据设计的。然而,在实际应用中,数据往往由多个异质视图来描述,这些视图可能提供互补信息以改善分类和标签消歧。这促使了对多视图部分标注学习(MVPLL)的研究,其中学习者必须解决候选标签歧义的同时协调互补但异质的视图。现有的MVPLL方法[6], [7]已经表明,跨视图一致性和多视图融合可以有效提升歧义监督下的性能。然而,现有的MVPLL算法主要利用跨视图一致性或融合,很少从易到难组织歧义样本,同时细化潜在标签并估计视图可靠性。因此,本工作的创新之处在于将MVPLL作为新的问题设定,而是在一个优化框架内开发自步MVPLL公式化方法,将渐进式样本利用、潜在标签细化和自适应视图可靠性建模耦合在一起。
在PLL中,并非所有训练实例都同样可靠。歧义度较低的样本通常在早期阶段更具信息量,而困难样本若过早使用可能引入噪声监督。同时,不同视图可能具有不等的判别能力,将它们同等对待可能限制多视图学习的有效性。这些观察表明,一个有效的MVPLL模型不仅应利用跨视图信息,还应以由易到难的方式学习并自适应地平衡不同视图的贡献。
基于上述观察,我们认为一个有效的MVPLL模型应同时应对三个相互关联的问题:在不同学习阶段应信任哪些歧义训练实例,互补信息应如何跨视图传递以实现标签消歧,以及在视图可靠性不同时每个视图应贡献多少。这些问题相互作用:不可靠的样本可能破坏跨视图共识,不可靠的视图可能放大错误的潜在标签分配。现有的MVPLL方法通常强调跨视图一致性或特征融合,但较少关注歧义样本的渐进式利用以及在统一目标内对视图可靠性的显式建模。
为应对上述挑战,我们开发了SP-MVPLL,一个自步多视图部分标注学习的统一框架。所提出的方法将潜在标签最大间隔学习与跨视图共识分布相结合,使得候选标签消歧不仅由每个视图的判别能力引导,还由视图间的输出层面一致性引导。同时,引入自步学习策略,在早期阶段优先处理容易且可靠的实例,并逐步纳入更困难的歧义样本。此外,我们开发了一种熵正则化的自适应视图加权机制,以动态估计视图可靠性并避免退化融合。通过这种方式,SP-MVPLL在一个优化框架内实现了渐进式标签消歧、跨视图协作和可靠性感知的聚合。
本文的主要贡献总结如下:
- •
我们将多视图部分标注学习方法形式化为一个统一的自步最大间隔框架,将潜在标签消歧、跨视图输出一致性和渐进式样本选择共同纳入整个优化中。该公式化方法在MVPLL中显式地连接了歧义消解与由易到难的优化。
- •
我们引入了基于共识分布的协作机制和熵正则化的自适应视图加权策略,使模型能够在利用跨视图互补监督信息的同时动态考虑异质视图可靠性。
- •
我们推导了针对所提目标的交替优化算法,并通过基准对比、参数分析和消融实验实证表明,所得方法始终有效且鲁棒,尤其在歧义水平增加时表现更为突出。
章节摘要
多视图部分标注学习
部分标注学习(PLL)是一种典型的弱监督学习设定,其中每个训练实例都与包含未知真实标签的候选标签集相关联[1], [2]。由于监督信息存在歧义,PLL与多种弱监督设定密切相关,包括半监督学习[8], [9]、噪声标签学习[10], [11]、多实例学习[12], [13]、互补标签学习[14]以及部分多标签学习[15], [16]。
SP-MVPLL概述
SP-MVPLL旨在从三个密切相关的方面应对多视图部分标注学习:歧义监督、样本可靠性变化以及视图质量异质性。给定由多个视图描述的实例,模型首先生成每个视图的类别分数,使得每个视图可以提供关于哪个候选标签更合理的证据。由于真实标签未知但保证位于候选标签集中,学习者不仅应该
基线方法
我们将SP-MVPLL与四种代表性的单视图部分标注学习(PLL)基线方法进行比较,即GBRIP [44]、TERIAL [45]、CRL [46]和KMT-PLL [47],以及一种最近的多视图PLL方法CFDM [29]。
GBRIP是一种基于图的PLL方法,利用邻域关系进行迭代标签消歧。TERIAL将PLL问题转化为二分类学习任务并逐步细化歧义标签。CRL是一种基于置信度的风险最小化方法,联合
结论
本文从标签歧义、样本难度和视图异质性应联合处理而非孤立处理的角度研究了多视图部分标注学习。为此,我们提出了SP-MVPLL,一个整合了潜在标签最大间隔学习、基于共识的跨视图分布一致性、自步样本重加权以及熵正则化自适应视图加权的统一框架。所提出的设计使模型能够逐步利用可靠的
CRediT作者贡献声明
刘博:写作 – 原稿、监督、概念化。陈德文:写作 – 审阅与编辑、方法论、概念化。肖炎善:项目管理、资金获取。沈熙先:可视化。翁红高:验证。陈嘉怡:数据整理。黄凯宁:形式分析。汤勇:资源。
利益冲突声明
作者声明不存在已知的竞争性经济利益或个人关系,这些可能影响本文所报告工作的情况。
致谢
本工作部分由中国国家自然科学基金资助(批准号62076074),部分由广东省自然科学基金资助(批准号2025A1515010290)。
刘博|陈德文|肖炎善|沈熙先|翁红高|陈嘉怡|黄凯宁|汤勇