利用分形动力学的变异函数驱动结构化图正则化
《Knowledge-Based Systems》:Variogram-Driven Structured Graph Regularization leveraging fractal dynamics
【字体:
大
中
小
】
时间:2026年08月29日
来源:Knowledge-Based Systems 8.0
编辑推荐:
**摘要**
基于图的半监督学习(Graph-based Semi-supervised Learning, GSSL)固有的特性使其能够通过联合学习少量标签与底层图结构,实现对大规模无标签数据的分类。这种GSSL的复杂性已在图像标注领域引起越来越多的关注。然而,许多近期方
**摘要**
基于图的半监督学习(Graph-based Semi-supervised Learning, GSSL)固有的特性使其能够通过联合学习少量标签与底层图结构,实现对大规模无标签数据的分类。这种GSSL的复杂性已在图像标注领域引起越来越多的关注。然而,许多近期方法难以在较低维度下生成高质量的图,从而对系统性能产生了不利影响。为克服上述问题,本文提出了一种新颖的变差函数驱动结构化图正则化方法(Variogram-Driven Structured Graph Regularization, VDSGR),通过在独特的凸优化框架中学习具有缩放特征的局部结构,保证了在低维空间中精度的提升。首先,该方法使用统计调优的分形提取局部尺度不变形状特征,随后利用改进的变差函数距离度量将其构建为差异图,以提供类间样本的高区分度。所得图随后通过约束弹性网络正则化器进行优化,以生成稀疏相似图。最后,构建一个统一框架,将图结构学习与标签传播联合进行,以增强数据分类能力。VDSGR在异构性质数据集上的严格分析表明,在仅有5%–10%标签可用的情况下,其优越且一致的准确率超过94%,超越了同类方法。此外,无参数优化模型使整个过程优雅且适用于实时应用。
**引言**
各领域中技术的快速进步导致了海量数据的不断积累,这些数据被存储于多个数据库之中,促使需要多种精密的信息存储与管理手段来支持[1]。此类数据仓库的系统化高度依赖于分类与标注,而分类与标注是通过人工注释将已知标签赋予极其庞大的未知样本来实现的[2],[3],这极其耗时且劳动密集[4]。相反,自动化监督方法在扩展到现实场景时往往失败,因为标签信息不可用[5]。作为替代,半监督学习(Semi-Supervised Learning, SSL)通过分析大量无标签数据与少量标签信息,在众多应用中证明了自己的效力,从而增强了学习效果[6]。SSL的图版本——GSSL——因其固有的数据结构化能力(通过分析建模实现),在数据分类领域引起了关注,从而适用于标签传播[7]。
GSSL的优势还在于其简洁性以及与优雅的建模方式,这使其成为现实场景中分类与标签传播(Label Propagation, LP)的有效替代方案。然而,GSSL的效率取决于所构建的相似图质量及其结构[8],[9]。因此,众多GSSL方法主要集中于构建最优图。此外,高维数据的分类通常涉及增加的计算负担,对异常值更敏感、存在噪声连接以及标记不准确的样本,从而对模型性能产生不利影响[10],[11]。为缓解这些问题,GSSL通常调用图嵌入将高维数据投影到较低空间以捕捉内在关系,降低复杂度[12],[13]。通常,高维数据集中的噪声、冗余和数据无关性在投影到低维子空间时会扭曲嵌入,导致不准确邻域表示[14],[15]。此外,嵌入中的额外计算开销限制了其效率[16],[17],[18]。这些不足之处要求具有鲁棒性和有效性的特征表示模型来处理高维数据。
相比之下,现有方法在高维空间中直接使用欧几里得距离、曼哈顿距离和余弦距离来评估相似性[19]。这些度量独立地考虑数据点,忽略了数据分布中底层的结构关系。此外,对噪声和异常值的敏感性导致不可靠的相似性估计和退化的学习性能[20],[21]。因此,有必要开发鲁棒的相似性度量,以有效保留内在数据结构信息。此外,GSSL预测在面对不平衡数据集时(即不同类别中标记示例数量存在显著差异时)往往存在较大偏差并产生次优结果[7]。此外,GSSL算法通常涉及与图构建和标签传播相关的超参数调优。进一步,寻找最优解是一个费力的试错过程,凸显了开发简单无参数图学习的必要性。
传统上,GSSL通过利用使用相似性矩阵量化的亲缘性进行分类,然后通过LP进行分类,最后使用包含两项的正则化代价函数进行优化[11]。前者确定两个邻居样本的接近程度,后者代表整个图上的LP平滑性。现有方法高度强调成功的标签传播,而对图构建的优先级较低[4],[22]。然而,亲缘性矩阵的质量直接影响后续操作,而其构建方法的选择尚不明确[23]。为创建亲缘性矩阵,现有方法通常采用K近邻或ε?邻域算法,考虑样本间的局部连接性。然而,在实际中对不同数据集选择合适的k和ε极其困难,并且发现其受数据规模影响。虽然[24]构建了高斯加权图,其顶点反映给定样本,边代表其相似性。具体而言,尺度参数σ决定了方案的性能和噪声敏感性。因此,[25]采用了紧凑的局部重建策略并辅以平滑正则化,以实现有效的标签预测。虽然对异常值具有鲁棒性,但扩展的搜索空间增加了计算成本。相反,[26]引入多种相关性准则来定位邻居,并基于其样本密度传播标签。然而,特征空间半径的手动调优及其处理异常值的能力不足降低了其性能。这激发了对设计无参数、自适应加权相似性图[4],[14],[27],[28],[29]的追求,以提高分类精度。
作为替代,其他方法专注于优化图结构以提升分类精度。相应地,拉普拉斯加权图[8]提供了更好的数据分类以识别新类数据,但在扩展至不同数据集时表现出一致性差的准确率。相反,[30]使用概率调优能量密度函数结合最大似然方法构建自适应图用于LP。另一种概率方法[31]基于局部连通性意图识别最近邻(Probabilistic Nearest Neighbor, PNN),提高了分类精度,但标记样本的有限可用性导致性能下降。相比之下,谱模型[32]使用优化器统一图结构与投影,提升了分类精度,但其参数调优需要大量计算。同样,[33]使用归一化拉普拉斯与l2正则化构建自适应图,对噪声和异常值不太敏感。尽管减少了过拟合,但模型因众多超参数而增加了计算量。最近,基于质心的约束回归框架[34]增强了判别能力,改善了类内紧致性,提高了分类精度。然而,联合优化中的超参数调优及其线性特性限制了其在处理复杂非线性数据方面的有效性。尽管这些方法改进了分类,但其扩展到高维空间时需要降维(Dimensionality Reduction, DR)。
因此,众多GSSL方法致力于识别高效的子空间学习算法进行DR,同时保留邻居连接性以降低整体计算量。因此,非线性灵活流形嵌入(Flexible Manifold Embedding, FME)子空间[35]对未知样本的标签预测进行了线性回归。而极限学习神经网络[36]将主成分分析(Principal Component Analysis, PCA)与线性判别分析(Linear Discriminant Analysis, LDA)相结合,以增加类间偏差并进行DR。然而,它们未能利用流形学习中的底层结构,降低了精度。扩展的非线性FME[37]利用核函数对未知样本进行分类,尽管紧凑但仅实现边际改进。作为替代,[38]将线性回归低秩特征表示与内在子空间学习相结合,增加了实现复杂度。同样,l1正则化稀疏亲缘性矩阵[39]结合超参数调优的Isomap流形学习,自适应最近邻需要大量计算。而[40],[41],[42]使用非负且和为一约束的代价函数构建了融合DR的自适应图。虽然无参数,但其性能完全依赖于标记数据的质量,且需要较高的分类成本。这些需求在[27],[28],[43]中得到解决,通过施加稀疏性并最小化复杂度。最近,层次化有序稀疏图[44]利用局部数据结构扩大类间偏差,同时最小化类内差异,促进LP以提高识别精度,但增加了计算成本。作为替代,排序鲁棒稀疏标签传播(Ranked Sparse Label Propagation, RSLP)将干净版本与噪声版本分离,增加了实现复杂度[16]。最近,[45]将线性回归与低秩表示相结合,增强稀疏性与抗噪性。尽管精度有所提高,但其鲁棒特征建模以及无法捕捉非线性复杂数据结构,在应用于相对干净的数据集时导致过拟合。上述缺陷明确了开发简单优雅的数学模型的必要性,以便在低维空间中利用有限标记信息实现高质量自适应图,从而简化分类。
最近,研究人员越来越多地探索将图神经网络与半监督学习范式融合,以解决标签稀缺问题并提高预测性能。相应地,[46]分析了半监督图神经网络(Graph Neural Networks, GNN)的理论行为,使用聚合-读出机制推导了非渐近风险界限,包含显式误差分解和收敛性。尽管有所改进,该模型在有限标签下表现不佳,且对图扰动极度敏感。随后,双重负标签学习[47]相互训练两个子模型,一个生成伪负标签,另一个在增强数据上进行样本分类。双训练架构提高了精度但需要大量训练时间。进一步,线性低秩嵌入图[48]采用相关熵准则在多重视图谱分析框架中有效引导聚类。尽管如此,其对所选锚点数量的敏感性降低了其性能。最近,[49]采用K步随机游走返回概率结合动态编码,捕捉多视数据中的节点位置和中心性。虽然在有限标签下有效,但较大的K值增加了噪声并降低了信息质量。同样,[50]将基于KNN的图与半监督图结合,通过图卷积网络(Graph Convolution Network, GCN)训练以捕捉局部结构,补充标签传播。所得结果使用联合交叉熵与对比损失进行优化,实现判别式学习。然而,其对错误伪标签的鲁棒性较差,引入了噪声并降低了泛化能力。最近的可信度感知变分自编码器[51]从共识图和局部加权图中提取共享表示,有效处理不平衡和低质量的多视图数据。尽管确保了稳定性和鲁棒性,但分阶段图构建过程在某些视图下对噪声敏感。
作为替代,自适应决策模块[52]从多个子网络中提取空间-光谱特征,在有限标签下提高了预测精度。然而,由于泛化能力差,该模型仅限于跨数据集场景。另一种变体[53]使用对比损失函数调优KNN,增强成对光谱图中的同质性和异质性,捕捉高光谱图像中的近-远依赖性。其对超参数的依赖决定了精度,且需要大量调优。作为替代,[54]整合了多模态风格和内容特征以及时间变化,使用跨模态差异确保一致性对齐。多样特征随后通过层次化网络融合,以准确捕捉真实的地图变化。尽管性能有所提高,但增加的模态转换和超参数选择削弱了效果。相比之下,多维柯尔莫哥洛夫-阿诺德网络(Kolmogorov–Arnold Networks, KANs)[55]使用二阶统计对齐损失学习非线性激活函数。这一配置有效建模了语义和时间变化,促进了高光谱图像中小尺寸目标的精确检测。尽管检测效果出色,但在处理未配准的双时相图像时其效果下降。[55]的扩展——非线性注意力KAN(Adaptive Kolmogorov–Arnold Network, AKAN)[56]——将时间自构建(Temporal Self-Construction, TSC)与重加权幅值最大均值差异(Reweighted Amplitude Maximum Mean Discrepancy, RAMMD)损失相结合,通过从单时相到双时相源数据的知识迁移训练伪标签,解决标签稀缺问题。AKAN的精度提升归功于动态样条函数,但导致了显著更大的计算开销。尽管有所改进,上述深度学习方法需要大量参数调优和高计算成本,对有限标记数据和图扰动仍然敏感,使其不适合实时应用。这要求开发优雅且鲁棒的数学模型,能够在有限标签条件下有效对数据进行分类。
综上所述,从上述讨论中可以看出,图是通过带有正则化的代价函数获得最优相似性矩阵来构建的。这些操作需要大量计算,并且随着特征维度的增加而进一步增加。因此,有必要降低特征维度,这通过特征选择来实现。此外,良好的结构化特征在增强正则化效果方面起着关键作用。通常,l1范数通过充当特征选择器来确保稀疏性,从而实现正则化。然而,使用l1范数选择的特征数量受样本数量的上界限制。这要求适当的正则化,在保持稀疏性的同时确保学习的平滑性。
上述意图通过以下目标得以实现:• 制定一种无参数的自适应结构化图,以增强学习质量• 采用一种轻量级数据表示,在低维度下运行且具有较大的类间方差• 拟合一个新的不相似性度量,考虑噪声和异常值,准确辨别数据点• 开发一个凸优化模型,确保最优相似矩阵快速收敛• 实现一种自适应正则化器,通过促进稀疏性来有效平衡数据并提升泛化能力• 开发一种简单的线性规划算法,保证标签信息的有效传播为了实现上述目标,利用以下机制开发了一个新颖的统一框架:• 基于分形维数的高阶特征提取,以增强判别性表示• 鲁棒半变异函数不相似性度量,以改善类间可分性• Softmax调优的凸优化,以实现高效的相似矩阵学习• Elastic-Net正则化,以增强稀疏性和泛化能力• 统一的图学习与标签传播优化,以提升分类精度上述策略确保了无参数优化,以实现自适应图,用最少操作获得更高精度,从而确定其可扩展至实际应用。本文其余部分按如下方式组织:第2节简要阐述问题定义,随后介绍基于分形特征和统一代价函数的新颖自适应相似图构建。第3节详细介绍学习模型在基准数据集上的相对验证。第4节从时间和空间维度出发,使用大O符号计算分析模型在真实世界场景中的可行性。最后,第5节总结所提出的新颖性及其成果。章节摘要方法论构建一个简单且高质量的降维相似图在图半监督学习中被认为是至关重要的,影响着模型的精度。此外,从投影角度来看,降维是另一个加强图半监督学习的主要因素,同时增加了过程的复杂性。因此,本文提出了一种自适应相似图,确保基于局部连接性的标签传播,并在降维特征空间中运行。该过程从使用……开始提取局部特征数据集描述和实验设置本节描述了用于验证所提出的VDSGR性能的各种数据集和评估参数,以及与竞争方法比较的框架实现。计算复杂度本分析主要揭示VDSGR在时间和空间域中的实现情况,以扩展至实际应用。主要关注时间复杂度,涉及生成最优相似图所涉及的各独立计算模块数量。首先,该过程从提取缩放特征开始,表示为$F_V \in \mathbb{R}^{n \times d}$,使用FD采用对数运算,其时间复杂度如公式(37)所示 $O(\log(n))$,$n$—数据集中的样本数;$d$—结论本文提出了一种简单的图半监督学习模型,通过结合最近邻和标签信息,基于局部结构学习数据相似性。所提方案的关键贡献是提取分形特征,保留局部几何结构,同时有效处理缩放问题。另一主要贡献是创建了一种新颖的NSV距离度量,通过提高类间偏差来增强分类精度。随后,……CRediT作者贡献声明Kanimozhi M.:撰写—初稿、可视化、验证、软件、资源、方法论、调查研究、形式化分析、概念构思。Sudhakar M.S.:撰写—审阅与编辑、可视化、验证、监督、软件、方法论、调查研究、形式化分析、概念构思。利益冲突声明作者声明,他们没有已知的可能影响本文所述工作的竞争性经济利益或个人关系。Kanimozhi M. | Sudhakar M.S.
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号