基于多变量伯努利（MVB）分布约束优化的多标签数据平衡与压缩不平衡抽样方法及其在元研究中的应用

《Pattern Recognition》：A multivariate Bernoulli-based sampling method for multi-label data with application to meta-research

　　

该研究提出一种基于多变量伯努利（multivariate Bernoulli, MVB）分布的多标签抽样框架；通过约束优化为标签组合分配权重以校正标签不平衡；加权抽样可高效平衡边际标签分布；并在高维文献计量元分析应用中完成验证。

研究背景：在元研究等现实应用中，抽样科学文章等数据集常含多个并非互斥的标签，例如文献可同时被归入免疫学、神经科学、精神病学等类别。由于这些标签关联同一观测，数据集不能视为相互独立类别的集合，针对某一标签的数据操作会改变其他标签的边际分布。多标签学习（multi-label learning, MLL）旨在从此类数据获取信息，但部分标签频率极低，简单随机抽样会继承不平衡特征，小样本可能缺少稀有标签观测，难以支持可靠训练、评估或推断，对稀有标签的表征也可能产生误导性或不可泛化结果。多标签分类（multi-label classification, MLC）中的不平衡问题已受关注，现有算法多面向监督预测，或预选/生成样本，或增强分类器对不平衡标签分布的稳健性；但在元研究中，标签常用于描述研究本身，目标为表征而非预测。除标签不平衡外，多标签数据的标签依赖和复杂共现结构也是核心挑战。传统过采样和欠采样通过降权常见标签或升权不常见标签处理不平衡，但在标签互斥时可同时进行逆频率加权，存在标签依赖时此类方法可能加剧其他标签的不平衡。多数现有算法依赖不平衡比（imbalance ratio, IR）等指标，缺乏显式分布模型，抽样决策由标签频率而非数据生成过程指导；固定数据和超参数下结果确定，缺乏抽样所需的随机性；基于少数样本数值插值的合成方法对文本等离散数据亦有困难。因此，需要一种原则性、数学严谨的框架，直接建模多变量标签依赖与共现结构，并提供通用而非仅限监督学习的解决方案。
研究人员开展了以下研究：假设标签向量独立同分布服从多变量伯努利（MVB）分布，以标签组合概率参数化，并设全零标签组合概率为0；用经验最大似然估计（maximum likelihood estimator, MLE）估计标签组合概率。提出两种抽样算法：第一种为MVB平衡抽样，为每个标签组合赋权，使抽样后各标签边际概率相等，并通过含概率约束的约束优化求解权重，形式为最小化|A·Q?b·1_K×1|并满足P·Q=1、0≤q_y≤1/p_y、0≤b≤1；第二种为压缩不平衡抽样，在保留标签频率相对顺序的同时压缩最大与最小边际概率之比，设压缩后比例为R′，压缩强度为s，s→∞时等价于平衡抽样，并通过最小化|A·Q?b·R′|及同类约束求解。优化权重确定后，可按权重快速抽取任意大小的子样本，并支持重复抽样生成不同但保持标签平衡的子样本。研究结论是：该框架显式建模标签共现与协方差，模型无关且仅在标签空间运作；可在严格平衡与保留部分自然不平衡之间切换，并通过压缩强度控制不平衡程度。其重要意义在于为多标签数据提供概率化、可重复的通用抽样框架，并在高维文献计量元研究中验证了实用性。
关键技术方法：以MVB分布刻画标签组合，将K维二值向量经索引映射到整数；用经验MLE估计组合概率p_y；在概率约束下以L₁范数近似求解标签组合权重q_y，平衡抽样令各标签边际相等，压缩不平衡抽样令目标边际为bR′并设压缩强度s；按权重抽样生成子样本；以MeanIR和bootstrap评估；优化分别采用序贯最小二乘规划（Sequential Least Squares Programming, SLSQP；SciPy）与Clarabel（CVXPY）。样本来源：Web of Science 2023年221,400篇文章、64类别；WoS 2019—2023年1,341篇文章、6类别；UCO公开多标签数据集11个。
研究结果：
4.1 Example 1: Sampling from a large corpus with 64 categories。研究人员从WoS 2023年221,400篇、64类别文章中系统抽取3,000篇；该语料含1、2、3、4、5个标签的文章比例分别为55.8%、31.5%、10.1%、2.3%、0.3%，边际分布不均匀，随机抽样继承不平衡；采用MVB压缩不平衡抽样并设s=2后，边际分布更平坦且类别频率相对顺序大体保留。结论是该方法可在保留频率序的前提下缓解大类主导。
4.2 Example 2: Sampling from a smaller corpus with six categories。研究人员从2019—2023年1,341篇、6类别WoS文章中抽取200篇；原始分布非均匀，简单随机抽样由神经科学类别主导；采用s=2的MVB压缩不平衡抽样后得到更平衡样本，原文指出该应用已在近期工作中展示。结论是该方法在小语料中同样可改善标签边际平衡。
4.3 Example 3: Datasets from an open-source repository。研究人员将算法用于UCO公开库11个多标签数据集，以MeanIR衡量不平衡；多数标签数较少数据集的IR降至近1；高标签数数据集虽未完全平衡，但总体不平衡显著降低，bootstrap p值均≤0.001；高维小样本数据使用压缩不平衡抽样并按保留所有标签校准压缩强度。代表性结果为：Image由1.193降至1.031，CHD由45.766降至1.069，Yeast由7.197降至1.044，Genbase^a由37.315降至3.242，Yahoo Computer由176.695降至2.126，Bibtex由12.498降至10.164，CAL500^a由20.578降至12.573（p=0.001）。结论是算法可显著降低全局不平衡，但高维稀疏条件下完全平衡不现实。
讨论部分总结：研究人员提出两种抽样算法缓解多标签标签不平衡，核心区别是显式假设标签服从MVB分布并直接建模复杂共现；优化权重后可快速加权抽样任意大小平衡子样本，支持重复抽样生成不同但持续保持平衡的子样本；第二算法保留相对频率顺序并系统降低整体不平衡；前两个应用主要采用压缩不平衡抽样，是保留原始语料特征和频率排序同时缓解极端不平衡的实践折中；公开数据集应用显示理论平衡在数据稀疏下的局限，高维标签空间有限观测下完美平衡不可达且可能损害自然不平衡建模，按数据特征切换算法是务实方案。5.1 Similarity to Inverse Probability Weighted Estimator (IPWE)：两者均估计权重校正分布不平衡；逆概率加权估计（inverse probability weighted estimator, IPWE）先估计倾向得分P(A=1|X)，假设无未测量混杂，目标为边际随机试验下一致估计处理效应；本研究通过优化求权重Q而非建P(A|X)模型，目标分布有无限可能，Q无闭式解。5.2 Computational complexity：类别数增加使复杂度上升，例1的64类别对应2⁶⁴参数；未出现标签组合无需计算；线性系统欠定，A的秩小于变量数，b有无穷可能，故用优化；采用SLSQP（SciPy）和Clarabel（CVXPY），容差10^?8，最大迭代1000与2×10⁵；理论最坏复杂度O(2^3.5K)，实际为O(B^3.5)，B为唯一标签组合数。5.3 Limitations and future work：当前实证评估主要检验统计性质与抽样保真度，而非平衡标签分布对MLC预测的基准改进；与复杂模型交互仍在研究；未来将把抽样置于MLC建模前，评估少数标签预测改进，并通过压缩强度s控制少数标签召回与精确权衡。
6. Conclusion（结论翻译）：该研究提出两种抽样算法以缓解多标签数据中的标签不平衡。第一种算法强制严格平衡的标签分布，第二种引入可调超参数使研究人员控制不平衡程度。通过MVB分布直接建模底层多标签结构，算法显式考虑各标签间协方差和复杂共现依赖。两个聚焦文献计量文献抽样的元研究案例展示其实用性；此外，将算法应用于11个真实数据集并比较抽样前后IR，显示全局不平衡显著降低。未来工作拟将这些抽样算法整合为先进多标签分类器的预处理步骤。