多宇宙凸组合支持向量机

《Neurocomputing》：Convex combination Universum support vector machine with multiple Universum

　　摘要：宇宙学习通过引入非目标样本作为辅助先验知识，从而改进决策超平面的构建。现有的宇宙支持向量机模型通常将宇宙样本视为同质的辅助集，这可能忽视了多个宇宙数据源在语义或结构上的差异性。为解决这一局限，本文提出了凸组合宇宙支持向量机，这是一种针对具有异构宇宙子集的分类任务而设计的结构化宇宙学习框架。CUSVM通过在其凸包内学习每个宇宙子集的凸组合，并将这些子集级代表嵌入由两个共享权重的平行超平面构成的有序不确定性带中。这样一来，经典的宇宙矛盾原理就从同质样本级约束扩展到了结构化的子集级几何建模。凸组合系数是在优化过程中学习的，而非手动指定，而且传统USVM可视为CUSVM的一种受限退化形式。此外，本文还分析了所提方法的计算复杂度、可扩展性、宇宙数据构建以及参数调优策略。在合成数据、图像、动作识别、大规模结构化数据、文本、时间序列以及医学数据集上的实验表明，与传统的SVM类基准方法及先进的分类器相比，CUSVM在分类性能和稳定性方面都具有竞争力。在噪声较大、数据存在偏差或宇宙数据量有限的场景下进行的额外实验进一步表明，CUSVM对不完美的宇宙数据具有较好的鲁棒性，但其有效性仍依赖于具有信息价值的同一领域非目标宇宙子集。

引言：将先验知识纳入监督机器学习是当前的一个活跃研究领域[1][2]。宇宙是一种特殊的先验知识，它由来自同一领域但不属于任何目标类别的数据样本构成。例如，在对手写数字“5”和“8”进行分类时，其他数字“0”、“1”、“2”、“3”、“4”、“6”、“7”和“9”就构成了宇宙。Vapnik提出，宇宙学习是通过矛盾机制来实现的。其理念是，宇宙样本应为所学分类器创造最大的矛盾。一个良好的决策边界不仅要能够正确区分训练样本，而且在遇到宇宙样本时也应产生最大的不确定性。这是通过将宇宙样本置于决策边界附近来实现的，从而迫使分类器意识到其对目标类别之外的样本的不确定性。这种方法增加了限制假设空间的约束，进而有助于实现结构风险最小化。宇宙学习已被应用于支持向量机及其他机器学习模型中。该方法利用了标准监督学习所忽略的领域知识，从而使模型更具鲁棒性和泛化能力。Weston等人[3]奠定了宇宙学习的理论基础，他们提出了宇宙支持向量机。Chapelle等人[4]从理论上对这一概念进行了分析，并将其与费希尔判别分析以及双主成分分析联系起来。该框架很快被扩展到半监督分类[5]和多实例学习[6]领域。Chen和Zhang[7]以及Cherkassky等人[8]建立了早期的实用指南和样本选择策略，这些方法还被应用于性别分类[9]中。随后很快出现了各种算法扩展，包括利用宇宙数据的提升算法UBoost[10]、宇宙线性判别分析ULDA[11]以及结合宇宙数据的双SVM[12]。进一步的改进则涉及成本敏感学习[13]、自训练机制[14]、多视图学习[15][16]，以及类似-twin SVM的变体[17]。最近的研究则集中在距离度量学习[18]和回归分析[19]方面。最新的理论进展包括多核学习[20][21]、半监督方法[22]、传递式学习和迁移学习[23][24]、对比学习[25]以及极端学习机[26]。最近的研究还致力于为ULDA和多任务双SVM开发高效的递归或无逆公式[27][28][29]。近年来，基于宇宙数据的学习方法已被进一步拓展到更多实际且具有挑战性的分类场景中。例如，Liu等人提出了一种基于自适应鲁棒AdaBoost的双支持向量机，并结合宇宙数据，证明了宇宙信息可以与集成学习相结合，以提高分类的鲁棒性[30]。Kumari和Tanveer提出了带有截断弹球损失函数的宇宙双支持向量机，这进一步体现了当前将宇宙学习与鲁棒损失设计相结合以处理噪声和异常值的趋势[31]。Lou和Xie开发了具有不敏感弹球损失函数的多视图宇宙支持向量机，将基于宇宙的学习从单视图分类扩展到了多视图学习场景[32]。更近期的是，Wang等人提出了一种稀疏弹球宇宙非平行支持向量机及其安全筛选规则，进一步将宇宙学习与鲁棒的稀疏损失设计以及计算加速技术相结合[33]。Ganaie和Ahire在双SVM框架中将宇宙数据与粒度球计算相结合，通过将数据实例表示为粒度球而非单个点，提升了模型的鲁棒性和计算效率[34]。Wang等人进一步开发了结合宇宙数据和安全筛选规则的弹性网双支持向量机，表明目前的基于宇宙的模型越来越注重正则化损失设计以及可扩展的优化策略[35]。这些最新研究表明，宇宙数据不仅被用作规范二元分类器的辅助样本，还被视为一种灵活的先验信息来源，可用于提高复杂学习任务中的鲁棒性、损失设计水平、计算效率以及模型泛化能力。宇宙学习在实际应用中展现了其在不同领域的广泛应用。早期的应用案例包括姿态识别[36][37]和文档聚类[38]。该框架在生物医学信号处理领域尤其具有重要意义，尤其是在脑电信号分类方面，已有大量专门的双SVM算法被开发出来[39][40][41][42]。它还被成功应用于医疗诊断领域，比如阿尔茨海默病诊断，通过递归特征消除技术以及针对类别不平衡问题的鲁棒算法来实现[43][44]。在生物医学领域的其他创新应用还包括脑龄估算[45]。在医学之外，宇宙学习还被应用于金融情感分析[46]。它与其他机器学习范式的兼容性也得到了体现，例如通过改进的提升算法[47]，以及其在半监督文本分类中的应用[48]。最近的应用还解决了多视图子空间学习中的类别不平衡问题[49]，这进一步凸显了该框架从理论概念发展为解决复杂现实问题强大工具的历程。尽管已有大量的理论研究和实际应用，但现有的宇宙学习方法仍存在若干关键局限性，这些局限性影响了它们在复杂现实场景中的应用效果。首先，目前大多数方法都将所有宇宙数据视为单一的同质类别，而没有考虑非目标类别内部的多样性。其次，虽然近期的研究已经解决了数据分布问题和类别不平衡问题，但仍然无法捕捉多源宇宙数据中存在的结构差异性。第三，现有的集成学习和提升算法主要侧重于算法层面的改进，而非解决宇宙类别区分这一根本问题。在文本分类等应用中，这些局限性尤为明显，因为宇宙数据可能来源于各种互不相关的主题，每个主题都会带来不同的语义信息；在图像识别任务中，来自不同领域的宇宙样本具有独特的视觉特征，不应被统一对待。为明确所提方法与现有宇宙学习模型之间的概念差异，表1从宇宙表示方式、多宇宙数据源的处理方法、决策边界结构以及主要建模目标等方面总结了典型的基于宇宙的方法。需要强调的是，凸组合以及使用两个超平面的做法本身并非新事物。凸组合在机器学习中被广泛使用，而两超平面结构也出现在多种SVM变体中，尤其是双SVM及其基于宇宙的扩展版本。CUSVM的创新之处在于，它将这些组件结合在一起，应用于具有多个异构宇宙类别的SVM学习场景中。更确切地说，CUSVM将每个宇宙类别视为一种集值形式的先验知识来源，为每个宇宙子集学习受单纯形约束的凸包代表作为优化变量，并将这些学到的代表嵌入到两个目标类别之间的共享有序不确定性带中。这与传统的USVM有所不同，后者通常会将宇宙样本汇总为一个同质的辅助集；也与双SVM类方法不同，后者中的两个超平面主要是作为用于分隔目标类别的类别特定近端面而构建的。在CUSVM中，这两个超平面拥有相同的法向量，共同构成有序阈值，用于定义结构化的宇宙表示的不确定性带。因此，CUSVM的独特贡献不在于单独使用凸组合或两个超平面，而在于它引入了一种子集级机制，用于在统一的SVM优化框架内表示、平衡并整合多个异构的宇宙类别。为解决这些根本性问题，本文提出了凸组合宇宙支持向量机CUSVM。CUSVM的核心动机并非简单地增加更多的宇宙样本或独立处理多个宇宙类别，而是重新思考当非目标样本具有异质性时，宇宙能提供何种类型的先验知识。在传统的USVM中，宇宙数据主要被用作应靠近决策边界的同质矛盾集。当宇宙可以被视为单一的辅助分布时，这种处理方式是可行的，但当宇宙由多个在语义或结构上存在差异的非目标数据源组成时，这种方式就会显得过于局限。因此，CUSVM引入了一种结构化的宇宙表示方式，即把每个宇宙子集建模为凸包，并通过受单纯形约束的凸组合从该凸包中学习出代表性点。这种设计实现了从样本级的宇宙矛盾到子集级宇宙几何结构的概念转变。CUSVM不再强制让每个宇宙样本在构建决策边界时扮演相同的角色，而是为每个宇宙子集学习两个代表性的凸组合，并将这些代表置于一对对偶的平行超平面结构之中。由此产生的有序不确定性带为两个目标类别之间的异构宇宙信息提供了明确的几何空间。因此，CUSVM的理论精髓在于将宇宙从无差别的辅助样本池转化为一种结构化的集值先验，使其能够在优化过程中被表示、平衡并整合。CUSVM具有以下独特优势：•结构化的宇宙表示而非同质化聚合：CUSVM明确将不同的宇宙子集视为结构上各异的先验知识来源。这与传统的USVM不同，后者通常会将宇宙样本汇总为一个辅助集，而不对其内部差异进行建模。•基于凸包的代表性学习：对于每个宇宙子集，CUSVM都会学习受单纯形约束的凸组合系数。这些学到的代表并非预先手动指定或固定的，而是在优化过程中作为决策变量获得的。这种方式为在集合层面概括每个宇宙子集提供了一种有原则的方法，而无需仅仅依赖单个宇宙样本。•有序不确定性带几何结构：通过引入两个共享权重的平行超平面，CUSVM构建了一种有序的几何结构，在该结构中，负样本、宇宙代表样本以及正样本以与决策边界一致的方式排列。这将USVM的经典矛盾原理从单一的决策边界扩展到了结构化的不确定性带。•与USVM的理论一致性：当对偶超平面结构崩溃且凸组合约束不再起作用时，CUSVM包含USVM的最小二乘形式作为其退化情况。这一关系被用来证明CUSVM与USVM原理是一致的，而其主要创新点则在于对异构宇宙子集的结构化建模。•跨多种数据模态的实证验证：在合成数据、手写数字识别、交通标志分类、人类动作识别、高维文本分类、时间序列脑电信号分类以及医学诊断分类等不同数据集上进行的全面实验表明，所提出的结构化宇宙建模方法并不局限于图像或动作识别任务。实验结果表明，只要样本能够被表示在向量空间或核诱导的特征空间中，且宇宙数据能够被整理成具有意义的同一领域非目标子集，CUSVM就可以应用于不同的数据模态。这一额外的验证也表明，CUSVM的优势源自于结构化的异构宇宙信息，而非任何特定于模态的视觉假设。本文的其余部分安排如下：第2节简要介绍支持向量机以及宇宙支持向量机；第3节详细阐述所提出的CUSVM算法；第4节展示在各类数据集上的实验结果；第5节对全文进行总结。给定一个带有标签的数据集，SVM会寻找一个由特定参数定义的超平面，以最大化正类样本与负类样本之间的间隔。SVM的优化问题可表述为：其中该参数是一个控制不同折衷关系的超参数。凸组合宇宙支持向量机在许多分类任务中，除了带有标签的训练数据外，我们可能还拥有被称为“宇宙集”的一组无标签数据。这些宇宙集样本不属于任何目标类别，但来自同一总体领域。传统的半监督学习方法可以利用无标签数据，而宇宙集则提供了一种不同的先验知识形式。其核心理念是，一个良好的决策边界不仅要能够分隔目标类别，还要尽可能远离其他区域。

实验所有实验均使用MATLAB R2020a在配备英特尔酷睿双核处理器（3.60 GHz）和64 GB内存的电脑上完成。在所提出的CUSVM模型中，迭代优化过程包含两个主要子问题。对相关参数的优化构成了一个凸二次规划问题，可通过MATLAB中的“quadprog”函数来解决；而另一个子问题则可简化为线性规划问题，可通过“linprog”函数来处理。

结论本文提出了凸组合宇宙支持向量机CUSVM，这是一种针对涉及多个异构宇宙数据源的分类任务而设计的结构化宇宙学习框架。与传统通常将宇宙集样本视为同质辅助集的USVM模型不同，CUSVM通过在其各自的凸包内学习得到的凸组合来表示不同的宇宙子集。随后，这些子集级别的代表会被嵌入到有序的贡献度声明中。

Yi-Fan Qi：撰写——初稿、可视化、验证、软件、方法论、数据整理、概念设计。Chun-Na Li：撰写——审阅与编辑、指导、概念设计。Yuan-Hai Shao：撰写——审阅与编辑、指导。Ting-Ting Guo：验证、资源提供。

利益冲突声明作者们声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：Chun-Na Li表示获得了海南大学的财政支持；Yuan-Hai Shao也表示获得了海南大学的财政支持。Chun-Na Li与海南大学存在包括就业关系在内的关联；Yi-Fan Qi也与海南大学存在包括就业关系在内的关联；Yuan-Hai Shao同样与海南大学存在某种关联。

致谢本研究得到了中国国家自然科学基金（编号62466014、12271131）以及中国国家自然科学基金重大项目（编号T2293774）“国家和社会数据的智能安全治理方法”嘅支持。

数据使用的伦理与知情同意说明本文仅使用了那些已获得授权或可公开获取的数据集。

代码可用性为提升透明度、可重复性以及便于未来研究使用，CUSVM的实现代码已公开发布在//github.com/Ansolors/CUSVM.git地址上。

Yi-Fan Qi于2018年在中国重庆交通大学获得工学学士学位，2022年在中国海南大学获得硕士学位。他目前正在海南大学攻读博士学位，研究兴趣包括优化方法、机器学习、数据挖掘、自然语言处理、支持向量机以及特征选择。

Yi-Fan Qi|Chun-Na Li|Yuan-Hai Shao|Ting-Ting Guo中国海南省海口市570228，海南大学国际商学院