OS2FSG：基于高斯Copula的在线稀疏流式特征选择方法

《Neurocomputing》：OS2FSG: Online Sparse Streaming Feature Selection via Gaussian Copula

　　严慧勇|陈飞龙|陈佳|赵丽中国重庆重庆科技学院计算机科学与信息工程学院摘要在线流式特征选择在降低分析高维数据流所需的计算成本和时间方面起着关键作用。在实际的大数据应用中，由于仪器故障或隐私问题等不可预测因素，流式特征通常包含大量缺失数据。然而，大多数现有方法仅适用于完整数据，而以往利用潜因子分析的方法需要手动搜索参数，并且仅限于特定类型的数据。为解决这些限制，本文提出了一种基于高斯Copula的新的在线稀疏流式特征选择方法。该主要方法涉及使用高斯Copula来估计稀疏流式特征中的缺失值，同时结合期望最大化算法在选择过程中自适应更新模型参数。这一设计消除了手动搜索最优参数的需要，提升了模型在现实世界在线场景中的适用性。在十二个数据集上进行的广泛实验表明，所提出的算法在处理稀疏流式特征选择问题方面优于八种现有的最先进方法。OS2FSG算法的源代码可在以下地址获取：https://anonymous.4open.science/r/OS2FSG-26Y3M17D/。引言在大数据时代，面对高维数据场景时，特征选择是降低数据维度的主要方法[1]，[2]，[3]，[4]，[5]，[6]，[7]。随着技术的进步和互联网的发展，对实时降维的需求日益增加。在线流式特征选择（OSFS）[8]，[9]，[10]，[11]，[12]是一种用于处理高维流式数据的在线实时降维方法。OSFS假设实例数量是固定的，但其特征会随着时间逐一连续流入。现有的OSFS算法，如Fast-OSFS[13]、SAOLA[14]、OSFASW[15]、SFS_FI[10]和OSSFS[16]，都是针对完整流式特征的特征选择问题，没有考虑稀疏流式特征的场景。然而，在实际的大数据相关应用中，由于人为错误、仪器故障和隐私问题等各种不可预测因素，流式特征通常存在大量缺失数据。例如，在交通领域，记录在案的全球定位系统（GPS）数据中隐藏着丰富的车辆状态信息，如经纬度坐标、车牌号、时间、车辆载重状态、实时速度、道路段名称等。通过挖掘这些GPS数据，可以深入发现用户的行为信息。但由于定位设备的质量问题、周围环境的干扰以及数据传输的不确定性，这些收集到的GPS数据通常存在大量缺失数据问题，具体如下：1）车辆在高层隧道、峡谷和高架桥下行驶时，信号传输会受到限制；2）手机或车辆GPS设备在定位系统关闭后无法传输位置信息；3）为了节省能耗，一些车辆的定位信息采集设备设置了较低的发送位置数据频率；4）车辆在传输过程中会丢失GPS数据。由于现实场景中数据稀疏性的出现，OSFS面临一个新的挑战：如何进行在线稀疏流式特征选择（OS2FS）？我们之前提出了一种名为LOSSA [17]的通用框架来处理OS2FS问题。LOSSA采用潜在特征分析（LFA）来预先估计OS2FS中稀疏流式特征的缺失数据。然而，LFA [18]，[19]，[20]，[21]是一个包含学习率、正则化参数、潜在因子维度等多参数的模型。在OS2FS过程中，它需要在不同的流式特征集上搜索最优参数。此外，LFA遵循协同过滤[22]原理来估计缺失数据，这要求新出现的和已存在的稀疏特征只包含同一数据类型的数值。不幸的是，由于实际应用中数据的异构性和复杂性，流式特征通常是混合类型的（即包括布尔型、序数型和连续型）[23]。因此，LFA的这些要求限制了其在真实在线场景中的应用。值得注意的是，基于非参数近似期望最大化（EM）算法，高斯Copula能够很好地建立包含缺失值的混合类型数据之间的统计相关性[24]。受此启发，本文提出了一种基于高斯Copula的新型在线稀疏流式特征选择算法（OS2FSG），无需任何手动参数搜索。OS2FSG采用非参数高斯Copula（GC）模型来预先估计混合类型稀疏流式特征的缺失数据。通过开发高效的近似EM算法，可以从不完整数据中估计出Copula参数。与多元正态分布类似，GC能够以完整的概率方式定义、评估和解释混合类型稀疏流式特征之间的相关性，从而使拟合的Copula模型具有可解释性，能够揭示混合类型稀疏流式特征之间的统计关联。此外，GC还可以灵活结合广义线性模型来调整由缺失数据引起的混杂因素，使算法性能得到提升。本文的主要贡献如下：●首次提出使用非参数GC模型来预先估计混合类型稀疏流式特征的缺失数据，该模型能够很好地建立混合类型稀疏流式特征之间的统计相关性。●提出了一种OS2FSG算法，用于处理混合类型的在线稀疏流式特征选择问题，无需任何手动搜索最优参数。详细阐述了OS2FSG算法的原理。●在十二个数据集上进行了广泛实验，以评估所提出的OS2FSG算法。实验结果证明，OS2FSG在处理OS2FS问题方面优于八种现有的最先进算法。为便于重复研究，本文的其余部分结构如下。第2节回顾了在线流式特征选择和缺失数据处理的相关工作。第3节详细介绍了所提出的OS2FSG，包括缺失数据估计、自适应参数更新以及整体特征选择过程。第4节展示了在十二个基准数据集上的实验结果，并对预测精度、计算效率以及参数敏感性进行了比较分析。最后，第5节对本文进行了总结，并探讨了未来研究的潜在方向。相关工作在一些现实世界应用中，包括大规模文本分类[25]、股票市场预测[26]、天气预报[27]、临床诊断[28]，[29]、HTTP自适应视频流技术[30]等，候选特征以流的形式存在，因此OSFS引起了研究者的关注，并在高维数据的降维问题上发挥了关键作用。迄今为止，已经出现了大量优秀的流式特征选择算法[8]。符号说明本文中使用的符号如表1所示。在线稀疏流式特征定义1（稀疏流式特征）。设F = {F1, F2, …, FW}表示具有H个实例和W个特征且存在缺失数据的特征集。在时间点t，流动的稀疏特征为Ft = [f1,t, f2,t, …,NAN,…, fH,t,]T，其中t∈{1, 2, …, W}，NAN表示缺失数据。定义2（在线稀疏流式特征选择，OS2FS）。假设在时间点t-1已经收到了观测到的流式特征集，记为Ot-1 = {F1, F2, …, Ft-1}。所选的稀疏流式特征OS2FSG框架为了解决OS2FS问题，还有两个挑战需要克服：1）填补混合类型稀疏流式特征中的缺失数据，并确保填充后的值与原始数据具有相同的分布。2）衡量稀疏流式特征与标签之间的相关性。图示展示了所提出的OS2FSG框架。我们的算法分为两部分：第一部分使用GC来填补缺失数据，第二部分选择具有最高相关性的流式特征以提升性能。结论本文提出了一种基于高斯Copula的新型在线稀疏流式特征选择算法（OS2FSG）。OS2FSG利用高斯Copula来预先估计混合类型稀疏流式特征中的缺失值，并采用期望最大化算法在在线稀疏流式特征选择过程中自适应更新Copula参数。通过这种设计，OS2FSG避免了在真实在线场景中进行手动参数调整的需要。为了评估其有效性未引用参考文献[46]CRediT作者贡献声明严慧勇：撰写——初稿、方法论、研究、形式分析、数据整理、概念构建。陈飞龙：研究、形式分析、数据整理。陈佳：验证、软件开发、资金筹集。赵丽：撰写——审阅与编辑、监督、资金筹集。利益冲突声明作者声明他们没有已知的可能影响本文所述工作的财务利益或个人关系。致谢本研究部分得到了中国国家重点研发计划（2023YFB4502400）、重庆市教委科技研究计划（项目编号KJQN202400812）以及中国国家自然科学基金（62302030）的支持。严慧勇于2017年在中国科学院北京研究院获得计算机科学博士学位。他目前在中国重庆重庆科技学院担任副教授。他在知名会议和期刊上发表了20多篇论文。他的主要研究兴趣集中在机器学习和人工智能领域。