异常值检测、数据稀疏化以及tSNE（局部线性嵌入）技术相结合，用于动态数据的有效可视化

《Optics & Laser Technology》：Ensemble of outliers detection, data sparcification and tSNE for adequate visualization of the dynamic data

　　Dharamsotu Bheekya|Abdul Salman Moiz|C. RaghavendraRao 计算机科学与工程系，Sreenidhi科学技术学院，海得拉巴 501301，特伦甘纳邦，印度 **摘要** 复杂数据的指数级增长要求对探索性数据分析（EDA）采取变革性方法，以有效处理和解释有价值的见解。本文提出了一种整体策略，通过集成先进的异常值检测、数据稀疏化、可视化和插值算法来增强EDA。我们的方法解决了EDA中的两个关键挑战：计算效率和可视化清晰度。例如t分布随机邻域嵌入（t-SNE）技术可以将高维数据降维为低维表示，从而实现更直观和有洞察力的分析。我们引入了一种动态t-SNE模型，该模型通过使用反向密度峰值异常值检测（RDPOD）和异常值选择因子（OSF）算法来区分内点和异常值。我们的新颖稀疏化过程利用NNWID-Descent与支持加权内在维度（SWID）来优先考虑对内在维度贡献最大的特征，确保在最小信息损失的情况下实现高效可视化。我们采用条件生成对抗网络（CGANs）来评估模型性能，以创建用于样本外扩展的合成数据，无缝整合内点并在t-SNE模型中战略性地定位异常值。在多种基准数据集上的严格测试证明了我们方法的稳定性和可扩展性，准确率始终超过90%，可信度超过95%。统计分析证实，即使在使用样本外数据的情况下，也与基线t-SNE相比也有显著改进。我们的发现验证了动态t-SNE在处理未见数据方面的优越可靠性，为加速EDA同时提高可视化清晰度和异常值检测提供了有力证据。 **引言** 软件和硬件技术的快速发展导致了数据生成、存储和处理能力的指数级增长。然而，尽管有这些进步，但从大量数据集中提取有意义见解的能力并未跟上数据收集和管理能力的步伐。这一差距在有效利用现有信息方面带来了重大挑战。 传统方法往往难以应对大规模数据集的复杂性，导致计算效率瓶颈，阻碍了实际分析。探索性数据分析（EDA）[1]对于从这些复杂数据集中发现有价值趋势、模式和见解至关重要。可视化技术在通过识别相似点群组来揭示数据的定性结构方面起着关键作用，有助于理解数据的关系和特征[2]。 传统可视化方法在处理高维数据时常常不足，因为这种数据难以以人类容易理解的形式表示。研究人员引入了降维（DR）[[3], [4], [5], [6]]技术来解决这一问题。线性降维方法（如主成分分析（PCA）[7]）在相对简单的数据集上表现良好，但不足以捕捉现实世界数据中的复杂非线性结构。为了解决这些不足，开发了一系列非线性降维方法，包括Isomap [8]、曲线成分分析（CCA）[9]、Sammon映射[10]、局部线性嵌入（LLE）[11]和随机邻域嵌入（SNE）[12]。 在各种技术中，学生t分布随机邻域嵌入（t-SNE）——原始随机邻域嵌入（SNE）的改进版本——因其能够有效可视化高维数据并保持其内在结构而特别值得注意，同时提高了效率。然而，它在低维空间中可能难以区分异常值，影响可视化效果。此外，由于其非参数特性，它不适用于大数据和在线学习场景。t-SNE的基本设计原则是在降维过程中保持局部邻域关系。然而，噪声和不相关特征可能会对其性能产生不利影响，掩盖数据点的实际邻域结构。为了缓解这个问题，稀疏表示通过仅强调最相关的特征而变得有益。通过集成减少非信息成分影响的方法，t-SNE提高了其在高维数据集中发现和保持真实局部结构的能力。 本文提出的多方面解决方案利用了先进的异常值检测、数据稀疏化、动态可视化和插值算法。反向密度峰值异常值检测（RDPOD）[13]和异常值选择因子（OSF）[14]算法能够有效识别异常值。RDPOD算法通过结合基于距离和基于密度的聚类来识别数据中的异常值。相比之下，OSF通过使用随机异常值得分和反向最近邻集的基数来确定异常值。NNWID-descent [15]算法可以精确定位每个数据点的噪声特征。它采用了一种更复杂的特征选择标准——支持加权内在维度（SWID）[16]。SWID基于局部内在维度（LID）[17]来识别和保留每个数据点最相关的特征。这是一种基于方差的度量，对区分附近数据点和位于密集数据区域的数据点的有效性较低的特征进行惩罚。本质上，SWID寻找局部独特且信息丰富的特征，从而在低维空间中更精确地表示数据。 此外，稀疏化帮助我们识别每个数据点所处的局部邻域。我们采用了基于邻域动态调整困惑度的可视化技术。这种微调允许更直观的可视化，有效捕捉数据模式的演变，并在2D可视化中表示中区分异常值和内点。最后，我们使用条件生成对抗网络（CGANs）[18]来创建用于样本外扩展的合成数据。LIONtSNE用于无缝整合内点并在t-SNE模型中战略性地定位异常值。 我们利用多种基准数据集严格评估我们方法的有效性，包括IRIS、Wine、乳腺癌、Leukemia-ALL-AML、Olivetti Faces、MNIST和COIL-20。数据集的选择是经过深思熟虑的，旨在确保所提方法在多个领域的稳健性和泛化能力。我们通过在具有不同属性的各种数据集上评估算法，全面评估了算法在多种现实世界条件下的性能。现代光学和基于激光的系统产生了大量高维数据，这些数据来自光谱测量、光学成像、光束诊断和干涉测量实验。例如激光诱导击穿光谱（LIBS）、拉曼和荧光光谱、高光谱光学成像和激光束轮廓测量，每个观测值可能由数百或数千个相关特征描述。在分析、可视化和解释这些数据的同时保持有意义的局部结构并识别异常测量结果仍然是一个重大挑战。在这种情况下，非线性降维技术在实现直观可视化和探索性分析方面发挥着关键作用。