编辑推荐：
本研究聚焦于提升机器学习（ML）性能，提出一种智能数据质量评估框架，通过无监督学习区分高质量与低质量数据，为ML系统提供优化方案，具有重要的应用价值
随着数据量和复杂性不断增加，数据质量问题对机器学习（ML）系统的性能产生了严重限制。为了应对这一挑战，国外研究机构的研究人员提出了一种基于智能数据质量评估的框架，旨在通过无监督学习方法区分高质量和低质量数据，从而提升ML系统的性能。该研究在分析化学领域的色谱实验中进行了验证，结果表明该框架能够有效识别高质量数据的特征，指导实验室实验设计，提高ML系统对保留时间（tR）的预测性能，并减少实验时间和成本。论文发表在《Heliyon》上，为数据驱动的ML系统优化提供了新的思路和方法。
在当今数字化时代，机器学习（ML）作为一门创新领域，在众多领域取得了显著成功。然而，数据质量问题一直是制约ML系统性能提升的关键因素。数据质量（DQ）的优劣直接影响ML系统的训练效果和泛化能力。尤其是在数据量庞大且复杂的背景下，数据准备和质量提升成为ML流程中耗时费力的重要环节。为了解决这一问题，研究人员提出了一种智能数据质量评估框架，该框架结合了质量测量和无监督学习方法，能够有效区分高质量和低质量数据，进而提升ML系统的性能。
该研究由国外的研究机构主导，研究人员在分析化学领域进行了实验验证。分析化学中，色谱实验是研究化合物分离的重要手段，而ML在预测色谱实验中的保留时间（tR）方面具有重要应用。然而，色谱实验生成的原始数据可能存在不一致性，这些数据质量问题可能源于色谱设备性能、实验条件或其他外部因素。因此，在将数据输入ML模型之前，必须解决数据质量问题。研究人员通过与领域专家合作，选择了与色谱数据相关的质量测量指标，并将其应用于三个抗反义寡核苷酸（ASO）数据集的实验中。实验结果表明，该框架能够有效识别高质量数据的特征，从而提高ML系统对tR的预测性能，并为实验设计提供指导，减少实验负担。
在研究过程中，研究人员采用了以下关键技术方法：首先，通过与领域专家合作，定义了与色谱数据相关的质量测量指标，如信噪比（SNR）、保留时间差异（ΔtR）、峰偏斜度和峰面积等。这些指标能够反映数据的质量特征。其次，研究人员采用了无监督学习中的k-means聚类方法，将数据根据质量测量指标划分为不同的簇。通过聚类分析，研究人员能够识别出高质量和低质量数据的分布规律。最后，研究人员在每个簇中应用了超参数调优的机器学习模型（如梯度提升模型和支持向量回归模型），以评估模型在不同质量数据上的性能表现，并通过模型性能指标（如均方根误差RMSE和决定系数R2）来验证数据质量对ML性能的影响。
研究结果表明，在G1数据集中，ML模型在簇0中表现最佳，其R2值达到0.95，而在簇2中表现较差，R2值仅为0.03。这表明簇0中的数据质量较高，而簇2中的数据质量较低。通过对簇0的统计特征分析发现，该簇中的ASO序列具有较高的SNR、较低的峰偏斜度和较短的保留时间差异，且大多数序列未经过硫代修饰。这些特征被认为是高质量数据的标志。在G2和G3数据集中，研究人员也观察到了类似的趋势。在G2数据集中，ML模型在簇1和簇2中表现较好，而在簇0中表现较差。在G3数据集中，ML模型在簇2中表现最佳，而在簇0中表现最差。这些结果进一步证实了数据质量对ML性能的重要影响。
在讨论部分，研究人员强调了该框架的重要意义。首先，该框架提供了一种通用的数据质量评估方法，能够适用于不同的领域和应用。其次，通过无监督学习和预测性机器学习的结合，研究人员能够从数据中提取出高质量数据的特征，并将其反馈给数据源控制者，从而改进数据采集和实验设计，提高ML系统的性能。此外，该框架的实施减少了科学家检查低质量数据的时间，提高了实验效率。最后，研究人员指出，该框架的推广和应用还需要进一步的研究，例如在更大规模的数据集上进行验证，以及探索新兴技术（如深度学习）在数据质量评估中的应用潜力。
综上所述，该研究提出的智能数据质量评估框架在提升机器学习性能方面具有重要的应用价值。通过无监督学习方法，研究人员能够有效区分高质量和低质量数据，并为ML系统的优化提供了新的思路和方法。该研究不仅在分析化学领域取得了显著成果，还为其他领域的数据驱动ML系统优化提供了借鉴和参考。
