基于小型语言模型的表格数据集特征选择与生成方法

《Scientific Reports》：Selecting and generating web search based features using small language models for tabular data classification

　　

摘要

在机器学习中，特征空间是一个将数据样本转换为向量以便进行分析和建模的关键框架。因此，机器学习算法所获得的结果在很大程度上取决于选择和生成重要特征的能力。特征生成作为一项核心技术，将原始数据转换为精炼的特征空间，从而促进模型训练并进一步增强其结构。尽管在自动特征选择和特征生成方面已取得了进展，但仍面临重大挑战，尤其是在可解释性和跨领域泛化方面。一种替代方案是在深度学习中采用自动特征工程，而不是依赖机器学习中的手工特征技术。尽管深度学习模型已被证明在多种领域中非常有效，但在应用于表格数据集时通常被认为效果较差。为了解决这些问题，我们提出了一种方法，利用小型语言模型（SLMs）专门针对机器学习分类任务中的表格数据集进行特征选择和生成。实验结果表明，我们在机器学习多分类任务中对两个知名表格数据集达到了最高的F1分数，分别为0.383和0.848。