利用半动态特征集（SDFS）和基于大语言模型（LLM）的可解释性技术进行特征扩展：一种发现缺失特征的新方法

《IEEE Transactions on Artificial Intelligence》：Feature Expansion with Semi-Dynamic Feature Sets (SDFS) and LLM-Powered Explainability: A Novel Approach to Discovering Missing Features

　　

影响声明：

特征工程，特别是特征选择，被广泛用于提高机器学习性能，并且已经得到了深入研究。然而，特征扩展……显示更多

摘要：

传统的特征选择方法侧重于降低维度，这通常意味着会丢弃有价值但隐藏的信息。相比之下，本文介绍了一种特征扩展方法，这是一种新颖的方法，它可以自动识别并重构缺失的特征，即那些在初始特征提取过程中被忽略或未被发现的属性，从而在不需要额外数据收集的情况下提高预测性能。我们提出了半动态特征集（SDFS）网络，这是一个独特的机器学习框架，它可以同时学习特征值和模型参数，从而提高在复杂数据集中的鲁棒性。为了提高可解释性，我们整合了大型语言模型（LLMs）为新发现的特征分配有意义的标签，将它们从黑箱变量转化为可操作的见解。我们提出的特征扩展方法在多个数据集中一致地提高了分类和回归性能。特别是，在帕金森病检测中，准确率从89%提高到了95%；在葡萄酒质量预测中，准确率从82%提高到了85%；在空气质量预测中，均方误差（MAE）从91.2降低到了85.04，证明了其在发现缺失特征方面的有效性。通过将我们的特征扩展方法与基于LLM的可解释性相结合，这种方法不仅提高了模型的性能，还揭示了医疗保健、金融和科学研究等关键领域中的隐藏数据模式。完整的实现代码可以在GitHub [GitHub链接]上找到，该模型可以通过PyPI以‘sdfs’包的形式进行安装 [PyPI链接]。