表格数据语言建模技术综述：从预训练模型到大语言模型的演进

《ARTIFICIAL INTELLIGENCE REVIEW》：Language modeling on tabular data: a survey of foundations, techniques and evolution

　　

摘要

表格数据是各个领域中普遍存在的数据类型，由于其异质性和复杂的结构关系，带来了独特的挑战。在表格数据分析中实现高预测性能和鲁棒性对众多应用具有重要的意义。受自然语言处理领域近期进展的影响，特别是 Transformer 架构，新的表格数据建模方法应运而生。早期技术专注于从头预训练 Transformer，经常遇到可扩展性问题。随后，开发出了利用 BERT 等预训练语言模型的方法，这些数据需求更少且性能更优。近期，如 GPT 和 LLaMA 等大型语言模型的问世进一步革新了该领域，通过最少微调促进了更高级和多样化的应用。尽管关注度日益增长，但针对表格数据的语言建模技术的全面综述仍然缺失。本文填补了这一空白，系统地回顾了表格数据语言建模的发展，包括：(1) 对不同表格数据结构和数据类型的分类；(2) 用于模型训练的关键数据集和用于评估的任务的回顾；(3) 建模技术的总结，包括广泛采用的数据处理方法、流行架构和训练目标；(4) 从适应传统预训练/预训练语言模型到利用大型语言模型的演变；(5) 识别表格数据分析语言建模中持续存在的挑战和潜在的未来研究方向。与本综述相关的 GitHub 页面位于：https://github.com/lanxiang1017/Language-Modeling-on-Tabular-Data-Survey.git。