FlowPipe：基于LLM增强技术的条件生成流式网络，用于数据准备流程的开发

《Proceedings of the ACM on Management of Data》：FlowPipe: LLM-Enhanced Conditional Generative Flow Networks for Data Preparation Pipeline Construction

　　

摘要 AI摘要

关闭

要查看此由AI生成的摘要，您必须具有高级访问权限。

了解更多 登录

摘要

摘要

数据准备流程是提高机器学习工作流数据质量的主要机制，通过顺序清洗和特征转换操作将原始的、容易出错的表格转换为适合学习的数据。然而，由于操作序列的组合复杂性以及端到端评估的高成本，自动化流程构建在计算上仍然具有挑战性。虽然强化学习提供了一种原则性的离散搜索范式，但最先进（SOTA）的多DQN架构存在三个根本限制：结构不协调，即解耦的价值估计器阻碍了长期信用分配；语义分离，即将数据集上下文视为表面的附加偏见，而不是严格条件化智能体的推理；以及探索效率低下，在庞大且稀疏的优化领域中存在许多无效的流程状态。为了解决这些挑战，我们提出了FlowPipe，一个统一的框架，将流程合成重新定义为在有向无环图上的条件概率流生成。首先，FlowPipe使用通过轨迹平衡目标优化的条件生成流网络（C-GFlowNets），建立从最终验证奖励到早期动作的直接梯度路径，以确保全面的信用分配。其次，为了解决语义分离问题，我们引入了深度语义调制，通过特征级线性调制（FiLM），允许来自大型语言模型（LLM）的逻辑先验乘法调节策略的内部激活图，从而在结构上使决策逻辑适应数据集上下文。最后，为了降低探索效率，我们将失败意识融入流目标中，以提前剔除语义上无效的状态，并将搜索焦点集中在高潜力区域。在对包含74个真实世界数据集的两个基准测试套件上的广泛实验表明，FlowPipe显著优于SOTA基线，平均提高了11.96%的准确率，同时实现了12.5倍的训练收敛速度提升。源代码可在https://github.com/KunyuNi/FlowPipe上获得。

AI摘要

AI生成的摘要（实验性）

此摘要是使用自动化工具生成的，未经文章作者撰写或审核。它旨在帮助发现、帮助读者评估相关性，并协助来自相关研究领域的读者理解本文。它旨在补充作者提供的摘要，后者仍然是论文的原始摘要。完整文章是权威版本。点击此处了解更多。

点击这里对摘要的准确性、清晰度和有用性进行评论。这样做将有助于改进未来的版本。