特色应用
本框架可指导企业级数据智能体的设计，使其能够生成并执行SQL或数据管道，同时实施基于任务的授权、标准业务语义、运行时验证、数据溯源和治理控制。
摘要
大语言模型和AI智能体正在将数据工程自动化从孤立的工件生成扩展到端到端的流程，在这些流程中，智能体能够解读需求、选择数据、生成转换逻辑、调用工具、验证结果并传达分析输出。这一转变引入了传统数据质量和执行成功概念无法完全涵盖的风险。一个数据集可能符合既定的质量标准，一个生成的查询可能没有技术错误地执行完毕，但智能体仍然可能选择了错误的指标、混合了不兼容的分析粒度、访问了未经授权的数据，或得出了证据支撑不足结论。本文构建了一个以"智能体数据使用质量"为核心的智能体数据工程概念框架，该质量被定义为智能体按照任务、语义、质量、安全、治理和溯源要求使用和传达数据的程度。对数据契约、语义层、数据质量、护栏、AI治理和数据溯源的循证分析表明，这些基础提供了必要但碎片化的能力。本框架通过四个核心工件对其进行整合与扩展：智能体数据契约、智能体期望、智能体数据溯源和智能体数据治理。它还引入了执行生命周期、参考架构、失败分类法和多维评估框架。一个受治理的销售分析场景说明了这些工件如何在智能体介导的数据过程中交互运作。此外，一个受控的Databricks原型和一个包含10个案例及40次执行的补充性基准测试验证了该框架的技术可行性，并支持独立计算执行指标。该基准测试强调了将生成与验证分离的价值，同时也表明当前的验证和自动修复机制需要进一步校准。这些初步发现并未证明在安全性、正确性或可靠性方面存在普遍性改善，而是为更广泛的可信智能体介导数据工程过程实证评估提供了操作基础。
