基于神经符号方法的LLM驱动的互联网金融交易执行约束验证

《Scientific Reports》：Neuro-symbolic constraint verification for LLM-driven internet finance transaction execution

　　

摘要

大型语言模型无法保证其输出符合管理金融交易的严格业务规则。我们提出了验证者-执行者神经符号框架（VA-NSF），这是一种双层架构，将自然语言理解与形式化约束执行分开，用于处理互联网金融交易。神经网络形式的执行者通过语法约束解码，将金融指令解析为基于类型的、有结构约束的抽象语法树；而符号形式的验证者则依据答案集编程的完整性约束来评估每个抽象语法树，从而给出正式的批准证书或详细的违规报告，以便进行针对性修复。在包含8600条经过标注的金融指令的FinTxBench测试集中，这些指令分为三个复杂度等级，VA-NSF的整体交易准确率为91.8%（三个等级的宏观平均值，简单级、复合级和受限级的准确率分别为94.7%、91.2%和89.6%），约束违规率则不超过0.3%。这一性能优于四种基于大型语言模型的方案，优势在13到51个百分点之间，且违规情况减少了30倍，所有操作的平均延迟仅为399毫秒，其中答案集编程的验证环节仅耗时24毫秒。实验表明，各组成部分都能独立发挥作用，而在支付处理、采购、薪资发放和库存管理等领域进行的跨领域测试中，性能下降幅度最多为5.8个百分点。所有的形式化保证都是基于编码规则集的精确度而言的，而且评估所使用的测试集最多包含80条规则；因此，我们需要明确讨论现实世界中存在的语言干扰、规则集规模以及需要人工干预所带来的限制。