本地部署开源LLM解析多意图购物车命令的能力评估:提示策略与硬件性能的权衡分析
《Information》:Benchmarking Local Large Language Models for Structured Knowledge Extraction in Conversational Commerce
【字体:
大
中
小
】
时间:2026年10月15日
来源:Information 4.3
摘要
将自然语言理解融入会话式商务场景,需要能够从口语化文本中可靠地提取结构化意图。虽然基于云端的模型能力强大,但其延迟、隐私风险和运营成本使得高效的本地替代方案成为必要。为此,我们针对本地部署的开源权重大型语言模型(LLMs)进行了实证评估,研究其将多意图购物车命令解析为确定性JSON模式的能力。我们在最小提示、扩展提示和少样本提示三种范式下对多个模型进行了基准测试,并采用双轴框架同时衡量提取质量(操作F1分数、精确匹配率、模式有效性)和硬件性能(延迟、GPU功耗)。我们的评估揭示了一个根本性的权衡——模式合规性与计算开销之间的矛盾,展示了高级提示技术如何在提高解析准确性的同时,对推理延迟和功耗产生可测量的影响。最终,这一全面的性能剖析为资源受限环境确定了最优模型配置:一个精心选择的3-8B参数模型(具体为Granite4 3B)配合少样本提示,能够在每条命令的运行能耗低至约40倍于最大模型的情况下,恢复超过95%的质量水平,为在资源受限环境中部署具有成本效益的LLM作为效率候选方案奠定了实用基线。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号