摘要
大语言模型（LLMs）的迅速普及改变了用户获取旅行建议和生成个性化旅行计划的方式。然而，对于跨不同提供商比较AI生成的旅行计划，尚缺乏标准化方法。本研究提出了一种基于网络的基准测试框架的设计、实现和实验评估方法，用于标准化和自动化地比较AI生成的旅行计划。该框架整合了标准化的提示生成、结构化的JSON响应处理、字段级比较、基于确定规则的评分机制、模型排名以及可导出的基准测试报告。该框架在涉及布拉格、罗马和东京的三个旅行规划场景中进行了测试，每个场景都进行了三次独立的基准测试，共产生了27个提供商级别的请求。其中8次测试完成了三个提供商之间的比较；一次罗马场景的测试因为Microsoft Phi返回了格式错误的JSON而未能完成。在所有8次成功的测试中，Gemini的平均结构完整性得分为57.00/57（标准差=0.00），ChatGPT得分为47.38/57（标准差=3.02），Microsoft Phi得分为34.63/57（标准差=5.26），所有成功比较中的排名顺序保持一致。补充的约束合规性分析表明，结构完整性并不一定意味着完全满足旅行要求。此外，还单独考察了与可持续性相关的输出结果。研究结果证明了该框架在测试场景和重复测试中的稳定性，同时强调了需要区分结构完整性、约束合规性、事实准确性、实际可行性和与可持续性相关的性能。
