摘要
背景/目标： 多重疾病患者经常收到相互矛盾的饮食建议，而大型语言模型（LLMs）越来越多地提供饮食建议。在这项研究中，我们评估了九个LLMs的表现，其中包括两个针对土耳其语进行调优的模型，这些模型使用了76个用土耳其语和英语编写的合成患者案例。方法： 这些案例包含了2型糖尿病、慢性肾病、高血压、肥胖、痛风和乳糜泻这几种疾病，分别作为单独的疾病、相互矛盾的疾病组合、以及一致的疾病组合。一个由专家组成的评判小组根据营养师批准的关键特征清单对模型的回答进行评分，其中一部分案例的评分结果与小组的评分结果在90%的项目上一致。结果： 这些模型在关键特征清单上的覆盖率为81%到92%，并完全解决了57%到89%的饮食建议冲突。在这些模型中，土耳其语和英语版本的回答在覆盖范围上没有显著差异；但在所有模型中，土耳其语版本的回答覆盖率略低2个百分点，尤其是在涉及矛盾疾病组合的案例中，以及在使用开放权重评分方式的模型中。GPT和Claude模型在安全性方面的错误最少，两种语言下的错误率均在5%到8%之间；而专有模型的土耳其语饮食建议在文化适用性方面的评分达到了4.9到5.0分（满分5分）。结论： 因此，专家可以对LLMs生成的饮食建议进行审查，重点解决其中的冲突部分，而这种基于清单的评估方法可以用于多次重复的检查。
