基于图像人工智能的膳食评估新策略：利用大语言模型分析真实世界餐食照片的效能验证

本刊推荐：为解决传统膳食评估方法（如食物日记）存在的高参与者负担和误报问题，研究人员开展了一项基于图像人工智能（AI）的膳食评估研究，利用大语言模型（LLM）分析真实世界餐食照片。研究结果显示，该系统在识别食物组（如“茶和咖啡”F1=0.88）和估算营养素（如热量+139 kcal）方面具有较高准确性，为智能手机时代的膳食评估提供了低负担、高精度的解决方案，推动了从营养素定量到膳食模式全面理解的转变。

　　

传统膳食评估方法长期面临着难以克服的挑战。食物日记和24小时回顾法等自我报告方式不仅给参与者带来沉重负担，还存在显著的误报问题，严重影响数据的可靠性。随着可穿戴相机等数字工具的出现，虽然减少了对自我记录的依赖，但仍在准确性、研究人员负担和隐私保护等方面存在争议。在这一背景下，基于人工智能的图像识别技术为膳食评估带来了革命性的可能。通过智能手机拍摄餐食照片，利用视觉系统进行食物识别和营养分析，这种方法不仅大幅降低了参与者的负担，还能超越简单的摄入量追踪，实现对膳食质量和多样性的评估，从而推动营养学研究从关注营养素数量向全面理解膳食模式转变。

来自Zoe Ltd和金's College London的研究团队开展了一项创新性研究，旨在评估基于大语言模型（LLM）的图像分析系统在识别食物组和估算营养素含量方面的准确性。研究成果发表在《Proceedings of the Nutrition Society》上，为智能手机时代的膳食评估提供了重要科学依据。

研究主要采用了以下技术方法：利用PREDICT 1 (NCT03479866)和PREDICT 2 (NCT03983733)队列的10,000餐食物照片数据，覆盖2,124名英美参与者；基于大语言模型(LLM)开发图像分析系统进行食物识别；采用精确度(precision)、召回率(recall)和F1分数(F1 score)评估食物组识别性能；使用Wilcoxon Signed-Rank检验比较营养素估算的准确性。

食物组识别性能

研究发现不同食物组的识别准确性存在显著差异。表现最佳的食物组包括"茶和咖啡"(F1=0.88[0.86, 0.90])、"蔬菜"(F1=0.87[0.85,0.89])和"烤豆"(F1=0.84[0.61,1.00])，表明系统对这些常见食物有很高的识别能力。然而，某些食物组的识别性能较低，如"植物奶"(F1=0.13[0.07,0.18])、"汤"(F1=0.07[0.00,0.20])和"热巧克力"(F1=0.07[0.00,0.19])，这可能与这些食物的视觉特征复杂性或训练数据不足有关。

整体性能指标

研究结果显示，基于LLM的图像分析系统在两个队列中都表现出较好的整体性能。在英国队列中，每餐的精确度为0.72(0.74, 0.73)，召回率为0.75(0.74, 0.76)，F1分数为0.71(0.71,0.75)。在美国队列中，相应指标分别为精确度0.65(0.64, 0.66)、召回率0.73(0.72, 0.74)和F1分数0.66(0.65,0.67)。这些数据表明系统具有较好的食物识别能力，尽管美国队列的性能略低于英国队列。

营养素估算准确性

在营养素估算方面，研究发现基于图像的系统与称重食物记录法之间存在较小但具有统计显著性的差异。每餐的热量估算平均高出139 kcal(95% CI: 134, 144)，蛋白质+6.11g(5.83, 6.39)，碳水化合物+15.6g(14.9,16.3)，脂肪+7.89g(7.48,8.33)，纤维+2.30g(2.19,2.42)，钠+0.23g(0.22,0.25)，糖+6.83g(6.49,7.17)。所有宏量营养素的效应大小r值在0.047到0.172之间，属于小到中等效应。

研究结论表明，基于大语言模型的智能手机图像记录系统能够准确识别食材和估算营养素含量，为真实环境中的膳食评估提供了有价值的解决方案。这种方法不仅降低了参与者的负担，还提供了超越传统方法的膳食质量评估能力。

讨论部分指出，该研究的主要局限性在于仅使用了专有数据集和内部食物分类系统，这可能限制了结果的普适性。未来研究需要在公共数据集上进行基准测试，以获得更广泛的验证。此外，某些食物组（如液体和半固体食物）的识别性能较低，提示需要进一步改进算法和增加训练数据的多样性。

这项研究的重要意义在于为营养流行病学和公共卫生研究提供了新的工具和方法。通过利用广泛普及的智能手机和先进的人工智能技术，这种低负担、高精度的膳食评估方法有望推动大规模营养学研究的发展，为制定个性化的营养建议和公共卫生政策提供科学依据。随着技术的不断改进和验证，基于图像的膳食评估有望成为未来营养研究的标准方法之一。