《Nutrients》：Benchmarking Open-Source Vision–Language Models for Food Image Recognition and Portion Size Estimation
编辑推荐：
背景/目标：从图像中准确识别食品项目并估计份量大小，是推进膳食评估和营养监测的关键挑战。本研究对二十六种配置（十七个模型版本）的最新开源视觉-语言模型（Vision-Language Models, VLMs）进行了基准评测，这些模型在规模（≤15 GB）和参
背景/目标：从图像中准确识别食品项目并估计份量大小，是推进膳食评估和营养监测的关键挑战。本研究对二十六种配置（十七个模型版本）的最新开源视觉-语言模型（Vision-Language Models, VLMs）进行了基准评测，这些模型在规模（≤15 GB）和参数数量（<25B）上各不相同，评测数据为大学食堂采集的真实食品照片，以评估其在支持自动化营养记录和健康干预方面的潜力。方法：研究人员构建了一个带人工标注的精选基准数据集，包含食品项目名称和用秤实测的份量大小，并基于识别性能和份量估计的平均绝对误差评估模型预测。用于对食品识别进行评分的语义匹配器（semantic matcher）经过人类评审小组的验证，所有结果均以自助法置信区间（bootstrap confidence intervals）和随机重复实验报告。结果：实验表明，视觉-语言模型qwen2.5vl:7b在食品识别方面取得了最高的综合性能，在精确率和F1分数上优于其他开源模型。在经人类验证的语义匹配器下，它还优于同一模型家族中更新的后继版本——尽管后者改进了份量估计，并且在不受阈值限制、对冗长描述不敏感的LLM评判下，其识别性能达到或超过了前者。作为对比，研究人员评估了五个专有模型（四个OpenAI代际模型和一个Anthropic模型）作为基准，发现它们在食品识别（最佳F1分数为GPT-4o）和份量估计误差方面均倾向于优于开源视觉-语言模型；值得注意的是，在本研究的评估协议下，最新的专有模型代际并未在其前代基础上有所改进。结论：这些发现凸显了通用视觉-语言模型在细粒度食品理解任务中的潜力和当前局限，对数字健康领域可扩展的、基于视觉的膳食评估系统的设计具有启示意义。
论文解读
一、研究背景与问题
膳食相关的慢性疾病（如肥胖、糖尿病和心血管疾病）在全球范围内持续上升，这使得对膳食摄入进行准确、持续监测的需求日益迫切。传统的膳食评估方法主要依赖自我报告方式，包括食物日记、24小时回顾法和食物频率问卷等。然而，这些方法往往负担沉重、耗时，且容易受到多种误差来源的影响，尤其是热量摄入的低报问题。即使借助视觉份量辅助工具，某些食物类型（如液体）的平均估计误差仍接近50%。因此，开发自动化食品识别系统以提供更客观、可扩展且用户友好的替代方案具有重要的现实意义。
近年来，卷积神经网络（Convolutional Neural Networks, CNNs）在食品图像分析领域取得了显著进展，被成功应用于食品分类、食材识别和食品实例分割等任务。然而，基于CNN的系统通常局限于封闭集分类，需要任务特定的架构、大量标注数据和精细的特征工程，且缺乏整合食品成分、制备方式或食用惯例等上下文和语义知识的能力，这限制了它们在真实世界非约束场景中的灵活性。
视觉-语言模型（Vision-Language Models, VLMs）的近期进展，将计算机视觉的视觉理解能力与大语言模型（Large Language Models, LLMs）的上下文推理能力相结合，在广泛的图像理解任务中展现出强劲性能。尽管商业模型如ChatGPT（GPT-4和GPT-4V）在该领域已显示出有前景的能力，且一些研究已开始将视觉-语言模型（包括开源模型）应用于食品识别和营养估计，但对该领域模型进行全面、系统的基准评测仍然有限。已有的大规模评估多使用Nutrition5k等公共数据库进行总量营养估计的比较，但缺乏逐项基准——即每个食品项目都配有用秤实测的份量重量，且自动评分程序本身经过人类判断验证。开源模型相比商业替代方案具有关键优势，包括可针对特定领域应用进行参数微调，以及可在本地执行推理（例如在智能手机等便携设备上），无需依赖外部API，这不仅降低了对输入图像按令牌计费的成本，还在延迟、离线功能和用户隐私方面带来益处。
份量大小和体积估计仍是关键的前沿问题，它对于在缺乏标签的情况下确定总营养含量至关重要。现有方法涵盖三维重建、形状模板以及利用参考物体提供度量尺度等。虽然语义和实例分割使模型能够定位和计数单个食品项目，但从单张二维图像预测无定形食品的高度仍然复杂。新兴技术利用深度感应相机或基于CNN的单张RGB图像深度估计，为将二维图像转换为体素网格以进行精确体积计算提供了有前景的路径。
二、研究内容概述
本研究对多种最新的开源视觉-语言模型进行了系统评估，测试其在真实世界食品图像上识别食品项目和估计相应份量的能力。研究人员构建了一个包含200张高分辨率食品图像的精选基准数据集，涵盖870个单独食品项目（每张图像1至7个项目，平均4.35个），对应314种独特的食品描述。所有份量均使用厨房秤在数据采集时实测，以克为单位记录，为模型估计提供了客观、定量的真实基准。数据集主要聚焦意大利菜系，图像在不同光照和构图条件下拍摄，反映了真实世界膳食记录的异构采集条件。研究人员评估了二十六种配置（十七个模型版本）的开源视觉-语言模型，涵盖BakLLaVA、Gemma 3、Granite Vision 3.2、Llama 3.2-Vision、LLaVA系列、MiniCPM-V系列、Ministral-3、Mistral Small 3.1、moondream 2、Qwen2.5-VL、Qwen3-VL及其多个后继版本（如Gemma 4、MiniCPM-V 4.5/4.6、Qwen3.5等），所有模型均通过Ollama接口在本地运行。同时评估了五个专有模型（GPT-4o、GPT-4.1、GPT-5.2、GPT-5.5和Claude Sonnet 5）作为参考基准。模型性能从两个主要维度进行评估：食品识别性能（分类）和份量估计（回归）。
三、主要关键技术方法
研究人员采用的主要技术方法包括：基于Cross Encoder模型（基于DistilRoBERTa微调）的语义匹配器，用于计算预测食品项目与真实标签之间的相似度分数，并通过与人类评审小组的判断对比进行验证（Fleiss κ约0.7，ROC曲线下面积约0.95）；非参数自助法（bootstrap）对图像进行重采样以计算置信区间；引入了归一化平均绝对误差（Normalized Mean Absolute Error, NMAE）、覆盖惩罚平均绝对误差（coverage-penalized MAE, cpMAE）及cpMAE+FP、餐食级绝对误差等多个新指标，以全面考量漏检和幻觉项目的影响；以及线性校准模型对份量估计的系统偏差进行修正。数据集来自大学食堂（166张图像，六名参与者拍摄）和家庭自制午餐（34张图像，一名参与者提供），所有份量均用厨房秤实测。
四、研究结果
食品识别性能：在开源模型中，Qwen2.5-VL:7B取得了最佳综合性能，其F1分数在阈值τ=0.6、温度T=0.1时达到最高值0.55（自助法95%置信区间为0.50–0.60），在配对自助法比较中，它在几乎所有图像重采样中都优于其他所有开源模型（p<0.001），包括其自身更新的后继版本。其他达到F1分数至少0.45的模型包括Qwen3.5（9B和4B）、MiniCPM-V 4.5、Llama 3.2-Vision、MiniCPM-V 2.6、Mistral Small 3.1、Qwen2.5-VL（3B）、Gemma 3（12B）、Gemma 4（12B）和Qwen3-VL（4B和8B）。在主要阈值下，每个模型被接受的匹配中估计有70–85%对应同一食品（精确文本匹配占1–5%，其余为命名变体），10–15%对应部分重叠食品，8–12%对应不同食品。在专有模型方面，GPT-4o取得了最高的F1分数0.66，其次是GPT-4.1（0.63）、Claude Sonnet 5（0.59）、GPT-5.2（0.57）和GPT-5.5（0.55），呈现出反时间顺序的排列。
份量估计：在份量估计方面，开源模型中Qwen3.5:9B达到NMAE 70 g，MiniCPM-V 4.5为73 g，为开源模型中的最佳值；Qwen2.5-VL:7B达到80 g。专有模型中GPT-4o取得最低NMAE（58 g），其次是Claude Sonnet 5（62 g）和GPT-4.1（63 g）。所有可用模型都明显优于空预测基准（cpMAE 152 g），但没有任何模型在匹配项目上超越典型份量预测器（MAE 35 g）：最佳匹配项目MAE为GPT-4o的35 g和Qwen3.5:9B的41 g。这意味着对于该数据集，模型的份量估计至多与为每个识别食品分配其典型份量大小相当，表明当前视觉-语言模型从图像本身提取的尺寸信息有限。所有八个代表性模型对最大四分位份量（>187 g）均存在系统性低估，其中饮料的低估最为严重（预测与真实重量之比中位数为0.74）。
代际比较：在逐项识别上，最新模型代际未在其前代基础上改进：开源模型中最佳F1仍属于2025年发布的Qwen2.5-VL:7B，其后继者Qwen3-VL（0.51）和Qwen3.5:9B（0.53）未能超越它；专有模型呈现反时间顺序，GPT-4o优于所有后继者。然而在份量估计上，新一代模型持续改进，匹配项目MAE在Qwen2.5-VL:7B和Qwen3.5:9B之间从54 g降至41 g。研究人员通过提示词实验表明，新专有模型识别分数较低主要源于过度条目化（over-itemization）而非名称冗长。
校准分析：线性校准仅对Qwen2.5-VL:7B有益（MedAE从40 g降至32 g，MAE从54 g降至47 g），对GPT-4.1略有改善（MAE从44 g降至40 g），但对其他模型无效。最新模型（Qwen3.5:9B、MiniCPM-V 4.5、GPT-5.2、GPT-5.5和Claude Sonnet 5）的MedAE反而增加2–11 g，因为它们的原始中位误差已较低，残余误差主要集中在大份量的低估上。
五、讨论与结论
讨论部分指出，份量估计在所有模型中均更具挑战性，即使最佳模型也与真实值存在显著偏差。与典型份量预测器的比较表明，当前视觉-语言模型的份量估计主要由食品身份的习得先验驱动，而非从图像中提取的视觉尺寸线索；但表3中的食品内部分析表明，最佳模型确实对图像中的份量大小有所响应，只是较弱。研究人员提出了误差结构的可能来源假设：大份量的低估与估计向典型份量大小压缩一致；饮料的低估（估计集中在200–250 g）表明模型默认标准玻璃杯的标称容量而非读取填充水平；单张RGB图像缺乏深度信息和校准参考物体，使堆叠或深盘食品的高度存在内在歧义。代际比较方面，新模型代际在逐项识别上未改进甚至下降，主要归因于过度条目化——新模型每张图像列出的项目更多（GPT-4o平均4.4个 vs. GPT-5.5平均6.0个，真实值为4.35个），导致更多预测无法匹配从而降低精确率。研究人员提出的改进策略包括在输出模式中分离食品名称与属性、通过结构化输出解码强制执行模式、在匹配前将预测名称规范化为食品成分词汇表，以及明确指示模型将每个菜品列一次而非其单独成分。结论部分总结：Qwen2.5-VL:7B是食品识别方面最佳的开源模型，也是其代际中份量估计的最佳模型之一；专有模型总体上在食品识别和份量估计误差方面优于开源模型，但最新专有代际未在其前代基础上改进；当前通用视觉-语言模型在细粒度食品理解任务中既有潜力也存在局限，模型选择应在目标任务上验证，而非默认选择最新旗舰模型。
