日本营养师提示词在基于食物图像的LLM营养估算中系统性改变份量估计：一项多数据集、多模型研究

《Nutrients》：A Japanese-Dietitian Prompt Systematically Shifts Portion Estimates in LLM-Based Nutrient Estimation from Food Images: A Multi-Dataset, Multi-Model Study

　　

背景/目的：在利用视觉语言模型（VLM）进行食物图像营养估算时，份量大小是误差的主要来源，然而提示词如何改变估算数量——以及朝哪个方向改变——仍未得到表征。研究人员测试了日本营养师提示词是否对模型的份量估计产生系统性、方向性的影响，以及显式幅度指令相比之下有何作用。方法：评估了来自三家供应商的六种VLM，在两个份量体系截然不同的数据集——NutriImage（日本食堂菜肴；营养师计算的真实值）和SNAPMe（美国膳食照片）——上，采用人设条件（无、日本营养师、美国营养师）与两种份量规格水平交叉，另加五种提示词对照条件，进行图像级配对统计、自助法置信区间、交互检验、等价性检验和重复调用变异性分析。结果：日本营养师提示词在所有六个模型和两个数据集中均降低了预测能量（人设主效应p < 10^?94），在相对意义上大致保留了预测的大量营养素组成；美国提示词仅产生微小、符号不一致的变化。该效应不能由显式的“假设较小份量”指令重现，后者使估计移动更远但一致性差得多，而“假设较大份量”指令几乎被六个模型中的四个一致遵循，两个OpenAI模型对两个方向的显式幅度指令基本不敏感。准确性后果取决于数据集：在较小份量数据集上误差降低（最多约20个MedAPE百分点），在较大份量数据集上11/12个模型×份量单元统计等价（±5个百分点边界）。所有主要效应在统一分析中得到确认，该分析在合并图像集（n = 2159张独立图像；Holm校正；在1000次随机重新分配中稳健）上随机化模型身份。结论：日本营养师提示词对VLM份量估计产生一致的下行影响，不同于显式缩小指令；其准确性价值具有领域特异性，在实际使用前必须针对目标领域进行验证。

论文解读：日本营养师提示词对VLM份量估计的系统性方向性效应

在基于食物图像的营养估算中，视觉语言模型（VLM）被用作低负担的膳食评估工具，可直接从照片估计能量和营养素。然而，份量大小是误差的主导来源：一次缩放误差会传播到所有营养素，导致估计偏差远大于食物识别错误。此前研究已表明提示词设计和模型选择会显著影响估算准确度，但并未阐明特定提示词使估计朝哪个方向移动。针对这一空白，研究人员以日本营养师人设提示词为切入点，考察其对模型份量估计的方向性影响，并将其与显式幅度指令进行对比。该研究发表于《Nutrients》。

研究人员使用两个份量尺度相反的图像数据集：NutriImage（日本京都大学合作食堂2002–2005年间拍摄的单份菜肴，由注册营养师依据日本食品标准成分表计算真实值，裁剪后887张图像进入分析）和SNAPMe（美国受试者拍摄的完整进餐场景，含棋盘格标尺，1272张无文字图像）。评估来自三家供应商的六种VLM：Claude Haiku 4.5与Sonnet 4.6、GPT-4o与GPT-4o-mini、Gemini Flash与Pro。实验设计为人设因素（无、日本营养师、美国营养师）与份量规格因素（L0无份量信息、L1明确为一份标准份量）全交叉，另设五种对照提示词（显式“假设较小/较大份量”、中性营养师、日/美家庭主妇）。主要指标包括中位绝对百分比误差（MedAPE）、符号偏差、平均绝对误差（MAE）、决定系数R²及Atwater一致性，统计方法涵盖图像级配对自助法置信区间、交互检验、TOST等价检验、重复调用变异性分析，以及随机化模型身份的统一分析（n = 2159）。

研究人员得到以下结果：

（1）人设将份量先验向下移动（Switch Axis）。日本营养师提示词在所有六个模型和两个数据集上均使预测能量相对于无提示基线下降；美国营养师提示词仅产生微小且符号不一致的变化，表明该效应并非“添加任何人设”的通用后果。偏移深度与模型基线过估程度成比例（Pearson r = ?0.82）：基线过估越大的模型，日本提示词使其下移越多，且即使基线为负偏差时下移仍存在。图像水平上，日本提示词对模型原本已低估的图像几乎不产生偏移，而随着过估程度增加偏移增大，呈现条件性校正特征。

（2）提示词对照条件。显式“假设较小份量”指令平均也产生下移，但一致性差得多，且留下大量未变化图像；而“假设较大份量”指令被Anthropic和Gemini模型几乎一致遵循，两个OpenAI模型对任一方向的显式幅度指令均不敏感。日本营养师提示词在更温和的幅度上达到比显式指令更高的下移一致性，说明二者机制不同。分解条件显示，日本家庭主妇提示词（含国籍但不含营养专业身份）在每个模型上复制了日本营养师提示词的大部分效应，而中性营养师提示词（含专业身份但不含国籍）仅产生微小且符号不一致的偏移；两个美国对照均无一致效应，因此国籍/地域成分是效应主要载体，而非职业身份。

（3）输出随机性与重复调用。对50张分层抽样的NutriImage图像进行三次重复调用，Claude Sonnet在多数图像上输出完全相同（中位图像内标准差为0 kcal），Gemini Flash则表现出真实随机性（中位SD = 40.4 kcal）。在两种模型中，基于重复平均配对差计算的人设偏移均与自身条件内变异明显分离，GPT-4o的效应较小但方向一致，说明该效应不能归因于随机输出波动。

（4）准确性后果取决于数据集真实份量尺度（Accuracy Axis）。在份量较小的NutriImage上，日本营养师提示词使所有六个模型的能量MedAPE下降（幅度从?2.9到?19.9个百分点）；在份量较大的SNAPMe上，同样的下移几乎不改善准确度（仅Flash有微弱改善）。供应商排序在两个数据集中均保持一致：OpenAI效应最小，Anthropic居中，Google最大。这表明“方向性开关”与“准确性结果”是两条可分离的轴。

（5）跨营养素泛化。在NutriImage上，日本营养师提示词对能量、蛋白质、碳水化合物的MedAPE均一致改善（平均变化分别为?8.3、?11.4、?12.3个百分点），脂肪平均改善但较不稳定；盐因视觉不可见且R² ≤ 0.16被排除在主要结论之外。在SNAPMe上，下移对所有营养素均发生（偏差负向移动），但MedAPE几乎不变（|ΔMedAPE| ≤ 0.7个百分点），在营养素层面复现了开关与准确性的分离。模型预测的大量营养素能量份额和Atwater一致性在日本提示词下基本不变，支持该效应是对份量的统一缩放而非营养素特异的调整。

（6）去除场景背景的稳健性。将图像裁剪至菜品边界框后，日本提示词的准确性效应在16个模型×份量×裁剪单元中有15个为负，唯一例外（GPT-4o-mini在L0原始图像上为+1.7个百分点）在裁剪后反转为?3.1个百分点，说明效应不依赖模型读取盘子外的场景线索。

（7）跨模型与数据集的稳健性。在随机化模型身份的统一分析（每组约2157张独立图像，模型身份在图像间随机分配并平衡）中，两种日本人人设均稳健降低所有四种常量营养素（能量偏移分别为?25.4 kcal和?19.6 kcal）；美国人设仅稳健降低盐当量；中性营养师无任何营养素的稳健效应。条件性特征也在此框架中再现：日本提示词的偏移在基线低估图像的中位数为零，在过估最深的十分位处加深至?0.44 log₂；显式“较小”指令连低估图像也会降低（中位?0.10），而“较大”指令在所有十分位施加近恒定偏移。等价性检验表明，所有25个人设-营养素单元的MedAPE相对基线的变化均不劣于+5个百分点界，其中22个落在±5个百分点等价界内；显式“较大”指令则对所有四种常量营养素均未通过非劣效性。

在讨论部分，研究人员指出，日本营养师提示词与人类膳食评估中份量估计依赖评估者所携带参照份量的现象类似。他们提出一个可能解释：网络规模的训练语料中，日常量化规范（如典型份量）多在其语言与区域社群内部记录，提示词可能选择模型所调用的地域先验分布；这一点与“文化提示”改变大型语言模型响应取向的已有证据一致。他们强调，本研究没有直接测量潜在的份量推断阶段，“份量先验”仅指模型在缺乏显式份量信息时产生的数量估计分布，而非声称的内部模块。研究还指出，SNAPMe上的结果构成边界条件：方向性开关照样发生，但准确性并不受益，因此必须在目标领域验证后才能考虑实际应用。

研究结论部分可翻译为：在评估的六个模型和两个数据集中，日本营养师提示词对预测数量产生了一致的向下影响：（i）偏移在每个模型×数据集组合中均为向下；（ii）其深度与模型基线过估程度成比例，且无论基线误差符号如何均会触发；（iii）它在种类上不同于显式幅度指令——表现为集中于过估图像的条件性校正，而指令产生近似常数、供应商特异的偏移，且对显式指令的遵从本身也依赖供应商；（iv）其载体是人设中的国籍/地域成分而非职业身份，日本家庭主妇提示词复制了大部分效应，而不含国籍的营养师提示词几乎不产生效应；（v）其准确性后果取决于数据集，在小份量单盘菜肴数据集上降低误差，在大份量进餐数据集上基本不变。该效应大致保持预测的大量营养素组成，盐是已记录的例外。统一随机化模型分配分析表明，这些效应在六个模型和两个图像来源中稳健，并在重复随机模型重分配下保持稳健。这些是对所评估具体提示词的定性表征：报告的量级取决于所用措辞，不存在校准的人设强度量表，对其他国籍或人设提示词的泛化尚未检验。