预训练视觉语言模型结合智能手机图像评估黄瓜新鲜度：与感官评价的验证研究

《Current Research in Food Science》：Pre-trained Vision–Language Models for smartphone-based assessment of cucumber freshness: validation against sensory evaluation

　　

本研究探究了公开可获取的预训练视觉语言模型（Vision–Language Models，VLMs）GPT-5.5（OpenAI）与Gemini 3.1 Pro（Google）能否直接依据实际成像条件下采集的常规智能手机图像准确评估黄瓜（Cucumis sativus L.）新鲜度。黄瓜于4 °C条件下贮藏21 d，并于第0、4、11、17和21天进行评估。图像在受控光照、室内环境光和室外自然光下采集，并分别设置带与不带商用玻璃纸包装两种处理。将AI生成的新鲜度评分与人工感官参考值以及理化、力学和视觉品质指标（包括硬度、失重率、果柄粗度及CIELAB颜色参数）进行验证，同时考察表面状态的可见变化。贮藏期间硬度与果柄粗度显著下降，而失重率、黄度及其他可见品质劣变迹象上升。层次聚类与Pearson相关分析表明，VLM预测结果、贮藏进程与客观品质指标之间存在强关联。重要的是，在所测试的各光照条件与包装处理之间未检测到新鲜度预测的统计学显著差异（p > 0.05），尽管样本量相对较小限制了上述结果的解释。外部验证与重复查询分析进一步支持模型在多样成像环境下性能的一致性。上述结果表明，预训练VLMs无需专用传感器、手工特征提取或模型再训练即可基于普通智能手机图像可靠评估黄瓜新鲜度，凸显其作为可扩展、低成本工具在采后品质监测、零售检验、贮藏期基于品质的动态定价以及新鲜农产品供应链减损方面的潜力。

研究背景方面，新鲜蔬菜是健康膳食的重要组成部分，可提供维生素、矿物质、膳食纤维及生物活性化合物。消费者对新鲜农产品的接受度在很大程度上取决于外观、质地、硬度、颜色等品质属性，其中新鲜度尤为关键，因其是感知品质的首要指标，购买决策常基于视觉外观。新鲜度下降会降低商品性与消费者接受度，并在供应链中造成大量采后损失与食物浪费。黄瓜（Cucumis sativus L.）为全球消费最广的蔬菜之一，主要以鲜销形式流通，其含水量高（约95%），极易发生采后劣变。在贮藏、运输与零售陈列过程中，生理生化变化导致失水、软化、皱缩、变色及货架期缩短，从而削弱商品价值与消费者接受度。与许多成熟时伴随明显颜色变化的水果不同，黄瓜新鲜度主要通过与水分散失相关的细微视觉与结构变化体现，包括硬度、表面光泽、光滑度与组织膨压下降以及皱缩与变色增加。由于这些变化具有可视性，基于图像的方法在无损新鲜度评估方面具有较大潜力。

现有问题在于，新鲜度传统上依靠感官检验评估，方法简单快速，但主观性强且受评价者经验影响；仪器方法（硬度测定、颜色分析、失重测定及实验室分析）虽更客观，但往往具有破坏性、费时费力，难以用于常规监测。近红外光谱、高光谱成像、拉曼光谱、机器视觉及传感器系统等传感技术虽显著提升了果蔬无损品质评估水平，但通常需要专用设备、校准程序、受控成像条件与专业技术，限制了其在零售与消费场景中的推广。智能手机因廉价、便携、普及且摄像头日益先进，可捕获与颜色、质地、形状及表面特征相关的视觉信息，成为有吸引力的替代方案；已有研究表明智能手机成像结合人工智能可有效评估农产品品质属性，但多数现有方法依赖传统机器学习或深度学习模型，需要大规模标注数据集、特征工程、模型训练与优化，限制了其可及性与实际部署。近年生成式人工智能的发展引入了多模态视觉语言模型（VLMs），可同时处理图像与文本并生成人类可读的解释；与面向特定预测任务设计的传统机器学习模型不同，GPT-5.5与Gemini 3.1 Pro等VLMs可执行预训练推理，无需任务特定训练即可实现图像理解，在视觉推理、图像解释与视觉问答方面表现突出。尽管AI辅助食品品质评估日益受到关注，VLMs在采后新鲜度评估中的应用仍基本未被探索；已有研究主要集中于传统计算机视觉与机器学习技术用于黄瓜品质评估，而公开可获取的预训练VLMs在日常成像条件下直接基于智能手机图像评估黄瓜新鲜度的能力尚未被系统研究，其与人工感官评价及客观品质测定的一致性亦未确立。

基于此，研究人员开展了本研究，评估GPT-5.5与Gemini 3.1 Pro在受控光照、室内环境光与室外自然光下，对带包装与不带包装样品基于智能手机图像评估黄瓜新鲜度的能力。与传统需数据标注、特征提取、模型开发与训练的AI方法不同，所提框架以预训练方式使用公开可获取的VLMs，直接从上传图像生成新鲜度评分与文本解释；并将AI评估结果与经验丰富的人工感官评价及客观品质指标（硬度、失重率与颜色测定）进行验证。研究所用关键技术方法包括：以商用长绿温室黄瓜为样本，于4 ± 1 °C贮藏21 d，在第0、4、11、17和21天评估，设置玻璃纸包装与去膜两种状态，并在光箱受控LED光照、室内环境光与室外自然光三种环境下成像，数据集共含60幅智能手机图像（小米11T，108 MP相机，f/1.8光圈，26 mm广角镜头，JPEG格式3000 × 4000像素）；通过官方网页界面以标准化提示词对GPT-5.5与Gemini 3.1 Pro进行独立评估，每幅图像在新会话中评价且仅采用首次回答的评分，不使用API、自定义模型、微调或第三方软件；采用TA.XTplus质构仪（6 mm圆柱形不锈钢探头，预测试与测试速度1 mm s^-1，穿透深度5 mm，以最大穿透力Fmax为硬度指标）测定硬度，以数字分析天平测定失重率，基于定距拍摄的标准化图像经空间校准后在ImageJ中测定果柄直径，以分形维数（FD）分析量化表面皱缩，通过L*a*b*颜色空间阈值分割量化霉斑发生率，并在ImageJ中将RGB图像转换为L*a*b*空间以提取直方图分布与平均L*、a*、b*值；由12名来自厨师与生鲜销售者的经验丰富志愿者在环境光下按五点量表（1 = 很差；5 = 极佳）进行整体新鲜度感官评价，取12人平均分作为人工感官参考；采用15幅来自已发表文献、公开网络来源及新采集的独立黄瓜图像进行外部验证，参考标签由同一12人评价小组以五点量表确定并取中位数作为基准真值，以分类准确率评估性能；稳健性分析中每幅图像在三个独立会话中以相同提示词连续分析三次计算重复查询一致性（RQA），并以原始、简化与扩展三种语义等价提示词计算提示词间一致性（IPA）。统计分析采用完全随机设计，单因素与多因素方差分析（ANOVA）、Duncan多重极差检验、独立样本t检验、效应量（η²）、Pearson相关分析、基于标准化Z分数与完全连接及欧氏距离的聚类热图、相对相似百分比（RSP）、混淆矩阵与箱线图，显著性水平为95%。

研究结果方面，第一，贮藏期产品外观变化总体趋势：图2显示21 d冷藏期间黄瓜外观逐步劣变，最明显变化出现在第11天之后；第0天新鲜黄瓜呈均匀深绿色、有光泽、表皮光滑、坚实挺直；前4 d仅有轻微视觉变化；第11天表面光泽与颜色均匀性开始下降并出现局部淡绿区域，提示衰老开始；第17天表面暗淡与不规则变色加剧；第21天广泛颜色不均、表面缺陷及花端附近变暗区域反映严重劣变，与既往报道的叶绿素降解、光泽降低、变色与表面缺陷等采后衰老特征指标一致。第二，黄瓜L*a*b*直方图变化：随贮藏进行L*直方图逐渐变宽，表明果皮亮度空间变异增大，新鲜黄瓜分布较窄，第11天后分布变宽反映局部脱水与变色，第21天进一步变宽表明组织劣变导致亮度不均；a*直方图向更负值移动，表明果皮在贮藏期间基本保持绿色；b*直方图逐渐向高值移动，表明与叶绿素降解及类胡萝卜素暴露相关的黄度增加；果皮特写图像证实贮藏逐步降低表面光泽、增加颜色不均并促进皱纹形成与局部白色斑块，第21天变色与组织劣变清晰可见，证实外部外观可提供可靠的黄瓜新鲜度视觉指标。第三，贮藏期黄瓜果柄粗度变化：果柄粗度持续下降，新鲜黄瓜果柄中位直径超过5.5 mm，表明维管组织充分水合；前4 d仅轻微下降，第4至11天显著下降，中位粗度几乎减半，此后直至第21天下降更为平缓；上述变化与视觉观察一致，果柄逐渐变细、卷曲与干燥，主要反映水分散失与细胞壁结构降解导致组织膨压下降与衰老加速。第四，贮藏期霉斑发展：可见霉菌逐步增加，第0天未检出霉斑症状，证实初始品质良好；第11天首次出现小菌落，仅占果实表面0.5 ± 0.7%；第21天霉斑发生率显著增至2.3 ± 1.7%；霉斑发展与光泽降低、变色及组织衰老同时发生，提示长时间贮藏削弱果皮保护功能并促进真菌发展；后期贮藏阶段可见霉菌的逐渐出现可能为AI新鲜度评估提供有益视觉线索，但无霉斑不应被解释为新鲜度良好的证据，因为在可见真菌生长出现前可能已发生其他品质变化。第五，贮藏期黄瓜表面皱缩变化：以分形维数分析量化的表面皱缩在贮藏期间显著增加，新鲜黄瓜表面光滑，FD值最低（1.846 ± 0.015）；随贮藏进行，脱水诱导皱纹形成并增加表面复杂性，第11天FD升至1.946 ± 0.022，此后FD相对稳定（1.942 ± 0.014），提示大部分皱缩发生在贮藏早期；放大表面图像与三维纹理图清晰显示由光滑向粗糙表面的转变；FD值与可见表面变化的强对应表明分形分析可提供有用的新鲜度损失定量描述指标。第六，贮藏期黄瓜硬度变化：图8A显示冷藏期间硬度持续下降，新鲜黄瓜穿透力最高，反映高组织膨压与完整细胞壁结构；前4 d硬度变化不大，此后逐步下降，第17天降至约2.6 kg，第21天最低；软化主要源于水分散失、细胞膨压降低以及包括原果胶、不溶性果胶与半纤维素在内的结构多糖降解，从而削弱组织内聚力与机械阻力，这些变化为采后衰老特征并直接影响消费者接受度与商品性。第七，贮藏期黄瓜失重率变化：图8B显示冷藏期间失重率逐步增加，第0天无可测失重，贮藏期间逐渐增加并于第21天达最大，第11天后增幅最快，与视觉品质、硬度与果柄粗度的显著下降相吻合；由于黄瓜含水量高，水分散失是采后劣变的主要原因，蒸腾与呼吸降低组织膨压，导致软化、皱缩、光泽丧失与商品性下降；失重率与其他品质指标的密切对应证实水分散失是新鲜度劣变的主要驱动因素。第八，冷藏期间黄瓜颜色参数与物理品质属性的层次聚类分析：图9显示贮藏期分为两大簇，即第0–11天与第17–21天，表明最大劣变发生在贮藏后期；品质属性按时间行为聚类，颜色参数中L*、b*与色度形成密切相关的簇，因贮藏期间逐步升高，而a*因持续下降反映绿色丧失而形成独立簇；ΔE与黄度比与贮藏时间及其他劣变相关变量聚类，表明其较单个颜色坐标更能表征整体品质退化；失重率、霉斑发展与FD形成另一与新鲜度损失相关的簇，而Fmax与果柄粗度因贮藏期间均逐步下降而聚在一起。第九，黄瓜品质属性的相关分析：Pearson相关矩阵（图10）显示贮藏期间所测理化与颜色品质属性之间存在强关联，贮藏时间与失重率呈几乎完全的强正相关（r = 1.00），与ΔE（r = 0.97）、色度（r = 0.95）及黄度比（r = 0.94）呈极强正相关，表明这些参数随贮藏推进而逐步升高；相反，贮藏时间与硬度（r = ?0.96）、果柄粗度（r = ?0.90）及a*（r = ?0.96）呈强负相关，反映机械强度逐步丧失、果柄皱缩与绿色强度降低；物理与颜色属性之间的强相关表明黄瓜品质劣变受相互关联的生理过程支配，多种图像衍生指标可提供互补信息，可被视觉语言模型有效用于准确、全面、无损的黄瓜新鲜度评估。第十，基于预训练VLMs的黄瓜新鲜度空间映射：基于ChatGPT的代表性新鲜度图由第0、18与22天带包装黄瓜的智能手机图像生成（图11），以可视化VLM如何解读冷藏期间的空间新鲜度模式；对每幅图像，黄瓜表面被划分为众多小区域，各区域按可见新鲜度相关属性以预训练方式独立评估；识别为较新鲜的区域以蓝色呈现，显示品质劣变迹象的区域以红色突出，颜色强度增加代表新鲜度损失更严重；生成图显示从第0天以蓝色为主到第18天局部红色区域再到第22天广泛红色覆盖的清晰时间进程，表明劣变在黄瓜表面逐步扩展，这些空间模式与贮藏期间观察到的理化变化（包括水分散失、表面皱缩、软化、变色及真菌生长出现）密切对应。第十一，光照条件对AI黄瓜新鲜度评估的影响：在自然阳光、室内环境光与受控光照三种成像环境下评估光照对两种VLM新鲜度预测的影响；ChatGPT在受控光照下平均新鲜度评分最高（3.60 ± 1.07），其次为环境光（3.50 ± 1.08），自然阳光下最低（3.30 ± 0.82）；Gemini在环境光与受控光照下评分相近（均为3.10），标准差分别为1.29与0.88，自然阳光下最低（2.90 ± 1.20）；尽管描述统计存在轻微差异，ANOVA显示光照条件对ChatGPT或Gemini生成的新鲜度评分均无统计学显著影响（p > 0.05），相应效应量可忽略（ChatGPT η² = 0.017，Gemini η² = 0.008），表明光照条件仅解释模型预测变异的很小比例；Duncan多重极差检验进一步确认两种模型下三种光照条件均属同一同质子集，未检出显著两两差异；上述结果表明两种VLM对光照变化具有稳健性，其新鲜度评估在不同成像条件下保持一致。第十二，成像前包装条件对AI新鲜度评估的影响：以独立样本t检验分别评估玻璃纸包装有无对两种VLM预测新鲜度评分的影响；ChatGPT对带包装与不带包装黄瓜的平均新鲜度评分相同（3.47 ± 0.99），两种包装条件间未检出统计学显著差异（t(28) = 0.000，p = 1.000）；Gemini对带包装黄瓜的平均评分（3.13 ± 1.13）略高于不带包装样品（2.93 ± 1.10），但差异亦不显著（t(28) = 0.492，p = 0.626）；上述结果表明玻璃纸包装的存在未显著影响两种VLM预测的新鲜度评分，证明ChatGPT与Gemini无论包装条件如何均产生稳定评估。随后以单因素ANOVA评估贮藏时间对预测新鲜度评分的影响，结果显示贮藏时间影响显著（p < 0.05），ChatGPT与Gemini给出的平均新鲜度评分随贮藏时间延长而逐步下降，Duncan多重极差检验进一步将不同贮藏天数划分为不同统计子集，表明两种模型均能区分贮藏期间黄瓜新鲜度的逐渐下降。为进一步考察包装对模型预测的影响，生成了ChatGPT与Gemini在不同贮藏期与光照条件下带包装与不带包装黄瓜之间百分比一致性的热图；ChatGPT在各贮藏天数与光照组合下观察一致性为75%至100%，最高一致性出现在受控光照下，整个贮藏期呈完全一致（100%）（图12）；Gemini在各条件下观察一致性亦为75%至100%；尽管在某些贮藏天数与光照条件下存在轻微波动，但观察一致性值中未见提示玻璃纸包装对模型预测存在系统性影响的一致模式；然而这些一致性百分比应谨慎解释，因为每个特定贮藏时间、包装条件与光照条件组合仅有2幅重复图像，因此观察到的100%一致性代表现有重复间的完全一致，但不应被解释为完美一致性的证据或包装对AI黄瓜新鲜度评估无影响的确定性证据；由于各条件下重复数极少，未对上述描述性一致性百分比估计置信区间，所观察到的模式仅为跨包装条件响应一致性提供提示。第十三，视觉语言模型与人工评估的比较：以单因素ANOVA将两种VLM（ChatGPT与Gemini）与经验丰富的人工评价小组进行比较；描述统计显示ChatGPT平均新鲜度评分最高（3.47 ± 0.97），其次为Gemini（3.03 ± 1.10）与人工评价者（2.87 ± 1.31）；尽管ChatGPT倾向于给出略高于Gemini与人工评价者的新鲜度评分，但三种评估方法间差异无统计学显著性（p > 0.05），效应量较小（η² = 0.042），表明评估方法仅解释新鲜度评分变异的较小比例；总体而言，VLM提供的新鲜度评估与人工评价者密切吻合，在所测条件下各评估方法间未检出统计学显著差异，支持ChatGPT与Gemini基于视觉信息提供一致黄瓜新鲜度评估的潜力；但鉴于样本量相对较小，上述结果应谨慎解释，未来采用更大数据集与正式等效性检验的研究可为AI评估与人工评估之间的实际一致性提供更多证据。第十四，视觉语言模型在黄瓜新鲜度分类中的性能：以五类、四类与三类新鲜度方案下的归一化混淆矩阵评估分类性能（图13与图14）；两种模型均捕捉到新鲜度的逐步下降，且随着类别数减少总体分类准确率提高；三类方案下Gemini准确率约为77%，ChatGPT为64%，而随机水平准确率为33.3%；因此两种模型均高于随机水平，但所观察准确率（尤其Gemini）应被解释为分类能力的证据，而非可直接实际部署的充分证据。多数误分类发生在相邻新鲜度类别之间，提示当相邻新鲜度水平的视觉差异细微时细粒度区分可能具有挑战性；这一解释部分得到人工评估在中间贮藏阶段（第5、8与18天）变异较大的支持；然而ChatGPT与Gemini在相同参考条件下表现出不同分类模式，表明模型特定局限亦可能促成这些误差；因此所观察误分类可能反映视觉新鲜度边界模糊性与各VLM解读细微视觉线索能力差异的共同作用。ChatGPT表现出保守倾向，在五类方案下从未将样品判为极不新鲜类；减少类别数显著改善其性能，总体准确率由33%提高至50%，三类方案进一步改善分类，其中一般类正确识别率达92%；Gemini呈现更均衡的分类模式，五类方案下不新鲜、一般与新鲜三类各达约83%准确率，分类误差主要局限于相邻类别，三类方案下Gemini对不新鲜与一般类完美分类（100%），取得最高总体准确率（77%）；上述结果表明简化分类方案可减少模糊性并显著改善VLM性能。第十五，基于独立黄瓜图像的外部验证：为考察所观察性能是否局限于原始实验数据集，采用来自三个外部来源的15幅独立黄瓜图像进行外部验证；部分图像采集条件与主研究不同，因而为在更真实环境中评估所提框架稳健性提供了机会；结果显示GPT-5.5与Gemini与经验丰富的人工参考评价保持高度一致，在三级新鲜度评估中总体准确率分别为87%与60%；上述结果表明VLMs并非仅对原始数据集特有特征作出响应，而能够在来自独立来源的未见黄瓜图像中识别新鲜度相关视觉线索，因此为外部泛化提供了初步证据并支持所提框架在主研究所特定实验条件之外的实际适用性。第十六，稳健性分析：通过评估两种VLM在三种新鲜度分类方案下对重复查询与提示词表述变化的敏感性考察其稳健性（表1）；重复查询一致性（RQA）用于量化相同图像–提示词对在相同条件下多次提交时模型预测的一致性；总体上GPT-5.5与Gemini 3.1 Pro均表现出令人满意的可重复性，RQA值为60%至93%；最高可重复性由GPT-5.5在三类方案下取得，RQA为93%，而Gemini 3.1 Pro在同一方案下最高RQA为73%；两种模型的可重复性均随新鲜度类别数减少而提高，表明简化分类方案降低了预测变异性。为评估提示词措辞的影响，以三种语义等价但表述不同而保持相同评估目标的提示词测试各模型；GPT-5.5在三种提示词下分类准确率为60%至87%，Gemini 3.1 Pro为67%至80%；对GPT-5.5而言，提示词相关变异性在四类方案下最明显；Gemini 3.1 Pro在提示词表述间表现出更高稳定性，在五类（67%）与三类（80%）方案下三种提示词给出相同准确率；平均提示词间一致性（IPA）为47%至93%，最高一致性见于GPT-5.5三类方案，最低见于Gemini 3.1 Pro五类方案；与RQA结果类似，提示词一致性通常随新鲜度类别数减少而提高，提示降低类别复杂性增强了模型在替代提示词表述下响应的一致性。总体而言，稳健性分析表明两种VLM尽管经历重复执行与提示词措辞的中等变化，仍生成相对稳定的新鲜度评估；尽管GPT-5.5在三类方案下表现出高于Gemini 3.1 Pro的可重复性与提示词间一致性，Gemini在不同提示词表述下表现出更均匀的分类准确率；上述结果表明两种模型主要依赖黄瓜新鲜度的视觉特征而非提示词中的特定语言表达；此外，三类分类所观察到的稳健性改善与混淆矩阵分析一致，提示减少新鲜度类别数不仅提高分类准确率而且增强预测稳定性。

讨论与结论部分，作者在局限性中指出：数据集含60幅图像，覆盖五个贮藏时间、两种包装条件、三种光照条件及每个实验条件2幅重复图像，尽管该设计可系统评估多种实际条件，但重复数相对有限可能降低检测微小但潜在相关效应（尤其光照与包装因素）的统计功效，因此统计学非显著差异应解释为在本实验条件下未检出效应而非严格等效的证据；类似地，某些条件下观察到的100%一致性鉴于重复数有限应谨慎解释；由于未设定预定义的实际等效边界，未进行等效性检验，未来研究可通过纳入此类边界与相应等效分析加强该方面；替代提示词下分类准确率的变化亦表明提示词表述可影响VLM响应，凸显标准化提示词设计对可重复应用的重要性；尽管模型在给出新鲜度评分的同时生成了简洁文本解释，但这些解释在本研究中未被系统分析，为未来研究模型决策背后的视觉线索留有空间；外部验证亦仅使用相对较小的15幅图像集，因此更大更多样的验证数据集对评估泛化性将更有价值；此外，由于本研究聚焦于黄瓜，其发现不应在未经进一步验证的情况下直接外推至其他果蔬，因为某些视觉新鲜度线索可能具有商品特异性而另一些可能反映VLM识别的更一般模式；三类方案所观察到的性能与可重复性改善亦应结合其表征细粒度新鲜度差异能力降低加以考虑，这对需要详细品质分级或动态定价的应用可能相关；最后，所有评估均于2026年4月至6月通过公开可访问的网页界面进行，由于商业VLMs可能经历后续模型或系统更新，未来模型版本变化可能影响其输出，在重现或扩展本研究时应予以考虑。研究结论部分译为：本研究表明，公开可获取的视觉语言模型在仅使用实际成像条件下采集的常规智能手机图像进行无损黄瓜新鲜度评估方面具有相当大的潜力。与传统机器学习方法不同，所提框架以预训练方式运行，无需标注数据集、特征提取、模型训练或专用成像硬件，大幅简化了AI辅助品质评估的部署。AI生成的新鲜度评分、仪器品质测定与人工感官评估之间的密切一致性表明，多模态生成式AI能够有效解读与采后劣变相关的视觉线索。结果进一步显示，新鲜度预测在不同光照环境与包装条件下保持稳定，提示所提方法对于图像采集条件无法始终标准化的实际应用具有足够稳健性。简化分类方案所取得的更优性能亦表明，减少新鲜度类别数可能提高AI辅助品质分级在商业应用中的实际可靠性。更广泛而言，本研究是对通用视觉语言模型用于农产品新鲜度评估的首批系统评价之一，证明其无需任务特定训练即可将视觉信息直接转化为有意义的品质评估。随着多模态基础模型的持续进步，其与基于智能手机的成像平台的整合为可及性采后监测、零售品质管理与消费者决策支持提供了有前景的方向。