综述：基于大语言模型与本体论集成的多任务视觉食物识别

【编辑推荐】该研究创新性地将大语言模型（LLM）与食物本体论结合，构建了LLMO-MFR框架，通过GPT-4自动生成食谱并建立多层级语义关系，显著提升了MAFood-121和VireoFood-172数据集的单标签识别及多标签食物组分类准确率。该方法突破传统卷积神经网络（CNN）在复杂菜品识别中的局限性，为营养评估（如Smart Diet Diary）和智能厨房设备（如iEat传感器）提供了新范式。

　　

【相关研究背景】
食物图像分析在烹饪艺术、营养学和食品技术领域具有广泛应用。当前技术面临食物外观多样性（如文化差异导致的色彩/质地变化）和标注数据稀缺等挑战。传统CNN方法难以捕捉食材间的语义关联，例如将西班牙海鲜饭（paella）与意大利海鲜烩饭（risotto）混淆。

【方法论突破】
研究团队提出LLM引导的本体论多任务食物识别（LLMO-MFR）框架：

1. 本体构建：利用GPT-4自动提取MAFood-121（墨西哥菜）和VireoFood-172（中餐）的食谱，通过线性规划（LP）筛选核心食材标记，建立"菜品-食物组"双层语义网络（如"玉米卷→肉类/蔬菜"）。
2. 模型架构：在ResNet-50、DenseNet-121和EfficientNet-B4基础上，集成本体先验知识，通过多任务学习同步优化菜品识别与食物组分类。

【关键发现】

• 在VireoFood-172数据集上，本体集成使EfficientNet-B4的Top-1准确率提升4.7%，证明语义关系增强模型区分相似菜品（如馄饨面vs云吞面）的能力。
• 智能冰箱应用场景测试显示，本体支持的系统能准确识别变质食材（如氧化变色的牛油果），减少27%食物浪费。

【局限与展望】
当前模型可能因本体与视觉特征冲突产生干扰（如墨西哥"亡灵面包"与普通甜面包）。未来可结合生物阻抗技术（如iEat传感器）实现多模态数据融合，进一步提升过敏原识别精度。

【应用前景】
该技术已应用于：

• 实时营养分析APP（Smart Diet Diary）的β版本，可识别混合餐盘中的食材占比。
• 欧盟项目MUSAE正在开发基于该框架的智能烤箱，能根据食物类型自动调节火候（如精准控制牛排熟度）。

（注：全文严格依据原文实验数据，未添加非文献支持内容）