基于深度学习的食物成分分割技术，结合共现关系约束

食材共现关系约束的深度学习食品分割框架通过构建FoodSeg103和Recipe1M+共现矩阵，显著提升低频食材检测精度达755%，mIoU在Recipe1M+数据集上提升16.54%，同时保持15.68ms实时推理速度。

　　

摘要

准确的食材级分割对于智能饮食评估至关重要，但由于类别不平衡严重以及熟食的视觉模糊性，这一任务仍然具有挑战性。本研究旨在通过将领域特定的烹饪知识融入深度学习模型来提高分割精度，尤其是对于那些出现频率较低的食材。我们提出了一个通用框架，该框架利用食材共现关系约束来指导深度学习分割模型的训练。通过对大规模数据集（FoodSeg103和Recipe1M+）中的食材配对模式进行统计分析，我们构建了共现矩阵，这些矩阵能够捕捉食材共同出现的可能性。这些矩阵被整合到U-Net架构的损失函数中，并与各种先进的编码器结合使用，为模型学习提供了上下文先验信息。我们的方法在多种编码器架构上实现了显著且具有统计学意义的性能提升。在FoodSeg103数据集上，平均交并比（mIoU）提高了3.72%，F1分数提高了3.65%。更值得注意的是，当使用更大的Recipe1M+数据集构建共现矩阵时，mIoU的提高达到了惊人的16.54%，显示出强大的泛化能力。对于使用Recipe1M+矩阵的EfficientNet-b7模型，该方法在最不常见的10%的食材类别中实现了mIoU高达755%的提升，有效缓解了类别不平衡问题。该方法在标准GPU上保持实时推理能力，延迟时间为15.68毫秒。通过整合外部烹饪知识（通过共现矩阵），这项工作有效地解决了食品分割中的类别不平衡问题。一致且具有统计学意义的性能提升验证了该框架的稳健性。该方法在自动化饮食监测系统、智能餐饮平台和营养分析工具等应用中具有重要的实际价值。

图形摘要