通过多粒度对齐实现跨模态食谱检索

《Neural Networks》:Cross-modal Recipe Retrieval via multi-granularity alignment

【字体: 大 中 小 】 时间:2026年05月19日 来源:Neural Networks 6.3

编辑推荐:

  Runqi Zan|Tao Yao|Yuxin Yu|Guorui Sheng|Zongchao Huang摘要随着全球对食品安全和营养管理的日益重视,跨模态食谱检索技术在食品计算领域变得越来越重要。然而,以往的方法通常侧重于将食谱文本和图像与粗粒度嵌入对齐,以学习一个共享空间,

  
Runqi Zan|Tao Yao|Yuxin Yu|Guorui Sheng|Zongchao Huang

摘要

随着全球对食品安全和营养管理的日益重视,跨模态食谱检索技术在食品计算领域变得越来越重要。然而,以往的方法通常侧重于将食谱文本和图像与粗粒度嵌入对齐,以学习一个共享空间,这忽略了图像和文本模态之间主要食材的对齐问题,导致难以区分具有相似食材的食品,从而导致搜索结果不准确。为了解决这一挑战,我们提出了一种跨模态多粒度对齐(CMGA)方法用于食谱检索任务。具体来说,首先设计了一个关键信息增强(KIE)模块,该模块结合了跨注意力机制和大型语言模型(LLM),使文本编码器能够关注关键食材信息。然后提出了一个图像细节增强(IDE)模块,通过结合稀疏注意力机制和动态特征融合模块来捕捉图像中的食品成分和烹饪细节。最后,采用了一种双向对比损失函数,使模块能够专注于难点样本的学习,从而进一步区分相似的食谱。在Recipe1M数据集上的实验表明,CMGA在跨模态食谱检索任务中的表现优于基线模型。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号