概念增强超图引导的医学图像内容检索框架

《IEEE Access》:Concept-Enhanced Hypergraph-Guided Medical Image Retrieval Using CUI Semantics

【字体: 大 中 小 】 时间:2026年10月15日 来源:IEEE Access 4.2

编辑推荐:

   摘要:基于内容的医学图像检索(CBIR)旨在为查询图像返回语义相关的参考图像,但仅基于图像的最近邻检索会将视觉相似性与生物医学语义相似性混淆。本文提出了一种概念增强超图引导检索框架(CE-HyperKG-Ret),该查询自适应框架结合了基础视觉嵌入与概念瓶颈概念唯一标识符(C

  摘要:基于内容的医学图像检索(CBIR)旨在为查询图像返回语义相关的参考图像,但仅基于图像的最近邻检索会将视觉相似性与生物医学语义相似性混淆。本文提出了一种概念增强超图引导检索框架(CE-HyperKG-Ret),该查询自适应框架结合了基础视觉嵌入与概念瓶颈概念唯一标识符(CUI)预测、训练集构建的CUI超图推理、反事实语义负样本挖掘,以及不确定性感知的视觉-语义融合。该方法首先从视觉上检索前N个候选图像,预测查询图像与候选图像的CUI分布,通过仅在训练阶段构建的超图扩展保留的预测CUI,并利用视觉、预测CUI及超图分数对候选图像进行重新排序。为控制信息泄露,词汇表、成对图和超图仅从训练图像中构建;阈值和融合权重在验证集上选择;保留的标注CUI仅在排序列表确定之后才使用。在ROCOv2数据集上进行完整CUI评估时,最终的V6配置实现了CUI@5为0.9926 ± 0.0004,Precision@5为0.9765 ± 0.0007,mAP@5为0.9718 ± 0.0010,NDCG@5为0.6020 ± 0.0040。与使用相同检索损失、协议和随机种子进行微调的最强基线编码器相比,CUI@5提升了+0.1328,NDCG@5提升了+0.2327。该优势在通用筛选、仅限发现/疾病以及罕见概念评估下依然存在,外部测试中在ROCO上CUI@5为0.9650 ± 0.0025,在MedICaT上为0.8900 ± 0.0060。消融实验表明,最大增益归因于CUI预测,超图重排序、反事实负样本和不确定性感知融合也带来了进一步的提升。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号