基于微调的视觉-语言对比学习模型进行小样本薄片图像岩石学识别

《Minerals》:Petrographic Identification from Small-Sample Thin-Section Images Using a Fine-Tuned Vision-Language Contrastive Learning Model

【字体: 大 中 小 】 时间:2026年09月13日 来源:Minerals 2.7

编辑推荐:

   摘要

  

摘要

从薄片图像中进行准确的岩石学鉴定对地球科学分析至关重要,但目前仍高度依赖专家的主观判读。在本研究中,我们收集了324个不同薄片上的2634张偏光图像,涵盖108种岩性,并将其与中文岩石学描述进行配对。我们训练了四个传统视觉模型,作为封闭集岩性分类的基线,并对五种CN_CLIP变体进行了图像-文本对齐的微调。为防止同一薄片的图像在不同外层折之间出现重叠,在剔除仅由少于三个不同薄片代表的八种岩性后,进行了按薄片分组的三折交叉验证;该方案共包含311个薄片的2530张图像和100种符合条件的岩性。在固定的20个epoch终点,CN_CLIP-ViT-L/14@336px和CN_CLIP-ViT-H/14的双向图像-文本匹配准确率分别为81.39 ± 1.97%和81.31 ± 0.61%,而传统分类器在其各自封闭集任务下实现的Top-1准确率为50.37%至58.20%。这些指标对应不同的任务设定,不能直接比较。在互补的图像级8:1:1协议下,CN_CLIP-ViT-H/14在留出测试子集上实现了93.75%和93.38%的图像到文本及文本到图像匹配准确率。在推理阶段消融实验中使用相同的检查点、留出测试批次和评估协议,仅移除显式岩性名称便使上述准确率降至82.72%和77.21%,表明岩石名称词元具有信息量,但并非跨模态区分的唯一来源。在无需针对特定任务重新训练的情况下,相同的CN_CLIP框架还支持受约束的岩性、主要矿物和偏光模式匹配,最佳任务特定准确率分别为90.57%、66.51%和86.42%。总体而言,结果支持视觉-语言学习作为一种灵活框架,可用于在现有数据集范围内对留出薄片的专家辅助岩石学图像-文本匹配,同时强调来源感知分区的必要性以及对任务特定准确率的谨慎解读。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号