SegmentR:基于R接口的深度学习图像分割工具在生物多样性研究中的应用

【字体: 时间:2025年06月04日 来源:Ecological Informatics 5.9

编辑推荐:

  针对生物图像数据激增但人工分割效率低下的问题,James D. Boyko开发了集成GroundingDINO和SlimSAM模型的R包SegmentR,通过文本提示实现自动化分割,支持鱼类解剖、花卉颜色分析等场景,为生态学家提供零代码解决方案,相关成果发表于《Ecological Informatics》。

  

数字时代的海量生物图像正以前所未有的速度积累,从公民科学平台iNaturalist到博物馆标本数字化项目,全球生物多样性数据库GBIF已汇集数亿条记录。然而,这些非标准化图像中的表型信息提取仍依赖耗时且主观的人工标注,传统计算机视觉(CV)模型又受限于预定义分类体系,难以应对生物类群的"长尾分布"特征——即常见物种数据丰富而稀有物种样本匮乏的问题。

针对这一挑战,研究人员开发了开源R包SegmentR,创造性整合两种前沿深度学习模型:基于Transformer架构的多模态检测器GroundingDINO(能通过文本提示识别对象)和轻量化分割模型SlimSAM(参数精简版Segment Anything Model)。该工具首次在生态学家熟悉的R环境中实现"文本到分割"的端到端流程,用户仅需输入"鱼鳍"等自然语言描述,系统即可自动完成目标检测、实例分割及结果可视化。研究论文发表于《Ecological Informatics》期刊。

关键技术包括:1) 基于conda环境部署Python后端与R的CLI交互架构,避免传统reticulate包的内存限制;2) 采用GroundingDINO+SlimSAM组合处理iNaturalist等来源的异构图像;3) 开发remove_mask()等后处理函数优化分割精度;4) 集成recolorize包实现批量花卉颜色分析。

研究结果
2.1 SegmentR安装
通过conda管理依赖环境,安装过程自动解决Python库版本冲突,即使缺少Rust语言支持仍可正常运行。

2.2 核心流程
测试表明,输入"黑色色卡"等描述性提示比直接使用专业术语检测准确率提升37%。批处理4张花卉图像仅需39秒(M2 Max芯片),导出透明PNG时可选重叠移除功能。

3.1 生物结构特异性分割
以鲷鱼为例,"鱼鳍"文本提示成功分离尾鳍与躯干,但需手动剔除误检的背鳍(置信度<0.6),显示模型对显性特征更敏感。

3.2 批量处理效能
对iNaturalist花卉数据集(CC-BY-NC授权)进行批处理,自动生成包含检测分数、边界框坐标的元数据表,为后续recluster()色彩聚类提供标准化输入。

3.3 标准化影像解析
在蛇类标本与X-Rite色卡的复合图像中,"盘曲的蛇"和"带色块的黑色方块"双提示实现同步分割,但线圈内部空隙会导致背景误纳入。

讨论与展望
SegmentR的突破性在于:1) 将需要GPU集群的CV任务降级至普通PC运行;2) 通过文本模态突破传统模型分类限制;3) 与R生态无缝对接。局限性体现在处理内部镂空结构时需结合背景去除算法,且超大图像集(>10,000张)可能引发R内存瓶颈。

这项工作标志着深度学习在生态学的平民化应用迈出关键一步。正如作者James D. Boyko强调:"当芝加哥菲尔德博物馆的标本数字化速度达到每天5000份时,自动化工具不再是选项而是必需。"未来通过纳入更多博物馆标本数据微调模型,有望在系统发育尺度上建立表型-环境关联分析的新范式。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号