iPheno：面向细粒度作物表型分析的双感知多模态视觉语言模型

《Plant Communications》：iPheno: A Novel Dual-Aware Vision-Language Model for Multi-Task Fine-Scale Crop Phenotyping

　　

摘要

作物表型分析对于推进植物育种至关重要，但仍面临重大挑战。人工方法劳动密集且无法扩展至大规模数据分析，而计算方法（如视觉语言模型（VLMs））缺乏对细粒度空间推理和多样化表型分析场景的适应性。为弥补这些不足，我们提出了iPheno——一个完全开源、领域专用的多模态视觉语言模型，用于细粒度作物表型分析。iPheno的一项关键创新在于其双感知架构。首先，空间感知特征提取器将掩膜区域采样为局部K近邻（KNN）图，从而实现对任意形状区域的细粒度分析；其次，任务感知混合专家（MoE）路由机制为每项表型分析任务激活专用模块。为训练iPheno并实现严格的基准测试，我们构建了iPheno-120K——一个专为多种表型分析任务设计的大规模高精度数据集。在iPheno-120K测试集及其他公开数据集上的评估表明，iPheno优于所有微调基准模型，F1分数提升17.1%（LLaVA-1.6-13B）至28.9%（MiniCPM-o-9B），同时实现了最高的推理速度和内存效率。iPheno已提供Web服务器（https://ipheno.ai4bread.com）、移动应用（www.ipheno.cn）及独立PC客户端（https://github.com/2997029323/iPheno-PC-Client）。