基于像素级语义增强的双模块协同细粒度鸟类图像分类框架(PFIC)研究

本文提出创新的像素级语义增强细粒度鸟类图像分类框架(PFIC)，通过分组细节增强模块(GDE)融合分割特征提取器(SFE)的多层次像素语义信息，结合背景-前景增强策略(BFE)生成多样化训练样本，在CUB-200-2011和NABirds数据集上实现SOTA性能，为濒危鸟类保护提供精准的计算机视觉解决方案。

　　

Highlight

本研究亮点在于：

• 提出像素级语义增强的细粒度鸟类图像分类框架(PFIC)，通过融合像素级语义信息显著提升模型对羽毛纹理等细微特征的捕捉能力

• 创新设计分组细节增强模块(GDE)，包含分组聚合子模块(GAM)和细节增强子模块(DEM)，动态整合分割特征提取器(SFE)的多层次语义信息

• 开发背景-前景增强策略(BFE)，通过文本提示预处理结合前景随机位移，有效提升模型在复杂背景下的目标识别鲁棒性

Method

方法学创新：

PFIC框架采用双分支架构，其中GDE模块通过GAM将分割网络提取的像素级语义信息分组编码为组令牌(group tokens)，DEM则通过跨模态注意力机制将这些富含细节的令牌与分类特征进行自适应融合。BFE策略利用CLIP文本编码器生成语义约束，通过背景范围限制和前景随机位移构建对抗性训练样本。

Conclusion

研究证实：

在CUB-200-2011和NABirds数据集上的实验表明，PFIC框架将细粒度分类准确率分别提升至92.7%和89.3%。可视化分析显示，模型能精准聚焦鸟类喙部、羽冠等鉴别性区域，在斯坦福汽车数据集上的延伸实验验证了该框架的跨领域适用性。