预定义图像描述符辅助卷积神经网络归因分析在药用植物种子分类中的应用与解读

《Scientific Reports》：Contextualizing CNN attribution maps using predefined image-derived descriptors in medicinal plant seed classification

　　

摘要

深度学习分类器在药用植物种子图像分类中可实现较高的预测性能，但仅凭预测准确率无法阐明哪些视觉属性与模型响应相关联。本文分析了五类药用植物种子的RGB图像，将卷积神经网络（CNN）归因图与种子前景内预定义的图像衍生描述符图进行对比。在受控成像和预处理条件下，ResNet50、EfficientNet-B0和ConvNeXt-Small均表现出较高的分类性能。然而，物种相关差异无法与未记录的采集会话效应相区分。在ConvNeXt-Small中，零基线绝对积分梯度（IG）与LAB色彩空间的L值、亮度以及快速傅里叶变换（FFT）低通滤波显示出最大的关联性，它们形成了一个高度冗余的强度与亮度相关簇。移除显式输入基线幅值项后，这些关联性减少了46.3%至49.2%，此外对基线、有符号IG及Grad-CAM的分析显示，描述符关联性在不同归因表示间存在变化。描述符摘要特征分类进一步表明，在受控成像条件下，前景层面的描述符统计量包含具有类别区分度的视觉信息。这些结果支持使用预定义描述符在图像衍生视觉背景中为归因模式提供语境化解读，其中解读应侧重于依赖于方法的空间关联性。