在低数据量训练条件下，多尺度令牌融合与剪枝技术在CNN-Transformer混合模型中的图像识别应用

《Scientific Reports》：Application of multiscale token fusion and pruning in CNN–Transformer hybrids under low-data training for image recognition

　　

摘要

本文提出了一种用于图像分类的混合卷积神经网络与变换器架构，该架构能够充分利用多尺度空间表征，同时保持较高的计算效率。首先使用卷积层提取分层特征图，然后通过跨尺度令牌融合机制对这些特征图进行令牌化处理并融合。此外，还评估了多种在令牌层面和卷积层层面的剪枝策略，以确定是否可以去除冗余的空间令牌或卷积特征，而不会显著降低性能。在数据量较少的训练条件下，通过对Caltech-101和Oxford-IIIT Pets数据集的广泛实验表明，最佳配置因数据集而异：在Caltech-101数据集上，单个14×14尺度模型的准确率为70.28±1.91%，而单个7×7尺度模型的准确率为28.35±1.62%。在多尺度融合模型中，7×7+14×14模型在Caltech-101数据集上的准确率最高，为69.68±1.77%；而在Oxford-IIIT Pets数据集上，7×7+14×14+28×28模型的准确率最高，为27.57±1.05%。在两种数据集上，卷积核剪枝都取得了最佳的剪枝效果，其在Caltech-101数据集上的准确率为68.37±1.06%，在Oxford-IIIT Pets数据集上的准确率为28.15±1.15%。这些结果表明，多尺度令牌融合能够带来不错的性能，但相比单纯增加空间令牌的尺度数量，谨慎选择尺度更为重要。