具有组内邻域关系感知的通道剪枝

《Disability and Health Journal》：Intra-Group Neighborhood Relationship-Aware Channel Pruning

通道剪枝方法中，现有聚类方法存在仅基于单层特征、易受异常样本干扰、错误剪除重要通道及手动设定簇数等问题。本文提出IGNRA方法，通过依赖图构建全局重要性评估，采用K-Medoids聚类减少异常影响，根据簇内通道数动态决定保留策略，并建立簇数与剪枝率自动关联机制，结合幅度剪枝提升模型压缩效果。实验表明该方法在9种模型、2类任务、6个数据集上均优于SOTA方法。

　　近年来，随着人工智能技术的快速发展，卷积神经网络（CNN）因其强大的表达能力和泛化能力，在计算机视觉领域得到了广泛应用。这些网络被成功应用于图像分类、目标检测、语义分割、图像超分辨率等多个任务中。然而，随着网络结构的复杂化，CNN的计算和存储需求也显著增加，这在资源受限的边缘计算设备上带来了部署难题。因此，为了优化CNN的性能，研究者们提出了多种模型压缩技术，其中剪枝（pruning）因其高效性而受到广泛关注。

剪枝方法主要分为结构化剪枝和非结构化剪枝两种类型。非结构化剪枝通过直接将部分权重设为零，从而实现网络的稀疏化，这种方法虽然容易实现，但往往需要专门的硬件支持才能获得实际的加速效果。相比之下，结构化剪枝则通过物理移除整个冗余或不重要的参数集，保持模型结构的完整性，使得剪枝后的模型能够兼容标准的硬件平台，从而在不依赖特殊硬件的情况下实现加速。因此，结构化剪枝在实际应用中更具优势。

传统的基于聚类的结构化剪枝方法通常采用K-Means或K-Means++算法来指导剪枝过程。这些方法通过计算数据点的均值来确定聚类中心，然而，这种做法容易受到异常样本的影响。此外，传统方法在进行聚类时，通常只考虑当前层的信息，而忽略了层与层之间的依赖关系。这可能导致对冗余通道的识别不够准确，影响剪枝效果。再者，传统方法需要手动设定每个层的聚类数量，这不仅降低了方法的灵活性，还影响了其在不同模型中的泛化能力。

为了解决这些问题，本文提出了一种基于组内邻域关系感知（Intra-Group Neighborhood Relationship-Aware, IGNRA）的通道剪枝方法。IGNRA方法首先采用DepGraph技术构建依赖图，从而评估每个通道的全局重要性。DepGraph是一种能够反映网络结构中通道之间依赖关系的工具，它通过分析通道之间的信息流动，为剪枝提供更全面的依据。接下来，IGNRA方法采用K-Medoids算法进行聚类，这种方法通过使用实际样本作为聚类中心，避免了异常样本对聚类结果的干扰。与传统的K-Means方法相比，K-Medoids在处理数据时更加鲁棒，能够更好地保持数据的分布特性。

在聚类过程中，IGNRA方法根据通道在组内的分布情况，识别出哪些通道具有相似的特征，进而判断其是否为冗余通道。对于具有多个通道的聚类，其聚类中心被认为是冗余通道，因此直接进行剪枝。而对于仅包含一个通道的聚类，由于该通道在后续任务中可能发挥独特的作用，因此被保留下来。这种方法不仅能够有效去除冗余通道，还能确保关键通道的保留，从而在减少计算负担的同时，保持模型的性能。

此外，IGNRA方法还通过建立聚类数量与剪枝比例之间的比例关系，实现了聚类数量的自动设定。这不仅提高了方法的灵活性，还增强了其在不同模型中的适应能力。最后，为了满足剪枝比例的要求，IGNRA方法还结合了基于幅度的剪枝策略，对那些幅度较小的通道进行进一步剪枝。这种方法通过两阶段剪枝，既保证了剪枝比例的精确控制，又提升了模型的整体性能。

为了验证IGNRA方法的有效性，本文在多个模型和数据集上进行了广泛的实验。实验涵盖了9种不同的模型架构，包括ResNet-20、ResNet-32、ResNet-56、ResNet-110、VGG-16、ResNet-50、DenseNet-121、ConvNext-Tiny和CARN，以及两个任务：图像分类和图像超分辨率。数据集包括CIFAR-10、CIFAR-100、ImageNet、Set14、B100和Urban100。实验结果显示，IGNRA方法在所有测试模型和数据集上均优于当前最先进的剪枝方法，表明其具有较高的有效性和泛化能力。

IGNRA方法的主要贡献体现在以下几个方面：首先，首次在基于聚类的剪枝方法中充分利用了组内邻域关系，为通道的重要性评估提供了更全面的依据。其次，通过采用K-Medoids算法进行聚类，有效减少了异常样本对剪枝结果的影响，并且根据聚类的不同特性，对冗余通道和关键通道进行了不同的处理。第三，通过建立聚类数量与剪枝比例之间的比例关系，实现了聚类数量的自动设定，提高了方法的灵活性和适应性。最后，结合基于幅度的剪枝策略，确保了剪枝比例的精确控制，并进一步提升了模型的性能。

在实验部分，首先介绍了使用的数据集、模型架构、实现细节和评估策略。接着，对IGNRA方法在不同模型和任务上的性能进行了详细研究。实验结果表明，IGNRA方法在所有测试模型和数据集上均优于当前最先进的剪枝方法，验证了其在实际应用中的有效性。此外，本文还讨论了IGNRA方法的优势，以及其关键模块在剪枝过程中的作用。通过这些分析，可以看出IGNRA方法在提升模型性能的同时，有效地降低了计算和存储需求，为在边缘设备上部署CNN提供了新的解决方案。

IGNRA方法的讨论部分进一步分析了其相较于传统剪枝方法的优势，以及其关键模块在剪枝过程中的作用。通过对比实验，可以看出IGNRA方法在识别冗余通道和保留关键通道方面具有更高的准确性。此外，IGNRA方法通过自动设定聚类数量，避免了手动调整带来的不确定性，提高了方法的通用性。这些优势使得IGNRA方法在实际应用中更加可靠和高效。

最后，本文还展望了未来的研究方向。尽管IGNRA方法在当前实验中表现出色，但仍然存在一些可以进一步优化的空间。例如，如何在更复杂的网络结构中应用IGNRA方法，以及如何进一步提升其在不同任务中的适应能力。此外，IGNRA方法还可以与其他模型压缩技术结合，如知识蒸馏和量化，以实现更全面的模型优化。未来的研究可能会探索这些方向，以推动CNN在边缘计算设备上的更广泛应用。

综上所述，IGNRA方法通过引入组内邻域关系感知和K-Medoids聚类策略，有效解决了传统剪枝方法在识别冗余通道和保留关键通道方面的不足。其自动设定聚类数量和结合基于幅度的剪枝策略，使得方法在灵活性和泛化能力方面得到了显著提升。实验结果表明，IGNRA方法在多个模型和任务上的表现均优于当前最先进的剪枝方法，具有较高的有效性和应用前景。未来的研究可能会进一步优化和扩展IGNRA方法，以适应更多复杂的网络结构和应用场景，从而推动CNN在边缘计算领域的持续发展。