基于高阶结构的混合自监督学习方法用于图异常检测

《Neurocomputing》：Hybrid self-supervised learning based on higher-order structures for graph anomaly detection

模型压缩方法、后训练量化（PTQ）、视觉Transformer（ViT）、自适应量化优化（AQO）、标度重参数化（SRO）、量化误差抑制、部署效率优化、图像分类、目标检测、语义分割

　　近年来，随着深度学习技术的迅速发展，神经网络模型在各种任务中的表现不断提升。然而，模型的规模和复杂度也随之增加，这使得模型的部署面临诸多挑战。特别是在资源受限的设备上，如移动设备或嵌入式系统，高精度模型的计算和存储需求往往难以满足。因此，研究如何在不显著牺牲模型性能的前提下，对神经网络进行有效的压缩，成为了学术界和工业界共同关注的重要课题。

在这一背景下，Vision Transformers（ViTs）作为一种新兴的视觉模型架构，因其在图像分类、目标检测、语义分割等任务中表现出的优异性能而受到广泛关注。然而，ViTs的高计算复杂度和内存占用也使其在实际部署中面临困难。为了解决这一问题，研究者们提出了多种模型压缩技术，其中量化（Quantization）是一种广泛应用且有效的方法。量化通过将高精度的数值映射到低精度表示，从而显著减少模型的存储需求和计算量，使其更适合在边缘设备或资源受限的环境中运行。

传统的量化方法通常分为两类：量化感知训练（Quantization-Aware Training, QAT）和后训练量化（Post-Training Quantization, PTQ）。QAT需要在训练过程中引入量化操作，使得模型能够适应低精度的计算环境，从而减少量化带来的精度损失。然而，这种方法要求使用完整的训练数据集进行再训练，计算成本较高，且实施过程较为复杂。相比之下，PTQ则是在模型训练完成后，仅利用少量的校准数据进行量化，避免了再训练的步骤，从而加快了量化流程并降低了部署难度。尽管如此，PTQ方法在ViTs中的应用仍然面临一些关键问题，尤其是在保持模型性能的同时实现高效的量化。

ViTs的结构与传统的卷积神经网络（CNNs）存在显著差异。CNNs通常通过局部感受野和分层特征提取来处理图像数据，而ViTs则采用自注意力机制（Self-Attention Mechanism）来建模全局上下文关系和长距离依赖性。这种结构差异导致ViTs的激活值和权重分布与CNNs常用的假设（如均匀分布或高斯分布）存在较大偏差，从而使得标准的均匀量化方法难以有效应用。此外，ViTs在经过Layer Normalization（LayerNorm）后，激活值在不同通道之间表现出显著的方差，这种方差使得模型对量化误差更加敏感，进一步加剧了量化带来的性能下降。

为了解决上述问题，近期的研究提出了多种非均匀量化方法，如双均匀量化器（Twin Uniform Quantizers）和对数尺度（Logarithmic Scales）等。这些方法通过更精细地调整量化参数，能够在一定程度上缓解分布不匹配和通道间方差问题。然而，非均匀量化方法往往伴随着较高的计算开销和推理延迟，同时增加了部署的复杂性。因此，如何在保持模型性能的同时，实现简单且高效的量化，成为了当前研究的热点。

针对这一挑战，本文提出了一种全新的优化驱动的后训练量化框架——UniQ-ViT。该框架基于完全的均匀量化，旨在在不牺牲模型性能的前提下，实现高效的模型压缩和部署。UniQ-ViT的核心思想是通过引入两个互补的优化机制：自适应量化优化（Adaptive Quantization Optimization, AQO）和尺度重参数化优化（Scale Reparameterization Optimization, SRO），来有效应对ViTs在量化过程中遇到的两个主要问题。

AQO通过块级参数细化的方式，逐步缓解由异常值引起的量化误差。首先，AQO基于均方误差（Mean Squared Error, MSE）最小化原则，确定局部最优的量化范围，从而初始化量化参数。接着，AQO联合微调量化参数和权重，以恢复模型的性能。这一过程使得模型在量化后的表现更加接近原始模型，同时减少了量化带来的精度损失。

另一方面，SRO则针对ViTs在LayerNorm后激活值通道间方差较大的问题，提出了一种基于量化-推理解耦的两阶段优化过程。在量化阶段，SRO优化通道特定的量化参数，以更好地适应不同通道的激活分布。而在推理阶段，SRO对重参数化的权重量化参数进行二次局部优化，从而进一步降低量化误差的传播。通过这种两阶段的优化策略，SRO能够有效减少量化对模型性能的影响，特别是在低比特量化场景下，其效果尤为显著。

UniQ-ViT的创新点主要体现在三个方面。首先，该框架开发了一种基于完全均匀量化的新型量化方法，能够在保持硬件兼容性和部署简便性的同时，实现更高的量化精度。其次，引入了AQO和SRO两种先进的优化技术，分别解决了异常值引起的量化误差和通道间方差问题。AQO通过块级参数细化逐步优化量化参数，而SRO则通过量化-推理解耦的两阶段优化过程，有效缓解了通道间方差对模型性能的影响。第三，通过在多种ViT架构和不同计算机视觉任务上的广泛实验验证，本文证明了UniQ-ViT在低比特量化场景下，能够显著优于现有的PTQ方法，同时保持较高的部署效率。

在实验部分，本文对UniQ-ViT进行了全面评估。实验涵盖了多个视觉任务，包括图像分类、目标检测和实例分割等。此外，还测试了不同ViT架构下的性能表现，如ViT-B、ViT-L和ViT-H等。通过与现有的PTQ方法进行对比，结果表明UniQ-ViT在保持模型精度的同时，显著降低了量化带来的计算开销和推理延迟。特别是在低比特量化（如8位或4位量化）情况下，UniQ-ViT的表现尤为突出，证明了其在实际部署中的有效性。

为了进一步验证AQO和SRO的贡献，本文还进行了详细的消融实验。实验结果表明，AQO在初始化量化参数和微调过程中起到了关键作用，能够有效抑制异常值对量化精度的影响。而SRO则通过分阶段优化，显著减少了量化误差的传播，从而提升了模型的整体性能。此外，实验还分析了不同量化位数对模型性能的影响，结果表明随着量化位数的降低，模型的性能下降幅度相对较小，进一步证明了UniQ-ViT在低比特量化下的鲁棒性。

在实际应用中，模型的部署效率和推理速度是衡量其性能的重要指标。UniQ-ViT通过采用完全的均匀量化，简化了量化过程，使得模型能够在边缘设备上快速部署和运行。此外，由于其优化机制的有效性，UniQ-ViT在保持模型精度的同时，能够显著降低计算和存储需求，从而提升了模型的实时性和适用性。

本文的研究成果不仅为ViTs的量化提供了新的思路，也为其他类型的Transformer模型在实际部署中的应用提供了参考。未来的研究可以进一步探索如何将这些优化技术应用于其他类型的神经网络，如自然语言处理模型或语音识别模型，以实现更广泛的模型压缩和部署应用。此外，还可以研究如何在不同的硬件平台上优化量化过程，以更好地适应实际应用场景的需求。

总之，UniQ-ViT作为一种优化驱动的后训练量化框架，为ViTs的高效部署提供了新的解决方案。通过引入AQO和SRO两种互补的优化机制，UniQ-ViT在保持模型精度的同时，显著提升了量化效率和部署灵活性。本文的实验结果表明，UniQ-ViT在多种视觉任务和不同ViT架构下均表现出色，特别是在低比特量化场景下，其性能优势更加明显。因此，UniQ-ViT为实现ViTs在实际应用中的高效部署提供了一条可行的路径，具有重要的理论和实践意义。