用于像素级外来塑料物体分类的小型高光谱 Transformer 模型的全量化训练与训练后量化对比

《Sensors》：Fully Quantized Training vs. Post-Training Quantization for a Small Hyperspectral Transformer Model for Pixel-Level Foreign Plastic Object Classification

　　

摘要

低精度浮点计算已成为高效人工智能的核心，但其在紧凑型基于 Transformer 的高光谱成像（HSI）模型中的表现仍研究不足。在这项工作中，我们针对家禽高光谱数据中的像素级外来塑料物体（FPO）分类，提出了全量化训练（FQT）和训练后量化（PTQ）的对照比较研究。使用固定的最先进的空间 - 光谱 Transformer 骨干网络、通用的混合精度策略以及相同的训练和推理协议，我们评估了 FP32、FP16、BF16、FP8 和 NVFP4 在预测性能、模型压缩、训练效率和推理效率方面的表现。结果表明，混合精度 FQT 在测试的精度范围内保持高度稳健，所有降低精度的配置在整体准确率上均保持在 FP32 基线 0.63 个百分点以内，同时在匹配精度下始终优于 PTQ。在评估的格式中，BF16 提供了最接近 FP32 的准确率，而 FP8 在保持精度和降低精度之间提供了特别有利的平衡，同时模型压缩量在 NVFP4 下逐步增加至。然而，计算收益强烈依赖于工作负载。原生 FP8/FP4 硬件支持并不会在中等工作负载下自动提高该紧凑型模型的训练吞吐量，且为了更好地利用低精度硬件所需的大训练批次可能会降低预测性能。相比之下，大批次推理可以有效利用 FP8 和 NVFP4，且不影响预测准确率。消融实验进一步表明，有选择地将数值敏感模块保留在 FP32 下对于稳定的超低精度操作至关重要。总体而言，研究结果表明，对于紧凑型 HSI Transformer，低精度是一种可行但依赖于工作负载的设计选择，其中 FQT 比 PTQ 提供更高的准确率稳健性，而 FP8 提供了有利的整体准确率 - 效率权衡。