TT-DSC：通过高效的基于张量训练的深度可分离深度神经网络，提升YOLO在海洋生态系统监测中的应用效果

《ACM Transactions on Autonomous and Adaptive Systems》：TT-DSC: Enhancing YOLO for Marine Ecosystem through Efficient Tensor Train-based Depthwise Separable Deep Neural Network

人工智能中的深度神经网络在海洋生态保护中广泛应用，如实时物种识别和非法捕捞监测。Tensor Train分解虽能压缩网络，但CONV层仍存在高计算成本。本文提出分离式TT-CONV，结合深度可分离卷积，使计算量降低7-10倍，参数减少1/3，FLOPs降低15%，并支持分布式训练以缓解GPU内存压力。

　　

摘要

当前的人工智能（AI）时代，得益于深度神经网络（DNN）强大的学习能力，尤其是卷积层（CONV）的应用，取得了显著且持续的进步。在海洋生态系统保护领域，这些进步彻底改变了我们监测和保护海洋环境的能力。特别是采用YOLO（一次观看即可完成）架构的DNN，在实时海洋物种识别、海洋哺乳动物迁徙追踪、珊瑚白化事件检测以及非法捕鱼活动监测等任务中发挥了重要作用。这些基于AI的工具为海洋生态系统提供了前所未有的洞察力，使得保护行动能够更加及时和有效。

为了进一步提高这些网络的计算和存储效率，张量列车（Tensor Train，TT）分解技术作为一种有效的压缩方法应运而生，因为它具有较高的压缩比，并能保持良好的性能。然而，TT格式下的卷积层仍然会产生较高的计算成本，这主要源于卷积运算以及TT使用过程中额外的乘法操作。因此，降低这些计算成本对于提升DNN的效率至关重要。

为了提高DNN的计算效率，本文提出了一种新的可分离TT分解方法，该方法采用深度可分离卷积（depthwise separable convolution）来实现高效的TT格式卷积层。值得注意的是，这种方法不仅显著降低了计算成本，而且在参数压缩和准确性方面与传统TT格式模型相当。此外，该方法还支持基于卷积层分解的分布式学习。通过调度分解后的小权重张量，我们大幅减少了大型模型对GPU内存的需求，从而提高了训练的可用性和速度。

本文的主要贡献有两大方面：（1）通过最小化TT冗余和优化卷积运算，实现了TT格式卷积层计算成本和参数数量的同步降低，每层性能提升了7-10倍，参数总数减少了三分之一，模型级别的FLOPs运算量降低了15%。（2）我们展示了该方法如何实现有效的分布式学习和资源分配。通过结合TT分解和深度可分离卷积技术，我们提出了TTDSC（基于TT的深度可分离卷积方法）。这项研究为提高卷积层压缩效率开辟了新的途径，并对大规模深度学习应用具有重要意义。