少即是多：高效修剪以减少 AI 内存和计算成本

巴伊兰大学的研究人员开发出一种突破性的方法，能够在不影响性能的情况下大幅缩减深度学习系统的规模和能耗。这项研究发表在《物理评论 E》杂志上，表明通过更好地理解深度网络的学习机制，可以在保持准确率的同时，在某些层级上修剪高达 90% 的参数。这项由 Ido Kanter 教授和博士生 Yarden Tzach 领导的进展，有望使人工智能更高效、更可持续，并更易于在实际应用中扩展。

　　

近年来，深度学习和人工智能系统取得了长足进步，尤其是在自动化处理图像识别、计算机视觉和自然语言处理等复杂计算任务方面。然而，这些系统包含数十亿个参数，需要占用大量内存，并且计算成本高昂。

这一现实引出了一个问题：我们能否在不损害其性能的情况下优化（或者更准确地说，精简）这些系统中的参数？巴伊兰大学的研究人员刚刚在《物理评论E》 上发表的一项研究中给出了肯定的答案。

在文章中，研究人员展示了如何更好地理解成功深度学习背后的机制，从而有效地修剪深度架构中不必要的参数，而不会影响其性能。

“这一切都取决于对深度网络中发生的事情、它们如何学习以及哪些参数对其学习至关重要的初步理解，”领导这项研究的巴伊兰大学物理系和贡达（戈德施密德）多学科脑研究中心的伊多·坎特教授说道。“这是科学研究始终存在的现实，我们了解得越多，理解得越透彻，反过来，我们能够创造的技术就越先进、越高效。”

“有很多方法试图提高内存和数据的使用率，”本研究的主要贡献者、博士生 Yarden Tzach 说道。“其他方法能够提高内存使用率和计算复杂度，但我们的方法能够修剪某些层高达 90% 的参数，而且丝毫不会影响系统的准确性！”他补充道。

这些成果可以提高人工智能系统的利用率，包括内存和能耗。随着人工智能在我们日常生活中越来越普遍，降低其能源成本将变得至关重要。

深度学习中高级剪枝的视频：https://www.youtube.com/watch? reload=9&v=IzfpNPKSFCc

---