新方法显著降低人工智能能耗

为人工智能（AI）训练神经网络所需的巨大计算资源导致了巨大的功耗。慕尼黑工业大学（TUM）的研究人员已经开发出一种方法，速度快100倍，因此更节能。而不是采取迭代的方法，参数是直接计算基于概率。到目前为止，结果在质量上与现有的迭代方法相当。

　　

AI应用，如大型语言模型（LLMs），已成为我们日常生活的重要组成部分。这些应用所需的计算、存储和传输能力由数据中心提供，而数据中心消耗了大量的能源。仅在德国，2020年的能源消耗就达到了约160亿千瓦时，占该国总能源消耗的约1%。预计到2025年，这一数字将增加到220亿千瓦时。

随着未来几年更复杂AI应用的出现，对数据中心容量的需求将大幅增加。这些应用将在神经网络训练中消耗大量能源。为了应对这一趋势，研究人员开发了一种训练方法，其速度比现有方法快100倍，同时达到了相当的准确性。这将显著减少训练过程中的能源消耗。

神经网络在AI中用于图像识别或语言处理等任务，其工作原理受到人脑工作方式的启发。这些网络由称为人工神经元的互连节点组成。输入信号会根据某些参数进行加权，然后相加。如果超过定义的阈值，信号将传递到下一个节点。为了训练网络，节点之间的参数初始值通常是随机选择的，例如使用正态分布。然后逐步调整这些值以逐步提高网络预测的准确性。由于需要多次迭代，这种训练过程极为耗电。

菲利克斯·迪特里希（Felix Dietrich）教授及其团队开发了一种新方法。他们的方法不是迭代确定节点之间的参数，而是使用概率。这种方法基于在训练数据中关键位置的目标使用值，这些位置的值会发生快速且大幅度的变化。当前研究的目标是利用这种方法从数据中获取节能的动态系统。这些系统随着时间的推移按照一定规则发生变化，例如在气候模型和金融市场中可以找到。

“我们的方法可以在极小的计算能力下确定所需的参数。这可以使神经网络的训练速度更快，从而更加节能。”菲利克斯·迪特里希说，“此外，我们发现新方法的准确性与迭代训练的网络相当。”