编辑推荐:
AI 发展凸显现有计算硬件短板,研究人员开展热力学计算系统用于 AI 应用的研究。他们研制出随机处理单元(SPU),实现高斯采样和矩阵求逆等操作。该研究为 AI 计算提供新方向,有望提升 AI 效率。
在当今科技飞速发展的时代,人工智能(AI)无疑是一颗最为耀眼的明星。从智能语音助手到图像识别系统,从自动驾驶汽车到医疗诊断辅助工具,AI 的身影无处不在,深刻地改变着人们的生活和工作方式。然而,随着 AI 技术的不断进步,现有的计算硬件却逐渐成为其进一步发展的瓶颈。传统的数字硬件在处理复杂的 AI 算法时,面临着计算速度慢、能耗高的问题,就像是给飞速奔跑的骏马戴上了沉重的枷锁,限制了 AI 的潜力发挥。
为了解决这一困境,来自美国纽约 Normal Computing Corporation 的研究人员 Denis Melanson、Mohammad Abu Khater 等人展开了深入研究。他们将目光投向了基于物理原理的计算硬件 —— 热力学计算,致力于探索其在 AI 应用中的巨大潜力。最终,他们成功研制出一种小型热力学计算机 —— 随机处理单元(SPU),相关研究成果发表在《Nature Communications》上,为 AI 计算领域带来了新的曙光。
研究人员在开展此项研究时,主要运用了电路设计与建模、实验测量以及数值模拟这几种关键技术方法。在电路设计方面,精心构建了由 RLC 电路组成的 SPU,并通过巧妙的电路连接实现单元间耦合。利用电路分析手段,建立起与朗之万动力学方程相匹配的电路运动方程模型。在实验测量过程中,借助高精度的测量设备,对 SPU 在高斯采样和矩阵求逆实验中的各项数据进行采集。同时,运用数值模拟技术,对 SPU 的性能进行评估与预测,为研究提供多维度的数据支持 。
随机处理单元(SPU)
SPU 由印刷电路板上的 8 个完全连接的单元细胞(LC 电路)构成,通过可控电容实现单元间全连接。从数学角度来看,它可被建模为一组带噪声电流驱动的电容耦合理想 RLC 电路。经过坐标变换,电路运动方程能与描述热力学系统随机动力学的朗之万方程相对应,这使得 SPU 的状态分布遵循吉布斯分布。而达到吉布斯分布的平衡时间,与系统的相关时间紧密相关,这为后续的计算应用奠定了重要基础。
高斯采样
在高斯采样实验中,研究人员利用 SPU 的特性,依据用户指定的精度矩阵,通过巧妙选择麦克斯韦电容矩阵,使 SPU 在热平衡时的电压分布符合目标高斯分布。实验结果令人欣喜,实际测量得到的电压样本与理论分布及其边缘分布高度吻合,并且随着样本数量的不断增加,分布矩的误差持续减小,这充分证明了 SPU 在高斯采样应用中的有效性和准确性。
矩阵求逆
对于矩阵求逆这一关键操作,研究人员将用户需要求逆的矩阵 A 编码到相关高斯分布的精度矩阵 P 中,进而确定硬件的麦克斯韦电容矩阵。在热平衡状态下,通过收集电压样本并计算样本协方差矩阵,即可实现矩阵 A 的求逆。研究人员在三个名义上相同的 SPU 上进行实验,结果显示,随着样本数量的增加,SPU 求逆结果的误差逐渐减小,最终与目标逆矩阵在视觉上极为相似,有力地验证了该方法的可行性 。
性能优势
研究人员通过构建数学模型,对 SPU 和当前先进的 GPU 在运行时间和能耗方面进行了全面比较。结果发现,在生成 10,000 个样本的情况下,当维度较低时,GPU 速度更快;但当维度超过约 3000 时,SPU 的性能开始超越 GPU,在高维度(如 d = 10,000)下,SPU 预计可实现一个数量级的加速。而在生成单个样本时,SPU 在所有维度下都具有速度优势。在能耗方面,SPU 在所有维度下都展现出节能的特点,在 d = 10,000 时,节能效果可达一个数量级,并且随着维度的进一步增加,节能优势有望继续扩大。
可扩展架构
在小规模实验的基础上,研究人员发现原有的 SPU 架构在向大规模集成电路(IC)扩展时存在诸多挑战,如电感和变压器的存在不利于 IC 实现,电容尺寸受面积限制会导致 RC 时间常数过短等问题。为此,他们提出了一种采用 RC 单元细胞和电阻耦合的替代架构。通过详细的数值模拟和电路仿真(如 SPICE 和 Cadence 模拟)验证,该架构不仅消除了与电感相关的扩展问题,还能保持与原架构相似的性能优势,即使考虑到非理想因素,其渐近误差仍处于合理水平(约 2%) 。
在研究结论和讨论部分,研究人员研制的 SPU 为热力学计算在 AI 领域的应用提供了重要的实践基础。尽管在硬件扩展过程中还面临精度与可扩展性的权衡、实现高连接性的困难等挑战,但他们提出的误差缓解策略和替代架构为解决这些问题指明了方向。同时,该研究也为其他相关任务(如求解线性系统、计算矩阵指数等)提供了借鉴思路,有望推动概率 AI 算法的发展,使 AI 系统在处理不确定、高风险情况时更加可靠,为 AI 技术的未来发展开辟新的道路,在人工智能计算领域具有重要的理论和实践意义。