《Neurocomputing》：A framework for neural topic modeling using hierarchical clustering and contrastive learning with optimal transport
编辑推荐：
基于TiOx忆阻器的混合随机神经元芯片通过硬件实现神经网络在位训练，解决传统系统依赖软件反向传播的局限。该芯片集成32×32 TiOx忆阻器矩阵乘法器，支持前向传播和反向传播的硬件处理，在MNIST和CIFAR-10数据集上分别达到94.13%和79.88%的验证准确率，吞吐量达1.78TOPS。采用28nm CMOS工艺，包含动态范围可调的积分电容和电流缩放缓冲器，实现高效能、低延迟的神经训练架构。
Sang-Gyun Gi | Ankur Singh | Byung-Geun Lee
光州科学技术院电气工程与计算机科学学院，韩国光州61005
摘要
本文介绍了一种混合随机神经元（HSN）芯片，该芯片专为基于忆阻器的神经网络的全原位训练而设计，旨在解决传统系统依赖软件进行反向传播的局限性。通过直接在硬件中执行反向传播计算（包括梯度计算和权重更新），HSN芯片消除了对外部资源的依赖，并提高了计算效率。该芯片采用28纳米CMOS技术制造，可与32 × 32的TiOx基忆阻器向量矩阵乘法（VMM）无缝集成。前向传播任务由VMM处理，而HSN芯片负责反向传播过程，从而确保了一个高效且流畅的训练框架。广泛的仿真和实验评估验证了该系统的性能和可行性。在MNIST和CIFAR-10数据集上的测试表明，其验证准确率分别为94.13%和79.88%，吞吐量为每秒1.78万亿次操作。通过实现完全基于硬件的前向和反向传播，所提出的架构为独立于软件的神经网络训练提供了一个可扩展且高效的解决方案。
部分内容
引言
忆阻器由Leon Chua于1971年提出，作为第四种基本的无源电路元件，补充了电阻器、电容器和电感器[1]。这种双端器件的独特特性是其电荷-磁通关系，这是传统电路理论中不存在的。这一理论概念直到2008年才得以实现，当时HP实验室的研究人员成功制造出了第一个纳米级忆阻器[2]。这一突破不仅验证了Chua的理论，
基于忆阻器的VMM加速器
如图1所示，基于忆阻器的VMM加速器利用忆阻器设备的交叉阵列来执行基于硬件的矩阵-向量乘法[12]。权重矩阵被实现为忆阻器设备的导电性，其中每个元素gki代表第< />行和第< />列交叉处的导电性。当输入向量X以电压脉冲的形式施加到行上时，忆阻器设备会产生与其成比例的电流
基于TiOx的忆阻器
作为一类新兴的电子设备，忆阻器具有多种特性，以适应不同的应用需求[21]、[24]。本文还采用了一种提出的基于TiOx的忆阻器模型来构建人工神经网络电路中的突触。忆阻器的独特属性——随施加电压变化的忆阻效应——使其能够有效地模拟突触行为。该模型包含了关键参数，如平均
利用HSN实现的全功能原位学习
HSN在神经网络反向传播过程中起着关键作用，特别是在梯度计算（Δwi,j）方面。图7(b)所示的流程图概述了HSN促进的硬件神经网络中高效反向传播和权重更新的原位训练过程。该过程利用随机计算实现了前向和反向传播的无缝集成，从而实现了节能且适合硬件的学习方式。
配备忆阻式VMM的HSN芯片
所提出的HSN采用28纳米标准CMOS工艺制造，芯片面积为3.25平方毫米。制造出的芯片的显微照片见图10。该芯片在模拟组件工作时供电电压为1.8伏，在数字组件工作时供电电压为1伏，工作频率为50兆赫。芯片包含32个神经元，每个神经元配备的集成电容器容量可在4皮法拉到16皮法拉之间调节。由于HSN前端具有电流缩放缓冲器，因此其动态范围
结论
本文提出了一种基于忆阻器的向量矩阵乘法（VMM）加速器的完全原位训练框架，该框架与混合随机神经元（HSN）集成，适用于卷积神经网络（CNN）硬件。HSN芯片支持片上激活函数和反向传播，包括梯度计算，从而消除了对外部处理的需求，并显著提高了计算效率。该芯片采用28纳米CMOS工艺制造
未引用的参考文献
[22], [23]
资助
本工作得到了韩国国家研究基金会（NRF）的资助，资金由韩国政府（MSIT）提供（项目编号：RS-2025-23782989和RS-2024-00439520）。
CRediT作者贡献声明
Sang-Gyun Gi：撰写——原始草稿、可视化、验证、方法论、研究、形式分析、数据管理、概念化。Ankur Singh：撰写——审稿与编辑、撰写——原始草稿、可视化、验证、软件开发、方法论、形式分析、数据管理、概念化。Lee Byung-geun：撰写——审稿与编辑、撰写——原始草稿、验证、监督、资源协调、项目管理、方法论、资金获取、形式分析
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Byung-geun Lee报告称获得了韩国政府（MSIT）和韩国国家研究基金会的财政支持。Byung-geun Lee还报告与韩国国家研究基金会存在关系，包括资金资助。如果还有其他作者，他们声明自己没有已知的利益冲突或个人关系
Sang-Gyun Gi分别于2015年和2022年在韩国光州科学技术院（GIST）获得电气工程与计算机科学学士学位和博士学位。2022年至2026年，他在韩国电子技术研究院（KETI）的IT融合系统研究中心担任高级研究员。自2026年起，他在韩国世宗校区的高等大学人工智能半导体工程系工作。
