编辑推荐：
随着智能机器中视觉传感器集成度提高，多传感器数据异质性及传统硬件局限凸显。研究人员提出基于随机电阻式忆阻器的深度极限点学习机（DEPLM）。该系统在多任务中能效提升显著，训练成本大幅降低，为边缘 AI 发展开辟新路径。
在当今智能机器飞速发展的时代，各种视觉传感器如 3D 光检测和测距（LiDAR）、神经形态动态视觉传感器（DVS）以及传统帧相机，正越来越多地被集成到边缘侧智能机器中。这些传感器就像智能机器的 “眼睛”，帮助它们更好地感知和理解周围环境。然而，这些 “眼睛” 产生的数据却十分复杂。传统帧相机生成的图像是规整的网格结构，而 LiDAR 产生的点云数据则是不规则、无序的，DVS 输出的更是异步且稀疏的事件流。这种数据的异质性，使得系统开发面临巨大挑战，从算法设计、训练策略到硬件优化都变得极为复杂，开发成本高昂。
与此同时，传统数字硬件也遇到了瓶颈。其处理单元和存储单元分离，也就是所谓的冯?诺依曼瓶颈，导致数据在两个单元之间传输频繁，消耗大量能量，这对于依赖电池供电的边缘侧智能机器来说，无疑是个致命问题。而且，互补金属氧化物半导体（CMOS）的尺寸已接近物理极限，摩尔定律逐渐放缓，传统数字硬件的能效提升愈发困难。在这样的背景下，如何高效处理多传感器的异构数据，提升硬件性能，成为了亟待解决的问题。
为了攻克这些难题，中国科学院微电子研究所、复旦大学、香港大学等多机构的研究人员展开了深入研究。他们提出了一种硬件 - 软件协同设计的基于随机电阻式忆阻器的深度极限点学习机（DEPLM），相关研究成果发表在《Nature Communications》上。
研究人员采用了多种关键技术方法。在硬件方面，基于 40nm 技术节点制造了具有 1T1R 结构的随机电阻式忆阻器芯片，构建了混合模拟 - 数字计算系统，实现向量 - 矩阵乘法（VMM）。在软件上，借鉴极限学习机（ELM）原理设计 DEPLM，利用电阻式忆阻器编程随机性生成随机权重。数据处理时，将不同传感器数据统一为点集，如把事件流视为 (x, y, t) 三维空间的点集，图像像素视为 (x, y, 灰度) 空间的点集 。
硬件 - 软件协同设计的深度极限点学习机
DEPLM 由多层映射 - 聚合操作构成，类似 PointNet++ 的点基方法。输入数据被视为三维欧几里得空间的点集，通过电阻式忆阻器阵列实现的全连接层，将点的坐标向量映射到更高维特征空间，再经分组、聚合等操作，最终将整个点集抽象为单个表示向量，用于下游任务。电阻式忆阻器的权重遵循零膨胀高斯混合分布，利用其编程随机性生成高密度、大规模的真随机权重，且对读取噪声具有鲁棒性。
3D 点云分割
研究人员在 ShapeNet 数据集上对系统进行评估。3D 点云部分分割任务极具挑战性，例如要从椅子的点云样本中识别出椅背、椅座和椅腿对应的点。系统先对 3D 点云样本进行特征编码，再解码得到每个点的特征，最后通过单层读出映射确定点所属的物体部分。实验结果显示，硬件 DEPLM 在多数类别的分割性能与完全训练的基线和软件模拟的 DEPLM 相当，但在长尾类别的表现稍逊。不过，其整体实例平均交并比（mIoU）与对比对象相近。在能效方面，DEPLM 分割单个 3D 样本的能耗仅为 135.11 μJ，相比数字系统的 916.08 μJ，能效提升约 6.78 倍。训练复杂度也大幅降低，相比完全训练的基线减少了 70.12%。
基于事件的手势识别
在 DVS128 Gesture 数据集上的实验，验证了 DEPLM 在事件流学习任务中的有效性。事件流被当作时空域的一系列 3D 点处理，经多层映射 - 聚合操作提取语义特征。线性判别分析（LDA）显示，不同手势类别的表示向量大致形成分离的簇，L2 距离矩阵和混淆矩阵也表明随机电阻式忆阻器能有效提取手势特征。硬件 DEPLM 在该数据集上的准确率达到 78.73%，虽略低于软件模拟和完全训练版本，但能效优势明显，每次推理的能耗仅为 31.12 μJ，相比传统数字硬件的 654.71 μJ，能效提升约 21.04 倍，训练复杂度降低了 89.46%。
图像分类
以 Fashion - MNIST 数据集为对象，研究人员将图像视为 3D 点云进行分类实验。图像中的每个像素作为一个点，其坐标和灰度值构成点的坐标。经 DEPLM 编码器处理后，最终的表示向量由读出层分类。实验发现，不同类别的表示向量在三维空间中大致形成不同的簇，但部分类别因特征相似导致分类准确率受限。硬件 DEPLM 的准确率为 77.20%，低于软件模拟和完全训练版本。然而，其能效表现优异，每次推理的 VMM 能耗仅 0.48 μJ，整体能耗 44.68 μJ，相比传统数字系统的 705.42 μJ，能效提升约 15.79 倍，训练复杂度降低了 85.61%。
稀疏电阻式阵列增强抗噪声能力
研究人员还探讨了 DEPLM 权重稀疏性对减轻纳米级电阻式忆阻器读取随机性影响的作用。实验表明，稀疏电阻式忆阻器阵列的平均标准偏差更低，对网络的噪声干扰更小。模拟不同读取噪声水平下的实验发现，适度的稀疏性有利于提升系统性能，综合考虑，选择 50% 的电阻式忆阻器单元稀疏度较为合适。
这项研究成果意义重大。研究人员提出的基于随机电阻式忆阻器的 DEPLM，实现了多传感器数据的统一处理，在多个视觉任务中展现出良好性能，大幅提升了能效并降低了训练成本。这一成果为未来高效且低成本的边缘人工智能发展提供了新方向，有望推动智能机器在多领域的广泛应用，让智能机器在资源受限的边缘环境下也能高效运行，更好地服务于人们的生活和工作。
