深度双向预测编码(DBPC):基于双流传播的神经网络分类与重建协同学习框架

【字体: 时间:2025年07月05日 来源:Neural Networks 6.0

编辑推荐:

  为解决边缘设备计算资源受限及传统误差反向传播(EBP)的权重传输问题,研究人员提出深度双向预测编码(DBPC)算法。该方法通过双向信息传播机制,使单网络同步执行分类与重建任务,在MNIST、Fashion-MNIST和CIFAR-10数据集上分别实现99.58%、92.42%和74.29%的分类精度,并以仅0.425M/1.004M/1.109M参数量超越FIPC3等PC基准模型。其本地并行学习机制显著提升训练效率,为边缘智能提供新范式。

  

在当前人工智能技术飞速发展的浪潮中,深度神经网络已成为计算机视觉领域的核心驱动力。从AlexNet到ResNet,这些模型通过不断增加的深度和参数量刷新性能纪录,却也让计算成本水涨船高。尤其当我们将目光投向移动设备、无人机等边缘应用场景时,传统依赖误差反向传播(Error Backpropagation, EBP)的训练方式暴露出两大痛点:一方面,EBP需要从输出层到输入层的反向梯度传递,导致硬件实现时存在"权重传输问题";另一方面,动辄数百万参数的模型在资源受限设备上部署举步维艰。更令人遗憾的是,现有模型往往只能专注于单一任务——要么像卷积神经网络那样擅长图像分类,要么像自编码器那样专注图像重建,难以兼顾。

面对这些挑战,研究人员从大脑信息处理机制中获得灵感,提出名为"深度双向预测编码"(Deep Bi-directional Predictive Coding, DBPC)的创新算法。这项研究突破性地构建了能同步执行分类与重建的双任务网络,在保持预测编码(Predictive Coding, PC)理论本地学习优势的同时,显著提升了模型效率。相关成果已发表在人工智能领域顶级期刊《Neural Networks》上。

研究团队通过多层级架构设计和双向传播机制实现技术创新。在DBPC全连接网络(DBPC-FCN)中,每个层级同时接收来自前层的正向预测和后层的反向预测,通过动态平衡分类因子βc与重建因子βr实现双目标优化。针对图像任务扩展的DBPC卷积网络(DBPC-CNN)采用特定核设计(核尺寸K、填充P=(K-1)/2、步长1),确保卷积转置可直接用于反馈传播。模型在MNIST、Fashion-MNIST和CIFAR-10数据集上训练时,采用Adam优化器进行参数更新,并通过Grad-CAM++生成类激活图验证特征学习效果。

网络架构
DBPC网络通过层间双向连接(符号?)实现信息循环流动。在L层全连接架构中,第l层神经元同时接收前层预测?ffl = f(Wl-1yl-1)和后层预测?fbl = f(WTlyl+1),突破传统PC模型仅支持反向传播的限制。这种设计使训练完成的网络可通过前向传播执行分类,通过反向传播实现任意层特征重建。

学习算法
核心创新在于双流误差的本地化计算:

  • 表征学习:通过最小化联合误差Eyl = λf(effl-1 + effl) + λb(efbl-1 + efbl)更新神经元活性,其中λfb控制前馈/反馈权重(实验表明λb=0可稳定训练)
  • 模型学习:权重更新依据分类重建双目标EWl = βceffl + βrefbl,使单组参数同步优化两类任务

卷积网络实现
DBPC-CNN通过对称卷积设计解决双向传播难题:当正向卷积核维度为Cl+1×Cl×H×W时,反馈传播直接使用其转置版本Cl×Cl+1×H×W,避免传统方法中耗时的转置卷积运算。这种设计在MNIST数据集上仅需0.425M参数即实现99.58%分类精度。

性能优势验证
在三

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号