基于空间变换关联网络的动态特征增强型自然图像分类方法

本文创新性地提出空间变换关联网络(STCN)，通过三相关联图像传感器(3PCIS)生成复数值关联图像，结合空间变换网络(STN)的仿射变换序列和复数卷积神经网络(CVNN)，首次将动态运动特性引入静态图像分类。实验表明在MNIST/CIFAR数据集上分类准确率提升0.21%-2.84%，突破了传统CNN仅依赖静态外观特征的局限。

　　

Highlight亮点

我们提出空间变换关联网络(STCN)，这是首个将关联图像与复数神经网络(CVNN)相结合的创新模型。通过空间变换网络(STN)生成动态序列，捕捉像素级傅里叶系数特征，突破了传统卷积神经网络(CNN)的静态感知局限。

Correlation image关联图像理论

三相关联图像传感器(3PCIS)可同时输出单通道强度图像g₀(x,y)和双通道复数值关联图像g_w(x,y)。该传感器通过计算入射光与参考正弦信号的时域相关性，将光强变化编码为傅里叶系数。对于曝光时间T内捕获的图像序列f(x,y,t)，其数学表达揭示了像素间的动态关联特性。

Data and settings数据设置

实验采用MNIST手写数据集(28×28像素)和CIFAR系列(32×32像素)进行验证。特别值得注意的是，CIFAR-10包含10类5万训练样本，其自然物体特性更能体现STCN对复杂运动模式的捕捉能力。

Conclusions结论

STCN通过STN生成的仿射变换序列，成功将动态运动特性注入静态图像分析。关联图像提供的傅里叶系数特征与CVNN的幅-相耦合处理形成完美匹配，在多个基准数据集上实现0.21%-2.84%的分类提升，开创了动态特征增强的图像分类新范式。