基于卷积神经网络的智能稀疏近似逆选择方法

《Neural Networks》：An intelligent sparse approximate inverse selection method based on convolutional neural networks

　　摘要作为一类预处理方法，稀疏近似逆矩阵已被证明能有效加速迭代方法的收敛速度。然而，在众多可用的预处理方法中，如何为特定的迭代求解器选择最合适的预处理方法仍是科学计算领域的核心挑战。过去十年中，卷积神经网络的快速发展与应用为解决这一难题带来了新思路。将CNN用于稀疏近似逆矩阵的并行构建时，需解决三个关键问题：稀疏矩阵的标准化表示形式、能够适配稀疏数据特性的网络架构，以及专为稀疏近似逆矩阵学习设计的训练数据集。为应对这些挑战，我们提出了一种基于CNN的智能选择框架。该框架首先引入了三种稀疏矩阵标准化方法，即二进制表示、密度表示和列直方图表示；接着为每种表示形式设计了相应的CNN架构，分别命名为BinaryNet、DensityNet和HistNet；随后这三个网络独立运行，并采用后期融合策略整合所学到的稀疏近似逆矩阵特征。由于不同输入表示形式的差异性，这种设计有效避免了早期融合可能带来的干扰。最后，我们首次提出了专门为稀疏近似逆矩阵学习设计的训练数据集构建方法。实验结果表明，所提出的框架既高效又有效，证明了该方法的可行性与优势。

引言作为预处理方法的稀疏近似逆矩阵已被证实能显著提升迭代方法的收敛速率（Carson和Khan，无日期；Dehnavi等人，2013年；Gao等人，2021a年；He等人，2020年；Laut等人，2024年；Rupp等人，2016年；Saad，2003年）。与不完全分解预处理方法相比，稀疏近似逆矩阵的构建方法更易于并行化，且在应用于迭代方法时仅需进行多次稀疏矩阵-向量乘法运算，无需进行三角分解。因此，这类方法受到了广泛关注，并被广泛应用于电磁学、计算流体动力学、计算机视觉等多个领域（Carson和Khan，无日期；He等人，2016a年；Moure等人，2025年；Naumov等人，2015年；Wirydowicz等人，2025年）。然而，大量实验表明，目前基于图形处理单元的稀疏近似逆矩阵并行构建方法通常只适用于特定类型的矩阵（Gao等人，2021a年；Rupp等人，2016年）。当应用于不合适的矩阵类型时，不仅稀疏近似逆矩阵构建方法的性能会大幅下降，其作为预处理方法加速迭代方法收敛的效果也会减弱。因此，对于给定的稀疏线性系统，选择最适合的稀疏近似逆矩阵构建方法至关重要，这样才能通过迭代方法高效求解该线性系统。针对稀疏矩阵，人们已通过传统优化技术研究出多种优化方法，用以选择最佳的稀疏存储格式和最优核函数（Choi等人，2010年；Guo等人，2014年；Li等人，2015年）。随着机器学习和深度学习技术的快速发展，研究人员试图利用这些技术构建智能优化方法以获得更好的解决方案。例如，Sadayappan等人、Nisa等人（2018年）以及Sedaghati等人（2015年）运用决策树和支持向量机等机器学习算法，从压缩稀疏行格式、ELLPACK/ITPACK格式、坐标格式和对角线格式中选择最优的稀疏存储格式，并对应实现最优的稀疏矩阵-向量乘法核函数。此外，Zhao和Li等人（2018年）提出了基于卷积神经网络的方法，相较于Sadayappan等人的方法更具优势。同样，Wang和Yang等人（2023年）开发了图卷积网络，用于选择最佳的张量存储格式，从而优化稀疏张量-矩阵运算的性能。但据我们所知，目前尚无研究探讨基于CNN方法的选择稀疏近似逆矩阵构建方法的优化策略。通过对现有CNN方法的深入分析，我们发现，将CNN方法应用于稀疏近似逆矩阵构建时，需要解决以下三个关键问题：（1）稀疏近似逆矩阵训练数据集的构建。与稀疏矩阵-向量乘法或稀疏张量-矩阵运算不同，稀疏近似逆矩阵的训练数据集不仅要求矩阵为方形，还必须是非奇异的。尽管公开可用的佛罗里达稀疏矩阵集合包含2,904个矩阵（Davis和Hu，2011年；Kolodziej等人，2019年），但其中仅有785个矩阵既是方形的又是非奇异的。此外，为避免CNN训练因过度依赖某种特定稀疏近似逆矩阵构建方法而出现过拟合现象，训练数据集需包含足够数量且分布较为均衡的适合各类方法的矩阵。但由于每种基于GPU的稀疏近似逆矩阵构建方法都有其适用的矩阵类型，要找到适合所有类型的稀疏矩阵集本身就是一项挑战。（2）稀疏矩阵的标准化。CNN通常要求所有输入矩阵的大小一致。由于稀疏近似逆矩阵构建方法的选择对矩阵的细微特征极为敏感，因此无法像处理图像那样使用裁剪、缩放或采样等传统数据标准化技术。因此，迫切需要为稀疏矩阵设计专门的标准化方法。（3）合适CNN架构的设计。尽管目前有许多流行的CNN模型，如LeNet（Lecun等人，1998年）、AlexNet（Krizhevsky等人，2012年）、VGG（Simonyan和Zisserman，2015年）、GoogleNet（Szegedy等人，2015年）以及ResNet（He等人，2016b年），还有它们的扩展模型如ResNeXt（Xie等人，2017年）、SENet（Hu等人，2018年）、DenseNet（Huang等人，2017年）、EfficientNet（Tan和Le，2019年）、ConvNeXt（Liu等人，2022年）等，但这些模型通常是为通道间语义均匀的数据设计的。例如在RGB图像中，三个通道中的第j个元素对应图像中的第i个像素，这些值均为像素颜色的数值，只是处于不同的颜色通道中。因此，这类模型通常采用早期通道融合方式，每个通道拥有相同的网络结构。但对于稀疏矩阵而言，无论采用何种表示形式，都无法像RGB图像那样保证语义的均匀性。基于上述原因，本文以两种最新的基于GPU的静态稀疏近似逆矩阵构建方法（GSSAI，He等人，2020年；GSortedSAI，Gao等人，2021a年）为例，探讨如何解决上述挑战。选择这两种算法的主要原因是，适用于它们的稀疏矩阵特征存在显著差异，且很容易构造出具有相同稀疏模式的稀疏近似逆矩阵，这有助于有效展示构建相应稀疏矩阵集时的挑战以及所设计方法的有效性。在本研究中，我们提出了一种基于CNN的智能选择框架——SelectFGSAI-CNN，用于解决上述问题。在SelectFGSAI-CNN框架中，我们首先以GSSAI和GSortedSAI为例，演示了稀疏近似逆矩阵训练数据集的构建方法：一方面，基于公开的佛罗里达稀疏矩阵集合收集、筛选并构建矩阵；另一方面，则在保留原始矩阵特征的基础上，展示了一种新的构建方法。其次，我们提出了三种稀疏矩阵标准化方法：二进制表示、密度表示和列直方图表示。这些方法不仅能将任意大小的矩阵标准化为统一大小，还能将所有数值标准化到[0,1]区间内。二进制表示用0和1来描述非零元素的总体空间分布特征；密度表示则通过非零元素的密度来捕捉不同区域的局部变化；而列直方图表示则是通过测量列中非零元素到主对角线的距离，来描述原始矩阵中非零元素的分布情况。第三，我们提出了一种基于卷积神经网络的新颖网络架构，该架构由三个独立的网络组成：BinaryNet、DensityNet和HistNet。这三个网络的输入分别为二进制矩阵、密度矩阵和列直方图矩阵，其结构也根据输入矩阵的特征有所不同。BinaryNet包含三个卷积层，DensityNet包含两个卷积层，而HistNet则创新性地设计了双路径卷积结构，包括多尺度学习和特征融合映射两个阶段。这三个网络分别独立处理并提取稀疏近似逆矩阵特征，之后再将这些特征融合并输入分类器。这种后期融合策略有效避免了早期融合可能带来的问题，因为二进制矩阵、密度矩阵和列直方图矩阵在特性上并不均匀，容易对提取的特征造成干扰。最后，实验结果证明了我们所提出的基于CNN的架构的有效性。整体准确率，即正确预测出最优算法的矩阵数量与总矩阵数量的比值，达到了94.80%，而精确度，即模型预测的所有矩阵中真正属于某一种方法的矩阵所占比例，则达到了95.90%。本文的主要贡献如下：（1）提出了三种稀疏矩阵标准化方法，即二进制表示、密度表示和列直方图表示。通过这些表示方法，不仅可以将任意稀疏矩阵标准化为统一大小，还能将数值标准化到[0,1]区间内。（2）设计了三种有效的基于CNN的网络架构，即BinaryNet、DensityNet和HistNet，分别对应二进制矩阵、密度矩阵和列直方图矩阵的输入。（3）基于三种稀疏矩阵标准化方法及其对应的基于CNN的网络架构，我们提出了一种智能的稀疏近似逆矩阵选择框架——SelectFGSAI-CNN。在该框架中，BinaryNet、DensityNet和HistNet首先独立运行以提取稀疏近似逆矩阵特征，随后在后期再对这些特征进行融合。这种后期融合策略有效避免了若采用早期融合可能因输入矩阵的异质性而导致的特征提取干扰问题。（4）以两种最新的并行稀疏近似逆矩阵构建算法GSSAI和GSortedSAI为例，我们展示了稀疏近似逆矩阵训练数据集的构建方法。针对这些数据集进行的大量实验进一步验证了所提出的SelectFGSAI-CNN及其各组件的有效性。

相关研究在本节中，我们从两个角度探讨了相关的重要方法：预处理方法以及基于CNN的稀疏近似逆矩阵选择方法。

基于CNN的稀疏近似逆矩阵智能选择方法本节旨在研究基于CNN的稀疏近似逆矩阵智能选择方法。众所周知，对于任何基于CNN的方法而言，网络架构的设计非常重要，这需要综合考虑数据集的特征和规模以及待解决问题の复杂性等多种因素。不同复杂度的架构各有优缺点。例如，较简单的架构（如浅层CNN）能实现更快的运算速度。

作者贡献声明Xinghe Gao：撰写——初稿、方法论、研究、数据整理、概念构思。Ru Han：撰写——审阅与编辑、资源协调、研究工作。Yige Zhang：撰写——审阅与编辑、资源协调。Yizhou Wang：撰写——审阅与编辑、研究工作。

利益冲突声明作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢本研究得到了中国自然科学基金的资助，项目编号为61872422。

Xinghe Gao|Ru Han|Yige Zhang|Yizhou Wang