《数学函数聚类中嵌入方法的比较研究》 作者：Hasan Aljabbouli 和 Ahmad B. Alkhodre

《Information》：A Comparative Study of Embedding Methods for Clustering Mathematical Functions Hasan Aljabbouli and Ahmad B. Alkhodre

　　摘要 本文对基于行为模式的深度学习方法进行了全面的比较研究，这些方法用于对数学函数进行聚类。我们研究了三种不同的嵌入策略：基于自编码器的无监督学习、带有学习到的嵌入的监督分类以及直接的卷积特征提取。每种方法都将连续函数转换为有意义的向量表示，以捕捉其基本的数学特征。通过广泛的实验和多种可视化技术，我们证明了在函数类型有明确指导的监督学习下能够产生最具区分性的嵌入，平均轮廓分数达到了0.6。我们的发现为不同表示学习范式在数学函数分析中的相对有效性提供了宝贵的见解。

1. 引言
数学函数是科学和工程的语言，描述了从物理定律到经济模型等各种变量之间的关系。分析函数集合的传统方法通常依赖于符号比较[1]，这对于大型数据集来说可能效率低下，并且对语法形式的差异过于敏感。例如，符号求解器可能难以轻易地将以不同分析形式呈现的数学上相同的函数等同起来，比如??2?1???1与(x + 1)，其中?? ≠1，尤其是在处理高度扰动、未简化或非标准表示时。其他方法包括视觉检查[2]，但随着函数数量的增加，这种方法很快变得不切实际，以及耗时的手动特征提取，这需要大量的专业知识。为了解决这些限制，现代方法将函数视为可以嵌入到可以定量测量相似性的空间中的数据对象。函数数据分析（FDA）[3,4]为此提供了经典的统计基础，提供了回归和分类工具，同时确保了可解释性。这种方法基于这样一个假设：观测到的测量结果只是平滑连续过程的快照。因此，重点在于推断函数的属性，如变化率和加速度，而不仅仅是单个值。为了实现这一点，离散数据被转换为使用基函数的功能表示，例如周期性数据的傅里叶级数或非周期性数据的B样条。这使得信息压缩、噪声减少和可分析性得到了提升。然而，FDA通常依赖于基函数展开或平滑[5]，这对于高度不规则的函数可能无效。

与手动设计的特征不同，表示学习[6]通过从数据中自动发现有用特征提供了一种更灵活的替代方案，类似于自然语言处理（NLP）中的word2vec[7]或计算机视觉中的卷积神经网络（CNN）。这是通过将原始数据（如文本或图像）转换为多维空间中的数学向量来实现的，从而使语义上相似的数据在该空间中变得在几何上相似，从而便于处理和分析。这可以实现可扩展且表达力强的嵌入，但需要大型数据集和仔细的正则化以避免过拟合。神经运算符[8]进一步发展了这一理念，通过学习整个函数空间之间的映射来捕捉丰富的功能关系，并在不同分辨率上进行泛化，尽管此举以模型复杂性和可解释性为代价。与传统模型学习特定输入到特定输出的函数不同，这些方法学习了一个完整的数学运算符，该运算符能够关联无限大的函数空间。这些模型表现出离散化不变性，意味着它们可以在低精度数据上进行训练，然后用于在不需要重新训练的情况下进行高精度的预测。这一特性使得快速模拟复杂的物理现象成为可能，同时在不同精度水平上保持稳健的性能。

我们的方法基于这些理念，结合了FDA的可解释性和表示学习的灵活性，使用神经嵌入来实现高效、可扩展的比较和函数聚类。我们假设函数可以在一个语义嵌入空间中表示，其中函数嵌入之间的几何距离对应于它们行为的相似性。这使我们能够利用强大的无监督机器学习工具数据聚类[9]来自动组织和发现大量函数中的模式。

我们考虑到不同的表示学习范式将产生具有不同聚类特性的嵌入，并且明确的监督可以引导学习过程 towards 更具区分性的表示。我们的工作做出了两个关键贡献：
• 它系统地比较了三种函数表示的嵌入策略，评估了不同方法对函数表示质量的影响。
• 它使用可视化和多种聚类质量指标进行了全面评估，以验证和评价性能。

2. 材料与方法
2.1. 函数生成与表示
我们生成了一个包含600个函数的数据集：??1,??2,??3,…,??600，涵盖了五种语义类型，在区间?? ∈[?3,3]上采样了128个点，以平衡分辨率和计算效率。函数参数（在定义方程中表示为a、b和c）是从均匀连续分布???(?5,5)中独立抽取的。为了模拟真实的观测条件和传感器不准确性，最终信号中引入了加性高斯噪声??~??(0, 0.022)。

数据集是严格平衡的，每种函数类型占总数据的 exactly 20%（每类120个样本），因此不需要进行类别不平衡校正：
• 线性：?? =????? +?? +??；
• 二次：?? =?????2 +????? +?? +??；
• 指数：?? =?????????? +?? +??；
• 三角函数：?? =???????????2(?????) +?? +??；
• 对数：?? =????????3(∣?? ∣ +?? +1) +?? +??（对于对数类，我们使用|b| + 1来强制对数参数为正）。

2.2. 嵌入策略
在使用任何模型之前，每个生成的数学函数（线性、二次等）都：
• 被表示为128个样本点的1D数组（函数在x = [?3, 3]范围内的y值）；
• 使用z分数归一化将其标准化，使其均值约为0，标准差约为1。这一步确保了尺度不变性，防止振幅较大的函数（例如指数函数）在训练过程中主导损失函数，同时保留了对聚类至关重要的相对形状和行为特征；
• 然后重新形状化为3D张量（样本数，128，1），以适应CNN输入。

接着，使用了三种不同的深度学习架构来学习函数的低维嵌入，从而提取出能够捕捉数据集中结构和语义相似性的有意义的潜在表示。

2.2.1. 基于自编码器的嵌入（无监督）
自编码器方法[4,10]通过重建学习压缩表示，使模型能够捕捉输入数据中最显著的特征，同时最小化重建误差。通过强制网络从其压缩表示Z重建原始函数X，自编码器鼓励瓶颈层捕捉准确重建所需的最显著特征。正式地，编码器??: ?? →??将输入数据映射到低维潜在空间，解码器??: ?? →??从这个潜在代码重建输入。最小化重建损失（方程（1）确保??编码了X的本质结构，同时丢弃了不相关或冗余的信息。

所采用的架构包括以下组件：
• 编码器：三个1D卷积层（32, 64, 128个滤波器），核大小分别为15、10和5；
• 瓶颈层：一个32维的嵌入层；
• 解码器：一个对称的转置卷积架构。

网络使用均方误差（MSE）重建损失函数进行训练，并使用Adam优化器以0.001的学习率进行优化。为了防止过拟合和提高泛化能力，应用了批量归一化、dropout（范围从0.1到0.2）和L2权重正则化（1 × 10?4）等正则化技术。

2.2.2. 监督分类嵌入
这种方法利用明确的函数类型标签来指导表示的学习。网络不仅仅通过重建学习潜在特征，还被训练来预测函数类别，从而鼓励嵌入捕捉在标记类别中具有区分性的特征。正式地，给定带有相应标签y的输入函数X，编码器??: ?? →??将输入映射到潜在空间Z，然后传递给分类头 ?: ?? →??。网络使用交叉熵损失???(??,???)进行优化，其中??表示真实函数类别标签，??? =??(??)表示分类器头产生的预测类别概率。这确保了潜在表示Z包含了区分函数类型的相关信息。

网络使用的组件设置如下：
• 特征提取器：三个1D卷积层（32, 64, 128个滤波器），与自编码器相同；
• 嵌入层：一个32维的线性投影；
• 分类器头：两个全连接层（64, 5个单元），激活函数为????????????????????。

模型使用分类交叉熵损失进行训练，并使用Adam优化器以0.001的学习率进行优化，确保嵌入编码了与函数类型标签y线性可分离的区分性信息。通过最小化预测概率??? =??(??)和真实标签??之间的分类交叉熵损失，网络鼓励潜在空间编码具有区分性的特征，确保来自不同类别的函数被很好地分离，同时保持紧凑和信息丰富的嵌入。

2.2.3. 简单CNN嵌入
这种方法采用了一个轻量级的卷积神经网络[11]，旨在不设置任何显式训练目标的情况下生成嵌入。它的目的是评估学习得到的特征与随机特征表示的贡献。网络使用一系列轻量级的1D卷积层[12]从输入信号中提取层次特征，具有以下架构：
• 三个1D卷积层，每个层之后都跟着批量归一化和池化；
• 一个全局平均池化层来聚合空间信息；
• 最后的一个32维线性投影以获得紧凑的嵌入。

该模型没有在任何监督或无监督目标上进行显式训练。相反，其参数保持随机初始化，整个网络在运行过程中处于冻结状态。这种设计故意消除了学习的影响，使提取的嵌入可以作为与其他具有训练表示的模型的比较基准。通过对比有无学习的性能，这种设置有助于量化随机卷积滤波器捕获的内在结构，并突出表示学习的附加价值。为了确保该基线的可靠性，使用30个不同的随机种子评估了简单CNN，报告的指标代表了平均值±标准差，以考虑初始化的方差。这种方法作为对照或基线，允许与其他训练模型进行比较。通过观察随机初始化的特征在下游任务中的表现，可以量化学习得到的价值，区分通过监督或自我监督学习获得的内容。

2.3. 聚类
嵌入被标准化后，然后使用K-Means算法[13]进行聚类。聚类数K设置为生成数据中已知函数类型的数量（5），以评估方法的准确性。聚类分配???(??)由以下公式给出：
???(??)=????????????????????||???(??)?????||2
其中 •???? 是第i个簇的质心；
•???(??) 表示数据点f的特征向量（嵌入）。

具体来说，数据点??被分配给其质心（在平方欧几里得距离上）与其特征向量???(??)最接近的簇。

3. 实验
为了评估所提出的表示学习技术的有效性，我们生成了一个包含600个函数的合成数据集，这些函数均匀分布在五个不同的数学类别中：线性、二次、指数、三角（正弦和余弦）和对数。选择这些类别是为了代表单调和周期性行为的多样化谱系，确保了特征提取的挑战性基准。每个函数在区间?? ∈[?3,3]上采样了128个离散点，通过z分数归一化确保尺度不变性，并添加了加性高斯噪声以模拟真实世界信号数据中的随机变异性。

我们实现了三种基于1D卷积神经网络（CNN）架构的不同32维嵌入策略，利用一系列卷积块、最大池化和批量归一化来捕捉沿着采样输入轴（x）的局部模式。这些策略包括：
(1) 一个无监督的自编码器，训练用于最小化均方误差（MSE）重建损失，强制潜在空间保留输入的最显著结构特征；
(2) 一个通过交叉熵损失优化的监督分类器，以预测函数标签，这鼓励形成区分类别的簇；
(3) 一个随机初始化的CNN基线，用于评估网络结构的固有架构偏见和特征提取能力，任何特定任务优化之前。

两个训练模型都使用了Adam优化器，并通过提前停止标准和在平台期降低学习率来防止过拟合，以确保在50个epoch的训练周期内的稳定收敛。特征提取后，得到的高维嵌入被标准化，并使用K-Means（n_{init} = 20）划分为五个簇，以保证 robust 的质心初始化。聚类性能通过三个互补的内在指标进行了定量验证：轮廓分数用于评估簇的分离度和单个点的对齐情况；Calinski–Harabasz指数用于衡量簇间分散与簇内分散的比例；Davies–Bouldin指数用于评估生成的分区的整体紧凑性和重叠程度。4. 结果与分析 4.1. 定量性能比较为了比较模型性能，使用了聚类评估指标和训练稳定性。轮廓分数[14]用于评估簇内凝聚力和簇间分离度，Calinski–Harabasz指数[15]用于衡量相对于分离度的簇紧凑性，Davies–Bouldin指数[16]用于评估簇重叠度，而训练稳定性则量化了多次训练运行中聚类结果的一致性，反映了模型的鲁棒性。如表1和图1所示，监督方法的表现优于两种无监督方法，这证明了显式指导在学习区分性表示中的作用。该表报告了每种方法在n=30次独立运行（随机种子）下的平均值±标准差。表1. 嵌入策略性能指标。图1. 不同嵌入策略下的聚类指标。x轴表示嵌入方法，y轴表示指标值（较高的轮廓分数和Calinski–Harabasz指数值表示更好的分离/紧凑性，而较低的Davies–Bouldin指数值表示较少的重叠）。4.2. 嵌入空间分析为了分析学习到的表示的质量和结构，我们检查了不同模型产生的嵌入空间。图2展示了使用t-SNE[17]进行降维后得到的嵌入结果的可视化比较，突出了每种方法如何在低维空间中组织数据以及有意义结构的形成程度。这项分析提供了模型捕捉潜在模式和实现底层数据组之间可分离性的能力的见解。图2. 使用t-SNE可视化的学习到的嵌入（轴是无量纲的；距离表明相似性，绝对坐标值不可解释）。不同的颜色和标记对应于五个不同的真实数学函数类别（线性、二次、指数、三角和对数）。嵌入空间的分析揭示了不同模型学习到的表示质量的明显差异。监督模型在2D投影空间中清晰地显示了五种函数类型的最佳分离。自动编码器产生的簇部分可分离，表明它捕获了一些数据中的内在结构，而未训练的CNN嵌入则表现出更多的重叠，不同函数类别之间的边界不太清晰。图3比较了从簇中心重建的函数与这些簇内的平均原始函数，表明了自动编码器的嵌入在表示和捕捉函数形状方面的能力。相比之下，监督模型产生了分离良好且高度紧凑的簇，重叠最小，展示了强大的类别区分表示学习和有效的特征提取。简单的CNN产生的嵌入具有中等结构，其中一些类别是可以区分的，但簇的紧凑性和一致性降低，反映出表示主要由卷积归纳偏见驱动，而非学习到的语义抽象。尽管这些可视化提供了有用的定性见解，但在解释时应谨慎，因为二维投影（例如通过t-SNE）可能会扭曲原始高维空间中的距离和邻域关系，并且对超参数的选择敏感。因此，视觉分析通过定量聚类指标和训练稳定性测量来补充，以更可靠地评估表示质量。为了更好地理解学习到的嵌入的结构，表2提供了跨模型的聚类特征比较分析，包括分离度、紧凑性、重叠度和定性解释。5. 讨论值得一提的是，轮廓分数从0.5（无监督学习）增加到0.6（监督学习）的绝对提升可能看似不起眼，但在高维嵌入空间中，即使是微小的改进也能显著提高密切相关的函数家族之间的分离度，因为结构边界往往很微妙。因此，我们使用互补的内在指标（轮廓分数、Calinski–Harabasz指数和Davies–Bouldin指数）报告聚类性能，并将结果汇总为多次运行的统计结果，而不是声称其具有统计显著性。结果表明，在有标签的情况下，显式监督对于学习函数嵌入很有价值，因为函数类型标签引导网络朝向区分性特征而不是以重建为导向的模式，这种行为与基于全局属性而不是局部变化对函数进行分类的方式一致。尽管基于自动编码器的表示在聚类方面的效果较差，但在无标签的情况下仍然具有优势，因为它们捕获了可能支持下游任务（如函数逼近或符号回归）的数学上有意义的特征。此外，相对简单的卷积架构的强劲表现表明，局部模式检测可能足以进行函数分类，层次化特征学习使得从浅层的局部曲率和斜率，到中间层的周期性和增长趋势，再到深层的全局函数行为，能够在多个尺度上捕获数学属性。从实际角度来看，这些发现建议在有函数标签的情况下使用监督模型，在无标签情况下使用基于自动编码器的方法，并采用混合或集成策略来在不同的数据条件下实现鲁棒的性能。6. 结论这项比较研究表明，基于深度学习的嵌入可以有效捕捉数学函数的语义属性，用于聚类任务，其中监督学习方法的表现优于无监督方法，这从0.6的轮廓分数可以看出。这种改进得益于适当的架构设计、训练稳定性的结合以及通过函数类型标签的显式监督。需要注意的是，这种优越性能是在我们生成的特定数据集和函数类别的约束下验证的。实际上，这些嵌入可以用作计算机代数系统（CAS）中的启发式过滤器，允许快速检索在语法上不同的数学等价表达式。总的来说，这些结果为数学AI领域做出了贡献，建立了函数表示学习的基准，确定了训练稳定嵌入模型的最佳实践，并阐明了学习目标与嵌入质量之间的关系。基于这些发现，未来的研究方向包括开发多尺度架构以在不同分辨率下捕获数学属性，探索对比学习策略以增强无监督表示学习，将函数嵌入的迁移学习应用于相关数学任务，以及使用可解释性方法来更好地理解学习嵌入中编码的特征。