基础机器学习中原子间势能的柏拉图式表示方法

《Nature Machine Intelligence》：Platonic representation of foundation machine learning interatomic potentials

　　摘要：基础的机器学习原子间势（MLIPs）已成为原子模拟的强大工具，然而不同的模型将化学环境编码在不兼容的潜在空间中，限制了直接比较和互操作性。柏拉图表示假设认为，足够强大的模型会趋近于对现实的共同统计表示。基于这一假设，我们展示了独立开发的MLIPs在原子环境中展现出统计上一致的几何组织。通过将嵌入相对于一组原子锚点进行投影，我们将七种MLIPs的潜在空间统一到一个共同的潜在空间中——这些MLIPs涵盖了等变、非等变、保守和非保守的架构——该空间保留了化学周期性和结构不变性。这一统一框架使得跨模型最优传输、可解释的嵌入算术以及表示偏差的检测成为可能。此外，我们表明，在这个空间中的偏差为非典型结构提供了一个无需真实依据的度量标准，并且暗示了物理预测的失败。我们的结果表明，柏拉图表示为材料科学提供了通向可互操作、可比较和可解释的基础模型的实用途径。

机器学习原子间势（MLIPs）为加速原子结构中能量（E）、力（F）和应力（σ）的推断提供了强大工具。MLIPs的发展从早期使用晶体图的数据拟合方法（如M3GNet1）演变为最近的架构设计，这些设计结合了具有高体阶的原子中心展开、消息传递和等变性实现（如ACE、MACE、NequIP和SevenNet2,3,4,5）。这一演变包括了保守架构（其中力作为能量的负梯度得出）和非保守架构（它们直接预测力，如Orb-v36,7所探索的）。虽然Matbench Discovery8框架为这些预训练的MLIPs提供了基准测试，但当前的评估依赖于与模型预测性能相关的指标。

自然语言处理领域的最新研究提出了“柏拉图表示假设”。该假设认为，用不同目标和模态训练的神经网络会在它们的表示空间中趋近于对现实的共同统计模型。材料科学中是否也存在类似现象仍然是一个未解之谜。与从人类生成文本学习的语言模型不同，MLIPs是从量子力学计算中学习的，后者在保真度（例如，交换-相关泛函的选择、基组）和化学覆盖范围方面有所不同。尽管如此，由量子力学和原子间相互作用的基本性质所支配的潜在物理和化学提供了所有模型都必须逼近的真实依据。

在这里，我们证明了基础的MLIPs趋近于一个与柏拉图表示假设一致的、与架构无关的潜在几何结构。为了验证这一点，我们引入了一个基于锚点的投影框架，将任何架构的嵌入映射到一个共同的坐标系统中，并展示了它在七种基础MLIPs中揭示出统计上一致的几何组织。然后，我们通过互补的对齐指标量化了这种收敛的程度和限制，发现了显著的全局一致性，但仍然存在局部的差异。为了理解这种共享几何结构的起源，我们证明了柏拉图组织的出现需要物理监督，而不仅仅是训练数据分布。在确立了其物理基础之后，我们利用这种共享的几何结构进行跨模型嵌入算术和零样本模型拼接，并展示了与这种柏拉图几何结构的偏差作为检测架构限制和结构非典型性的诊断工具。

结果：我们将代表不同架构、数据集和等变及能量守恒方法的七种基础MLIPs进行了对齐。这些包括三种MACE-MP-0变体（大、中、小），它们是在Materials Project Trajectory Dataset（MPtrj）14上训练的；两种基于OMat24的模型（MACE-omat和Seven-omat）；以及两种Orb-v3模型（Orb-v3-con-omat和Orb-v3-dir-omat），它们在处理力守恒方面有所不同。对于每个模型，我们从MP-20数据集16中提取了282,847个原子嵌入，覆盖了27,136个结构。我们应用主成分分析（PCA）将这些嵌入投影到二维空间中，其中前两个主成分（PCA1和PCA2）捕捉了最大的方差方向。虽然我们也检查了非线性可视化技术，如统一流形逼近和投影（UMAP）17（补充图1），但它们会扭曲全局几何结构并重新配置相对距离。如图1所示，原始嵌入无法直接比较。维度因架构而异；例如，MACE嵌入使用128个维度，而Orb-v3使用256个维度。更重要的是，这些表示强烈依赖于训练设置，包括特定的架构、损失函数和随机初始化。即使是使用相同训练数据集（MPTrj）和目标的MACE-MP-0变体，也表现出不同的潜在空间。这表明原始表示是在每个模型架构学习的任意坐标中作用的。

二维PCA投影显示了来自七种基础MLIPs的原子嵌入，揭示了不同的方差方向和元素聚类模式。尽管所有模型都训练来预测相同物理量，但它们在不一致的坐标系统中学习嵌入。为了实现有意义的比较，需要一个统一的表示。我们确定了其构建的四个标准：（1）模型不可知性——构建时不依赖于模型的内部结构；（2）几何忠实性——投影后原子环境之间的相对距离和邻域关系得到最大程度的保持；（3）足够的多样性——表示足够广泛地覆盖化学空间，以区分化学上不同的环境；（4）鲁棒性——表示对随机种子的选择具有鲁棒性，并且对锚点排列不敏感，确保观察到的结构反映了内在的几何结构而不是特定的实现。因此，以下构建的每一步都旨在满足这些标准。

我们首先将模型特定的嵌入投影到一个统一的潜在空间中。我们使用参考文献18提出的相对表示策略实现了这一点，建立了一个与原始架构无关的公共坐标框架——满足了标准1（模型不可知性）。我们使用余弦相似性而不是距离函数（欧几里得L2或曼哈顿L1），因为它提供了尺度不变性——在比较具有不同范数的嵌入时至关重要（例如，模型之间的差异为3-5倍；表1）。这种选择自然地将投影限制在[-1, 1]范围内，便于解释。变换框架如图2a所示。设\({{\bf{e}}}_{i}\in {{\mathbb{R}}}^{d}\)表示原子环境i的原始d维嵌入。我们从嵌入流形中选择一组K个锚点向量{a1, a2, …, aK}。柏拉图变换T(ei)根据其到这些参考点的余弦相似性将ei投影到锚点定义的空间中：
$${{\bf{z}}}_{i}=T({{\bf{e}}}_{i})={\left[\cos ({{\bf{e}}}_{i},{{\bf{a}}}_{1}),\cos ({{\bf{e}}}_{i},{{\bf{a}}}_{2}),\ldots ,\cos ({{\bf{e}}}_{i},{{\bf{a}}}_{K})\right]}^{\top },$$
（1）
其中余弦相似性定义为：
$$\cos ({{\bf{e}}}_{i},{{\bf{a}}}_{k})=\frac{{{\bf{e}}}_{i}^{\top }{{\bf{a}}}_{k}}{\parallel {{\bf{e}}}_{i}{\parallel }_{2}\,\parallel {{\bf{a}}}_{k}{\parallel }_{2}}.$$
（2）
得到的向量\({{\bf{z}}}_{i}\in {{\mathbb{R}}}^{K}\)构成了统一柏拉图空间中的嵌入。通过计算输入嵌入与每个锚点之间的余弦相似性，我们将绝对的、模型依赖的坐标转换为相对表示。这个新空间的维度完全由锚点的数量K决定，每个轴对应于与特定锚点的相似性，而不是任意特征通道。

为了确保锚点集能够捕捉嵌入流形的多样性，我们比较了随机抽样与维度缩减编码簇（Dimensionality-Reduced Encoded Clusters，简称DIRECT）抽样19。DIRECT抽样原本是为了促进MLIP训练而开发的，它选择在化学潜在空间中最大化覆盖范围的点。我们在多个随机种子∈ {0,?42,?12,345}中评估了这些策略。如补充表1所详述，DIRECT抽样产生了更加多样化的锚点集，其特征是对抗距离较大（>&1.5）和轮廓分数较低（<0.1）。因此，在整个工作中我们使用DIRECT策略来确保广泛的覆盖范围和高表示多样性（图2b）。

使用不同大小的锚点集K ∈?{3, 8, 20, 50, 100, 200, 400}获得的转换表示在图3a中展示。即使是最小的三个锚点集也能有效地对齐不同架构的嵌入，突出显示过渡金属（灰色）形成了一个与硫族元素（橙色）、卤素（绿色）和其他主族元素明显分离的簇。随着锚点数量的增加，统一表示变得更加稳定，当锚点集大小达到100时，方差趋于收敛。这里我们展示了Mace-medium、Mace-small和Orb-v3-con-omat的相对表示，代表了等变和非等变架构。所有模型中更全面的收敛趋势在扩展数据图1和2中提供。

图3：随着锚点集大小和抽样策略的变化，转换表示的变化。

这些结果表明，锚点作为稳定的参考点定义了一个共同的坐标系统，满足了要求2和4——几何忠实性和鲁棒性。一旦主要的几何关系固定在这些锚点上，剩余的嵌入自然会对齐，反映了相同的物理驱动因素，无论模型的起源如何。此外，随着K的增加，嵌入拓扑的结构显示出层次化组织。虽然少量的锚点捕获了粗略的全局结构，但增加锚点密度可以解析更细的结构细节。统一表示的质量也取决于锚点的多样性——满足标准3。如图3b, c所示，使用DIRECT抽样的表示产生了比随机抽样更统一的流形。DIRECT抽样的锚点产生的聚类更加紧密，平均对距离范围为1.58到2.67，而随机抽样导致分散、松散分布的空间（距离为1.80–3.11；补充表2）。这种效应在基于OMat24数据集（Orb-v3变体）训练的模型中尤为明显。它们的柏拉图嵌入相对于在MPTrj上训练的MACE-MP-0模型显示出偏斜的分布，特别是在随机选择锚点时。这种行为在K = 20到K = 400的锚点集大小范围内都持续存在（扩展数据图1和2）。

锚点多样性的作用与图像和语言表示对齐的研究结果20,21相似。小的、非多样化的锚点集（≤20）仅提供粗略的全局对齐；随着锚点集的增长（100–400），多样性变得至关重要，以约束映射并恢复全局一致的对齐，其中统一空间的保真度取决于探针的结构丰富性。为了验证这种几何结构是来自学习到的物理而非数学伪影，我们将变换应用于一个用随机权重初始化的“虚拟”MACE模型（方法）。如图3b,c的最右列所示，这个未经训练的模型没有显示出可识别的化学结构。这种对比证实了柏拉图表示是从数据中学习到的有意义的相关性。我们进一步通过在补充图3中将其扩展到其他架构（包括NequIP-OAM-L22,23和Mace-mpa-0）来展示这一框架的普适性。所有嵌入都是在能量读出之前从不变分量中提取的，这在完全消息传递后捕获了最丰富的结构编码，同时避免了任务特定解码器的扭曲（详细信息见补充部分10）。

为了定量评估这种收敛性和统一空间中嵌入的互操作性，我们在不同的几何尺度上计算了三个互补的指标。Procrustes分析（ScoreProcrustes）测量全局对齐：它找到两个嵌入分布之间的最优旋转并报告它们的残差距离，量化了两个模型是否以相同的整体几何结构组织化学空间。互mk最近邻居（ScoremKNN）测量局部一致性：它计算两个模型对于相同原子环境的共享最近邻居的比例，量化了两个模型是否在哪些环境上达成一致。标准化最优传输（ScoreOT）用于衡量分布距离：它计算将一个潜在分布转化为另一个潜在分布所需的最小努力，既捕捉全局差异也捕捉局部差异。如图4b所示，基础MLIPs显示出显著的全局拓扑相似性，特别是在共享设计原则的架构之间（例如，MACE变体的ScoreProcrustes > 0.86）。类似的普遍收敛性也被参考文献26独立证实。然而，这种宏观层面的对齐掩盖了显著的局部差异。局部邻域相似性（ScoremKNN）在所有配对中都保持较低（<0.38）（见图4a），与原始未对齐空间中观察到的值相比有显著下降（见补充图4）。这种差异表明，尽管不同模型在相同的全局物理流形上收敛，但它们的局部邻域结构仍然不同。最近的研究也揭示了类似的差异。值得注意的是，非等变模型（Orb-v3）的ScoremKNN接近于零，与等变模型相比，这证实了缺乏对称性约束会导致局部原子环境的编码方式根本不同。

图4：量化模型相似性和化学保留性。

该图像的替代文本可能是通过AI生成的。

完整尺寸图像：
a. mKNN分数（局部保真度）。
b. Procrustes分数（全局对齐）。
c. 标准化OT成本。
d. 综合SuperScore。颜色条表示每个指标的幅度。更高的mKNN和Procrustes分数以及更低的标准化OT成本表明更好的对齐，并有助于更高的综合SuperScore。
e, f. 投影到统一空间中的元素级嵌入（K = 100个锚点）显示所有七个模型中都存在一致的周期性聚类（扩展数据图3）。
g, h. 生成扩散模型（Chemeleon，t = 1，重建的最佳步骤）在无能量或力监督下训练的柏拉图表示与基础MLIP（MACE-small）的比较（g）。
没有物理约束的生成模型比在能量和力监督下训练的基础MLIP模型显示出较少的结构化潜在表示。
i. Cmcm SnSe沿双井振动模式的密度泛函理论势能面，具有两个软模式（λ1, λ2），这些模式在虚频处；井两侧的结构通过对称性相关。
U：双井势能；Q：正常模型坐标。
j–l. 沿此振动路径的结构级嵌入迹线，对于Orb-direct（j）、Orb-conservative（k）和生成模型（l）而言。非等变Orb模型为两个对称等价的井产生平滑但几何上不同的分支。生成模型产生的迹线是无序的，没有平滑的插值。e–h中的颜色图遵循图1。

最优传输（OT）成本图（图4c）将七个模型分为三个连贯的簇，揭示了架构和数据之间的相互作用。高OT距离将OMat训练的等变模型（Seven-omat, Mace-omat）与MACE-MP-0系列分开，隔离了数据集组成的影响。然而，最大的距离将非等变Orb-v3模型与所有其他模型分开，证实了不同的物理约束创造了不同的能量景观。我们可以定义一个综合指标：
$$\mathrm{SuperScore}=\frac{1}{2}({\mathrm{Score}}_{\mathrm{Procrustes}}+{\mathrm{Score}}_{\mathrm{mKNN}})\times {{\rm{e}}}^{-{\mathrm{Score}}_{\mathrm{OT}}}$$
该指标平均了全局和局部对齐分数，同时基于传输成本应用了一个惩罚。SuperScore的范围在[0, 1]之间，提供了表示兼容性的总结。

作为一个示例，统一表示明确保留了化学结构（图4e,f；扩展数据图3中的所有模型）。当将所有原子环境上的元素级嵌入进行均值池化时，所有模型都产生了类似的元素周期表拓扑。同一组的元素，如卤素、硫族元素和磷族元素，会连贯地聚类，周期性趋势（例如F–Cl–Br–I）形成平滑的轨迹。然而，架构偏见仍然存在：等变模型（MACE, SevenNet）产生紧凑的球形簇，而非等变模型（Orb-v3）产生偏斜的分布。这表明，如果没有明确的对称性约束，模型更多依赖于统计相关性而不是物理对称性来组织化学空间。

我们将物理与数据区分开来。我们的结果表明，柏拉图表示捕捉到了仅通过训练分布无法捕捉到的具有物理意义的结构。为了分离物理监督的作用，我们将Chemeleon的嵌入——一个在相同晶体结构和化学成分分布上训练的生成扩散模型，但没有能量或力目标——投影到统一的柏拉图空间中。尽管数据覆盖范围相同，生成模型的表示缺乏所有基础MLIPs所展示的紧密周期性化学组织。这种对比表明，柏拉图表示的周期性拓扑需要物理监督才能显现出来，不能仅归因于训练数据分布。

为了进一步区分优化、架构和物理的贡献，我们沿着Cmcm SnSe的双井振动模式追踪了结构级嵌入，其声子色散显示了两个具有虚频率的软模式（λ1, λ2）。从双井相对两侧采样的结构在对称性上是相关的，应该映射到物理上真实的同一点。非等变Orb模型为两个对称等价的井产生平滑但几何上不同的嵌入轨迹。生成模型产生的轨迹是无序的且不平滑的，反映了其表示中完全缺失的势能表面拓扑。这些观察定义了一个诊断层次结构：嵌入轨迹平滑但分叉的模型内部化了势能表面的连续性，但没有对称性；嵌入轨迹无序的模型根本没有学会能量景观。这两个信号都可以仅从表示几何中获取。

然而，流形几何与物理可观测量之间的严格数学对应关系尚未建立；我们将其确定为机器学习和材料科学交叉领域的一个关键未解决问题。

柏拉图表示的一个潜在用途是在不同模型之间嵌入算术运算。通过映射到统一的坐标系统中，可以执行向量运算。我们通过三个案例研究来评估这一点：一种复杂的氧化物（Na3MnCoNiO6）、一对对对称性敏感的多态TiO2和合成BaTiO3的固态反应。所有嵌入都在统一空间中计算（K = 100个锚点），模型间的相似性（c-sim）相对于MACE-large进行测量，扩展案例在补充信息中呈现。我们将材料级嵌入zMater定义为其原子成分在统一空间中的质心：
$${{\bf{z}}}_{\mathrm{Mater}}=\frac{1}{{N}_{\mathrm{atoms}}}\mathop{\sum }\limits_{i=1}^{{N}_{\mathrm{atoms}}}{{\bf{z}}}_{i}.$$
（3）
如图1所示，Na3MnCoNiO6的模型在zMater上表现出一致性，c-sim值始终在0.79到0.87之间（不包括Orb-v3-con-omat）。值得注意的是，OMat24训练的等变模型（Seven-omat, Mace-omat）产生的向量具有较大的范数（l ≈ 4.5–5.4），而MACE-MP-0模型的范数约为1.1。这种缩放因子（约3–5倍）在不同材料中是一致的（见补充表3），表明虽然架构在信号幅度上可能有所不同，但它们相对于转换轴编码了相似的角度信息。

为了评估对结构自由度的敏感性，我们分析了两种TiO2多态体：一种是正交晶系（Pbcn），另一种是四方晶系（P42/mnm）。虽然多态体内部的相似性（i-sim）很高（≥0.95），但模型间在差异向量zMorph = zMater1 ? zMater2上的一致性很低（≤0.40）。这表明，尽管保留了全局材料身份，当前的基础模型及其统一的表示平滑处理了区分多态体的细微局部扭曲，突出了当前池化策略的分辨率限制。

我们将反应嵌入定义为zReact = ∑zproducts ? ∑zreactants。对于从其二元混合物形成BaTiO3的情况，我们观察到模型间的一致性（大约≥0.7 c-sim，除了Orb-v3-con模型）。嵌入兼容性可以支持零-shot模型拼接。这使我们能够代数上将一个模型的产品状态表示替换为另一个模型的表示，将它们视为在共享几何中的兼容向量。我们通过将MACE-large的反应物嵌入与其他模型的产物嵌入配对，构建了一个混合反应嵌入zReact-stitch。如表1中所详细说明的，模型间兼容性很高。MACE-MP-0变体的兼容性很强（>0.88）。令人惊讶的是，Orb-v3-con-omat与MACE-large的拼接性更高（0.82），比其他OMat24训练的模型更高。这表明，在非重叠数据集上训练的模型（MPtrj对比OMat24）可以代数上组合，产生几何上合理的嵌入，为预训练基础势能的模块化重用开辟了潜在途径。

柏拉图表示不仅仅能够实现模型间的代数运算，它还定义了一个物理上具有意义的参考框架，用于检测表示偏差。我们展示了三个诊断应用，从单个模型训练到架构保真度，再到物理对称性，以及未见配置的结构典型性。

在迁移学习的背景下（图5a,b），柏拉图表示使得原子嵌入的轨迹可视化成为可能，从而区分灾难性遗忘和稳定适应。对Cu–Cu二聚体的朴素微调会导致未见过的Au–Au嵌入崩溃（青色交叉），将Cu权重从正确的轨迹（紫色星号）拖向受污染的轨迹（青色星号）。多头微调保持了Au的知识（青色交叉），同时保持了Cu轨迹的一致性（重叠的紫色和青色星号）。

图5：通过柏拉图嵌入的诊断应用。

该图像的替代文本可能是通过AI生成的。

完整尺寸图像：
a, b. 紫色轨迹表示仅在微调期间针对Cu的微调策略（ft1）；青色轨迹表示同时针对Cu和Au的微调策略（ft2）。对于这两种情况，只提供了Cu–Cu二聚体的信息。
a. 在额外的Cu数据上进行朴素微调会导致未见过的Au原子嵌入崩溃（由于灾难性遗忘，Au–Au轨迹是人为的）。
b. 多头微调使未见过的Au嵌入在其预训练位置附近保持稳定（一对青色交叉（Au–Au）轨迹），同时保持微调后的Cu–Cu相互作用权重（重叠的星号轨迹）。
c. 基于两最近邻（two-NN）分析的不同模型的等变嵌入比例。
d. 对BaCeO3的旋转敏感性测试：等变模型在旋转下保持嵌入不变；Orb-v3模型则不保持。
e. 在1,000 K下将OMAT非平衡结构投影到柏拉图空间。左：原子级的柏拉图嵌入。右：材料级的柏拉图嵌入（粉色）与稳定的MP-20结构（蓝色）进行比较。
f. 在原子级别（顶部）和材料级别（底部）上，结构在流形区域中的分布（密集内部、稀疏内部、靠近外部、远离外部）。

除了训练稳定性之外，所提出的框架还突出了在 Learned 表示中不保持严格等变性的架构的基本限制。我们采用最近邻（two-NN）方法来量化由对称性等价性引起的有效维度降低。以图5d中的参考原子（O）为例，d1/d2的比率——其中d1和d2表示表示空间中的第一和第二最近邻距离——作为模型如何区分（或无法区分）对称等价位置的指标。对于完全等变的表示，对称相关的原子会塌缩到同一点上，导致d1 = 0。通过测量d1 = 0的原子比例，我们估计了每个模型在其学习到的嵌入中保持等变结构的能力。

图5c中的统计数据显示，所有等变MACE模型在研究的四个代表性空间组（P63/mmc, Fm\(\bar{3}\)m, I4/mmm, Pm\(\bar{3}\)m）中都保持了一致的等效点检测水平，表明等变表示的稳健保持。尽管SevenNet包含了E(3)-等变神经网络层，但它在其原始嵌入中并未检测到d1 = 0的等变性，可能是由于在lmax处的架构截断；NequIP使用了更严格的数值容忍度（1 × 10?8到1 × 10?10，float64），但仍显示出不完美的检测。在这方面的改进中，转换为柏拉图空间使得在数值精度有限的模型中能够更稳健地检测到等变结构，例如SevenNet和NequIP模型大约有15–30%的等价簇被部分重新识别（见图5c），表明柏拉图投影可能减少了数值噪声。

相比之下，非等变Orb模型在其原始或柏拉图嵌入中无法识别任何等价原子，无论应用了何种数值精度，都偏离了物理上预期的对称关系，表明柏拉图变换无法恢复架构学习阶段根本缺失的等变性。这种失败直接体现在下游预测中：如图5d所示，旋转BaCeO3结构会导致Orb-v3嵌入发散而不是保持不变，这是对称性破坏的明显实例。这种违反传递到力场中，产生了质量上不正确的声子色散（见补充图5）。

更重要的是，流形假设认为物理上真实的原子配置在表示空间中集中在一个低维流形附近。基于此，柏拉图投影提供了一种几何结构，在这种结构中，与这个流形的距离可以被解释为结构偏差。也就是说，统一的柏拉图空间允许基于流形距离来衡量结构的典型性，而不需要任何先验知识（详见补充材料第11节）。其计算方法如下：（1）使用预先计算好的锚点集将未标记的查询结构投影到柏拉图空间；（2）计算该结构与参考流形的距离和密度。通过将表示空间划分为基于密度和距离的区域（相对于已知稳定材料的参考流形，分为密集/稀疏的内部和远/近的外部），我们可以在不需要的任何属性标签的情况下量化查询结构的典型性。相对于接近平衡状态的MP-20锚点以及所有研究的MLIPs的训练集，我们将来自非平衡状态OMat数据集（rattled、300 K和1,000 K）的配置投影到柏拉图空间中（扩展数据图4c,d）。这些投影在原子级和结构级嵌入上都是可解释且物理上有组织的：0 K放松的结构主要占据密集的内部，300 K的结构向稀疏的内部移动，而1,000 K的结构则进一步向近部和远部区域移动。这种无标签的测量方法自然可以扩展到量化生成模型的结构典型性，这与它们的“新颖性”指标密切相关。在这方面，收集了GNoME32、MatterGen（MP-20）33和Chemeleon的结构，它们的嵌入主要占据密集的内部（分别为82.8%、78.5%和79.6%；扩展数据图4a,b），这与它们接近平衡训练分布的事实一致。相比之下，如图5f所示，基于磁性材料的MatterGen结构则向稀疏的内部移动（约55%密集，约45%稀疏），这反映了仅通过几何学就可以检测到的配置新颖性。我们注意到，目前还不存在关于流形几何与物理可观测量之间对应关系的严格数学证明；这些结果展示了柏拉图流形距离作为结构新颖性检测指标的潜力。这种几何合理性测量方法可以为大规模生成材料搜索提供一个计算效率高的预筛选工具，补充实空间结构匹配的方法。

**结论**
我们发现，尽管基础原子间势能有架构上的异质性、不同的训练集和诱导偏差，但它们仍表现出一种共同的潜在几何结构，这种结构需要物理监督才能显现出来：一个在相同结构数据上训练的生成模型，如果没有能量或力目标，就无法再现这种柏拉图组织。这一发现直接将对表示的收敛性与学习物理约束联系起来，超出了训练分布的统计规律性。通过基于锚点的投影来对齐嵌入，我们将这些不同的模型统一到一个保持化学周期性的共同度量空间中，实现了跨模型的可比性，并揭示了在模型特定坐标中之前无法访问的结构不变量。我们还证明了柏拉图几何结构支持材料、多态体和化学反应的有意义的嵌入算术，有效地实现了零样本模型拼接。该框架还提供了一种基于流形距离的实际的、无需先验知识的结构典型性度量方法，可用于筛选生成的材料和检测分布外的配置。同时，它还可以指示物理预测的失败，例如在非等变架构中的对称性破坏。

**方法**
**柏拉图表示的定义**
我们将训练好的机器学习势能（M）的原始表示定义为直接提取的嵌入ei = ?i(x)。设\({\mathcal{M}}=\{{M}_{1},{M}_{2},\ldots ,{M}_{N}\}\)是一组预训练的MLIPs。每个模型Mi定义了一个嵌入函数：$${\phi }_{i}:{\mathcal{X}}\to {{\mathbb{R}}}^{d},$$将原子环境\(x\in {\mathcal{X}}\)映射到潜在向量ei。通过使用余弦相似度将每个模型的特定嵌入投影到一个模型独立的锚点空间，可以获得一个规范的嵌入\({{\bf{z}}}_{i}(x)\in {{\mathbb{R}}}^{K}\)：$${{\bf{z}}}_{i}(x)={\left[\cos ({\phi }_{i}(x),{{\bf{a}}}_{1}),\cos ({\phi }_{i}(x),{{\bf{a}}}_{2}),\ldots ,\cos ({\phi }_{i}(x),{{\bf{a}}}_{K})\right]}^{\top },$$其中\({\{{{\bf{a}}}_{k}\}}_{k=1}^{K}\)是从模型嵌入的并集中抽取的锚点集，并嵌入到一个统一的度量空间中。这种表示满足四个关键属性：
（1）坐标不变性。对于任何应用于原始空间的正交线性变换Qi，T(Qi?i(x)) ≈ T(?i(x))，这意味着变换消除了与架构相关的坐标旋转。
（2）模型通用性。对于不同模型i和j中相同物理环境的嵌入：$$\parallel zi(x)\,-\,zj(x)\parallel \,\ll \,\parallel \phi i(\,x)\,-\,\phi j(x)\parallel ,$$证明了向共同潜在几何结构的收敛。
（3）物理潜在一致性。柏拉图空间中的距离反映了内在的物理相似性：$$\parallel {\bf{z}}(x)-{\bf{z}}({x}^{{\prime} })\parallel \propto \,\mathrm{similarity}\,\mathrm{of}\,\mathrm{atomic}\,\mathrm{environments}.$$
（4）代数兼容性。结构级或反应级的嵌入满足\({{\bf{z}}}_{{M}_{i}}(X)\approx {{\bf{z}}}_{{M}_{\!j}}(X)\)，实现了跨模型的最佳传输和运算。

**DIRECT采样策略**
为了构建锚点集，我们采用了DIRECT采样策略19。该方法旨在最大化覆盖化学潜在空间的范围。为了保持一致性，我们使用MACE-small模型的嵌入分布作为参考流形。通过对参考分布应用Birch聚类（目标K = 100个簇），然后通过分层选择来识别最大化Silhouette得分的质心，从而确定锚点。这些选定原子的索引被用来从所有其他模型中检索相应的嵌入，确保锚点代表跨架构的物理上相同的原子环境。

**虚拟模型构建**
为了控制架构上的诱导偏差，我们构建了一个“虚拟”基线模型。该模型与MACE-small具有相同的架构，但用从标准正态分布中抽取的随机权重（w）和偏差（b）进行初始化。这导致了一个具有3,847,696个随机参数的模型，该模型没有接受过任何训练数据，作为负对照，以验证柏拉图几何结构是来源于学习到的物理相关性而非架构先验。

**相似性和距离度量**
为了量化表示的对齐性，我们计算了以下度量：
- **Procrustes得分**：衡量两个表示A和B在最优正交对齐后的欧几里得距离。它是通过最小化所有正交矩阵Q下的Frobenius范数∥A ? BQ∥F来计算的。我们报告的相似性得分是由残差平方和得出的：$${\mathrm{Score}}_{\mathrm{Procrustes}}=1-\frac{\parallel A-B{Q}^{* }{\parallel }_{F}^{2}}{\parallel A-\bar{A}{\parallel }_{F}^{2}+\parallel B-\bar{B}{\parallel }_{F}^{2}},$$其中Q*是最优旋转。高得分表明两个空间在旋转和缩放上共享相同的整体拓扑结构。
- **中心核对齐**：中心核对齐衡量两个表示的中心化格拉姆矩阵之间的相似性。它捕捉了两个空间组织所有成对关系的方式，不受Procrustes分析所需的显式旋转的影响。
- **OT成本**：我们计算标准化的OT成本，以衡量将模型A的分布转换为模型B所需的最小努力。我们使用Sinkhorn算法来近似统一柏拉图空间中两个嵌入分布之间的Wasserstein距离。
- **相互k最近邻**：为了评估局部拓扑保真度，我们计算了局部邻域的重叠程度。对于每个样本，我们确定了模型A和模型B中的k个最近邻居集合。mKNN得分定义为这两个集合的Jaccard指数，并在所有样本上取平均值。

**研究设计的更多信息**
有关研究设计的更多信息，请参阅与本文关联的Nature Portfolio Reporting Summary。