金属-有机框架性质样本感知预测的多模态Transformer

《ACS Central Science》：Multimodal Transformer for Sample-Aware Prediction of Metal–Organic Framework Properties

　　

金属-有机框架（MOF）是基于机器学习的属性预测的主要目标，然而大多数模型假设单个框架表示映射到单个属性值。这一假设对于实验性MOF而言存在问题，因为被报道为同一框架的样本可能因结晶度、相纯度、缺陷及其他样本依赖性因素的差异而表现出不同性质。研究人员在此引入实验X射线衍射集成Transformer（EXIT），一种结合MOFid与X射线衍射（XRD）的多模态Transformer，用于MOF性质的样本感知预测。在EXIT中，MOFid编码MOF身份，而XRD提供关于实验实现样本状态的互补信息。EXIT在一百万个带有模拟XRD的假设MOF上进行预训练以学习可迁移表示。预训练模型首先通过在下游任务上使用模拟XRD微调进行评估，其性能优于现有方法，随后在文献衍生的实验XRD-属性数据集上微调以预测表面积和孔体积。纳入实验XRD相比无实验XRD的模型提升了预测性能，注意力分析和样本级案例研究进一步表明，当XRD图谱不同时，EXIT对共享相同MOF身份的样本赋予不同预测。这些结果从框架感知到样本感知的MOF性质预测迈出了实用一步，并凸显了将实验表征纳入多孔材料信息学的价值。

研究背景方面，机器学习在沸石、金属-有机框架（MOF）、聚合物及无机固体等材料性质预测中已成为重要工具，多数模型学习从材料表示到标量属性值的映射，在模拟就绪数据库上表现良好。但实验材料数据中，名义材料身份与实测属性常非严格一一对应，同一名义MOF因合成条件、活化程序、结晶度、缺陷浓度等样本依赖因素可表现出不同报道性质，如MOF-5、HKUST-1、UiO-66的实验性质存在显著离散。现有MOF机器学习模型多依赖理想晶体结构导出的描述符或编码特征，属框架级表示，未编码实验实现样本状态，导致预测与实验测量间部分差异实为表示问题而非噪声。粉末X射线衍射（XRD）常规报道于MOF合成研究，对结晶度、相组成、对称性、结构畸变等敏感，且假设MOF可从晶体结构生成模拟XRD，便于大规模多模态预训练，因此研究人员开展本研究以测试XRD能否提供超越MOF身份的样本级信息。

研究人员开展的研究为提出EXIT（Experimental X-ray Diffraction Integrated Transformer），一种融合MOFid与XRD的多模态Transformer。MOFid以类语言格式编码框架化学身份（金属节点、有机连接体、拓扑、穿插），XRD经一维卷积编码后与原MOFid序列在Transformer编码器内融合。预训练采用百万级假设MOF（PORMAKE生成加hMOF、CoRE MOF、QMOF库）配模拟XRD，任务为MOFid掩码语言建模（MLM）与基于[CLS]表示的孔隙率回归。下游先以模拟XRD微调热分解温度（T_D）与CH₄吸附（298 K、2.5 bar），再构建文献衍生实验数据集（MatGD结合GPT-5.4从L2M3等库提取XRD图并数字化，配L2M3的BET表面积与总孔体积），微调预测实验表面积与孔体积。

关键技术方法上，多模态架构以MOFid（3621词表，截补至512 token）与XRD（2θ=0–50°，0.01°间隔，5000维，切20长patch线性嵌入768维）为双输入，Transformer隐藏768、12层12头；预训练用AdamW（lr=10^-4，wd=10^-2，500 epoch，batch 256，0.95:0.05切分）做MLM（15%遮掩）与孔隙率回归；模拟XRD下游微调T_D（3022实验值）与CH₄ uptake（120653模拟值），对比Descriptor+RF、MOFormer、MOFTransformer；实验数据来自69183篇L2M3论文DOI，经MatGD分离面板、数字化、arPLS/AsLS/airPLS基线校正、min-max归一，最终311条表面积（84 MOF）/181条孔体积（49 MOF）配对MOFid+实验XRD，按0.8:0.1:0.1切分并9折交叉验证；可解释性用patch遮挡敏感度与t-SNE投影预训练注意力。

研究结果部分，EXIT：多模态架构与预训练小节指出，预训练使模拟XRD下游T_D的MAE由从头训54.99 K降至44.58 K，CH₄ uptake由0.30降至0.17 mol kg^-1，优于或持平MOFTransformer，消融显示MLM利T_D、孔隙率回归利CH₄，联合最优。预训练对模拟XRD下游任务的影响小节通过Table 1对比证实预训练增益在大数据集更显。实验数据集构建小节说明文献XRD经MatGD+LLM流水线提取，获311表面积与181孔体积记录，每样本须同时具MOFid、实验XRD与策展属性。实验XRD与MOF性质预测小节显示，替换模拟XRD为实验XRD后，表面积测试R²由0.30升至0.53、MAE由405降至334 m² g^-1；孔体积R²由0.12升至0.59、MAE由0.26降至0.22 cm³ g^-1；9折交叉验证平均R²表面积0.45±0.11、孔体积0.47±0.08，均优于模拟XRD对照。实验XRD信息分析小节以MOF-808两样本为例，实验XRD下EXIT给不同孔体积，换模拟XRD则同预测约0.87 cm³ g^-1；patch遮挡敏感度最大变化在2θ≈4.3°（17.52%）与8.3°（12.45%）低角峰；t-SNE显示预训练注意力中模拟与实验XRD样本明显分离，XRD-only分离更清，ZIF-8实例示实验XRD因晶域尺寸、缺陷、客残基等与模拟差异。EXIT的MOF依赖可解释性与局限小节分析ZIF-8合成前体/溶剂标注不能完全解释孔内体积变异，MOF-5中主峰半高宽（fwhm）小对应Scherrer域大且数据集内表面积偏低，UiO-66/67缺失连接体缺陷在XRD上难辨故XRD增益有限。

讨论部分总结，EXIT证明从框架级到样本级预测的可行性，预训练学得多模态可迁移表示，实验XRD提升表面积与孔体积预测且收益取决于变异是否反映于衍射。研究属概念验证，受限于文献数据规模与跨研究异质性（活化、处理、测量协议、图像数字化误差）。结论翻译为：本工作引入EXIT，一种整合MOFid与XRD的多模态Transformer，实现跨假设与实验设置的MOF性质实验感知预测；百万假设MOF预训练学得多模态可迁移表示；模拟XRD基准上热分解温度与CH₄吸附优于从头训与既往模型；文献实验数据上纳入实验XRD提升表面积与孔体积预测；注意力与案例显示同MOF不同XRD样本获不同预测且XRD增益依变异可辨性而定。本研究为从框架级迈向样本级多孔材料信息学的实用一步，凸显实验表征纳入数据驱动材料发现的价值。论文发表于《ACS Central Science》。