《Computational Biology and Chemistry》：SMFP: A self-supervised multimodal molecular feature fusion method with bidirectional cross-attention for molecular property prediction
编辑推荐：
•我们提出了一种多模态预训练框架，名为SMFP，旨在实现SMILES序列与分子图之间的特征融合。该框架包含两个独立的编码器、一个双向交叉注意力模块、一个主干网络以及两个独立的解码器，通过对两种模态进行掩码重建来完成预训练。•为了实现特征融合，该框架引入了双向交叉注意力模块，用于提
- •
我们提出了一种多模态预训练框架，名为SMFP，旨在实现SMILES序列与分子图之间的特征融合。该框架包含两个独立的编码器、一个双向交叉注意力模块、一个主干网络以及两个独立的解码器，通过对两种模态进行掩码重建来完成预训练。
- •
为了实现特征融合，该框架引入了双向交叉注意力模块，用于提取并整合不同模态中的互补特征信息，从而使框架能够捕捉跨模态依赖关系，更高效地整合多模态特征表示。
- •
我们提出了一种非重叠自适应掩码策略，根据分子长度调整掩码比例。具体而言，原子数少于20的分子，其分子图的掩码比例为15%，而原子数20及以上的分子则为30%；经过大量实验验证，SMILES序列采用固定的15%掩码比例。
引言
药物发现是一个耗时、耗力且效率较低的过程，而分子性质预测则是这一流程中的核心任务（Qiao等人，2025a）。基于深度学习的方法极大地推动了分子性质预测领域的发展。然而，模型复杂度的不断提升与标注数据的匮乏形成了矛盾，这一问题阻碍了模型学习到足够丰富的分子结构特征，从而导致严重的过拟合现象以及有限的泛化能力（Zhang等人，2026）。自监督学习通过在大规模无标注数据集上进行预训练，再针对下游任务进行微调，为解决这些问题发挥了关键作用。这种方法能有效提升分子表示的质量（Qiao等人，2025b）。
SMILES序列和分子图是目前最常用的分子表示方式（Zeng等人，2022；Wu等人，2024）。如图1所示，同一个分子既可以以SMILES序列的形式表示，也可以以分子图的形式呈现。基于SMILES的表示方式能够编码原子、化学键及其排列顺序，从而提供分子的整体信息。不过，仅依靠SMILES无法完全描述复杂的分子结构及拓扑特征，比如环的数量和位置、侧链的长度以及其他可能对预测具有药物特性的分子性质至关重要的局部结构特征。而分子图则直接展示了原子、化学键及其连接关系，从而准确反映分子的拓扑结构。尽管如此，现有的许多用于分子性质预测的图神经网络模型往往主要关注节点级或局部结构特征，在构建具有表达力的全局分子表示方面存在局限（Zhou等人，2020）。因此，有效整合基于SMILES和分子图的表示方式，充分利用两种表示方式所提供的互补信息，对于提高分子性质预测的准确性至关重要。
为了解决这些问题，我们提出了一种基于自监督学习和多模态特征融合的分子表示学习框架，名为SMFP。在该框架中，预训练阶段会从SMILES序列和分子图中提取特征表示，然后通过双向交叉注意力模块和主干网络将这些特征进行整合。在预训练过程中，还会采用非重叠自适应掩码策略，该策略会根据分子长度调整掩码比例。大量实验结果表明，所提出的方法提升了框架从复杂分子结构中学习关键特征的能力。其主要贡献如下：
- •
我们提出了一种多模态预训练框架，名为SMFP，旨在实现SMILES序列与分子图之间的特征融合。该框架包含两个独立的编码器、一个双向交叉注意力模块、一个主干网络以及两个独立的解码器，通过对两种模态进行掩码重建来完成预训练。
- •
为了实现特征融合，该框架引入了双向交叉注意力模块，用于提取并整合不同模态中的互补特征信息，从而使框架能够捕捉跨模态依赖关系，更高效地整合多模态特征表示。
- •
我们提出了一种非重叠自适应掩码策略，根据分子长度调整掩码比例。具体而言，原子数少于20的分子，其分子图的掩码比例为15%，而原子数20及以上的分子则为30%；经过大量实验验证，SMILES序列采用固定的15%掩码比例。
章节要点
相关研究
自监督学习和多模态表示学习已成为分子性质预测领域的重要方法，因为它们使模型能够在无需依赖大规模标注数据的情况下利用数据的内在结构，并有效整合不同类型的信息。许多先前的研究侧重于利用自监督预训练和基于掩码的策略来提升分子结构信息的学习效果，而近期的研究则更注重多种方法的整合。
非重叠自适应掩码策略
非重叠自适应掩码策略包括非重叠的掩码设计以及自适应的掩码比例设置。如图2所示，非重叠掩码意味着同一个分子的SMILES序列和分子图中的掩码区域不会相互重叠（Shen等人，2024）。具体实施过程分为两个步骤：
原子索引对齐。SMILES序列中的标记可以分为三类：（1）原子，包括由单个字符表示的原子等
数据集
预训练所使用的数据集包含了从ZINC15（Sterling和Irwin，2015）中提取的250,000个未标注分子样本。在微调阶段，则使用了MoleculeNet（Wu等人，2018）中的14个基准数据集，这些数据集涵盖了生理学、生物物理学、物理化学和量子力学等多个领域。其中，生理学领域的数据集包括BBBP、Tox21、ToxCast、SIDER和ClinTox；生物物理学领域的数据集包括BACE、MUV和HIV；还有ESOL、FreeSolv和Lipophilicity等数据集
结论
在本研究中，我们提出了一种名为SMFP的预训练框架，旨在在预训练阶段实现SMILES表示与分子图之间的特征融合。通过引入双向交叉注意力模块来实现特征融合，该框架能够在预训练阶段捕捉跨模态依赖关系，从而更有效地整合多模态分子信息。此外，我们还提出了非重叠自适应掩码策略，并将其应用于经过分词处理的SMILES序列中
CRediT作者贡献说明
李星星：研究工作、数据整理。江静：方法设计、资金获取、概念构思。戴玉刚：形式化分析。
资助情况
本研究得到了中国自然科学基金（编号：62462057）、甘肃省自然科学基金（编号：24JRRA158）、兰州科技创新人才项目（编号：2025-QN-051）以及中央高校基本科研业务费（编号：31920260085）的支持。
利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。
Xingxing Li|Jing Jiang|Yugang Dai
