HELM-BERT：面向化学修饰肽的拓扑感知表征

《Journal of Chemical Information and Modeling》：HELM-BERT: Topology-Aware Representations for Chemically Modified Peptides

　　

化学修饰与宏环肽作为日益重要的治疗药物，当前分子表征模型无法以统一方式原生表征化学修饰与共价拓扑结构。原子级字符串掩盖宏环连接性，而蛋白质序列模型无法编码非经典残基与显式交联。研究人员直接在层级编辑语言用于大分子（Hierarchical Editing Language for Macromolecules，HELM）记号上预训练仅编码器（encoder-only）Transformer，该记号指定单体身份与连接性。研究表明，所得表征在环肽膜渗透性预测中达到最佳平均性能（随机划分 R2 = 0.668；在 Murcko 骨架划分下保持最佳平均性能），超越外部预训练基于简化分子线性输入规范（Simplified Molecular Input Line Entry System，SMILES）的编码器。架构匹配的 SMILES 对照在完全微调下缩小了 HELM–SMILES 差距，而 HELM-BERT 在冻结表征设定下保留更清晰优势。HELM-BERT 还以线性可访问形式保留 HELM 指定的宏环拓扑，并在互补的 Propedia 与 ChEMBL 基准上支持具竞争力的肽–蛋白质相互作用预测。更广泛地，这些发现表明，直接在使结构约束显式的记号上预训练，为介于小分子化学与蛋白质序列之间的生物分子模态提供了一种可迁移策略。

研究背景方面，治疗性肽作为桥接小分子与生物制剂的重要药物模态日益受到关注，其通过化学修饰与宏环化可改善效力、选择性、蛋白水解稳定性及膜渗透性。然而，修饰与环肽无法仅以经典氨基酸序列描述，其功能不仅依赖单体组成，还受拓扑连接性（包括环闭合与交联）影响。现有大规模分子表征模型中，基于 SMILES 的语言模型将分子表示为线性化原子-键序列，宏环结构通过数字环闭合标记隐式编码，拓扑成为需从字符串推断的潜属性，在拓扑主导功能的场景中增加学习难度；蛋白质语言模型假设残基字母表与标准肽键，非经典残基与许多化学修饰需近似、省略或映射至模糊词元（token）。因此，化学修饰肽处于残基-only 蛋白质模型与原子级小分子模型均不充分覆盖的区间，拓扑与化学修饰未在输入中显式体现时，模型易学到与数据集特定字符串约定相关的伪相关，跨肽任务迁移脆弱，尤其当下流属性强受宏环化、交联模式或修饰化学影响时。HELM 将单体序列与描述环化与交联的结构化连接列表分离，提供直接暴露拓扑的记号，此前主要用作描述标准并近期支持生成建模，但尚无直接在 HELM 记号上预训练的仅编码器可迁移表征用于下游预测任务。为此，研究人员提出 HELM-BERT，一种在 HELM 记号上以掩码语言建模（Masked Language Modeling，MLM）预训练的仅编码器 Transformer，学习化学修饰肽的拓扑感知表征，引入 DeBERTa 的关键架构组件（解纠缠注意力、增强掩码解码器 Enhanced Mask Decoder，EMD、n-gram 诱导编码 n-gram induced encoding，nGiE）以捕获局部化学模式与全局拓扑约束，在含 CycPeptMPDB、ChEMBL、Propedia 的 39,079 条独特肽序列语料上预训练，并在环肽膜渗透性与肽–蛋白质相互作用预测上评估迁移能力，同时量化 HELM 指定拓扑在嵌入空间中是否保持线性可解码。

关键技术方法方面，研究人员构建基于 DeBERTa 的六层 Transformer 编码器（隐藏维度 H = 768，注意力头 A = 12），采用 HELM-GPT 风格压缩字符分词器（78 词元词汇表，含多字符 HELM 动机压缩与专用 [MASK]、[BOS]、[SEP] 标记），输入为线性化 HELM 连接表示的肽记号；预训练目标为跨度掩码（span masking）MLM（掩码 15%，跨度长度几何分布 p = 0.2，截断 1–5），优化器为 AdamW（学习率 1×10^–4，权重衰减 0.01，余弦退火，梯度裁剪最大范数 1.0），FP32 精度、批大小 64、最大输入长度 512，按种子 42 划分 80/20 训练/验证集，训练至多 500 轮并以验证 MLM 损失早停（耐心 20）。预训练语料来自 ChEMBL v35（22,045 条）、CycPeptMPDB v1.2（8,466 条环肽）、Propedia v2.3（过滤未知残基后 31,184 条肽–蛋白质对），按 canonical SMILES 去重得 39,079 条独特肽（ChEMBL 21,879、Propedia 9,212、CycPeptMPDB 7,988），其中 35.4% 含宏环或交联拓扑，65.7% 含至少一种非标准单体；统一单体库合并 CycPeptMPDB 与 ChEMBL 得 3,095 条独特单体条目。下游任务包括 CycPeptMPDB 膜渗透性预测（7,715 样本，10 折交叉验证，随机划分与 Murcko 骨架划分）与肽–蛋白质相互作用预测（Propedia 衍生数据集 1:4 正负采样，随机与基于 aCSM-ALL 签名的聚类划分；ChEMBL 结合活性 ≤1 μM 为正例，随机与基于蛋白质家族划分），采用双编码器框架（肽编码器 HELM-BERT 等 + 冻结 ESM-2 蛋白质编码器），评估全微调、头微调、线性探测三种协议，统计比较用 Nadeau and Bengio 校正重采样 t 检验与 Benjamini–Hochberg 错误发现率校正。

研究结果部分，各小节内容及结论如下。

预训练直接在 HELM 记号上的仅编码器 Transformer：HELM-BERT 基于 DeBERTa 风格解纠缠注意力架构，结合 nGiE 与 EMD，在含简单聚合物与连接描述符的压缩字符 HELM 记号上以 MLM 目标预训练；在单 NVIDIA GH200 训练约 2.6 小时至 104 轮，最低验证损失 0.3548（第 84 轮），所得检查点用于所有下游评估。

拓扑感知 HELM 表征改进环肽膜渗透性预测：在 CycPeptMPDB 随机划分下，HELM-BERT 全微调达 R² = 0.668 ± 0.050，显著优于 MoLFormer–XL（R² = 0.578 ± 0.043，p_adj = 0.0035）与 PeptideCLM（R² = 0.536 ± 0.025，p_adj = 1.3×10^–4），与架构匹配 SMILES-HELM-BERT（R² = 0.646 ± 0.038）差距不显著；头微调显著优于所有基线（含 SMILES-HELM-BERT，p_adj = 0.0187）；线性探测显著优于 MoLFormer–XL 与 SMILES-HELM-BERT（均 p_adj = 0.0010）。Murcko 骨架划分下，HELM-BERT 全微调 R² = 0.483 ± 0.101，仍最优且显著优于 MoLFormer–XL 与 PeptideCLM，与 SMILES-HELM-BERT 差距不显著；头微调与线性探测在正均值差距下部分未达 FDR 显著，但线性探测显著优于 SMILES-HELM-BERT（p_adj = 0.0124）。排除基准来源肽不改变性能，表明学的是可迁移特征而非记忆。

架构组件共同贡献于渗透性：随机划分下，单独移除解纠缠注意力、EMD、nGiE、跨度掩码或连接词元均仅轻微降低 R²（ΔR² ≤ 0.019，均 p_adj > 0.20），替换为 Vanilla-BERT（无上述组件，令牌级 MLM）则显著下降（ΔR² = 0.041，p_adj = 0.018）；骨架划分下无一消融达显著。移除解纠缠注意力使预训练收敛慢 64%、终端验证损失高 70%，绝对位置嵌入范数增 123%，显示相对位置建模缺失时部分补偿但不足；nGiE 卷积核范数在完整模型中增至 30.17，表明被学习利用；组件呈联合贡献而非单一主导。

预训练收益可观且对语料组成稳健：随机划分下，从头训练（无预训练）R² = 0.616 ± 0.050，显著低于预训练模型（ΔR² = 0.052，p_adj = 0.002）；排除任一单一来源（ChEMBL、Propedia、CycPeptMPDB）均无显著影响（均 p_adj ≥ 0.45）。骨架划分下，从头训练显著更低（R² = 0.367 ± 0.107，p_adj = 0.019），单一来源排除仍不显著，即使排除 CycPeptMPDB 自身亦不降级，支持收益来自预训练过程本身而非特定数据源。

架构组件呈联合与部分补偿行为：结合 MLM 曲线与参数范数分析，nGiE 卷积核范数在预训练中大幅增长，解纠缠注意力移除导致预训练不稳定（更多轮次、更高损失）与绝对位置嵌入范数剧增，跨度掩码移除轻微压缩 nGiE 与位置嵌入范数，Vanilla-BERT 具最低位置嵌入范数与方差；联合栈（完整架构/目标）贡献显著，单一组件移除未达 FDR 显著，故保留完整架构为参考。

HELM-BERT 嵌入保留线性可访问拓扑信息：在预训练语料上，物理化学回归（LogP、分子量、拓扑极性表面积 Topological Polar Surface Area，TPSA）所有编码器 R² > 0.95，SMILES 基线在原子级属性上更优；拓扑任务（结构类型线性/环/套索分类、连接数分类）中，HELM-BERT 近完美线性可分（结构类型线性分类准确率 0.9996 ± 0.0002，连接数 0.9975 ± 0.0006），显著优于 MoLFormer–XL 与 PeptideCLM（均 p_adj < 0.001），聚类指标（轮廓系数 Silhouette、Davies–Bouldin、Caliński–Harabasz）也显示 HELM-BERT 嵌入具更优拓扑结构；t-SNE 投影显示按结构类别分离更清晰。此分析为一致性可达性检查（拓扑标签来自 HELM 输入中连接注释），表明编码器在最终嵌入中保留了显式拓扑信息。

HELM 表征泛化至肽–蛋白质相互作用预测：Propedia 随机划分下，HELM-BERT 头微调 ROC-AUC = 0.942 ± 0.007，与 SMILES 基线比效应量大但未达 FDR 显著；线性探测 ROC-AUC = 0.617 ± 0.006，显著优于 MoLFormer–XL 与 PeptideCLM（均 p_adj ≤ 0.025）。聚类划分下，头微调 HELM-BERT ROC-AUC = 0.771 ± 0.045，高于基线但无 FDR 显著；线性探测亦无显著但均值更高。与 ESM-2 比，随机划分下 MLP 性能相近（ESM-2 略高），线性探测 HELM-BERT 与 ESM-2（650M）相当（ROC-AUC 0.617 vs 0.621，p_adj = 0.31）；聚类划分亦无显著。排除 Propedia 预训练无显著影响。ChEMBL PPI 随机划分下，MLP ROC-AUC 均高（HELM-BERT 0.988 ± 0.002），无 FDR 显著差；线性探测 HELM-BERT 显著优于 SMILES-HELM-BERT 与无 ChEMBL 变体，但 ROC-AUC 低于 MoLFormer–XL 与 PeptideCLM，PR-AUC 低于 SMILES-HELM-BERT。家族划分下，HELM-BERT 均值最高（MLP ROC-AUC 0.781 ± 0.103，线性 0.659 ± 0.125）但无 FDR 显著。综上，HELM-BERT 在仅约 39,079 序列预训练下，PPI 性能可与量级更大语料训练的进化蛋白质嵌入竞争，且能直接表示非标准残基与修饰。

讨论部分总结：本研究通过在 HELM 记号上预训练仅编码器 Transformer，开发并评估了化学修饰与拓扑约束肽的可迁移表征，核心进展在于表征层面——修饰与环肽处于原子级化学字符串与残基层蛋白质序列均不能很好服务的空间，使用显式指定单体身份与共价连接性的记号，使 HELM-BERT 学到保留化学修饰与 HELM 指定拓扑可及性的嵌入，实现跨肽任务系统迁移。渗透性预测随机划分下 HELM-BERT 在所有训练协议中均最优，全微调显著优于 MoLFormer–XL 与各基线，头微调与线性探测显著优于架构匹配 SMILES 对照与多数基线；全微调下 HELM–SMILES 差距收窄且不显著，因编码器全更新时可部分补偿输入表示差异，而头微调与线性探测差距显示 HELM 记号使渗透相关特征在冻结时更具线性可及性。骨架划分下 HELM-BERT 保持最优均值，全微调优势显著，冻结设定因折叠方差大统计分离较弱，支持其在分布偏移下的鲁棒性。架构上无单一组件达显著，仅 Vanilla-BERT 累积替换显著，表明组件联合贡献；解纠缠注意力对预训练稳定关键，移除后收敛恶化且绝对位置嵌入代偿性增大。拓扑信息在嵌入中近完美线性可分，而 SMILES 编码器对此可达性较低，保留显式拓扑是 HELM-BERT 的合意属性。PPI 中 HELM-BERT 以极少预训练样本达与大规模蛋白质语言模型相当性能，且在含非标准单体基准中具竞争力与互补性。此外，压缩 HELM 记号最大长度 512 对比 SMILES 1024，自注意力平方缩放带来显著计算效率：MLM 预训练每轮 HELM-BERT 约 1.42 分钟 vs SMILES-HELM-BERT 20.1 分钟（约 14 倍加速），下游全微调约 2.2 倍加速，且内存端 HELM-BERT 单卡有效批 64 无需梯度累积，降低硬件需求。局限包括依赖 HELM 注释可用性与正确性、语料规模尚可增加、渗透性基准需更广拓扑留出划分、当前仅为编码器架构未来可结合原子级与图特征等。更广泛地，该研究提出通用方案：对介于化学与序列间的生物分子模态，选择使任务相关结构约束显式的表示并在具相应归纳偏置的编码器中预训练；对肽治疗药，拓扑感知表征可减少任务特定特征工程，为修饰、环化与交联肽的预测提供统一起点。论文发表于《Journal of Chemical Information and Modeling》。