《Analytica Chimica Acta》：PepOSX-AI: CPP - An interpretable transformer-based deep learning model for prediction of cell-penetrating peptides
编辑推荐：
摘要背景细胞穿透肽是一种短链分子，能够提升生物活性物质的跨膜输送能力，在功能性成分的递送及提高其生物利用度方面具有广阔的应用前景。然而，传统的细胞穿透肽发现方法依赖于繁琐的逐步筛选过程，需要通过细胞和动物实验来完成，效率极低。方法本研究基于Transformer架构以及六种物理化
摘要
背景
细胞穿透肽是一种短链分子，能够提升生物活性物质的跨膜输送能力，在功能性成分的递送及提高其生物利用度方面具有广阔的应用前景。然而，传统的细胞穿透肽发现方法依赖于繁琐的逐步筛选过程，需要通过细胞和动物实验来完成，效率极低。
方法
本研究基于Transformer架构以及六种物理化学描述符的综合特征，开发了深度学习模型PepOSX-AI: CPP。该模型通过一系列模型参数探索和自动超参数优化得以构建。在测试数据集上，该模型的曲线下面积达到了0.914的高值。此外，该模型还能通过自注意力机制捕捉氨基酸序列中的长距离依赖关系，从而实现注意力模式的可解释性，有助于识别影响肽类穿透能力的关键序列特征。
意义与创新点
与现有的部分细胞穿透肽预测模型相比，PepOSX-AI: CPP在测试集上的准确率达到了91.00%，显示出良好的预测性能。它为细胞穿透肽的筛选提供了新的计算工具和理论依据。基于这些研究成果，还开发了一个在线平台，以便用户更方便地使用该工具。
引言
细胞穿透肽是一类特殊的肽类，能够穿过细胞膜，从而帮助递送多种治疗性和诊断性物质，包括蛋白质、核酸以及纳米粒子[1]。由于细胞穿透肽可以与聚合物、树状大分子或抗体结合，再加上其出色的跨膜输送能力，因此在靶向药物递送、生物医学工程以及新型疗法的开发等领域，尤其是在癌症治疗方面，展现了巨大的应用潜力[2]、[3]。在过去25年里，由于其多功能性、可定制性以及能够规避免疫系统的“特洛伊木马”式递送方式，细胞穿透肽受到了广泛关注[4]。随着新一代测序技术的广泛应用，快速且低成本地识别大量肽序列已成为可能。然而，从庞大的序列库中筛选出新的细胞穿透肽却是一个极其耗时、昂贵且资源密集的过程，这严重阻碍了基于创新细胞穿透肽的应用开发。
为加快发现进程，人们开发了多种计算预测方法[5]、[6]、[7]。早期的方法通常依赖传统的机器学习算法，如支持向量机[8]、随机森林[9]和神经网络[10]，这些算法需要通过人工设计的物理化学特征（如净电荷、疏水性和两亲性）来进行训练。此外，还有基于图神经网络的GraphCPP架构，可直接从肽的分子图结构中学习有意义的表示形式[11]。这种方法无需手动设计特征，从而实现了对细胞穿透肽的预测。尽管这些生物信息学工具取得了令人满意的成果，并推动了该领域的进一步发展，但生物意义上特征的固有异质性和多维度性仍带来诸多挑战。更重要的是，现有方法大多没有采用系统化的特征选择方法来量化用于评估模型性能的特征的贡献程度和重要性。因此，目前研究人员对序列与细胞穿透肽之间关系的理解仍然不够全面，难以自动捕捉肽序列中复杂的非线性模式。此外，细胞穿透肽的功能不仅取决于局部模式，更受氨基酸之间全局性、长距离依赖关系的影响——这些关系决定了肽链的整体电荷分布和构象特性。由于卷积神经网络本身具有局部感受野的限制，难以有效建模这些重要的全局上下文关联[12]。
与卷积神经网络不同，Transformer中的自注意力机制能够让模型有效捕捉对细胞穿透至关重要的长距离相互作用和全局结构特性[12]。得益于这一优势，近年来基于Transformer的肽类活性预测研究日益增多[13]。虽然已有基于Transformer的肽类二元分类模型被提出，但其可解释性往往主要体现在注意力权重的可视化上。例如，CPPFormer就利用注意力机制突出序列中权重较高的元素，从而在一定程度上帮助研究人员识别出可能关键的特征[14]。然而，仅依靠注意力权重进行可解释性分析存在局限性：注意力分布往往反映的是模型在预测过程中的“关注程度”，并不一定能直接转化为衡量其对细胞穿透肽活性贡献的量化证据，因而难以进行细致的、可操作性的位点级分析。因此，在注意力可视化基础上构建一个用于量化残基级贡献的可解释性框架，成为了一个值得探索的方向。通过评估每个氨基酸位置及其组合特征对细胞穿透活性的潜在贡献，不仅可以提供视觉参考，还能进一步提升解释结果的可靠性及其在序列优化中的实际应用价值。
为此，本研究基于Transformer架构，开发了一种新的细胞穿透活性预测模型——PeposX-AI: CPP。研究探讨了关键模型参数对预测性能的影响，以曲线下面积作为评估预测模型的核心指标。同时，还对模型学习到的注意力权重模式进行了可视化分析。这一计算分析工具有助于识别肽序列中可能对细胞穿透肽活性起促进或调控作用的关键氨基酸残基。预计这项研究不仅能提供一种用于高通量筛选细胞穿透肽的计算工具，还能为探索序列与活性之间的潜在关联提供基础。
章节节选
模型技术路线图概述
如图1所示，模型构建的技术路线图涵盖了从数据准备、模型构建、性能评估到最终部署的整个流程。该模型由四个依次连接的模块组成。首先，嵌入层将离散的氨基酸序列转换为高维的连续向量表示，并通过可学习的定位编码来保留输入序列的信息。随后是Transformer层
测试集规模和验证集划分对模型性能的影响
测试集与验证集的比例会显著影响模型性能，因此需要对其加以系统优化。这一比例直接影响模型性能评估的可靠性以及整体训练效果[16]。如图2A所示，当调整测试集比例时，模型的曲线下面积始终保持在较高水平（0.904至0.913之间），波动较小。如果测试集规模过小，则可能导致性能评估结果不稳定，进而
结论
本研究通过将基于深度学习的序列嵌入技术与传统物理化学特征相结合，开发出了基于Transformer的PepOSX-AI: CPP预测模型。超参数重要性分析表明，平衡比率、L2正则化强度、学习率、丢弃率以及Transformer块数量是影响该模型预测性能的关键因素。这些研究结果为未来该领域的预测模型设计提供了有益的参考。此外，PepOSX-AI: CPP
利益冲突声明
作者声明，他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。
CRediT作者贡献说明
赵茂明：指导、资源提供、资金获取。徐举才：写作——审阅与编辑、可视化、指导、方法设计。游立军：可视化、验证、指导。陈浩文：写作——审阅与编辑、初稿撰写、数据整理、概念构思。何薇薇：写作——审阅与编辑、资金获取、正式分析。冯凯岩：方法设计、研究实施。徐荣：资源提供、项目管理。尹胜：指导、软件相关工作。郑林：
利益冲突声明
? 作者声明，他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。
致谢
本研究得到了中国国家重点研发计划（编号：2024YFF1106000）、江门市重点研发项目“公开招标选拔最优候选者”（编号：2023780200060009632）、国家自然科学基金（编号：32402276）、广东省基础与应用基础研究基金（编号：2023B1515040014）以及广东省科学技术协会的青年科技人才扶持计划（编号：SKXRC2025458）的支持。
陈浩文|何薇薇|冯凯岩|徐荣|尹胜|郑林|陈静|赵茂明|徐举才|游立军
中国广州510640，华南理工大学食品科学与工程学院
