基于冻结蛋白质语言模型的多任务学习框架：食品源肽功能的统一预测

《Food Bioscience》：A multi-task learning framework with a frozen protein language model for unified prediction of food-derived peptide functions

　　

多任务学习肽预测器（Multi-Task Learning Peptide Predictor, MTL-PepPred）在一个统一模型中预测21种肽功能（peptide functions）。在五次运行中，模型达到87.4%的平均准确率（accuracy, ACC）和92.8%的平均受试者工作特征曲线下面积（area under the receiver operating characteristic curve, AUC）。冻结的进化尺度建模2（Evolutionary Scale Modeling 2, ESM-2）骨干将可训练参数减少约86%。在18个任务中的13个，该模型匹配或超过已发布的任务特异性预测器。研究人员新策划了包含6,826条序列的平衡信号肽（signal peptide）数据集。

**研究背景、问题与研究动机**

食品源生物活性肽（bioactive peptides）通常由2-20个氨基酸残基组成，经酶解或微生物发酵从乳、植物、海洋和肉类蛋白质中释放，因兼具血管紧张素转化酶（angiotensin-converting enzyme, ACE）抑制、二肽基肽酶-IV（dipeptidyl peptidase-IV, DPP-IV）抑制、抗菌及味觉调节等多种健康促进特性，日益被视为功能食品与营养保健品的理想配料。然而，肽候选物往往需同时满足生物功效、感官可接受性与安全性等多重标准，识别此类多功能肽仍面临挑战：生物活性序列在复杂酶解物中丰度低，已整理的数据集与预测工具分散于各单一生物活性领域，且传统发现流程依赖蛋白质水解、肽鉴定与实验验证，耗时昂贵且难以高通量筛选。

早期机器学习方法依赖手工描述符与支持向量机、随机森林等分类器，需逐任务特征工程且难以保留残基间位置语义；以卷积神经网络（convolutional neural network, CNN）和Transformer为代表的深度学习可自动学习判别性特征。蛋白质语言模型（protein language model, PLM）在海量序列上预训练，无需任务监督即可习得进化、结构与理化信息，其中进化尺度建模2（Evolutionary Scale Modeling 2, ESM-2）可为每个残基生成1,280维上下文嵌入。但现有预测器多为单任务设计，与功能食品开发适配性差：筛选单一酶解物的多种属性需维护多个预处理与决策阈值各异的模型，独立训练亦阻碍相关任务共享理化特征。多任务学习（multi-task learning, MTL）可跨目标学习共享表示实现正迁移，但任务不平衡、全局上下文与局部基序难以兼顾等问题仍待解决。为此，Ha Xuan Son、Rothman Kam、Brent Seale、Claus Heiner Bang-Berthelsen与Thao T. Le等研究人员开发了MTL-PepPred，其核心结论是：单一冻结模型即可统一预测21种肽功能，在可比任务上匹配或超越多数专用预测器，且部署效率显著提升。

**主要技术方法**

MTL-PepPred基于PyTorch与HuggingFace Transformers实现，以冻结的650M参数ESM-2（esm2_t33_650M_UR50D）提取末层隐藏态生成1,280维残基嵌入，并按h = α·h_ESM + (1?α)·h_learnable（α=0.9）与可学习嵌入融合。双分支特征提取器中，4层Transformer编码器（d_model=1280，d_ff=5120，8头注意力）捕获全局上下文，1D卷积层（kernel_size=7）接层归一化检测局部基序；拼接后经掩码平均池化送入21个任务特定两层多层感知机（multi-layer perceptron, MLP）分类头。训练采用任务不确定性多任务（task-uncertainty multi-task, TUM）损失自适应平衡任务，任务同质采样保证等频训练，AdamW优化器（学习率1×10^-4，batch size 16，50轮，余弦退火，5轮预热，FP16混合精度）。样本为UniDL4BioPep基准20个二分类任务（沿用已发布训练-测试划分）及本研究新整理的6,826条序列信号肽数据集（阳性序列来自Peptipedia，阴性序列来自47个公共肽数据库）。

**研究结果**

**3.1 整体性能与模型比较框架：** MTL-PepPred与UniDL4BioPep、PDeepPP总体相当，平均准确率、AUC与PR-AUC差异均低于3.5个百分点，平均AUC与PR-AUC均超90%；平均MCC为73.7±0.5%，低于后两者（78.4%、80.7%），部分源于固定阈值与共享表征固有折衷，经阈值校准后差距有所缩小。

**3.1.1 与现有多任务预测器比较：** 在两个抗疟疾数据集取得21个任务中最高AUC，为联合训练的正迁移提供直接证据。

**3.1.2 与单活性预测器比较：** 在18个可比任务中的13个匹配或超过已发布单活性预测器，包括苦味（AUC 96.0%对93.3%）、鲜味（92.7%对89.8%）、DPP-IV抑制（94.6%对84.7%）与抗癌-替代（96.8%对93.0%）；在抗寄生虫、ACE抑制、神经肽、毒性、抗菌5个任务上略低。

**3.1.3 与近期多任务框架比较：** 相较MMDB、MFP-MFL、BPFun、BERTAVP及基于EBiLSTM的预测器，本研究以21任务的广覆盖、冻结PLM骨干与显式迁移量化为主要特色。

**3.2 跨21个任务性能分布：** 高性能层（ACC>95%）含信号肽（99.3±0.1%）、抗MRSA（99.1±0.2%）、抗疟疾-替代（97.9±0.3%）、抗疟疾-主要（97.4±0.3%）与抗菌活性（97.0±0.3%），均依赖易从一级结构识别的保守序列模式。中等性能层（ACC 84-95%）含抗菌、抗真菌、毒性、群体感应、神经肽、苦味、DPP-IV抑制、鲜味与抗病毒等10个任务，AUC均超90%；其中苦味任务ACC 88.0%而AUC达96.0±0.2%，宜作候选物排序工具。挑战层（ACC<84%）含6个任务，抗寄生虫最低（67.8±3.1%），凸显序列-only建模对部分功能的局限。

**3.2.4 信号肽任务独立评估：** 在SignalP-6.0独立基准上AUC仅76.8%、PR-AUC 30.3%，远低于自建数据集留出测试集的99.9±0.1% AUC，说明原数据集性能被高估，其阴性集应重构为经实验确认的非分泌蛋白N端。

**3.3 消融研究：** 移除CNN分支使ACC降31.3个百分点、AUC降43.8、MCC归零，证实局部基序的决定性作用；移除Transformer仅降ACC 0.49、AUC 0.41；移除TUM损失降ACC 0.81、MCC 1.29。微调ESM-2虽将ACC提至88.18%，但可训练参数由104.7M增至755.7M、训练时间由约4.8小时延至15.4小时，故保留冻结骨干；相较21个独立单任务模型，统一框架存储需求降约95.2%，推理成本降约21倍。

**3.4 任务间正负迁移：** 与相同架构单任务模型对比，联合训练依AUC提升12个任务、降低9个任务，最大改善为抗寄生虫（+6.9）、抗疟疾-主要（+4.0）；学习的不确定性方差与数据集大小强相关（Spearman ρ=?0.82），提示其反映梯度稳定性而非预测性能。

**3.5 可扩展性：** 以溶血活性为第22个任务，新分类头仅含688,770个参数（占模型0.09%），单次运行达80.3% ACC、86.1% AUC，且原有21个任务预测保持不变。

**3.6 局限性与未来方向：** 共享20任务的平均AUC（93.3%）低于PDeepPP（95.1%）；模型仅利用一级序列，未纳入结构、翻译后修饰、胃肠道稳定性与生物利用度；未来应扩展稳定性与转运属性预测、覆盖更多食品相关活性并改进少样本适应。

**讨论部分总结**

研究表明，框架的核心价值在于以单一模型实现21种肽功能的广度覆盖与部署效率，而非普遍性能超越；冻结ESM-2骨干配合轻量可训练模块在显著压缩参数与算力的同时保留了预训练知识，CNN分支为性能主要来源，TUM损失有效缓解异构任务间的优化失衡。

**结论部分翻译**

本研究开发了MTL-PepPred，一个以单一可部署模型统一预测21种肽功能的框架。五次独立训练的平均准确率、AUC、PR-AUC与MCC分别为87.4±0.2%、92.8±0.3%、92.2±0.4%与73.7±0.5%，在18个可比任务中的13个匹配或超过已发布的单活性预测器。与相同结构单任务模型相比，联合训练依AUC指标改善12个任务并降低9个任务，表明框架主要优势在于广度与操作效率。冻结ESM-2骨干使可训练参数减少约86%，消融分析确定CNN分支为预测性能主要贡献者，TUM损失进一步提升异构任务表现。相较21个独立单任务模型，统一框架存储需求减少约95%，每序列仅需单次语言模型编码。新增信号肽数据集在独立基准上AUC仅76.8%，提示部署前应重构其阴性集；以0.69M参数新分类头加入第22项活性且不改变既有预测，验证了框架的可扩展性。