预训练模型可能无法捕捉免疫学序列

《Communications Biology》：Pretrained models may fail to capture immunological sequences

　　

摘要

最初为视觉和文本数据开发的预训练模型并非万能解决方案，可能无法完全体现免疫学任务中序列的复杂性。在研究著名的免疫原性预测模型pMTnet的预训练免疫序列模块时，我们发现，通过去除pMTnet中的预训练T细胞受体（TCR）自编码器，反而可以提高预测精度。此外，我们注意到pMTnet中预训练模块所使用的TCR预训练数据与更广泛、更具代表性的TCR库存在显著差异。这些发现凸显了免疫学序列中不同表示方式混合以及分布差异所带来的影响，因此需要合理协调不同的预训练模型及代表性数据库。