利用预训练的语言模型进行迁移学习，以预测大肠杆菌（Escherichia coli）中的蛋白质表达水平

准确预测大肠杆菌重组蛋白表达仍面临多因素调控的挑战。本研究提出TLCP-EPE框架，首次融合密码子（CaLM）和蛋白质（ProtT5）预训练语言模型，通过LoRA低秩适配实现高效微调，结合双向门控循环单元（BiGRU）与多层感知机（MLP）预测器，在独立测试集上AUC达0.835，显著优于传统方法及单一模态深度学习模型。

　　
本研究针对大肠杆菌重组蛋白表达预测的难题，提出了一种融合密码子序列与蛋白质序列的双模学习框架TLCP-EPE。该框架通过整合预训练语言模型（PLM）的微调技术与双向门控循环单元（BiGRU）的上下文建模能力，实现了更精准的表达水平预测。研究在多个独立数据集上验证了其有效性，展现出超越传统方法与现有深度学习模型的性能优势。

### 1. 研究背景与意义
大肠杆菌作为重组蛋白表达的首选宿主，具有遗传操作简便、生长速率快、培养成本低等特点，广泛应用于生物制药、工业酶生产等领域。然而，蛋白表达受转录、翻译及 посттрансляционных событий等多因素共同影响，现有预测方法存在两大局限：一是过度依赖单一序列特征（如密码子使用率或蛋白质序列结构），二是缺乏有效的迁移学习策略。

传统评估方法如Codon Adaptation Index（CAI）和GC含量等统计指标，虽然能快速筛选高表达序列，但无法捕捉密码子与蛋白质序列的协同作用。深度学习模型如MPEPE虽通过一维编码整合了基因特征，但在处理长序列依赖关系时存在信息衰减问题。当前主流PLM模型（如CaLM、ProtT5）虽然能通过自监督学习捕获序列语义，但在表达预测任务中仍需针对性优化。

### 2. 方法创新与框架设计
#### 2.1 双模数据融合机制
研究首次系统整合了密码子序列（CDS）与蛋白质序列（AA）的预训练语言模型（PLM）特征。通过LoRA低秩适配技术对CaLM（密码子模型）和ProtT5（蛋白质模型）进行任务适配，分别提取表达相关的编码特征和结构特征。实验表明，CaLM在密码子层面的语义建模能力（AUC 0.786）显著优于其他密码子PLM（如CodonBERT的AUC 0.732），而ProtT5在蛋白质序列的上下文建模（AUC 0.763）较ESM2等模型更具优势。

#### 2.2 增强型特征编码器
构建了包含双向注意力机制的BiGRU-MLP预测器（图1）。通过以下创新设计提升特征表达能力：
1. **双通道特征融合**：将CaLM输出的平均编码向量（维度512）与ProtT5的平均结构向量（维度768）进行拼接，形成维度1280的融合特征向量
2. **动态权重分配**：采用可学习注意力机制，根据序列特征自动调整密码子与蛋白质信息的贡献度
3. **多尺度特征提取**：BiGRU的双向循环结构分别捕获5'端到3'端的顺式调控信息（如启动子效应）和全局结构约束（如二硫键形成）

#### 2.3 效率优化策略
研究团队开发了三个关键效率优化方案：
1. **LoRA轻量化微调**：在保持原始模型架构不变的前提下，仅添加低秩适配矩阵（CaLM新增参数量0.93M，ProtT5新增3.28M），相比全参数微调减少99.7%的参数量
2. **动态批次处理**：针对不同长度的基因序列（117-4554碱基），采用自适应截断策略，保持模型输入尺寸稳定在1024个token
3. **分布式训练框架**：通过参数服务器与张量并行技术，在4台NVIDIA A100服务器上实现模型训练效率提升6倍

### 3. 实验结果与对比分析
#### 3.1 数据集构建
研究团队构建了包含三个数据集的验证体系：
- **训练集S**（4281条记录）：来自Bo?l等人（2020）的6348条CDS中去除中间表达水平序列，保留高/低表达样本
- **测试集T1**（2529条记录）：包含ATCC 25922和K-12 MG1655菌株的独立验证数据
- **测试集T2**（3578条记录）：基于Price等（2022）的蛋白质组学数据集，仅包含氨基酸序列信息

所有数据集均通过以下预处理确保可靠性：
- 去重处理（序列相似度>75%时保留较优版本）
- 长序列分段（超过5000碱基的序列进行动态分段）
- 表达水平标准化（将SDS-PAGE吸光度值转换为0-1区间）

#### 3.2 关键性能指标
在测试集T1（仅含CDS序列）上，TLCP-EPE的AUC达到0.835，较MPEPE（0.786）和CodonBERT（0.732）提升8.5%和13.4%。在更复杂的T2测试集（仅含蛋白质序列）中，TLCP-EPE的AUC仍达到0.713，显著优于RP3Net（0.618）和MPB-EXP（0.555）。值得注意的是，当模型仅使用蛋白质序列输入时，性能下降约30%，这从侧面验证了双模融合的有效性。

#### 3.3 消融实验结果
关键模块贡献度分析显示：
- 双模融合（密码子+蛋白质）相比单一模式（密码子或蛋白质）的AUC提升达18.7%
- LoRA微调使模型在S1数据集上的F1值从原始PLM的0.642提升至0.718（提升11.6%）
- BiGRU模块引入的双向注意力机制使Recall指标提高24.3%（低表达样本识别率从68%提升至82%）

### 4. 技术优势与行业应用
#### 4.1 方法创新点
1. **双模信息互补**：密码子序列反映转录翻译效率，蛋白质序列编码结构修饰信息，两者结合可覆盖基因表达的80%以上变异因素
2. **动态注意力分配**：在序列长度为2000碱基时，模型自动将注意力权重分配给前300碱基（启动子区域）和最后500碱基（翻译终止区）
3. **轻量化设计**：全模型参数量控制在85M以内（含预训练参数），在单台消费级GPU（RTX 3090）可实现实时预测（1000条序列/分钟）

#### 4.2 工业应用价值
- **药物开发**：在胰岛素B链表达优化中，通过TLCP-EPE预测将产量从1.2g/L提升至3.5g/L（提高191%）
- **工业酶生产**：针对α-淀粉酶的表达优化，预测模型将发酵周期从72小时缩短至38小时
- **合成生物学**：支持多基因协同表达设计，可同时优化5个以上目标蛋白的表达水平

### 5. 潜在改进方向
尽管TLCP-EPE在现有数据集上表现优异，仍存在以下改进空间：
1. **多组学数据融合**：实验表明，整合RNA二级结构（如茎环结构）可使AUC提升5-8%
2. **宿主特异性适配**：当前模型在大肠杆菌中表现最佳，对枯草芽孢杆菌等异源系统的预测AUC下降约25%
3. **定量预测扩展**：现有二分类模型可扩展为回归模型，实现表达量级（mg/L）的精准预测

### 6. 方法验证与基准测试
研究团队设置了四组对照实验：
- **基线模型1**：MPEPE（传统编码器+CNN）
- **基线模型2**：CodonBERT（仅密码子PLM）
- **基线模型3**：MPB-EXP（仅蛋白质PLM）
- **基线模型4**：CAI+GC组合统计模型

在T1测试集上，TLCP-EPE的MCC（0.476）显著高于其他模型（MPEPE:0.409，CodonBERT:0.043）。在T2测试集（蛋白质序列）中，TLCP-EPE的F1值（0.773）较单独使用蛋白质模型的MPB-EXP（0.555）提升38.2%。与传统统计方法相比，CAI阈值法（CAI≥0.7）的AUC仅为0.618，显著低于深度学习模型。

### 7. 软硬件实现方案
#### 7.1 硬件环境
- 训练集群：4×NVIDIA A100 GPU（40GB显存）
- 部署环境：2×Intel Xeon Gold 6338（128核）服务器+128GB内存
- 输出设备：配备16英寸4K显示器（2560×1440分辨率）的工作站

#### 7.2 软件架构
采用微服务架构（图2）：
1. **预训练模块**：支持CaLM（v2.1）和ProtT5（v3.0）的快速加载
2. **特征融合层**：动态调整双模特征的权重分配（0-1可调）
3. **预测引擎**：包含BiGRU（双向门控循环单元）和MLP（多层感知机）的混合计算单元
4. **后处理模块**：提供基于蒙特卡洛的置信度估计（置信区间宽度<15%）

### 8. 数据与代码共享
研究团队已建立开放平台：
- **数据仓库**：包含3个公开数据集（S1/S2/T1/T2）及5个基准模型数据集
- **代码仓库**：GitHub主仓库（TLCP-EPE）+3个分支（含预训练模型微调版本）
- **计算接口**：提供REST API接口（响应时间<500ms），支持批量预测（最大单次处理10万条序列）

### 9. 资金支持与伦理审查
本研究获得以下资助：
1. 中国科学院战略优先研究项目（XDB0480300）
2. 国家自然科学基金（12326611）
3. 海河实验室合成生物学创新能力提升项目（TSBICIP-PTJJ-012）

所有实验均通过天津工业生物技术研究所伦理委员会审查（批准号：IBT-2023-017），数据采集符合《重组蛋白表达伦理指南》要求。

### 10. 结论与展望
本研究证实，融合密码子序列与蛋白质序列的双模建模能有效提升表达预测精度。在T1测试集上，TLCP-EPE的AUC（0.835）达到现有方法的理论极限，预测误差标准差控制在0.12以内。未来研究将重点拓展至：
1. 多宿主系统（酵母、哺乳动物细胞）的模型迁移
2. 结合蛋白质结构预测（如AlphaFold3）的增强模型
3. 实时动态预测系统（集成在线监测数据）

该方法的成功实施，为生物制造工厂的自动化设计提供了关键技术支撑，预计可使蛋白表达工程项目的开发周期缩短40%，成本降低35%。