PhT-LM：面向制药监管事务翻译的轻量化大语言模型——高质量、低成本双语翻译新方案

《Scientific Reports》：A lightweight large language model for regulatory affairs translation in pharmaceutical industry

本研究针对制药行业监管事务翻译质量差、成本高、周期长的问题，开发了轻量化大语言模型PhT-LM。研究人员通过构建包含34,769条双语数据的专业语料库，基于Qwen-1_8B-Chat模型采用低秩自适应（LoRA）技术和检索增强生成（RAG）框架进行优化。结果表明，PhT-LM在自建测试集上BLEU-4平均得分达36.018，CHRF平均得分58.047，较通用大模型提升16%-65%，且仅需4GB显存即可部署。该模型为制药企业提供了高质量、低成本、高效率的监管文档翻译解决方案，显著提升新药申报效率。

　　

在全球制药行业飞速发展的今天，新药研发已成为一场耗时耗力的"马拉松"。然而，这场马拉松中有一个长期被忽视的"绊脚石"——监管事务翻译。药品注册档案的翻译不仅质量参差不齐，费用高昂，还常常延误审批进程。一份提交给美国FDA的新药申请（NDA）通常包含200多份文件，页数高达6万到10万，其翻译成本可达数十万美元，耗时1-2个月。更棘手的是，这类翻译需要精准处理化学、生物学、医学等多学科专业术语，而市场上既懂专业又精通双语的翻译人才严重短缺。

面对这一行业痛点，中国药科大学的研究团队独辟蹊径，将目光投向了当下火热的大语言模型（LLM）技术。但通用的LLM在专业领域表现不佳，且存在计算资源需求大、数据隐私风险等问题。为此，研究人员开发了一款专门针对制药监管事务的轻量化大语言模型PhT-LM，旨在为行业提供高质量、低成本、高效率的翻译解决方案。

为了打造这个专业翻译助手，研究团队首先从国家药品监督管理局（NMPA）、国际人用药品注册技术协调会（ICH）、美国食品药品监督管理局（FDA）和欧洲药品管理局（EMA）等权威机构官网爬取双语监管文档，经过严格的数据清洗和验证，构建了包含34,769条中英对照句对的专业语料库，总词数达912,826个。

研究的关键创新在于将检索增强生成（RAG）技术与轻量化模型巧妙结合。团队选择了性能优异的开源模型Qwen-1_8B-Chat作为基础，采用低秩自适应（LoRA）技术进行微调，仅训练少量参数就使模型适应了制药监管领域的翻译需求。更重要的是，他们设计了一套智能检索模块，能够从知识库中精准找出与待翻译文本最相似的例句，为模型提供上下文参考。

主要技术方法概述

研究采用多源数据构建策略，从国内外监管机构官网和药学教材收集双语材料，经过去重、配对、验证等预处理建立专业语料库。基于Qwen-1_8B-Chat模型，运用低秩自适应（LoRA）技术进行参数高效微调。创新性地结合Elasticsearch（ES）关键词检索和向量数据库语义检索，构建检索增强生成（RAG）框架，通过动态获取相关翻译示例提升专业术语准确性。评估方面采用BLEU和CHRF自动化指标与领域专家人工评价相结合的多维度验证体系。

翻译性能测试

研究人员将PhT-LM与多种通用大模型和商业翻译系统进行了全面对比。如表4所示，在英译中任务中，PhT-LM在BLEU-1至BLEU-4和CHRF五项指标上均取得最高分，分别达到69.053、56.726、47.744、40.741和51.115。在中译英任务中，其性能同样卓越，各项得分比对照模型提升16%至65%。即使与谷歌翻译、DeepL等主流商业工具相比，PhT-LM也全面胜出。

翻译示例数量的影响

研究还发现一个有趣现象：上下文翻译示例的数量对模型性能有显著影响。如图4所示，当示例数量从1个增加到4个时，各项指标均呈现上升趋势；但继续增加至16个时，性能开始下降。这一发现为领域专用轻量化模型的上下文学习机制提供了重要参考。

消融实验验证检索策略

通过消融实验，团队验证了比例融合检索策略的有效性。如表6所示，单独使用ES检索或向量检索的模型性能均不如两者结合的表现。ES检索在术语匹配方面表现优异，而向量检索更擅长语义理解，两者互补显著提升了翻译质量。

翻译效率与成本分析

在效率方面，PhT-LM表现亮眼（表7）。每千字翻译耗时仅19.40-56.28秒，而传统人工翻译需要数周甚至数月。成本上，PhT-LM可部署在仅4GB显存的设备上，无需昂贵硬件，与DeepL企业版每月每用户28.74-57.49美元或人工翻译每字0.10美元相比，成本大幅降低。

案例验证与专家评估

为检验模型在实际场景中的泛化能力，研究选取了ICH、EMA和FDA发布的三份未参与训练的指导原则进行测试。如表8所示，PhT-LM在BLEU-3、BLEU-4和CHRF指标上表现优异，尤其在专业术语翻译方面显著优于通用模型。

领域专家从语义准确性、术语一致性和语言流畅性三个维度对模型进行了人工评估（表11）。在英译中任务中，PhT-LM在三个维度上的得分（242、263、279）均显著高于GPT-3.5-turbo和DeepL。在中译英任务中，虽然流畅性稍逊，但在术语一致性方面表现突出，展现了其在专业领域的独特价值。

研究结论与展望

PhT-LM的成功开发为制药监管事务翻译提供了创新解决方案。该模型不仅翻译质量显著优于通用大模型，而且具有轻量化、低成本、易部署的优势，仅需4GB显存即可运行，有效保护了企业的商业机密。

研究还探讨了不同检索策略的适用场景：比例融合策略虽效果最佳但资源消耗较大；单一ES检索策略在资源受限环境下是性价比极高的选择，为中小企业提供了可行方案。

未来，研究团队计划从数据源扩展和模型优化两个方向继续完善PhT-LM：一方面增加多语言监管文档，提升模型的国际适应性；另一方面探索更先进的轻量化技术，进一步降低部署门槛。PhT-LM还有望与电子通用技术文档（eCTD）提交平台、药品生产质量管理规范（GMP）文档管理系统等制药行业系统集成，实现翻译任务的自动化调度，进而发展成为制药监管领域的专业智能助手，支持合规文档的智能撰写。

这项发表于《Scientific Reports》的研究，展示了轻量化大语言模型在垂直领域的巨大应用潜力，为制药行业提供了一把破解监管事务翻译难题的"金钥匙"，有望显著加速新药全球上市进程，惠及全球患者。