编辑推荐：
针对临床试验中方案偏离（PD）定义与审查流程的分歧及传统 NLP 方法的局限，本研究采用 Meta Llama2 大语言模型结合定制提示词，对非结构化 PD 文本进行分类。结果显示模型标记出超 80% 可能影响疾病进展评估的 PD，为高效 PD 管理提供新框架。
在临床试验的复杂场景中，确保研究数据的可靠性与受试者安全始终是核心目标。然而，方案偏离（Protocol Deviation, PD）的定义与审查流程在不同机构、申办方和伦理委员会间存在显著差异，导致系统性追踪和识别高风险 PD 的能力受限。传统自然语言处理（NLP）方法因需大量特征工程和模型调优，难以高效处理非结构化 PD 文本。在此背景下，如何利用新兴技术实现 PD 的自动化、精准化分类，成为提升临床试验质量的关键挑战。
为应对这一难题，罗氏（F. Hoffmann-La Roche AG）的研究团队开展了一项创新研究，旨在探索大语言模型（Large Language Models, LLMs）在 PD 分类中的应用潜力。相关成果发表于《Therapeutic Innovation & Regulatory Science》，为临床开发中的数据管理提供了突破性解决方案。
研究人员采用 Meta 开发的 Llama2-70b-chat-v1 模型，结合定制化提示词策略，对罗氏 PD 管理系统中的非结构化 PD 文本进行分类。关键技术环节包括：① 提示词策略开发，综合考虑上下文窗口限制、温度（Temperature）和顶部概率（Top_P）参数调节，设计以 “疾病进展（Disease Progression, DP）” 为核心的三分类模式（DP/Maybe DP/No DP）；② 自动化批量分类流程，通过 SQL 查询提取 PD 数据，利用亚马逊云服务（AWS）环境实现模型部署和批量处理；③ 专家评审验证，基于 309 例 PD 样本构建评估数据集，结合 RECIST 1.1 标准定义终点，通过资深质量专家独立评审确立基准真值。
研究结果
模型性能验证
通过对比三种提示词版本（Version 1-3），发现零样本提示的 Version 2 在 Recall（召回率）上表现最优（>80%），尽管 Precision（精准率）约为 50%，但成功标记出超 80% 可能影响疾病进展评估的 PD，显著优于传统手动分析的效率（从数月缩短至分钟级）。参数组合（Temperature=0.8, Top_P=0.8）下，模型对 “可能影响疾病进展” 的 PD 识别能力最佳，为后续专家审查提供了高价值候选集。
临床洞察与可视化
通过 Tableau? 仪表盘动态展示分类结果，发现程序性偏差（Procedural）、用药偏差（Medication）是影响疾病进展评估的主要类别，分别占比 56.52% 和 27.78%。时间趋势分析显示，2023Q2 至 2024Q2 期间，“可能影响疾病进展” 的 PD 在各季度分布不均，提示需加强关键节点的质量控制。患者级时间线可视化进一步揭示，部分病例存在内部 RECIST 1.1 计算与研究者评估不一致的情况，模型标记的 “Maybe DP” 可有效辅助追溯偏差原因。
方法学优势
与传统 NLP 方法（如依赖 TF-IDF 特征提取的模型）相比，LLMs 无需繁琐的预处理和特征工程，直接利用预训练模型的语义理解能力处理非结构化文本。本研究中，Llama2 模型在 309 例样本上的自动化分类仅需 2 分钟，而人工建立基准真值需两位专家耗时 1.5 个工作日，且存在 20% 的专家间分歧，凸显了 LLMs 在效率和一致性上的优势。
结论与讨论
本研究首次将 LLMs 应用于临床试验 PD 分类，证明其在非结构化数据处理中的有效性和可扩展性。通过优先提升召回率，模型能够快速筛选出潜在高风险 PD，结合专家评审和可视化工具，形成 “自动化初筛 - 人工精修” 的高效工作流，弥补了传统手动审查的不足。尽管存在提示词敏感性和数据偏差等局限性，但研究建立的通用框架（如三分类模式、参数调节策略）为肿瘤学以外的治疗领域（如罕见病、免疫治疗）提供了可复用的方法论。
在监管科学层面，该研究响应了国际药品注册技术协调会（ICH）对 PD 标准化管理的要求，为 TransCelerate 提出的 “风险为本” PD 评估提供了技术支撑。随着 LLMs 的快速发展，未来结合更大规模数据集和领域适配模型，有望进一步提升分类精度，推动 AI 在临床开发中的合规应用，最终助力提升全球临床试验质量与患者安全。
