《Frontiers in Pharmacology》:Integrating knowledge graphs and retrieval-augmented generation to identify clinical pharmacology gaps in infectious disease trial protocols
编辑推荐:
目的:临床试验方案包含关键的临床药理学信息,这些信息常分散于冗长文件的不同章节。研究目的是评估整合知识图谱(knowledge graphs, KGs)的检索增强生成(retrieval-augmented generation, RAG)方案审阅是否可用于获
目的:临床试验方案包含关键的临床药理学信息,这些信息常分散于冗长文件的不同章节。研究目的是评估整合知识图谱(knowledge graphs, KGs)的检索增强生成(retrieval-augmented generation, RAG)方案审阅是否可用于获取临床药理学证据并识别监管缺口。方法:临床试验方案来自盖茨基金会(Gates Foundation)公开的、位于低和中等收入国家(low- and middle-income countries, LMICs)的临床试验语料库。采用RAG方案审阅,依据美国食品药品监督管理局(Food & Drug Administration, FDA)关于肝损伤(hepatic impairment)、暴露-反应(exposure-response)、群体药代动力学(population pharmacokinetics, PopPK)和基于生理的药代动力学建模(physiologically based pharmacokinetic modeling, PBPK)的指南文件对方案进行评估。针对结核病(tuberculosis, TB)、人类免疫缺陷病毒(human immunodeficiency virus, HIV)、疟疾(malaria)和被忽视热带病(neglected tropical diseases, NTD)进行疾病特异性KG分析。获得连接研究至药物、疾病、药理学分类、器官功能排除、生物标志物和药代动力学(pharmacokinetics, PK)参数特征的KG模型。结果:在42项唯一试验中,KG包含223个节点和376条边。TB方案产生最大的疾病特异性图,而HIV具有最高频率的PK研究。缺口分析显示,TB中的肝损伤排除比PK研究更频繁。在多指南评估中,忠实性(faithfulness)高,答案相关性(answer relevancy)较低,临床药理学指标显示指南依赖性差异。结论:整合的KG-RAG方法有助于突出传染病临床试验方案中临床药理学报告的潜在缺口。
临床试验方案是定义研究人群、研究治疗、剂量选择、终点策略、统计分析计划和安全监测框架的核心监管和科学文件。临床药理学信息包括药代动力学(pharmacokinetics, PK)和药效动力学(pharmacodynamics, PD)评估、生物标志物、暴露-反应分析以及肝肾功能入选标准。然而,这些信息常分散于方案多个章节、嵌入表格、入选标准、附录和终点描述中,使跨试验系统比较困难。传染病试验,尤其是结核病(tuberculosis, TB)、人类免疫缺陷病毒(human immunodeficiency virus, HIV)、疟疾和被忽视热带病(neglected tropical diseases, NTD)试验,常涉及复杂治疗方案、疾病特异性生物标志物、异质患者人群和器官损伤考虑。其临床药理学信息报告不一致,难以系统识别PK、药物-药物相互作用(drug-drug interaction, DDI)监测、生物标志物、器官损伤和特殊人群缺口。例如,排除肝或肾损伤患者可能限制试验结果对相关疾病高发人群的通用性。手动审阅比较多个疾病领域试验时难以检测这些缺口。知识图谱(knowledge graphs, KGs)已成为整合药物开发和临床研究中异质生物医学信息的重要框架,尤其用于大语言模型(large language model, LLM)辅助生物医学知识推理。KGs可表示药物属性、生物过程、生理系统、患者特征、协变量、生物标志物和PK/PD参数之间关系,补充传统药理学模型,促进模型引导药物开发(model-informed drug development, MIDD)中异质证据的系统整合。检索增强生成(retrieval-augmented generation, RAG)适合文档受限审阅任务。研究人员开展了一项概念验证研究,开发并评估KG-RAG框架,用以表征传染病临床试验方案并识别相关临床药理学缺口。分析结合多指南RAG评估、结构化KG提取、图统计和缺口查询。中心假设是KG和RAG等AI工具可系统评估大量试验方案,揭示试验报告什么、排除谁以及跨疾病领域和监管指南文件缺失什么信息。
主要关键技术方法:方案来自盖茨基金会设计、分析、沟通(Design, Analyze, Communicate, DAC)部门公开临床试验方案注册库,含2015—2024年低和中等收入国家(low- and middle-income countries, LMICs)随机对照试验99项,多数在非洲;排除疫苗、新生儿和孕产、营养干预、两项HIV观察性研究及肺炎试验,NTD同一ClinicalTrials.gov标识的多份PDF合并为一个试验。最终分析42项方案:TB 12、HIV 14、疟疾9、NTD 7。使用PyMuPDF加载PDF并归一化空白;RAG采用递归字符分割(500字符、零重叠)、text-embedding-3-small嵌入、FAISS索引、最大边际相关检索指南与相似检索方案、GPT-4o生成评估与建议。KG使用GPT-4.1在温度0下按固定JSON模式提取事实,以NetworkX构建有向图并输出GraphML;统计分析使用R和rstatix,采用三因素/单因素ANOVA及Games-Howell事后检验。
结果部分:
LMIC临床试验数据集的KG表征。显著特征方面,研究人员从42项临床试验方案中提取结构化信息,包括12项TB、14项HIV、9项疟疾和7项NTD。组合跨疾病KG含223个节点和376条边。疾病特异性图大小和密度不同:TB KG含93个节点和134条边,HIV KG含75个节点和129条边,疟疾KG含51个节点和62条边,NTD KG含35个节点和50条边。TB产生最大疾病特异性图,HIV的PK研究率最高(64%),疟疾图大小第三(51节点和62边),PK研究率44.4%。药物表示方面,13种药物出现在两项或更多试验,38个药物实体为单例。isoniazid和ivermectin最频繁(各3项试验),rifapentine、dolutegravir、artemether-lumefantrine、primaquine、efavirenz、lamivudine、albendazole和diethylcarbamazine各2项。生物标志物利用稀疏,Kelch13突变是唯一与超过一项试验相关的生物标志物。非房室PK参数如C
max和AUC最常见(各11项试验),其次C
min、CL/F和t
1/2,t
max较少。抗分枝杆菌药、HIV核苷类似物逆转录酶抑制剂(reverse transcriptase inhibitor, RTI)、乙型肝炎病毒核苷类似物RTI和HIV整合酶链转移抑制剂是最常见FDA确立的药理学分类(established pharmacologic class, EPC)。临床药理学特异模式方面,42项试验中45%含PK研究,29%含PopPK分析,14%含暴露-反应分析。HIV方案最常含PK研究(64%),其次疟疾(44%)、TB(42%)、NTD(14%)。PopPK分析较少:HIV 36%、疟疾33%、TB 25%、NTD 14%。暴露-反应分析:HIV 21%、TB 17%、疟疾11%、NTD 0%。肝损伤排除常见,尤其HIV和TB。TB试验中肝损伤排除标准见于83%方案,但仅42%含PK研究。肾排除较少但各疾病领域均有。NTD方案生物标志物报告有限。未识别治疗药物监测(therapeutic drug monitoring, TDM)特征;因TDM语言可能异质,应结合提取模式解释。多指南评估与ClinPharm评分方面,对方案评估DeepEval指标,ANOVA发现Metric、Disease、Guidance及Metric:Disease交互显著。平均Faithfulness高(94.6%),Answer Relevancy较低(64.3%),ClinPharm中间(76.0%)。对建议评估,Metric、Guidance及Metric:Guidance交互显著;建议Answer Relevancy最高(99.1%),建议Faithfulness较低(75.1%)。肝损伤评估中位ClinPharm最低(71.1%),暴露-反应最高(79.0%)。暴露-反应产生最高中位ClinPharm,肝损伤最低,PBPK和PopPK中间且试验间变异。对肝损伤指南,ClinPharm评分疾病间差异显著(单因素ANOVA,p=0.002,GES=0.329);Games-Howell事后检验显示疟疾vs TB(p
adjusted=0.0033,Estimate=12.6,95% CI=3.89–21.2)和NTD vs TB(p
adjusted=0.018,Estimate=11.9,95% CI=1.86–22.0)差异显著。其他指南无疾病领域差异证据。试验间变异大,个别方案可有局灶缺口。ClinPharm评分应结合指南特异性监管缺口检测措施。
讨论部分指出,该概念验证研究表明使用KG分析将传染病临床试验方案转化为临床药理学特征结构化表示的可行性。KG表示保留疾病、药物、药理学分类、排除、生物标志物、PK参数和研究组成部分之间的试验级关系,使队列级分析成为可能。局限是仅42项试验,可能限制推论稳健性;研究聚焦盖茨基金会库中的全球传染病药物干预试验,而非更广泛数据库,增强LMIC相关性但可能限制对高收入国家疾病和治疗环境的通用性。更广泛文献显示临床试验方案报告异质且不完整,SPIRIT 2025等强调方案完整性。该研究从临床药理学视角扩展,连接方案特征至PK、PopPK、暴露-反应、肝和肾损伤、生物标志物和药理学分类;方案可满足常规报告要求但仍提供不足信息以确定剂量策略是否充分处理暴露变异或特殊人群。KG显示TB最大疾病图,HIV PK研究频率最高;TB肝损伤排除频繁但PK研究较低。isoniazid和ivermectin最常重复,抗分枝杆菌和HIV相关EPC常见,AUC和C
max最常见。排除肝损伤患者可限制通用性并可能遗留剂量不确定性,除非有专用PK、PopPK或暴露-反应证据支持;但一些传染病试验可能优先临床或微生物学终点,并通过单独研究或既有证据纳入PK/PopPK,而非主要疗效方案。临床药理学考虑如肾和肝衰竭需谨慎选药和剂量调整。HIV患者因HIV相关肾病有肾衰竭风险,并因乙型肝炎病毒和丙型肝炎病毒感染有肝损伤风险。TB中pyrazinamide和isoniazid的肝毒性风险高于rifampin;在TB流行国家如孟加拉国,慢性肾病常见。TB患者体重可能低于一般人群。42项试验中PK研究45%,PopPK 29%,暴露-反应14%;这些方法在传染病试验中有信息价值,因为治疗反应和药物暴露可随体型、器官功能、疾病严重程度、合并用药、年龄、营养状态等变化。KG分析识别缺口,可能代表全球传染病项目机会。KG捕获方案语料报告架构而非每种药物完整药理学证据基础,因此个别缺口不应解释为相应分析科学必需或未在别处进行。ANOVA及事后检验显示,肝损伤指南ClinPharm评分在疟疾vs TB和NTD vs TB间不同,效应大小相似;多数TB评分高于中位,而多数疟疾和NTD评分低于中位,但原因仍不清楚。跨指南,评估Faithfulness高,Answer Relevancy低,ClinPharm中间;建议Answer Relevancy最高,Faithfulness较低;肝损伤评估中位ClinPharm最低。该分歧表明标准LLM评估指标可能在关键弱点是遗漏领域特定临床药理学细节而非幻觉或主题无关时高估监管评估质量。研究贡献是将KG作为临床药理学推理辅助,而非预测模型或生物医学知识库,因它连接试验至药物、疾病、器官功能排除和PopPK等特征。KG可回答仅从非结构化方案文本难以回答的问题,并补充适合方案检索和评估的RAG:KG暴露结构化关系、报告模式和缺口,RAG针对指南特异性期望评估单个方案并生成改进建议。可能用例是AI辅助、人在回路的试验组合管理系统。KG依赖LLM提取,提取实体可能反映真实方案内容和提取错误;复杂表格、图、附录或扫描区域可能未被完全捕获。RAG输出用自动指标评估,包括LLM作为裁判的临床药理学评分;自动评分用于筛查,不替代专家评审。需临床药理学家、统计学家或监管审阅者专家裁定。验证专家小组金标准至关重要。专家小组可独立验证LLM生成评估和建议。随时间LLM采用和严格验证可能产生真实世界证据支持或挑战LLM在临床试验方案中的表现。
研究结论:总之,研究人员的结果提供概念验证,即整合KG与RAG可系统表征传染病临床试验方案并突出临床药理学报告中的潜在缺口。该方法识别了图结构、PK报告、患者排除、生物标志物提取和指南一致性方面的疾病特异性差异。然而,这些信号应谨慎解释,因为缺失的提取特征或较低的指南一致性评分本身并不确立监管不合规。经进一步验证,该RAG-KG框架可能帮助申办方和监管机构优先对方案进行人工审查,以评估临床药理学完整性。