基于专家共识改良Vigi4Eudra-score构建EudraScore：提升EudraVigilance中药品不良反应报告完整性评估与因果关联报告优先识别能力

《Drug Safety》：EudraScore: Modification of the Vigi4Eudra-score for the Assessment of the Completeness of Adverse Drug Reaction Reports in EudraVigilance

　　

引言：在缺乏评估自发性药品不良反应（adverse drug reaction, ADR）报告完整性金标准的情况下，多数研究依赖评估包含预设类别信息的报告比例。Vigi4Eudra-score同样基于此原则，可用于分析EudraVigilance中ADR报告的完整性。此外，提供高水平信息的ADR报告在药物警戒（pharmacovigilance）实践中可能更有用。本研究第一个目的是通过修改惩罚项并增加额外相关类别，进一步发展现有Vigi4Eudra-score（=EudraScore）。第二个目的是评估EudraScore在识别至少可能因果关联报告为“记录良好”方面是否优于Vigi4Eudra-score。方法：建立专家小组（expert panel），由德国联邦药品和医疗器械研究所（German Federal Institute for Drugs and Medical Devices, BfArM）药物警戒和研究部门的评估人员组成，这些人员在ADR报告评估方面具有多年经验。基于专家共识，通过调整现有类别并纳入额外因果关联相关标准，修改Vigi4Eudra-score，形成EudraScore。开展用例，将EudraScore计算值与Vigi4Eudra-score所得值进行比较。通过计算灵敏度（sensitivity）和特异度（specificity），评估两种评分在识别具有“至少可能”因果关联报告为“记录良好”方面的性能。结果：与Vigi4Eudra-score相比，EudraScore调整了一些惩罚项，将缺失原产国和药物剂量的惩罚从10%降至5%，并在缺失发病时间和ADR结局信息时，将缺失自由文本描述的惩罚从10%提高至30%。增加患者病史（+10%）、合并用药（+10%）、再激发/去激发/对药物采取的措施（+10%）和严重性（+5%）作为奖励分。最后，奖励分按相应惩罚分加权。在用例中，与Vigi4Eudra-score相比，多数报告在EudraScore下获得更高值，尽管差异通常较小（≤0.1）。药物剂量、严重性和患者病史类别主要导致观察到的差异。尽管完整性不直接反映因果关联强度，EudraScore识别具有“至少可能”因果关联报告为“记录良好”的灵敏度（0.347 [0.293–0.405]）高于Vigi4Eudra-score（0.245 [0.197–0.299]，p < 0.001），特异度略低（EudraScore：0.907 [0.860–0.940]，Vigi4Eudra-score：0.932 [0.889–0.959]，p = 0.07）。结论：尽管灵敏度相当低，EudraScore似乎比Vigi4Eudra-score更适合优先处理相关性更高的ADR报告。此外，进一步发展EudraScore，使其不仅评估信息是否存在，还评估信息质量，可能增加实质价值。

研究背景：ADR报告完整性在日常药物警戒中具有意义，信息量较高的报告可能更有用，并可能在专用药物警戒问题出现时的个体病例评估中被优先考虑。目前尚无官方金标准用于评估自发性ADR报告所提供信息的完整性，多数研究聚焦于确定包含特定结构化格式类别的报告比例，所考虑类别部分不同，有些仅评估比例，有些按相关性加权。vigiGrade完整性评分由Uppsala Monitoring Centre开发并整合于VigiBase（世界卫生组织全球ADR数据库），但欧洲ADR数据库EudraVigilance尚未实施该方法。因此，研究人员开发了R脚本形式的vigiGrade完整性评分实现，以便基于从EudraVigilance提取的数据集应用（Vigi4Eudra-score）；由于VigiBase与EudraVigilance提供的信息程度不同，需对“年龄”和“时间至发病”等类别作调整。Christ et al.已描述Vigi4Eudra-score的技术实现及其在四个示例数据集上的应用。此前研究显示，按WHO标准判定为“至少可能”因果关联的报告比“不可评估”报告更常被分类为“记录良好”，提示Vigi4Eudra-score可用于优先处理高完整性报告。Vigi4Eudra-score包含10个类别，但尚未纳入其他可能相关的自发性ADR报告类别（如患者病史）。因此，本研究旨在基于专家共识修改现有算法的惩罚项并增加额外类别，开发新的评分算法EudraScore；开展用例比较EudraScore与Vigi4Eudra-score的计算值，并以vigiGrade完整性评分为参考标准；评估EudraScore较Vigi4Eudra-score在识别因果关联报告为“记录良好”方面的诊断性能；总体目的是评估EudraScore能否改善药物警戒实践中潜在因果相关自发性ADR报告的优先排序。

研究人员开展的研究及意义：建立由BfArM药物警戒和研究部门评估人员组成的专家小组，包括医师、药师和生物学家，具有多年ADR报告评估及EudraVigilance分析经验；共召开三次会议，讨论从EudraVigilance提取的行列表中每个现有类别在科学和监管角度及因果关联评估中的相关性，识别出四个额外重要类别，并因这些类别并非每份报告均适用而采用奖励系统而非缺失惩罚；同时考虑并调整三个原有惩罚项，最终形成含惩罚分和奖励分的EudraScore并编写R脚本。研究结论提示，EudraScore灵敏度高于Vigi4Eudra-score但总体仍较低，特异度略低；EudraScore可能更适合优先处理相关性更高的ADR报告，可识别结构化信息程度高的报告以指导分析顺序，也可在单病例评估前自动识别记录较差的报告并请求报告者补充信息；其可用于分析EudraVigilance大数据集的完整性，服务于监管机构、制药公司和学术界，也可用于其他ADR数据库但需调整数据集结构。进一步研究需确认其常规药物警戒适用性，未来若纳入信息质量评估可能具有重要价值。

关键技术方法（不超过250字）：采用专家小组共识法修改Vigi4Eudra-score，构建惩罚分与奖励分并写成R脚本；用例数据为2021年第四季度德国自发性ADR报告，EudraVigilance提取n=11,178份，与VigiBase匹配8480份用于比较；另用2018—2020年德国479份随机ADR报告样本，该样本已按WHO标准完成因果关联评估；计算灵敏度、特异度、阳性预测值（PPV）、阴性预测值（NPV）、平衡准确度，采用McNemar检验比较，并进行受试者工作特征（ROC）分析、曲线下面积（AUC）及Youden index阈值优化，另用Spearman相关系数评估评分关联。

研究结果：3.1 EudraScore的开发（=惩罚分+奖励分）。通过专家小组共识研究，确定对原有类别惩罚项进行调整并新增奖励类别。3.1.1 惩罚分：缺失报告原产国和药物剂量的惩罚由10%降至5%；当时间至发病和ADR结局信息均缺失时，完全缺失自由文本描述的惩罚由10%提高至30%，若时间至发病和结局可得则仍为10%；由于EudraVigilance行列表不提供年龄组和不精确时间至发病信息，仅允许年龄缺失30%和时间至发病缺失50%的惩罚；每份ADR报告的惩罚分最小0.06、最大1，按每个ADR-药物组合的∏(1?P_j)计算。3.1.2 奖励分：患者病史、合并用药、再激发/去激发/对药物采取的措施各奖励10%，严重性信息奖励5%；每份ADR报告最大奖励0.35、最小0.00，按ΣB_j计算。3.1.3 EudraScore计算公式：每个ADR-药物组合的EudraScore=min(∏(1?P_j)+(ΣB_j)*∏(1?P_j),1)，报告EudraScore为各ADR-药物组合EudraScore的均值。3.2 用例：vigiGrade完整性评分、Vigi4Eudra-score和EudraScore计算值的比较。基于8480份同时见于EudraVigilance和VigiBase的报告，三种算法的值分布不同，EudraScore中位值略高于vigiGrade完整性评分和Vigi4Eudra-score，且EudraScore分类为值1的报告比例略高。3.2.1 Vigi4Eudra-score与EudraScore计算值的比较：93.1%（n=7,897）报告在EudraScore下值更高，1.4%报告值更低，5.5%报告数值相同；75.3%（n=6,385）报告差异仅>0.00至0.10；初始Vigi4Eudra-score<0.20的报告未观察到>0.10差异，初始≥0.80的报告未观察到EudraScore更低值；8480份报告含28,405个ADR-药物组合，EudraScore增加最常与药物剂量惩罚降低（53.4%，n=15,169）、严重性奖励和病史奖励（61.2%，n=17,388）相关；惩罚分分布与Vigi4Eudra-score相似，两者强相关（Spearman相关系数0.99 [p < 0.001]）。3.3 EudraScore与Vigi4Eudra-score的诊断性能比较：在479份已完成因果评估的随机样本中，采用≥0.8为“记录良好”阈值时，EudraScore将更多具有至少可能因果关联的ADR报告分类为“记录良好”（probable/likely：+10.5%；possible：+10.2%），而“不可评估”因果关联报告被分类为“记录良好”的比例仍低（6.9% vs 9.3%，+2.4%）；EudraScore灵敏度为0.347 [0.293–0.405]，高于Vigi4Eudra-score的0.245 [0.197–0.299]（p < 0.001），特异度略低（EudraScore：0.907 [0.860–0.940]；Vigi4Eudra-score：0.932 [0.889–0.959]，p = 0.07）；ROC分析显示EudraScore的AUC为0.668，Youden index确定的最佳阈值为0.475，灵敏度0.577、特异度0.761。

讨论部分总结：专家小组决定将缺失报告原产国的惩罚从10%降至5%，因为所有ADR报告无论来源国均重要，且来自欧洲经济区的报告均符合欧洲ADR报告要求，原产国信息在全球性VigiBase分析中可能更相关；将药物剂量惩罚从10%降至5%，因并非所有ADR均剂量依赖，该类别至少在部分ADR的因果关联评估中相关性有限；将完全缺失叙述（自由文本描述）的惩罚从10%提高至30%的前提是时间至发病和ADR结局也缺失，因叙述对判断药物摄入与ADR发生的因果关联极为重要，但部分报告的结构化字段已含评估所需全部相关信息，尤其时间至发病和ADR结局对因果评估重要，故当二者可得时仍用10%惩罚。奖励分方面，患者病史、合并用药和再激发/去激发/对药物采取的措施与ADR和药物因果关联评估特别相关，但并非均适用，缺失信息无法区分“不适用”还是“未报告”，若施加惩罚会错误降低评分，故采用奖励；严重性对监管行动可能更相关，但不直接关系因果关联评估，故奖励较低（+5%）。用例比较中，EudraScore中位值略高源于奖励分和/或药物剂量惩罚降低；随机样本中EudraScore灵敏度更高但仍低，AUC也较低，反映完整性并非因果关联强度的直接指标，因果评估仍必需；该随机样本仅479份，certain、probable/likely和unlikely报告数量少，需更大型数据集进一步分析，并需内部或外部专家基于个体病例评估进行后续验证；Youden index得出的最佳阈值0.48需进一步研究，也可考虑用不同阈值将报告分类为记录良好、中等和较差；该评估耗时且验证可能受主观意见影响。实践转化方面，EudraScore可用于识别提供全面信息、有助于因果关联评估的ADR报告，也可识别完整性较低的报告以排除进一步分析或请求补充信息；适用于分析EudraVigilance大数据集完整性，服务于监管机构、制药公司或学术界，但不同利益相关者可获得的信息范围不同；虽为EudraVigilance开发，也可用于其他ADR数据库，但可能需要调整数据集结构。局限性包括：惩罚项改变和奖励类别添加基于专家共识而非证据标准，类别相关性基于WHO因果标准评估；专家小组背景多样，但其他评估者可能得出不同判断，故该方法应视为探索性，需在药物警戒实践中检验；目前EudraScore以R脚本实现且必须从EudraVigilance提取行列表，若集成为专用工具将更便利；该算法不能评估信息质量（如药物警戒相关性），三种算法均如此；未来需进一步细化EudraScore以纳入报告信息相关性和质量，可能需应用人工智能或transformers，并考虑数据保护法规。

研究结论部分翻译：研究人员通过修改先前的Vigi4Eudra-score并增加与因果关联评估相关的额外类别作为奖励分，开发了一种新的评分算法，用于评估EudraVigilance中ADR报告的完整性。识别因果相关报告为“记录良好”的灵敏度提高，提示EudraScore可能更适合常规药物警戒实践中的ADR报告优先排序。仍需进一步研究确认其在常规药物警戒实践中的适用性。