基于语义相似性贝叶斯动态借用的不良事件定量信号检测方法

《Statistics in Medicine》：Semantic Similarity-Informed Bayesian Borrowing for Quantitative Signal Detection of Adverse Events

　　

本研究提出了一种贝叶斯动态借用（Bayesian dynamic borrowing, BDB）方法，旨在增强自发报告系统（spontaneous reporting systems, SRSs）中不良事件（adverse events, AEs）的定量识别能力。该方法嵌入了稳健的荟萃分析预测先验（robust meta-analytic predictive prior），并结合语义相似性度量（semantic similarity measures, SSMs），实现对来自临床相似MedDRA首选术语（preferred terms, PTs）的信息进行加权共享。这种基于连续相似性的借用策略克服了不成比例分析（disproportionality analysis, DPA）中刚性层级分组的局限性。研究人员利用美国食品药品监督管理局不良事件报告系统（FDA Adverse Event Reporting System, FAERS）的数据以及一个带时间戳的参考集，将所提出的方法（称为IC SSM）与当前标准的“传统”信息成分（information component, IC）分析以及MedDRA高位语组（HLGT）层面的借用方法（IC HLGT）进行了评估比较。在标准阈值（2.5%后验分位数 >0）下，主要IC SSM方法比传统IC提前五个多月检测到真实信号。其灵敏度更高（57.0%），但精确度（14.5%）低于传统IC（50.1%，16.1%），同时优于IC HLGT（55.7%，13.9%）。在后续分析中，即使将IC SSM的警报分位数收紧至1%以提高精确度（16.4%），其仍保留了优于传统IC的灵敏度（51.4%）。同样，将传统IC的分位数放宽至5%仅获得55.6%的灵敏度和14.2%的精确度，未能达到IC SSM的性能或及时性，从而证实了其固有优势。IC SSM优越的及时性和灵敏度源于对临床有意义信息的整合，使其成为传统DPA的一种可扩展且具有情境感知能力的增强方法。该方法在稀疏数据集的探索性分析中具有潜力，对借用策略和相似性度量的改进可能带来进一步的性能提升。

论文解读：基于语义相似性贝叶斯动态借用的不良事件定量信号检测

一、研究背景与问题

上市后药品和疫苗的安全监测对于识别新兴安全性问题及评估风险至关重要。自发报告系统（SRSs）中的个案安全报告（ICSRs）长期作为检测新安全信号的主要数据来源。随着安全数据数量和复杂性的增加，定量方法在药物警戒（PV）中的作用日益凸显。目前最广泛使用的方法，如信息成分（IC）分析，基于二乘二列联表的点估计，尽管简单有效，但存在显著局限性：底层数据噪声大且存在非随机缺失，对不良事件（AE）术语的独立处理使其难以捕捉可能共享潜在机制的临床相似病例。MedDRA医学词典虽提供了层级结构以对相关事件进行分组，但其刚性层级往往无法捕捉术语之间细微的临床关系，例如眼睑水肿和眶周水肿在层级中相距甚远。标准DPA方法将MedDRA PTs独立处理，除非预先按层级分组，这可能导致相关但不同的PTs被孤立分析时信号被遗漏，或过度宽泛的术语分组时信号被稀释。尽管已有TreeScan、回归调整伽马泊松收缩器（RGPS）等方法尝试解决，但它们仍受限于刚性层级或未纳入语义相似性。贝叶斯动态借用（BDB）在临床试验中已用于整合历史对照数据，但此前在ICSRs中的应用多依赖二元相似性定义，无法反映AE间临床相关性的连续谱系。

二、研究内容与结论

研究人员首次提出将语义相似性纳入BDB框架用于自发报告系统，称为IC SSM方法。该方法在贝叶斯层级模型中嵌入稳健MAP先验，根据PTs与目标PT的语义相似性进行动态加权借用，以连续、数据驱动的借用取代刚性层级结构。利用2015至2019年FAERS数据，研究人员对69种2015至2016年间获批的新分子实体药物进行评估，以FDA产品标签更新构建的时间戳参考集为基准，比较IC SSM与传统IC及IC HLGT的性能。研究得出以下主要结论：IC SSM在标准2.5%警报分位数下灵敏度最高（57.0%），优于传统IC（50.1%）和IC HLGT（55.7%），但精确度（14.5%）低于传统IC（16.1%）；IC SSM检测真实信号平均比传统IC早1.75个季度，具有显著及时性优势；通过事后探索性分析发现，IC SSM在稀疏数据情境下优势尤为明显，且其性能特征难以通过简单调整传统IC的分位数来复制。该研究为药物警戒方法学发展做出贡献，通过解决AE聚合的长期挑战，旨在提高上市后监测中早期信号检测的准确性和及时性。

三、关键技术方法

研究人员主要采用了以下关键技术方法：其一，采用Sokal度量作为语义相似性度量（SSM），这是一种基于内在信息内容（ICont）的方法，仅依赖MedDRA和SNOMED CT通过UMLS整合的结构化关系，独立于FAERS共同报告数据；其二，构建稳健荟萃分析预测（MAP）先验，通过随机效应模型结合逆方差加权与语义相似性加权，实现动态借用；其三，采用贝叶斯层级模型进行信息成分（IC）分析，以95%可信区间下限超过零作为信号判定标准；其四，利用PVLens平台自动提取FDA结构化产品标签（SPL）信息构建时间戳参考集，包括阳性对照集和阴性对照集；其五，使用FAERS 2022Q3发布的数据，排除2019年12月31日后提交的报告以消除COVID-19疫情混杂影响。

四、研究结果

4.1 方法性能的时间趋势

研究期间，每季度报告的产品-事件对数量从2016Q1的3474个显著增加至2019Q4的30589个，阳性对照数从603个增至1948个。传统IC在整个研究期间表现出比IC SSM和IC HLGT更高的PPV。灵敏度方面，传统IC从2016Q1的42.6%略升至2019Q4的44.0%，而IC SSM从53.6%开始，虽降至47.9%，但始终优于传统IC。IC SSM q0.01配置显示可在略高于传统IC精确度的同时保持显著更高的灵敏度。

4.2 整个研究期间的性能分析

主要分析显示，传统IC灵敏度为50.1%，IC SSM为57.0%，但精确度从16.1%降至14.5%，F1分数从0.243降至0.231。IC HLGT的灵敏度、特异性和精确度均低于IC SSM。两两比较中，IC SSM检测到165个传统IC未识别的阳性对照，而传统IC仅检测到3个IC SSM遗漏的阳性对照。时间检测差异分析显示，IC SSM平均比传统IC早1.75个季度检测到信号。事后探索性分析表明，将IC SSM警报分位数收紧至1%时，其精确度和特异性与传统IC相似，但灵敏度更高（51.4% vs 50.1%），并取得最高F1分数（0.249）和约登指数（0.262）。按累积病例数分层分析显示，在病例数≤3的情境下，IC SSM的F1分数（0.141）显著高于传统IC（0.098），灵敏度提升超过两倍。

4.3 参数敏感性分析

研究人员评估了MAP先验权重、模糊先验标准差和SSM下限三个关键参数的影响。SSM阈值从0.6降至0.4时灵敏度从56.0%升至57.0%，特异性从68.8%降至67.8%。MAP先验权重从70%增至90%时灵敏度增加而特异性和精确度降低。模糊先验标准差从0.5增至10时灵敏度增加而精确度和特异性降低，IC SSM在相同标准差下均优于IC HLGT。

4.4 产品-事件对示例

四个示例展示了方法的实际表现。脑膜炎示例中，IC SSM比传统IC提前三个季度发出警报，SSM加权借用优先考虑了脑膜炎细菌性和脑膜炎无菌性等临床相关PTs。口腔溃疡示例中，IC SSM比IC HLGT早五个季度、比传统IC早约2.5年识别信号，跨HLGT边界选择临床相似术语。咽部红斑示例中，IC SSM产生假阳性信号，源于稀疏数据和低语义相似性情境下不太相似PTs的不成比例影响。溃疡性直肠炎示例中，IC SSM和IC HLGT均产生假阳性，部分原因在于纳入的PTs本身即为阳性对照。

五、讨论与结论

讨论部分指出，IC SSM方法在标准警报阈值下实现了最高灵敏度，虽精确度略低于传统IC，但具有显著及时性优势。事后分析表明，IC SSM的性能优势在稀疏数据情境下最为突出，且难以通过调整传统IC参数复制。该方法通过整合临床有意义信息实现可扩展且具有情境感知能力的传统DPA增强。研究结论认为，IC SSM的优越及时性和灵敏度源于整合临床有意义信息，使其成为传统DPA的可扩展增强方法，在稀疏数据集的探索性分析中具有潜力，对借用策略和相似性度量的改进可能带来进一步性能提升。