四层AI管道实现FDA MAUDE数据库神经外科设备不良事件报告的结构化处理

《Scientific Reports》：A generalizable pipeline for specialty-curated postmarket device surveillance: a reference implementation in neurosurgery

　　

摘要

自发报告型医疗器械数据库，包括美国食品药品监督管理局（FDA）的制造商与用户设施设备体验（MAUDE）数据库，其大部分内容以非结构化自由文本形式存储。为了在专科层面进行监测，需要一种可推广的方法将这些叙述转换为结构化、可搜索的数据。我们开发了一个4层人工智能管道，并将其应用于从数据库建立至2026年3月31日的FDA MAUDE数据库中完整的神经外科设备子集。神经外科设备产品代码通过双重大型语言模型（LLM）分类器并结合人工裁定，从完整的FDA产品分类列表中识别出来。每个报告均经过以下处理：（1）对FDA产品代码进行双重LLM专科过滤；（2）使用包含15类故障模式分类法和8类结局分类法的模式约束叙述标注，并通过标识符进行输入输出连接；（3）非对称语义嵌入到768维向量空间，使用分层可导航小世界（HNSW）图和8位标量量化建立索引；以及（4）预计算的设备级、制造商级和类别级聚合汇总。结局指标包括：标注覆盖率；专科过滤器的LLM间一致性（Cohen κ）；语义检索质量（针对穷举最近邻搜索的Jaccard@10；top-1匹配率）；以及人群层面的标签到记录对齐（内容关键词命中率；随机基线期望，在15类分类法下为6.7%）。神经外科语料库包含针对641家制造商、9个类别下的10,102种不同设备的2,086,176份报告。专科过滤器评估了7,058个候选FDA产品代码，经裁定后产生527个神经外科代码。以裁定后的参考标准为基准，主要分类器（gemini-2.5-flash）的灵敏度为0.42，特异度为0.996，阳性预测值为0.89；第二意见分类器（claude-sonnet-4-5）的灵敏度为0.39，特异度为1.00，阳性预测值为1.00；两个模型在7,058个代码中的6,947个上达成一致（Cohen κ = 0.75），人工裁定并经过召回验证流程解决了不一致的代码并收回了假阴性结果。该管道为2,072,722份叙述中的2,072,457份生成了完整、符合模式约束的标签（99.99%标注覆盖率）。针对穷举搜索的语义检索Jaccard@10为0.83（top-1匹配率为0.81）。人群层面的内容关键词命中率在各类关键词间为32.9%至91.5%，而随机分配下的预期率为6.7%。以2名临床合格审阅者的裁定参考标准为基准，故障模式标签的准确率达到67%，结局标签达到58%（均远高于多数类基线；审阅者间κ为0.90和0.85），临床医生评定的语义检索precision@10达到0.85。一个设计为可推广的4层AI管道，在概念验证专科子集上，对国家设备不良事件数据库的自由文本内容进行了结构化处理。该架构可迁移至其他MAUDE专科子集及类似的自发报告数据库。