《Applied Sciences》：Diverse Knowledge-Embedded Method for Chemical-Induced Disease Relation Extraction
编辑推荐：
专业术语翻译摘要
化学诱导疾病（Chemical-induced Disease，CID）关系抽取对于疾病治疗、药物重定位和药物发现具有重要意义；因此，研究人员采用自然语言处理技术从生物医学文献中抽取此类关系。然而，CID关系在文档各句子间的分散分布对有效抽取
专业术语翻译摘要
化学诱导疾病（Chemical-induced Disease，CID）关系抽取对于疾病治疗、药物重定位和药物发现具有重要意义；因此，研究人员采用自然语言处理技术从生物医学文献中抽取此类关系。然而，CID关系在文档各句子间的分散分布对有效抽取构成了重大挑战。为解决这一问题，本文提出了一种神经网络模型，该模型整合了多源知识（diverse knowledge）与向量交叉自注意力机制（vector cross-self-attention mechanism）用于CID关系抽取。该模型以文档、其关键的最短依赖路径树（Shortest Dependency Path，SDP）以及外部知识作为输入，利用预训练语言模型生成所有输入的基础语义嵌入。采用所提出的向量交叉自注意力机制，以文档语义增强知识表示。文档语义、增强后的最短依赖路径表示与外部知识嵌入的融合用于预测CID关系。最后，在BC5CDR和BioRED数据集上对所提模型进行了评估。实验结果表明，多源知识对CID抽取是有效的。由生成式大语言模型（generative LLMs）和CTD（Comparative Toxicogenomic Database）获得的化学–疾病关系对均能提升抽取性能。向量交叉自注意力机制通过关注文档表示，有效增强了知识表示，引导模型识别CID关系。所提模型在BC5CDR和BioRED数据集上分别取得了71.9%和77.6%的F1值。
论文解读
一、研究背景与问题
化学诱导疾病关系（Chemical-induced Disease，CID）是指化学物质（如药物）可能诱发特定疾病的关联信息，这类知识对于药物重定位、精准医学和药物不良反应研究至关重要。领域专家通常将这些关系人工整理并存储于知识库中，如比较毒理基因组学数据库（Comparative Toxicogenomic Database，CTD）和美国食品药品监督管理局（FDA）数据库。然而，生物医学文献数量庞大且更新迅速，传统人工方法难以高效地抽取和更新CID关系。为此，研究人员引入自然语言处理技术来自动从文献中抽取CID关系。BioCreative V竞赛提出了从Medline摘要中自动抽取CID关系的挑战性任务，该任务包含两个子任务：疾病命名实体识别（Disease Named Entity Recognition，DNER）和CID关系抽取，本文聚焦于后者。
CID关系抽取面临两大主要困难。第一，CID关系可能跨越句子边界，即一个CID关系的表达不局限于单个句子，跨句实例中化学物与疾病之间的语义关系难以捕捉，导致跨句关系抽取远难于句内关系抽取。第二，与通用领域文章相比，生物医学文献往往包含更多冗长且句法复杂的句子，进一步增加了抽取难度。
二、研究内容与结论
针对上述困难，研究人员提出了一种知识增强的向量交叉自注意力文档级关系抽取模型（VCA-DocRE）。该模型整合三类输入：文档本身、作为内在知识的最短依赖路径（Shortest Dependency Path，SDP）以及外部知识（包括从CTD中获取的化学–疾病关系对和由生成式大语言模型生成的补充关系知识）。模型利用预训练语言模型PubMedBERT获取各输入的语义表示，通过所提出的向量交叉自注意力机制（Vector Cross-Self-Attention，VCA）以文档语义增强SDP和外部知识的表示，最终将文档语义、增强后的知识语义和实体平均语义拼接后输入Softmax分类器进行关系预测。
研究在BC5CDR和BioRED两个数据集上进行了系统评估，得出以下主要结论：多源知识嵌入对CID抽取有效，来自生成式大语言模型和CTD的化学–疾病关系对均能提升抽取性能；向量交叉自注意力机制能有效增强知识表示并引导模型识别CID关系；不同知识对不同类型实例的关系判别贡献不同。
三、关键技术方法概述
研究人员采用了以下几项核心技术方法：第一，构建文档级最短依赖路径，分别从共现句和实体句中提取SDP并拼接为文档级知识；第二，从CTD知识库中提取化学–疾病关系类型（marker/mechanism、therapeutic、inference）及推断关系中的基因特征作为外部知识；第三，利用生成式大语言模型DeepSeek-V4.1-Flash通过提示模板生成CTD未覆盖的补充关系知识（LLMPair）；第四，提出向量交叉自注意力机制，以文档语义为主源、知识语义为次表示进行方向性语义增强；第五，采用目标实体平均语义表示（ASR）聚合文档中所有实体提及的语义信息。实验在BC5CDR（1500篇Medline文献）和BioRED（600篇PubMed摘要）数据集上进行，使用PubMedBERT作为基础编码器。
四、研究结果
4.1 总体结果
在BC5CDR数据集上，VCA-DocRE取得了69.1±3.1%的精确率、75.3±5.0%的召回率和71.9±1.2%的F1值，与KRC（71.1%）、KCN（71.3%）和BioREDirect（71.4%）相当，但低于KGAGN（72.9%）和Two-step Inference（78.1%）。在BioRED数据集上，VCA-DocRE取得了72.6±1.9%的精确率、83.5±0.8%的召回率和77.6±0.9%的F1值，全面超越Two-step Inference（F1为56.7%）和数据中心方法（F1为59.5%），并优于基于大语言模型的LEAP方法（F1为75.2%），验证了模型在不同数据集上的泛化能力。
4.2 VCA模块的影响
消融实验表明，移除外部知识及其VCA（KB→Doc）注意力后，F1从71.9%大幅降至63.3%，精确率下降6.4个百分点，召回率下降11.3个百分点，说明外部知识对CID识别起关键引导作用。移除SDP及其VCA（SDP→Doc）注意力后，F1仅从71.9%微升至72.3%，说明SDP单独移除影响有限，但与外部知识结合时仍起重要补充作用。同时移除两者时F1降至64.8%，表明两个组件互补，共同平衡精确率与召回率。混淆矩阵和ROC曲线分析进一步确认外部知识是主要贡献组件，而SDP效果有限且与外部知识结合时可能引入轻微冗余。
4.3 外部知识库的影响
在句间/句内子数据集上的实验表明，LLMPair帮助模型整体F1提升4.1%，其中句间F1提升7.1%、句内F1提升3.2%；加入CTD知识后整体F1进一步提升4.5%，句内F1提升3.8%、句间F1提升3.8%。这表明LLMPair对跨句关系识别尤为有效，而CTD在句内和句间设置中均提供一致改进。
4.4 路由系数的影响
路由系数r用于控制外部信息注入量。总体性能在无r时基本不变（F1从71.9%变为71.7%），但在模型不确定的实例上效果显著：在概率处于[0.40, 0.80)区间的1472个实例（占5.3%）上，r将准确率从50.9%提升至59.3%；在弱阳性实例上准确率从42.7%提升至59.2%，净效果为减少75个假阳性、增加21个假阴性。
4.5 统计稳健性与显著性分析
使用五个随机种子（2024–2028）重新训练完整模型，整体F1为71.95±1.17（95%置信区间[70.49, 73.40]），句内F1同样稳定（76.50±1.07），句间F1波动较大（60.92±2.34），主要源于稀疏的句间支持和阈值敏感性。固定种子下重跑三种配置F1变化不超过0.37，说明约1.2 F1以下的差异不可解释，而知识带来的+7至+9 F1提升远超噪声水平。
4.6 错误分析
对BC5CDR测试集657个预测错误按知识标签分解发现，错误高度集中于marker/mechanism实例（占88.3%），其中假阳性占67.6%、假阴性占20.7%；LLMPair实例贡献55个假阴性和18个假阳性。移除外部知识后错误数从657增至776，marker/mechanism实例的假阴性率从4.8%升至15.8%（句内）和从6.8%升至15.8%（句间），被知识抑制的虚假阳性重新出现。此外，生成式大语言模型的幻觉可能误导模型：在10个LLM否认存在CID关系的测试实例中，模型全部漏检。
五、讨论与结论
讨论部分指出，外部知识作为面向召回的先验，主要抑制知识支持对上的漏检，代价是marker/mechanism实例上的过度触发。路由系数在模型不确定区域发挥关键作用，通过控制信息注入量减少假阳性。生成式大语言模型提供的知识虽有辅助作用，但也可能引入误导效应。
研究结论表明，所提出的多源知识嵌入方法能够有效抽取文档级化学–疾病关系，在BC5CDR和BioRED数据集上分别取得71.9%和77.6%的F1值。设计的知识表示对提升CID抽取性能发挥有益作用。当前实现未对矛盾或模糊的大语言模型输出设置专门过滤机制，可能引入噪声，这是本研究的局限。未来工作计划设计更严格的过滤策略来处理矛盾或低置信度的LLM输出，系统比较不同生成式大语言模型，调查不同LLM误导效应的程度，并进行深入的原因分析以进一步提升整体性能。
