生物医学摘要中食物-疾病关系的句子级五分类：大语言模型（LLM）的比较评估

《Future Foods》：Sentence-Level Five-Class Classification of Food-Disease Relationships in Biomedical Abstracts: A Comparative Evaluation of Large Language Models

　　

摘要：综合食物-疾病关系的证据对于推动营养科学至关重要，然而人工筛选无法跟上生物医学文献的快速扩张。本研究评估了基于大语言模型（large language model, LLM）的方法在PubMed摘要中对食物-疾病关系进行句子级分类的性能。利用涵盖四种主要非传染性疾病的1,500条人工标注句子，研究人员将ChatGPT-4o在有或无思维链（Chain-of-Thought, CoT）提示下的表现与监督分类器和基于规则的方法进行了比较。来自“结果”（RESULTS）和“结论”（CONCLUSIONS）部分的句子被分类为“有效”（Effective）、“有害”（Detrimental）、“无效应”（No Effect）、“不确定”（Inconclusive）和“不相关”（Unrelated），并假设已基于词典完成实体识别。基于规则的分类表现不佳，而监督模型和ChatGPT-4o均取得了较高的准确率（>0.8）。提示策略和少样本示例影响甚微，表明ChatGPT-4o的基线推理能力足以胜任该任务。ChatGPT-4o在复杂的、涉及多重关联的RESULTS句子上优于监督模型，并能更好地区分背景语境，从而改进“不相关”类别的分类。相比之下，监督模型在处理CONCLUSIONS句子中的方向性表述时更为可靠，且更不易产生幻觉。这些互补优势，结合知识图谱可视化，展示了基于LLM的框架在可扩展地提取食物-疾病关系、减少人工投入方面的潜力。未来工作将扩展疾病覆盖范围，并整合代谢物水平及全文信息。

论文解读：生物医学摘要中食物-疾病关系的句子级五分类——大语言模型的比较评估

一、研究背景与问题

饮食是心血管疾病、糖尿病、癌症等非传染性疾病（non-communicable diseases, NCDs）发生的主要影响因素。2021年，不健康饮食估计导致720万人死亡，而健康均衡饮食每年可预防全球高达1110万例死亡。因此，国际和国家卫生机构制定了膳食指南，这些指南高度依赖对多项研究证据的综合评价。然而，证据综合过程耗时且昂贵，一项系统综述平均需要67.3周完成。同时，生物医学文献快速膨胀，仅PubMed就收录超过3800万篇出版物，每年新增超过100万条记录，研究人员、临床医生和政策制定者难以实时、全面地评估饮食与疾病关系。传统的信息抽取方法中，共现方法虽可扩展但常将邻近误认为因果，只能识别基本关联；基于规则的方法依赖人工构建的语言规则，泛化能力差；有监督机器学习方法需要大量人工标注数据，成本高昂。近年来，大语言模型（large language models, LLMs）凭借transformer架构和注意力机制，在生物医学自然语言处理任务中表现出潜力。然而，现有营养学领域的LLM应用多集中于食物命名实体识别、营养含量提取、膳食计划等，尚无研究评估LLM在多类别食物-疾病关系分类上的表现。为弥补这一空白，本研究评估了ChatGPT-4o在句子级别对食物-疾病关系进行五分类的性能，并与基于规则的方法和监督模型进行系统比较。

二、研究内容与结论

研究人员构建了一套自动化流水线，从PubMed摘要中获取并处理文献，利用由MeSH和FoodDB词典匹配的实体对，筛选出18,432条同时包含食物和疾病实体的句子。使用RoBERTa-base模型训练句子级章节分类器，将摘要句子划分为BACKGROUND、METHODS、RESULTS和CONCLUSIONS四类，其中RESULTS和CONCLUSIONS章节的句子被进一步用于食物-疾病关系标注。研究人员人工定义了五个类别：“有效”（Effective）、“有害”（Detrimental）、“无效应”（No Effect）、“不确定”（Inconclusive）和“不相关”（Unrelated）。两名标注组独立标注，组间一致性高（Cohen's κ=0.89）。在1,500条平衡测试集上，研究人员比较了规则方法、BioLinkBERT-base监督模型以及ChatGPT-4o在有无思维链（Chain-of-Thought, CoT）提示、零样本和少样本条件下的性能。结果表明，规则方法准确率仅35.8%，表现不佳；监督模型总体准确率0.80；ChatGPT-4o在各种提示条件下表现稳定，准确率均高于0.8，且CoT和少样本示例未带来显著提升。ChatGPT-4o在复杂、具有多重关联的RESULTS句子和“不相关”类别区分上优于监督模型，但在解读不确定性和模糊限定语方面存在不足，易于将含“may”“likely”等词的句子误判为明确效应，且偶尔产生幻觉。监督模型在处理明确的方向性表述时更可靠，不易幻觉，但难以识别“不相关”关系。两种模型呈现互补优势，结合二者有望构建更准确的自动化证据提取流水线。进一步的知识图谱可视化显示，手动标注与ChatGPT-4o预测在大多数食物-疾病关系上方向一致，但ChatGPT-4o对盐（salt）因果方向的理解存在偏差，这源于其仅关注正面健康结局（如降血压）而忽略因果剂量的简化推理。整体而言，LLM框架无需任务特定训练即可实现稳定的关系提取，具有可扩展性，能减少人工努力。

三、主要技术方法

本研究使用以下关键技术方法：①利用NCBI Entrez Programming Utilities（E-utilities）下载MEDLINE全部摘要（1975–2022年，约3800万条），经Python流程转化为JSON格式；②基于MeSH和FoodDB词典进行实体匹配，筛出包含食物与疾病实体的句子；③采用spaCy的textcat_multilabel流程和RoBERTa-base预训练模型（学习率5×10??，batch size 128，训练20,000步）训练句子级章节分类器，在结构化与无结构摘要上分别达到0.89和0.85的准确率；④使用ChatGPT-4o OpenAI API，温度参数设为0，每种条件重复5次取多数投票，分别采用标准提示和CoT提示，在零样本和1–3个少样本条件下进行五分类；⑤使用BioLinkBERT-base监督分类器，160句/类训练，5折分层交叉验证，soft-voting集成；⑥规则方法基于正则表达式匹配关系线索词，仅应用于CONCLUSIONS句子；⑦构建带权重的食物-疾病知识图谱，按出版类型赋予研究权重并归一化至–1到+1。样本队列来源为公开的PubMed/MEDLINE数据库。

四、研究结果

3.1 句子级章节分类模型的表现：训练损失约5,000步后稳定，各章节精确率、召回率和F1值大多≥0.85；独立测试集上，结构化摘要准确率0.89，非结构化摘要0.85，对来自非结构化摘要的METHODS和RESULTS句子性能略低，但总体验证了模型鲁棒性。

3.3 食物-疾病关系提取模型的比较性能：规则模型准确率35.8%，表现差，被排除后续分析；监督模型集成后在测试集上准确率0.80，“有效”“有害”“无效应”类别的精确率、召回率和F1大多≥0.80，“不确定”召回率0.693，“不相关”召回率0.627；ChatGPT-4o在零样本、少样本、有无CoT条件下表现相当，各提示策略未产生显著性能差异，说明其基线推理能力足以处理此类任务。ChatGPT-4o在“无效应”和“不相关”类别上对CONCLUSIONS句子表现更好，在“有效”和“有害”类别上对RESULTS句子表现更好；不确定性相关错误主要来自将含限定语（如may、insufficient）的句子误判为确定效应。

3.3.4 ChatGPT-4o与监督模型的比较：ChatGPT-4o在统计复杂的RESULTS句子（如报告多种肉类相对风险的句子）中能正确识别保护性效应，而监督模型将其中家禽的保护作用误判为“无效应”；ChatGPT-4o能更好区分背景语境与主要干预变量，例如将描述盐作为研究背景而非干预的句子正确归为“不相关”，监督模型则误判为“有效”。然而，ChatGPT-4o对含有不确定性标记的句子（如“milk consumption may be associated with lower risk”）会误判为“有效”或“有害”，在“不确定”类别中贡献了46条错误；同时偶尔在复杂多因素句子中产生幻觉。监督模型则不易产生幻觉，但在处理明确陈述时更可靠，例如能从“减少30%盐摄入会降低6.4%–13.5%卒中患病率”的句子推断出盐的有害效应，而ChatGPT-4o关注“预防”的正面措辞而误判为“有效”。两类模型呈现互补性。

3.4 人工标注与ChatGPT-4o生成的食物-疾病关系的一致性：以2型糖尿病为中心的知识图谱显示，精制谷物、加糖果汁、加工肉类、油炸食品和牛肉的负面方向得分在两种方法中完全一致（–1或–0.88）；纤维和水果均被识别为有益，得分接近。但盐的因果方向存在分歧：人工标注为“有害”（–0.15），ChatGPT-4o得分为–0.01，接近“不确定”。原因在于ChatGPT-4o将“适度减少盐摄入可降低血压”中的盐错误理解为有益，反映了其对因果方向推理的局限性。总体而言，知识图谱可视化有助于快速综合和交叉验证食物-疾病关系。

3.5 局限性与未来方向：本研究的流水线依赖词典共现而非高级NER，可能遗漏新兴食物或非正式术语；评估限于句子层面，无法整合跨句语境；五分类法无法捕捉非线性或剂量依赖关系；提取的关系不等同于因果关系；评分函数仅基于出版类型分配权重，未纳入样本量或引文数。未来需集成先进NER、文档级推理、扩展分类体系以涵盖剂量反应和条件效应，并开发更严谨的证据加权框架。

3.6 结论：规则方法表现糟糕，ChatGPT-4o（有无CoT）与监督模型均不具绝对优势。ChatGPT-4o提供强大的解释灵活性并善于处理复杂证据，监督模型则更具稳定性且抗幻觉。将两者结合，而非单独依赖其一，可能产生最准确且可扩展的提取流水线。这一发现为利用LLM支撑大规模营养科学证据综合提供了实证基础，并提示混合架构是未来发展的方向。