基于人工智能的非肥胖糖尿病小鼠免疫治疗候选肽识别:一项计算机模拟研究
Irini Doytchinova,
Ivan Dimitrov,
Mariyana Atanasova,
Nikolina M. Mihaylova,
Andrey Tchorbanov
《AI》:AI-Driven Identification of Candidate Peptides for Immunotherapy in Non-Obese Diabetic Mice: An In Silico Study
Irini Doytchinova,
Ivan Dimitrov,
Mariyana Atanasova,
Nikolina M. Mihaylova and
Andrey Tchorbanov
【字体:
大
中
小
】
时间:2026年04月22日
来源:AI 5
编辑推荐:
摘要:本体工程在帕金森病(PD)监测和警报的临床决策支持系统中发挥着关键作用。尽管大型语言模型(LLMs)在知识建模任务中展现出潜力,但它们在自主构建复杂临床领域的全面本体方面的有效性仍不明确。本研究探讨了四种用于PD监测和警报的本体工程方法:一次性提示(OS)、分解序列提示(D
摘要:本体工程在帕金森病(PD)监测和警报的临床决策支持系统中发挥着关键作用。尽管大型语言模型(LLMs)在知识建模任务中展现出潜力,但它们在自主构建复杂临床领域的全面本体方面的有效性仍不明确。本研究探讨了四种用于PD监测和警报的本体工程方法:一次性提示(OS)、分解序列提示(DSP)、X-HCOME和SimX-HCOME+。这些方法对多个LLMs进行了评估。生成的本体使用聚焦于类别和对象属性的结构评估指标与参考PD本体进行了对比。此外还进行了专家审查,以分析超出黄金标准之外的知识扩展。LLMs能够使用OS和DSP提示自主生成语法正确且语义有意义的本体;然而,这些本体的概念覆盖范围有限。通过X-HCOME结合人类专业知识显著提高了本体的完整性和评估指标。专家审查进一步验证了参考本体中缺失的临床相关概念。SimX-HCOME+表明,迭代的、受监督的合作有助于本体完善,尽管在自然语言到规则的形式化方面仍存在挑战。研究结果表明,在PD领域,LLMs作为协作助手比作为独立的本体工程师更为有效。结构化的人机协作与本体覆盖范围的提高相关,并有助于识别临床监测应用中的潜在知识扩展。虽然当前的评估主要关注本体结构元素,但所提出的方法为LLM辅助的复杂医疗领域本体工程提供了有用的见解。
1. 引言:近年来,大型语言模型(LLMs)与本体框架的集成在知识表示(KR)和人工智能(AI)领域引起了越来越多的关注[1]。最近的研究探索了LLMs在支持本体构建、完善和对齐等任务方面的潜力——这些活动传统上由具有丰富领域和本体工程专业知识的人类专家执行和监督[2]。通过利用大规模训练数据,LLMs能够更广泛且更经济高效地访问多个领域的专家级知识。此外,最近的进展表明,在神经符号AI的背景下,LLMs在本体相关任务中的有效性可以得到进一步提升,其中统计学习与符号表示和推理相结合[3,4]。人工智能在解决复杂的医疗挑战方面发挥着特别重要的作用,例如帕金森病(PD)患者的持续监测以及在全世界第二常见的神经退行性疾病背景下及时警报患者和临床医生[5]。尽管进行了大量的研究,PD的病理生理学仍然只有部分了解,现有的治疗方法在阻止疾病进展方面的效果有限[6]。为了支持更好的理解、监测、警报和治疗策略,在PD领域开发了多种本体。其中,Wear4PDmove本体[7]最近被引入,用于整合异构的基于传感器的运动数据和个人健康记录(PHR)信息。该本体作为一个语义模型,通过支持个人健康知识图谱(PHKGs)的构建,促进了患者、临床医生、智能设备和健康应用之间的交互。它有助于动态数据流(来自可穿戴设备)和静态或历史临床数据的语义整合,并支持PD监测场景中的高级事件识别机制,例如识别漏服的药物剂量或患者跌倒[7]。这样的本体在构建特定领域知识、实现互操作性以及支持数据驱动的PD监测和治疗方法方面发挥着关键作用。有效的PD监测和警报需要灵活且适应性强的KR方法,以适应不断变化的健康状况。尽管LLMs在处理大量数据和生成有用的见解方面表现出强大的能力,但它们直接应用于结构化知识建模任务仍然具有挑战性。与一致性、领域特异性和遵循形式化语义约束相关的限制可能限制了它们在医疗监测和警报场景中的有效性。PD是一个特别复杂的领域,其特征是细微的上下文变化、疾病特定的词汇和异构的数据来源。捕获和形式化此类知识通常需要领域适应性模型或微调程序,这需要大量的资源,对许多医疗专业人员来说可能不切实际。同时,医疗本体必须符合多种标准和表示格式,进一步增加了本体开发的复杂性。一个核心技术挑战在于将异构信息源整合到一致且可互操作的本体中。应对这些挑战需要本体工程方法(OEMs),以简化开发、维护和细化过程,同时减少人力并保持语义质量。
现有的本体工程研究主要集中在人类参与者之间的协作上,特别是领域专家在整个本体生命周期中的合作。然而,人类与智能系统(如LLMs)之间的结构化和实时协作,在OEM中的不同参与程度下仍相对较少探索。特别是,人类参与的程度以及LLMs在不同本体工程阶段可以承担的具体角色尚未系统地进行研究。实际上,本体工程师通常需要投入大量的时间和精力来构建初始或“启动”本体,而后续的细化和演化方面的自动化支持仍然有限。这种差距促使人们研究结合人类专业知识和机器辅助的协作方法,以提高本体工程的效率和可持续性。在这项研究中,我们探讨了人类和大型语言模型如何共同构建称为本体的数字知识地图的不同方式。我们研究了从最小到积极的人类参与的各种合作水平。这种方法展示了我们如何从传统的人类主导方法转向更自动化的过程,其中AI在人类指导下处理特定任务。通过这样做,我们旨在使这些系统的创建既更快也更详细。为了测试这些想法,我们在帕金森病这一复杂领域进行了实验。我们采用了一种称为HCOME[8]的著名开发方法,并通过添加AI驱动的步骤进行了升级,创建了一种新的方法X-HCOME。我们还开发了一个名为SimX-HCOME+的模拟版本,在其中人类和AI在受控环境中进行交互。这些方法有助于创建既全面又高效的开发工具。该研究探讨了这些协作方法如何帮助监测和警报帕金森病患者,同时也讨论了所学到的经验和技术当前的局限性。在之前的研究[9]基础上,本研究增加了几个重要的元素。首先,我们实现了并测试了SimX-HCOME+方法,以了解人类和AI如何有效互动。我们还增加了将简单的自然语言指令转换为形式化逻辑规则的能力,使用的是语义网规则语言。最后,我们比较了AI在不同程度的专家帮助下的表现。这些添加旨在使这些数字工具更加完整和实用,适用于现实世界的医疗应用。
研究的其余部分组织如下:第2节回顾了LLMs整合到本体工程方法中的相关工作。第3节提出了研究方法和相关假设。第4节报告了实验结果,第5节提供了不同协作设置下LLM性能的比较评估,强调了人类参与的程度。最后,第6节讨论了研究结果,概述了局限性,并总结了研究。
2. 相关工作:最近的研究探讨了神经语言模型(NNMs)以及最新的LLMs在支持本体相关任务方面的应用,包括本体学习、映射、丰富和知识提取。早期方法主要依赖于基于Transformer的架构,如BERT,从非结构化文本来源中提取结构化知识。例如,Oksanen等人[10]提出了一种使用BERT模型从文本评论中提取产品本体的方法,该方法需要最少的人工注释,并且与传统的本体学习工具(如Text2Onto和COMET)相比,提高了精确度和召回率。同样,He等人[11]引入了BERTMap,这是一种本体映射系统,在无监督和半监督环境中表现出色,优于现有的本体映射系统。除了本体提取和映射之外,还有几项研究探索了LLMs在知识提取和丰富方面的应用。Ning等人[12]提出了一种基于提示的方法,通过主体-关系对从预训练的LLMs中提取事实知识,强调了提示设计和参数选择在提高跨领域提取质量方面的重要性。Lippolis等人[13]通过结合传统的查询技术和基于LLM的推理,研究了ArtGraph和Wikidata之间的实体对齐,证明了LLMs可以有效跨越复杂和异构的知识图谱中的知识空白。最近的研究还探讨了LLMs在半自动本体构建和细化中的作用。Funk等人[4]研究了GPT-3.5在多个领域生成概念层次结构方面的能力,表明当以受控方式集成时,LLMs可以生成有意义且命名恰当的概念。他们的发现强调了在组织和企业环境中需要结构化和受监督的LLM集成。Mateiu等人[14]展示了使用GPT-3将自然语言描述转换为本体公理,促进了本体开发并降低了本体工程的入门门槛。Biester等人[15]探索了使用提示集来改进知识库构建,报道称在应用ChatGPT和Google Bard等LLMs时,精确度、召回率和F1分数有了显著提高。LLMs还在知识验证、推理和信息提取的更广泛背景下进行了研究。Mountantonakis和Tzitzikas[16]提出了一种使用RDF知识图谱验证ChatGPT生成的事实信息的方法,强调了在将LLM输出整合到结构化知识系统时验证机制的重要性。Pan等人[17]研究了结合LLMs和知识图的框架,通过利用统计和符号AI的互补优势来增强推理能力。在生物医学领域,Joachimiak等人[18]采用了基于LLM的方法来总结基因集,而Caufield等人[19]引入了SPIRES方法进行无需模型微调的结构化信息提取。尽管这些研究的范围广泛,但大多数现有工作主要关注LLMs的能力,或者将其与传统自动化方法进行比较,经常强调完全自动化或半自动化的本体工程任务。在本体工程方法(OEMs)中结合人类专业知识和LLM能力的结构化集成,特别是在不同程度的人类参与下,仍相对较少探索。实际上,人类专家在定义范围、验证概念、解决歧义和确保语义一致性方面发挥着关键作用——这些任务难以完全自动化。为了应对这一差距,本研究专注于协作本体工程,明确结合了人类专业知识和基于LLM的辅助,在既定的OEM中。通过研究不同水平的人类参与并比较多种协作配置下的LLM性能,本研究旨在提供关于人机协作如何提高本体工程效率和概念覆盖范围的见解。此外,认识到不同的LLMs具有不同的优势和劣势,跨模型的比较评估可以为实践者选择实际本体开发和实体解决任务提供信息[20]。
3. 研究方法:本节介绍了一系列实验,分为四个不同的阶段,重点开发和评估帕金森病(PD)监测和警报的本体,特别关注本体类别和对象属性。初始阶段考察了大型语言模型(LLMs)在最少人类参与的情况下自主生成本体的能力,后续阶段逐步引入通过混合本体工程方法(OEMs)进行结构化的人机协作。评估的LLMs包括ChatGPT-3.5和ChatGPT-4(OpenAI,美国加利福尼亚州旧金山)、Gemini/Bard(Google LLC,美国加利福尼亚州山景城)、Claude(Anthropic,美国加利福尼亚州旧金山)和Llama2(Meta Platforms,美国加利福尼亚州门洛帕克)。
3.1. 实验概述:图1展示了整个实验工作流程。在实验1中,多个LLMs独立使用基于提示的方法生成PD监测和警报的本体,人类干预最少。实验2至4通过将领域专家和本体工程师纳入协作OEM中,引入了逐渐增加的人类参与程度。在所有实验中,生成的本体都与参考本体进行比较。在本研究中,使用Wear4PDmove本体[7]作为黄金标准,并在整个研究中如此引用。生成的本体与Wear4PDmove进行了比较,作为参考基线,而不是使用结构评估指标进行详尽的真实值比较,而数据属性、复杂公理和下游推理行为留待未来分析。此外还进行了专家审查,以分析超出参考本体的临床相关知识扩展,并减少基于黄金标准的评估中的循环性。图1。流程图展示了使用不同本体工程方法进行本体构建和评估的四阶段实验过程(使用AI-Whimsical ChatGPT-4创建,访问日期:2024年3月1日,OpenAI,美国加利福尼亚州旧金山)。3.2. 实验1:通过大语言模型(LLMs)自主生成本体假设1。当给出特定领域的要求时,LLMs能够自主生成一个涵盖意义概念的帕金森病(PD)监控和警报本体。在实验1中,LLMs的任务是从零开始生成一个PD监控和警报本体,尽量减少人工干预。目标是评估它们仅基于提示输入提取和构建领域知识的能力。实验步骤如下:1. LLM以Turtle(TTL)格式生成本体,模拟PD监控、警报、患者健康记录和医疗团队协调的核心方面。2. 使用本体工程工具(如OOPS和Protégé与Pellet推理器(评估日期:2026年4月2日,斯坦福大学生物医学信息研究中心,美国加利福尼亚州斯坦福)验证生成本体的语法正确性和逻辑一致性。3. 使用精确度、召回率和F1分数指标对本体进行评估,重点关注类和对象属性(表1)。表1. 类评估指标摘要。该表列出了精确度、召回率和F1分数的公式及其定义。评估采用精确匹配(生成实体与金标准本体中的实体直接对应)和相似匹配(如果实体在语义上相似,则视为正确)两种方式。这种评估框架提供了生成本体的比较结构评估,而不是全面的功能验证。3.3. 提示策略实验1中采用了两种基于提示的策略。一次性提示(OS):在这种设置中,LLM被提供一个简单的提示,指定本体的角色、目的和范围,不提供示例或迭代细化。目的是评估模型基于独立的具体领域描述生成有意义本体的能力。以下是一个一次性提示的例子:“扮演本体工程师的角色。生成一个用于帕金森病监控和警报的本体。该本体应模拟通过可穿戴传感器收集的运动数据,捕捉疾病严重程度和日常活动,并支持语义注释以实现互操作性。重用与神经退行性疾病相关的现有本体。以TTL格式提供输出。”分解顺序提示(DSP):这种策略将本体生成任务分解为两个顺序提示。第一个提示定义本体的角色、目的和范围,而第二个提示则专注于模拟特定的PD相关方面和输出格式。这种分解支持任务的逐步进展,使LLM能够逐步构建本体。提示1(概念化):“扮演本体工程师的角色。你的任务是概念化一个用于帕金森病(PD)监控和警报的本体。定义建模运动数据、疾病严重程度和日常活动所需的核心实体和关系。确保本体支持语义注释和与现有神经退行性疾病模型的互操作性。列出应包括的关键类和属性,无需提供代码。”提示2(实现):“根据先前定义的范围和类,实现正式的本体。详细建模特定的PD相关方面,确保传感器数据、症状和警报之间的关系在临床上是准确的。在适当的情况下,重用现有的医学本体中的相关概念。以Turtle(TTL)格式提供最终输出。”3.4. 实验2:人类-LLM协作本体工程(X-HCOME)假设2. 人类专业知识与LLM能力的结合增强了所开发本体的概念覆盖范围和质量。实验2介绍了X-HCOME,这是以人为中心的本体工程方法(HCOME)[8]的扩展,它将基于LLM的任务纳入本体工程生命周期中。该方法在人类驱动和LLM驱动的任务之间交替进行,利用两者的互补优势。X-HCOME过程包括以下步骤:1. 人类:定义本体范围、要求和能力问题;提供特定领域的数据和提示。2. LLM:生成初始领域本体。3. 人类:使用手动检查或本体匹配工具(例如LogMap [22])将生成的本体与金标准进行比较。4. LLM:执行与金标准的机器辅助比较。5. 人类:通过整合验证的概念来修订和细化本体。6. LLM:重复自动化评估。7. 人类:使用本体工程工具进行最终的一致性和有效性检查。3.5. 实验3:专家对误报的审查假设3. 通过专家审查,最初被分类为误报的LLM生成的实体可能会揭示金标准本体中缺失的相关领域知识。在实验3中,领域专家分析了X-HCOME产生的误报,以确定这些实体是否代表之前未包含在金标准本体中的有效PD相关知识。重新分类基于明确的标准:与PD监控或警报的临床相关性、与本体范围的语义兼容性、与现有概念的非冗余性以及对于下游表示或推理的潜在用处。3.6. 实验4:模拟人类-LLM协作(SimX-HCOME+)假设4. 人类专家与LLMs之间的模拟协作通过允许LLMs在结构化的人类监督下领导开发任务,从而实现有效的本体工程。实验4介绍了SimX-HCOME+,这是X-HCOME的模拟扩展。该方法模拟了三个角色之间的迭代协作:知识工作者(KW)、领域专家(DE)和知识工程师(KE)。这些角色通过结构化的对话互动进行模拟,在每次迭代中LLM生成并细化本体。更具体地说,每个模拟周期包括:(i) KW阶段,其中说明范围、目标和用例描述;(ii) DE阶段,其中引入领域约束、缺失的概念和概念修正;以及(iii) KE阶段,其中将本体结构重新表述为类、关系和形式化表示。人类监督通过每个周期结束时的批准、拒绝或细化提示来实施。当后续轮次中没有引入新的重要概念或修正时,模拟停止。人类监督用于验证范围、解决歧义和批准细化,而不是直接编写本体内容。此外,该实验评估了LLMs将自然语言表达的规则转换为语义网规则语言(SWRL)的能力。评估的规则涉及基于用药后运动迟缓的观察来识别缺失的药物剂量事件。SWRL评估考虑了语法有效性和与预期目标规则的部分逻辑对齐性。然而,本研究没有进行规则的完整下游评估,例如推理器触发的推理、规则触发的正确性或端到端的警报生成性能。4. 结果4.1. 实验1和2(OS、DSP和X-HCOME)所有生成的本体都经过了语法正确性和逻辑一致性的检查。ChatGPT-3.5、ChatGPT-4和Bard/Gemini生成的本体在所有提示策略和协作方法中都是语法有效且逻辑一致的。相比之下,Llama2生成的本体在OS、DSP和X-HCOME中表现出语法错误和不一致的类定义,导致无法进行可靠验证和重用。对这些输出的人工检查显示了常见问题,如OWL/RDF序列化错误、不完整的类声明和本体标识符的不稳定重用。由于本研究没有包含专门的提示工程 aby 修复这些输出的程序,因此保留了Llama2作为模型不稳定性的证据,但不认为其可用于下游本体工作流程。表2总结了OS、DSP和X-HCOME中本体类的比较结果。总体而言,一次性提示和分解提示策略(OS和DSP)导致概念覆盖范围有限,这在所有评估的LLM中表现为一致的低召回率。与一次性提示相比,分解提示通常提高了精确度,但往往以识别更少类的代价为代价,表明本体生成行为更为保守。表2. 与金标准本体相比,用于本体创建的方法的比较评估。相比之下,X-HCOME方法一致地增加了识别的类数量并提高了召回率。在评估的模型中,Bard/Gemini在X-HCOME下实现了最高的类覆盖率和召回率,而ChatGPT-3.5和ChatGPT-4也显示出与其OS和DSP对应物相比的显著改进。这些结果表明,结构化的人机协作支持更广泛的概念探索和更有效的本体工程任务。就对象属性而言,所有方法的性能始终较低,F1分数在0%到12%之间。这一结果表明,LLMs在生成分类内容(类)方面比在建模关系结构方面更为成功。一个可能的解释是,对象属性需要明确识别领域-范围约束、关系方向性和上下文敏感的语义依赖性,而这些比类标签更难以从提示中推断出来。因此,自主本体构建的主要瓶颈不是概念命名,而是关系建模。对象属性的详细结果可在可用的GitHub仓库https://github.com/GiorgosBouh/Ontologies_by_LLMs中找到(访问日期:2026年4月2日)。4.2. 实验3:专家对X-HCOME结果的审查实验3通过分析自动化评估期间识别的误报来检查专家审查对X-HCOME生成本体的影响。专家重新评估后的结果见表3。表3. 专家审查误报后本体创建方法的比较评估。为了考虑知识扩展,指标被重新解释为扩展召回率和扩展F-1分数。超过100%的值表示模型产生的概念比基线参考本体(Wear4PDmove)中存在的更多。对于ChatGPT-3.5和ChatGPT-4,专家审查显著提高了精确度、召回率和F1分数,与OS和DSP方法相比。这种改进反映了领域专家能够验证和重新解释最初被归类为误报的LLM生成的实体,这些实体由于与金标准本体的严格对齐而被分类为误报。值得注意的是,Bard/Gemini在X-HCOME下经过专家审查后实现了超过100%的召回率和F1分数。这种行为是由于几个最初被归类为误报但随后被领域专家验证为具有临床相关性的LLM生成的实体被重新分类所致。因此,专家验证的真实阳性数量超过了金标准本体中相应的实体数量,导致负假阴性和召回率超过100%。重要的是,这些值不应被解释为更优的指标性能,而应被视为生成本体扩展了参考模型的概念覆盖范围。代表性示例包括手术干预、僵硬、认知障碍等类,这些类增强了本体在PD监控和警报中的适用性。这一结果突出了基于金标准评估方法在知识发现和本体扩展任务中的已知局限性。对于对象属性,专家审查也导致了显著的性能改进,LLMs的F1分数范围从6%到84%不等。由于空间限制,详细的对象属性结果提供在附带的GitHub仓库https://github.com/GiorgosBouh/Ontologies_by_LLMs中(访问日期:2026年4月2日)。4.3. 实验4:SimX-HCOME+基于本体可重用性、语法正确性、逻辑一致性和与Protégé使用Pellet推理器的兼容性对SimX-HCOME+进行了评估。ChatGPT-3.5、ChatGPT-4和Claude生成的本体在语法上有效、逻辑上一致且可重用。Gemini生成的本体虽然在Protégé中可编辑,但存在语法错误,限制了其一致性。表4展示了本体类的定量评估结果。结果显示所有评估的LLMs的表现都较为中等,Gemini实现了最高的F1分数,其次是ChatGPT-3.5。这些发现表明,模拟协作环境使LLMs能够逐步细化本体,尽管性能仍低于专家审核的X-HCOME。表4. 对PD领域SimX-HCOME+生成本体的评估指标(类)。关于自然语言到SWRL规则的转换,除了Gemini外,所有LLMs都生成了语法有效的SWRL表达式。然而,逻辑完整性仍然有限,只有一部分预期的原子被正确识别。在评估的模型中,Claude显示出相对更好的逻辑对齐性,如表5所示。最终,虽然LLMs在支持规则形式化方面显示出潜力,但可靠的NL到SWRL转换仍然是一个重大挑战。当前评估提供了生成SWRL规则的基础结构评估;然而,它不应被视为对其逻辑正确性或下游推理任务有效性的最终验证。表5. 在不同本体工程方法中的人类参与程度本研究调查的方法对应于不同级别的人机协作,形成了从以人为中心到以LLM为中心的本体工程的光谱。为了支持比较分析,人类参与的程度被映射到一个五级量表上,反映了大型语言模型(LLM)参与度的增加和直接人类干预的减少(表6)。这种划分虽然带有启发性,但能够确保在不同方法论之间结果的一致性解释。表6展示了方法论途径与人类参与程度之间的比较。图2说明了观察到的最高F1分数与人类参与程度之间的关系。那些包含更高程度专家参与的方法,特别是Expert Review X-HCOME,取得了最佳性能。SimX-HCOME+在适度人类参与下表现中等,而OS和DSP方法由于人类参与最少,因此F1分数较低。这种模式表明,在当前实验中,结构化的人类参与与本体质量之间存在实证关联,但不应将其解释为对各个协作干预的受控因果消除。
总体而言,结果表明在帕金森病(PD)领域,结构化的人类参与与本体质量之间存在正相关关系。图2显示了不同PD领域本体工程方法中观察到的最高F1分数与人类参与程度之间的关系。x轴代表评估的方法(DSP Gemini、OS ChatGPT-4、X-HCOME Bard/Gemini、Expert Review X-HCOME Bard/Gemini和SimX-HCOME+ Gemini)。左侧y轴表示F1分数,右侧y轴表示人类参与程度,范围从1(最小)到5(最大)。实验结果部分支持了第一个假设,即当提供特定领域的输入(如目标、范围、要求、能力问题和相关数据)时,LLM可以自主开发用于PD监控和警报的本体。尽管所有评估的LLM都能够生成语法正确且语义合理的本体结构,但与参考模型相比,这些本体在概念覆盖范围上存在局限。这些发现表明,虽然LLM可以启动本体开发,但单独的自主生成不足以达到复杂临床领域(如PD监控)所需的完整程度。
第二个假设认为,将人类专业知识与LLM能力结合可以提升本体质量和覆盖范围,这一假设得到了结果的强烈支持。X-HCOME方法在所有评估的LLM中一致地提高了概念覆盖范围和评估指标。这一结果凸显了结构化的人机协作的价值,其中人类专家指导范围定义、验证概念并解决LLM难以独立处理的歧义。
与第三个假设相关的结果进一步证明了专家参与的重要性。专家对X-HCOME生成本体的审查显著减少了误报,并在某些情况下验证了LLM生成但未包含在黄金标准本体中的概念。这一过程不仅改进了常规评估指标,还揭示了临床相关知识的扩展,展示了在领域专家指导下LLM对本体发展的贡献潜力。
第四个假设通过SimX-HCOME+方法得到了验证,为协作本体工程的有效性提供了额外证据。知识工作者、领域专家和知识工程师之间的模拟互动使得本体得以迭代优化,并在概念质量上实现了中等程度的提升。然而,将自然语言规则转换为SWRL表示仍然是一个具有挑战性的任务。尽管大多数LLM生成了语法正确的SWRL表达式,但逻辑完整性仍有限,表明形式化规则生成仍然是一个未解决的研究难题。
总体而言,研究结果表明,结构化的人类参与程度的提高与本体质量的提升相关,特别是在概念覆盖范围和临床相关性方面。LLM最有效的角色是在明确定义的本体工程工作流程中作为协作辅助工具,而不是取代人类专业知识。
在解释本研究的结果时,应考虑几个限制。首先,评估主要关注本体类别和对象属性,提供了结构上的比较,而不是全面的功能评估,后者还应考虑数据属性、公理以及下游任务中的推理性能。此外,持续较低的对象属性分数表明在关系级别本体建模方面存在根本性弱点,这一问题仅通过协作得到了部分缓解。其次,评估方法必须解决对单一参考本体Wear4PDmove的依赖性。虽然该模型提供了稳健的基线,但它不能代表高度复杂的帕金森病(PD)领域的全部情况。完全依赖这一黄金标准会引入方法论上的循环风险。具体来说,当LLM成功生成新颖且临床有效的领域扩展时,由于这些扩展超出了预定义的参考范围,严格的自动化比较会不公平地将它们视为误报。为了解决这一限制并防止有效知识被忽略,评估工作流程中系统地纳入了专家重新评估。专家验证成功恢复了自动化基线所拒绝的临床相关概念,证实了许多假定的错误实际上是本体的合法进化步骤。最终,这表明虽然黄金标准基准测试对于初始结构比较是必要的,但对于本体进化任务来说它是根本不够的,因为这些任务的目标是扩展知识而不仅仅是复制静态模型。
此外,协作方法依赖于人类专家的参与,这可能会引入与个人专业知识和经验相关的主观偏见,尽管它们提高了语义有效性和临床相关性。此外,尽管专家审查提高了语义有效性,但当前研究中没有测量注释者之间的形式一致性,这可能会在误报的重新评估中引入主观性。第四,没有进行正式的显著性测试,因此模型和方法之间的差异应通过描述性而非推断性方式进行解释,特别是考虑到评估的本体输出数量较少。最后,本研究中评估的LLM并不对应于撰写时最新的模型版本。虽然新模型可能表现更优,但本研究的发现旨在突出与特定模型版本无关的方法论洞察,应相应地进行解释。未来的研究可以探索所提出方法在其他医疗领域的应用,并研究将其整合到实际临床决策支持系统中的可能性。
总之,本研究探讨了大型语言模型(LLM)和人类如何合作构建帕金森病监测的知识系统。我们发现,虽然AI可以独立草拟初始框架,但在人类逐步指导下表现得更好。通过使用我们的协作方法(如X-HCOME和SimX-HCOME+),我们能够捕获更广泛的相关概念,并比完全依赖AI更高效地构建系统。然而,这项研究也指出了目前依赖AI的明显局限性。具体来说,LLM在映射复杂概念之间的关系、编写严格的逻辑规则方面仍存在困难,并且在与僵化的旧数据库进行比较时经常受到不公平的惩罚。最终,我们的发现表明,未来的发展不仅仅是构建更智能的AI,我们还需要更好的方法来评估这些模型,更明确的优秀系统标准,以及更加透明的人机协作方式。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号