基于大语言模型辅助的事件本体自动构建方法——融合语义-时序-关系聚合与层次聚类的EOAC-LLM框架

《Intelligent Systems with Applications》：EOAC-LLM: An LLM-driven event ontology automatic construction system

　　

针对传统事件本体(Event Ontology)构建过程中人工干预度高、动态适应性弱及多维语义建模不足等问题，研究人员提出了一种由大语言模型(Large Language Model, LLM)辅助的端到端自动构建方法——EOAC-LLM框架(Event Ontology Automatic Construction assisted by LLM)。该框架基于强化学习人类反馈(Reinforcement Learning from Human Feedback, RLHF)驱动的事件元素与关系抽取、语义-时序-关系(semantic-temporal-relational)三空间向量表征、动态加权特征融合、带时序与关系感知的层次聚合聚类，以及本体动态增量更新机制，实现从非结构化文本中自动抽取事件五元组(触发词Trigger、参与者Participant、时间Time、地点Location、事件关系Relation)，经向量化与融合后进行层次聚类生成OWL本体，并通过本体间隙(Ontology Gap)识别与LLM初审+人工复核完成增量更新。实验采用ACE 2005标准数据集与应急处突/公安真实场景语料，结果表明该方法在事件元素抽取F1值(90.4%)、关系抽取F1值(88.2%)、轮廓系数(Silhouette Coefficient, SC=0.82)及戴维斯-布尔丁指数(Davies–Bouldin Index, DBI=0.45)上均优于传统规则、机器学习、深度学习及普通LLM基线方法，所构建本体的逻辑一致性、领域适应性与推理有效性亦获提升，验证了框架在降低人工成本与提升本体质量方面的有效性。

论文解读：基于LLM辅助的事件本体自动构建方法(EOAC-LLM)研究综述

一、研究背景与开展的研究

传统事件本体(Event Ontology)构建依赖大量专家手工定义类层次结构与事件关系标注，存在三大瓶颈：(1)人工成本高且难以适应新领域；(2)对事件间时序(temporal)约束与因果(causal)关联等多维特征建模不足；(3)缺乏对新事件的动态增量更新能力，导致本体滞后于现实语义演化。现有基于规则、机器学习及深度学习方法在低资源场景下泛化差，通用大语言模型(LLM)虽具语义理解力但在事件关系完整性、时序一致性及结构化输出控制上仍有欠缺。

为此，Lu Zhenhai(卢振海)、Yang Jungang(杨俊刚)、Guo Chang(郭畅)、Zhang Chao(张超)、Li Yao(李尧)在《Intelligent Systems with Applications》发表研究，提出EOAC-LLM(Event Ontology Automatic Construction assisted by Large Language Model)端到端框架，通过RLHF微调事件关系抽取、语义-时序-关系三空间向量表征、动态加权融合(dynamic weighted fusion)与带DTW/KL散度增强的层次凝聚聚类(hierarchical agglomerative clustering)、LLM驱动的类命名及OWL本体映射、本体间隙识别(ontology gap identification)与增量更新，实现事件本体的全自动构建与演进。研究结论表明该框架显著降低了人工参与、提升了抽取准确率与聚类层次合理性，所生成本体符合RDF/OWL规范并具备领域可扩展性。

二、主要关键技术方法

研究人员选用ACE 2005标准语料与应急处突/公安领域真实文本为样本队列；采用RLHF(Reinforcement Learning from Human Feedback)微调LLM(DeepSeek-Chat等)进行事件元素(触发词、参与者、时间、地点)及六类事件关系(因果causal、时序sequential、关联associative、包含inclusive、相似similar、对比contrastive)的指令微调(Instruction Fine-Tuning)抽取，设置temperature=0.7并做反向因果环检测与置信度冲突消解；将事件分别编码为语义向量S(e_i)=Embedding(Concat(Trigger_i, Content(e_i), Concat(P_i)))、时间戳+粒度编码的时序向量T(e_i)、基于关系OneHot与关联事件平均语义向量的关系向量R(e_i)，三者经L2归一化；按语义相似度Sim(e_i,e_j)动态调节时序与关系权重(初始ω_S⁰=0.7, ω_T⁰=ω_R⁰=0.15, ω_max=0.2)，生成融合向量F(e_i)=ω_S·S_norm+ω_T·T_norm+ω_R·R_norm)；以融合向量中心距余弦相似度Sim_vec、基于动态时间规整(Dynamic Time Warping, DTW)的时序一致性得分Sim_temp、基于关系类型分布KL散度的关系一致性得分Sim_rel构造增强相似度Sim_enhanced，按层次深度自适应加权进行自底向上凝聚合并(停止阈值δ=0.65或簇数≥3)；LLM生成集群自然语言类名，映射为OWL类(Class)、个体(Individual)与对象属性(Object Property, 含hasCause/hasSequence/hasInclusion/hasAssociation/hasSimilarity)输出Turtle/OWL XML；通过新事件与现有类中心最大余弦相似度低于自校准阈值δ(取既有类中心两两相似度30百分位)触发本体间隙识别，经AI Agent补充数据、增量再聚类、LLM初步调整+领域专家审核后更新本体。

三、研究结果

3.1 事件元素与事件关系抽取验证(RLHF方法比较)：

基于ACE 2005数据集对比CRF+SVM、BERT+BiLSTM、LLM单模块与EOAC-LLM。结果显示EOAC-LLM的实体抽取精确率CA=92.3%、召回率RC=88.5%、F1=90.4%；关系抽取精确率RA=90.1%、召回率RR=86.3%、F1=88.2%，均显著高于各基线。说明RLHF驱动的事件类型提示微调与专家反馈迭代校正有效解决了通用LLM关系漏抽及传统方法域适应差的问题，尤其提升了对隐式因果关系与低频事件类型的识别能力。

3.2 语义-时序-关系聚合聚类有效性验证：

对比欧氏距离聚类、K-Means(K=标准事件类数)、固定权重融合层次聚类与所提动态加权聚类。所提方法轮廓系数SC=0.82(最高)，戴维斯-布尔丁指数DBI=0.45(最低)，树互信息(Tree Mutual Information, TMI)亦较优。表明动态加权使语义主导、近距事件辅以时序-关系区分，DTW捕捉非刚性时序模式、KL散度衡量关系分布相似性，层次深度自适应加权令深层聚类更重时序-关系共性，从而获得更符合领域语义粒度的事件类层次。

3.3 本体主观质量综合验证：

由DeepSeek、Doubao(豆包)、ERNIE Bot分别基于框架构建应急救灾难例本体，按清晰度(Clarity S₁)、逻辑一致性(Logical Consistency S₂)、可扩展性(Scalability S₃)、领域适应性(Domain Adaptability S₄)、简洁性(Conciseness S₅)、可复用性(Reusability S₆)、本体完备性(Ontology Completeness S₇)、推理有效性(Reasoning Effectiveness S₈)八项指标LLM评分加权汇总(Q_Ontology=Σw_iS_i, w₂=0.20最大)。DeepSeek构建本体总分最高(92.8)，在S₁(94.5)、S₂(96.2)、S₈(95.8)表现突出；Doubao在S₅(92.1)、S₇(91.0)占优但域适应偏弱；ERNIE Bot域适应S₄(93.7)最强但复用性略低。失败案例分析显示主要误分为近义事件子类型混淆、低频事件漏识及层级归属错误，关系失效多见于隐式因果缺失与时序颠倒，RLHF已部分缓解但仍受长文本隐关系推理限制。

四、讨论与结论总结

讨论指出框架在应急灾害(时序与因果明确)领域效果良好，但对模糊领域(时序稀疏、因果歧义、边界不清)泛化受限，未来拟通过域自适应权重校准、语义相似度补偿聚类及时序插值、跨域数据集与定制提示优化复杂域适用性；多LLM融合策略(DeepSeek控结构逻辑、Doubao保简洁、ERNIE Bot提域适应)可作后续改进方向。

结论(翻译浓缩)：

为解决传统事件本体构建中人工干预度高、动态适应性弱及多维语义建模不充分等关键挑战，研究人员提出一种LLM辅助自动生成方法——EOAC-LLM框架，通过六核心模块实现端到端闭环自动化。技术上，定制提示微调(Instruction Fine-Tuning)增强LLM域理解与抽取精度；深层语义表征模块生成融语义-时序-关系特征的高维向量，结合动态加权融合与层次聚类精确构建类-子类-实例体系并保证类间语义边界合理；本体间隙识别与增量更新机制通过缺失项检测适应新域信息。特定域数据集实验证实该方法实现全自动化、降低人工成本、较传统半自动方法提升构建效率，且保障本体准确性与时效性，为复杂域事件本体提供语义级解决方案。