《Buildings》：Knowledge Representation Method for Grotto Buddhist Niches Based on Image Semantics and Ontology
编辑推荐：
石窟佛龛（Grotto Buddhist Niches）是佛教石窟艺术的重要空间载体，蕴含着丰富的建筑、艺术和历史信息。然而，这些佛龛的图像数据在视觉特征、文化语义和空间结构等多个尺度上呈碎片化分布，严重阻碍了跨尺度的关联分析。为解决这一问题，研究人员提出了一
石窟佛龛（Grotto Buddhist Niches）是佛教石窟艺术的重要空间载体，蕴含着丰富的建筑、艺术和历史信息。然而，这些佛龛的图像数据在视觉特征、文化语义和空间结构等多个尺度上呈碎片化分布，严重阻碍了跨尺度的关联分析。为解决这一问题，研究人员提出了一种基于图像语义和本体的多尺度知识表示方法。具体而言，研究人员建立了包含视觉特征层、图像数据层、实体层、文化语义层和关系层的五层语义描述模型，并利用Protégé软件和经典七步法开发了石窟佛龛本体（Grotto Buddhist Niche Ontology, GBNOnto），以实现多尺度信息的统一语义建模。在此基础上，研究人员构建了以洞窟图像为中心的知识图谱，并选取云冈石窟第38窟等典型洞窟作为案例研究。该图谱包含892个实体节点和2621条语义关系，有效捕捉了所选佛龛实例中建筑类型、艺术特征和文化语义之间的复杂关联。该方法实现了石窟佛龛图像多尺度信息的结构化与关联化整合，为有效管理、知识检索和语义推理提供了基础数据基础设施和建模框架。
佛教石窟中的佛龛是石窟建筑的重要空间组成部分，以小型附属窟室的形式存在，包含建筑类型、空间布局、结构构件、装饰纹样和装饰艺术等丰富的历史信息。随着佛教的发展，佛龛逐渐成为石窟的视觉焦点和洞窟艺术的核心体现，是佛教建筑艺术和空间组织的关键实物证据。数字保护技术的全球推进加速了石窟寺遗产的记录与保存，产生了大量文本和图像数据，这些数据具有重要的文化和学术价值。相较于纯文本，图像能够更生动地刻画佛龛特征并激发公众兴趣，且图像与文本信息之间存在复杂的关联关系，为研究人员和公众提供了直接的视觉解读基础。然而，当前与佛龛中佛教造像相关的研究和应用面临显著挑战：这些图像和文本往往以碎片化方式存储，缺乏统一的组织管理框架，难以实现有效整合；此外，佛龛图像所包含的信息维度复杂，既包括低层视觉属性（如颜色和纹理），也包括高层语义信息，如佛龛类型学、装饰图案、图像志主题、雕刻技法、艺术风格和空间布局等。这些视觉和语义线索最终指向现实世界中的物理空间实体，信息元素之间存在错综复杂的逻辑关联，而传统的基于文本或图像的档案方法难以对其进行系统化管理。低层视觉特征与高层领域知识之间的"语义鸿沟"以及图像内容与空间表现之间的脱节，限制了此类图像在数字保护、学术研究和知识传播中的价值。因此，亟需对这些图像进行知识组织与表示。
语义描述为图像知识的系统化组织与表示提供了基础。相关研究从早期的通用层次模型发展到针对文化遗产对象的领域特定框架，如敦煌壁画和唐卡绘画的研究，这些研究将视觉特征映射到高层领域知识，实现了从数据驱动到语义驱动的转变，从而能够对复杂视觉实体进行精细化管理和知识表示。然而，现有模型在应用于石窟佛龛时存在局限性：首先，佛龛具有空间属性和层次结构，当前以图像为中心的描述系统难以捕捉；其次，大多数研究主要关注图像-文本关联，缺乏整合图像语义、文本描述和空间结构的统一建模框架，导致多尺度信息在表示层面的碎片化。
知识图谱和基于本体的方法为应对这些挑战提供了有前景的框架。知识图谱采用节点-边结构表示领域实体及其关系，为复杂语义关系的组织和推理提供强有力支持；本体作为特定领域的共享概念模型，超越了图像层面的语义描述，通过建立客观的概念体系，促进不同描述标准之间的语义互操作性，并支持异构信息的整合。在文化遗产图像知识领域，许多研究人员采用本体作为知识图谱的知识框架以确保语义一致性。CIDOC概念参考模型（CIDOC Conceptual Reference Model, CIDOC CRM）是文化遗产领域广泛采用的通用参考模型，已被广泛应用于异构文化遗产资源的整合与管理。在此基础上，研究人员进一步开发了面向特定类型文化遗产图像的领域本体，包括中国古代地图知识、文物图像、历史地图、艺术图像和文艺复兴视觉表现等领域的本体，这些研究展示了基于本体的方法在文化遗产图像知识语义组织和检索方面的有效性。然而，现有文化遗产本体主要关注遗产对象、事件、行为者、地点和文献信息的表示，对于石窟佛龛图像的细粒度语义表示能力有限，特别是在佛龛形态、雕塑构图、图像志元素、空间结构和文化象征意义等方面，现有通用本体框架无法充分表示石窟佛龛图像复杂的视觉、空间和语义特征。
为填补石窟佛龛图像细粒度语义表示的空白，本研究提出了一种基于图像语义描述和领域本体建模的多尺度知识表示方法。现有通用文化遗产本体如CIDOC CRM为表示遗产对象、事件、行为者、地点和文献信息提供了有效框架，但对于石窟佛龛图像至关重要的佛龛形态、雕塑构图、图像志元素、空间结构和文化语义关联等细粒度表示支持有限。本研究在五层语义描述框架基础上，开发了专门面向佛龛图像的领域本体——石窟佛龛本体（GBNOnto），将佛龛形式、雕塑构件、图像志主题、空间关系和文化语义关联系统组织为进一步研究方向纳入概念体系中。通过整合视觉信息、文化知识和空间实体，该本体支持石窟遗产研究的语义查询、知识推理和知识图谱构建。
研究人员建立了一个可复用的知识表示框架，为弥合石窟佛龛图像低层视觉特征与高层领域语义之间的语义鸿沟，提出了一种整合视觉、空间和语义维度的多尺度描述模型，实现了从图像特征到文化知识、从显式数据到隐含意义的系统表示。在概念建模范式方面，研究人员采用Protégé软件和标准七步本体工程方法，遵循CIDOC CRM等国际标准，构建了名为GBNOnto的领域本体，形式化了佛龛类型学、图像志主题、空间配置等维度的核心概念和逻辑关系，该建模方法可为壁画、古代建筑等其他文化遗产类型的数字知识建模提供参考。在应用导向的知识图谱方面，基于上述模型，研究人员构建了云冈石窟佛龛图像的知识图谱，将分散的图像资源、文献记录、空间结构和语义知识整合为结构化的网络，提高了文化遗产信息的标准化和互操作性，为智能检索、深度语义发现和可视化知识探索提供了新途径。
在技术方法层面，研究人员首先建立了五层语义描述层次模型，遵循"自下而上、由显到隐"的逻辑，形式化表示为五元组结构，对应视觉特征、图像数据、实体对象、文化语义和关联关系五个层次。视觉特征层作为GBNOnto多尺度语义框架的基础层，直接从图像数据中提取低层视觉特征，主要包括外观特征（如颜色和纹理）、几何特征（如形状、轮廓和边缘）以及局部结构特征（如关键点和特征区域），为后续的实体识别、语义解释和知识表示提供基础数据；图像数据层使用元数据标准规范图像描述，构建统一的数字对象表示，包括图像标题、数据格式、分辨率、采集时间、洞窟标识符等信息；实体对象层将图像中的视觉信息映射到具有清晰语义边界的实体对象，如佛龛本体、龛楣、主尊佛像、装饰纹样和结构构件等，实现从低层视觉特征到高层语义对象的转换；文化语义层运用领域知识对实体对象进行类型学分类，赋予其历史和美术史意义，包括图像志主题、艺术风格、雕刻技法和宗教背景等；关联关系层运用多种关系类型将前序层次的实体和语义关联起来，形成完整的知识网络，包括空间关系、时间关系和语义关系。
在本体设计方面，研究人员采用斯坦福大学提出的七步法这一领域无关的通用方法。在确定领域和范围阶段，明确GBNOnto的域涵盖图像数据和实体对象信息，目标是为知识图谱构建提供结构化的知识表示框架。在复用现有本体阶段，优先复用和引用已建立的成熟本体和标准：采用CIDOC CRM中的E22人工制品作为石窟佛龛及其关联物理实体的实体类型；将数字图像实例化为E38图像，并通过P62描绘等对象属性与识别为E90符号对象的图像中特定视觉元素相连，再通过P138代表等属性将这些符号对象与所指示的现实世界物理实体或抽象概念相连；采用GeoSPARQL扩展中的geo:SpatialObject类描述具有空间表征的实体，将E22人工制品与geo:SpatialObject视为等价类；使用FOAF本体中的foaf:Agent、foaf:Person和foaf:Group描述图像中的社会实体；采用DCMI元数据术语标准中的核心术语确保图像元数据的标准化和互操作性。
在细粒度语义关系建模方面，研究人员从三个维度定义了丰富的对象属性：空间关系包括图像空间关系（单个图像内实体间的空间关系）和场景空间关系（跨图像尺度描述佛龛在洞窟壁面和洞室空间单元中的布局关系），具体通过拓扑关系、相对位置关系和壁面-佛龛关系来描述；时间关系分为定量时间（关注图像数据获取和生成时间、有确切年代记录的开凿时期等数值化精确表达）和定性时间（表达佛龛图像中实体对象之间的时间关系，如佛龛开凿的先后顺序）；语义关系包括层次关系（概念间的超类-子类关系，通过OWL的subClassOf属性表示）、属性关系（描述对象自身固性的特征信息）、整体-部分关系（表达佛龛的结构组成）、实例关系（将抽象概念连接到具体对象）和逻辑关系（反映对象间的因果、功能或象征联系）。
在知识获取方面，研究人员采用经过微调的通用信息抽取（Universal Information Extraction, UIE）预训练模型，从石窟相关文本源中自动生成候选实体和关系，包括考古报告、云冈石窟佛龛描述性注释和图像志记录，识别佛龛类型、造像和装饰图案等关键实体类型。通过命名实体识别获得候选实体后，UIE模型生成候选三元组，如<佛龛类型，属于，圆拱龛>、<主尊佛像，表现为，交脚弥勒菩萨>、<装饰纹样，象征，莲花>等。知识抽取还包括提取描述佛龛及相关实体具体特征的属性。自动抽取阶段后，所有候选实体、关系和属性均经过云冈石窟研究院领域专家指导下的彻底人工校验和修正，确保知识图谱的准确性和精确性，并将校验后的实体和关系归一化到GBNOnto模式层。
在实体对齐方面，研究人员通过实体消歧和属性融合进行知识抽取结果的整合对齐。实体消歧处理不同来源的不同名称是否指代同一现实世界对象的问题，如"释迦牟尼与多宝佛二佛"、"二佛造像"和"二佛并坐"统一标注为标准名称"二佛并坐"；同时为每个实体分配唯一标识符以避免混淆，如将第38窟北壁圆拱龛命名为"YG-38-BB-YGK-01"、东壁圆拱龛命名为"YG-38-DB-YGK-01"。属性融合处理属性名称不一致和度量单位不统一的问题。
在知识存储方面，研究人员选用Neo4j图数据库进行知识三元组的存储和管理，具体通过将提取的实体和属性组织为CSV文件，使用LOAD CSV命令导入数据，并基于知识三元组中的实体和关系信息应用MERGE语句创建或匹配目标节点并构建关系。
在研究成果方面，研究人员以云冈石窟为研究对象，该石窟位于山西省大同市武周山南麓，开凿于北魏时期，拥有超过1500年历史，2001年被列入联合国教科文组织《世界遗产名录》。石窟中约有1100余个各类佛龛，研究人员通过现场摄影、图像集和公开数字档案获取佛龛图像，并从《云冈石窟词典》《云冈石窟的营造》《北朝晚期石窟寺研究》等权威来源获取相应文本描述。
研究人员使用Protégé 5.5.0平台构建的石窟佛龛领域本体模型采用网络本体语言（Web Ontology Language, OWL）统一表达，包含9个一级类、32个二级类、47个对象属性和25个数据属性。通过HermiT推理器进行描述逻辑推理检查，验证类可满足性、属性一致性、域和范围定义以及类层次的逻辑连贯性，最终未检测到不一致或不可满足的类，表明本体结构在当前约束下逻辑自洽。
构建的云冈石窟佛龛图像知识图谱共包含20个类，涵盖位置、石窟寺、洞窟、佛龛、类型学、结构构件、主尊佛像、胁侍像、题记、台座和装饰纹样等领域元素。核心"佛龛"类包含11个实体，每个佛龛实体由名称、标识符、位置、类型学和空间层次六个核心属性描述。"主尊佛像"类包含14个实体，每个造像实体由高度、肩宽、身体姿态、发型、面部表情、手印、服饰、装饰物和保存状况等属性描述，全面捕捉造像的形态特征和保存状态。知识图谱共包含892个实体节点和2621条语义关系。研究人员还对文本描述中隐含或缺失的空间拓扑关系进行了人工补全，如根据石窟建筑常识和相应图像补充龛楣与龛柱的相邻关系，约13%的关系为人工构建，所有人工添加的关系均明确标注并与自动抽取的关系区分，每个手工注释均系统记录了三元组、依据和证据来源。
在知识检索应用验证中，研究人员以云冈石窟第38窟为案例，使用Cypher查询语句从实体对象出发遍历其下属佛龛和造像构成元素，实现图像级实体的全局检索，检索结果揭示了洞窟内佛龛、主尊佛像、胁侍人物和装饰元素等实体的层次结构及详细属性信息，为研究人员提供全面的视觉和文化语义参考。在空间关系检索中，通过Cypher查询检索佛龛结构构件、主尊佛像和胁侍人物之间的空间关系，验证了知识图谱在表示实体空间关系方面的有效性。
在讨论部分，研究人员指出该研究在方法论和应用层面均具有重要意义。在方法论层面，五层语义描述模型有效提升了石窟佛龛图像信息表示的粒度和语义深度，不仅捕捉佛龛的外部形态、结构特征和组成部分，还将其与历史背景、图像志主题、空间位置和文化属性相链接，实现从"可见信息"到"可解释知识"的转化，但语义描述过程仍在一定程度上依赖人工标注和领域知识积累，自动化水平有待提升。在本体构建方面，采用七步法开发的GBNOnto本体有效减少了不同数据源术语、层次结构和语义表达的不一致性，特别是在处理佛龛与洞窟、部分与整体、图像对象与文化实体之间的映射关系时提供了必要的语义约束，但在复杂场景下，知识抽取、实体对齐和关系识别仍可能受到术语歧义、语义不完整和图像质量变化的影响。知识图谱的构建进一步验证了该方法的可行性，表明石窟佛龛图像并非孤立的视觉对象，而是与建筑空间、图像内容、艺术风格和历史-文化语境紧密关联的复合知识单元，但该研究主要基于单一洞窟，领域本体和知识图谱的泛化性仍需在更多洞窟和不同石窟寺建筑群中检验。
研究结论指出，该研究通过提出融合图像语义描述和领域本体的多尺度知识表示方法，满足了石窟佛龛的结构化知识需求。通过构建GBNOntuche领域本体模型，形式化了与佛龛类型学、图像志主题、装饰纹样和时代序列相关的概念体系和逻辑关系。在此基础上进一步构建的知识图谱，实现了佛龛图像从视觉特征到文化语义的系统表示和跨层次关联。以云冈石窟第38窟为案例的验证结果表明，所提方法支持面向文化内涵的语义查询和知识组织，为石窟佛龛图像的深入解读和知识服务提供了有效路径。未来研究方向包括：一是通过纳入更多不同地区和历史时期的石窟遗产数据（如龙门石窟和莫高窟等代表性中国石窟遗址），进一步完善GBNOnto的概念体系和层次结构，建立中国石窟遗产标准化词汇表或词典，以支持实体名称、属性值和领域术语的统一；二是重点提高知识抽取和知识图谱构建的自动化水平，引入自动化知识抽取方法、语义规则定义和智能标注技术，在保持知识质量的同时减少人工干预，推动石窟遗产知识管理向更高效率、更高精度和更强自动化方向发展。
