TechNowNet：基于跨领域嵌入融合的当代多领域知识语义网络

《ADVANCED ENGINEERING INFORMATICS》：TechNowNet: A contemporary multi-domain knowledge semantic network through cross-domain embedding fusion

　　

•提出了 TechNowNet，一种用于当代技术的多领域语义网络。
•应用扩展 OPA 来对齐来自科学、专利和新闻的嵌入。
•集成了 1770 万术语以确保高可扩展性和时代性。
•在技术术语相关性方面比现有最佳（SOTA）模型高出 7 个百分点的准确率。
•在保持跨领域一致性的同时保留了领域特定语义。

引言
科学知识——作为理论理解的探索——一直通过学术论文领域进行传播。特别是，Jiang 和 Chen [1] 声称，预印本、电子期刊或数字图书馆等知识网络基础设施的出现，不仅促使了传播科学知识的领域多样化并使其活跃，还推动了科学知识向社会和经济价值的转化。换句话说，学术论文被认为是向社会各界和经济领域传播科学知识的重要领域。然而，自近期疫情以来，新闻规范和实践的范式已经发生变化 [2]。当时，预印本等网络基础设施充当了科学与技术融合的媒介 [3], [4]。与此同时，Kong 等人 [5] 强调了涉及不同领域各种来源的领域知识融合的重要性，因为随着科学技术的进步，问题的复杂性也在增加。应考虑各种领域来融合和传播科学技术知识，以解决问题并创造实用价值 [6]。

科学与技术在社会的各个方面（包括政策、经济和文化）都紧密相连 [7]。然而，随着科学、技术和市场之间的界限变得越来越模糊，知识生成和传播的路径也变得更加复杂 [8], [9]。在此背景下，Torres-Salinas 等人 [10] 强调，科学技术（S&T）知识应跨越非学术领域，在假设多重性的前提下进行创建和传播。除学术论文外，还应积极纳入专利和市场与社会数据等来源，使 S&T 知识跨越多个领域进行融合。此类尝试可以通过融合或重组领域特定知识与先前截然不同的现有知识，生成新的知识形式 [11], [12], [13]。此外，它们可以通过基于现有知识快速识别解决方案来降低社会成本 [14]。

因此，科学与技术融合为 S&T 知识可以被视为领域间复杂相互作用的结果。首先，学术论文与专利的融合说明了科学知识转化为技术创新的过程。Kong 等人 [5] 和 Chen 等人 [15] 发现，学术论文中产生的知识往往被专利所吸收。他们强调，研究人员产生的知识不仅仅是学术扩展，而且正在成为一种超越技术发展的产业创新。这些研究表明，科学与技术是在协同进化关系中不断演进的，而不是作为独立的实体。

最近，S&T 知识通过社交媒体进行传播。Fleerackers 等人 [2] 和 Wang 等人 [16] 解释说，随着研究结果甚至在经过学术审查之前就被披露给公众和媒体，S&T 知识的传播结构已经发生了变化。这些发现表明，社交媒体等非学术领域对 S&T 知识的初步传播和产业应用都有贡献。最近，结合专利和社交媒体的 S&T 知识被提出作为解决社会问题的方案。Lee 等人 [14] 指出，技术方案和社会问题可以与专利和社交媒体相关联。换句话说，社交媒体充当了连接 S&T 知识与社会价值的渠道。

传统的学术论文、专利和社交媒体各自体现了 S&T 知识生成和传播的方式，但主要局限于特定领域。然而，最近的 S&T 知识生态系统正通过科学、技术和社会进行协同进化 [2], [5], [14], [15], [16]。科学知识通过技术创新得以实施，结果通过社交媒体传播到社会。随后，社会感知和回应推动了新科学技术的需求。最近，S&T 知识通过一个包含生成、应用和认知的循环结构进行融合和传播。为了反映这种结构复杂性，本研究提出了 TechNowNet，这是一种跨领域嵌入融合算法，用于整合嵌入在科学、技术和市场与社会中的多领域 S&T 知识。TechNowNet 类似于 WordNet [17], [18] 或 ConceptNet [19], [20], [21], [22] 的语义网络，有助于将分散在科学、技术和社会中的 S&T 知识整合到一个单一的语义系统中。此外，它还反映了当代 S&T 知识，例如人工智能（AI）和量子计算，这些知识极大地推动了技术领域的发展。

TechNowNet 可以扩展先前融合的多领域知识。现有方法往往局限于特定领域或行业，随着技术的演变，融合的多领域知识的时代性可能会迅速减弱。TechNowNet 通过提供一个通用的语义网络来解决这一差距，该网络全面代表了跨越科学、技术和社会的更广泛的 S&T 知识生态系统。特别是，TechNowNet 基于模块化融合方法，对齐和整合独立构建的知识表示，而不是从单一统一的知识源学习。这种结构使整体语义网络即使在新领域出现或现有数据更新时也能保持可扩展性和时代相关性。因此，尽管此前已有多领域融合尝试的报道，但 TechNowNet 的不同之处在于它针对更广泛的 S&T 知识生态系统，并持续反映当代知识和跨领域知识互动的变化。

TechNowNet 的贡献如下：
•S&T 知识覆盖：通过多领域融合涵盖科学、技术和市场与社会的互补知识；
•领域间语义一致性：保持领域特定知识和现有知识的特性，并通过整合分散在不同领域的 S&T 语义系统确保语义一致性；
•时代性：利用当代科学（学术论文）、技术（专利）和市场与社会来源（新闻）来检测以前所未有的速度推进的 S&T 知识。

TechNowNet 提供了一个理解当代知识生态系统的机会，通过将先前分离的 S&T 知识整合到一个包含科学、技术和市场与社会领域的单一语义系统中。

本文其余部分组织如下：第 2 节概述了与本研究相关的研究和理论基础。第 3 节描述了所提出的方法。第 4 节展示了实验结果，第 5 节讨论了 TechNowNet 的有效性和意义。最后，第 6 节总结了主要发现并概述了未来研究方向，以结束本文。

章节片段
多领域技术语义网络
语义网络是一种知识结构化方法，通过它可以推断语言关系和概念间的连接。WordNet 是最常用的语义网络之一，它捕获了几类关系，如同义词集、上位关系、部分关系和反义词关系，这些关系代表了术语之间的认知同义词集 [17], [18]。Bollacker 等人 [23] 提出了 Freebase，这是一个结合了开源之间的语言结构关系的语义网络

数据获取与预处理
先前的研究要么 (i) 专注于特定行业或技术导向领域，要么 (ii) 报告了同时融合两个或更多异构嵌入空间的挑战，要么 (iii) 未能捕捉到最近的 S&T 特征。因此，本研究提出了 TechNowNet。
图 1 说明了 TechNowNet 的整体工作流程。首先，TechNowNet 获取科学、技术和市场与社会数据。提取最新数据以保持领域的时代性。

实验设置
TechNowNet 的目标是融合分散在多领域的 S&T 知识。因此，分别使用 Scopus、PATSTAT 和 NewsCatcher 从科学、技术和市场与社会领域提取数据。我们提取了 2019 年至 2023 年期间的文档以确保时代性。随后，经过预处理后获得了 17,754,377 个术语。
表 1 展示了从每个领域提取的术语数量。在单一领域层面，术语数量为

融合有效性：从理论到实证
TechNowNet 通过将对不同领域 S&T 知识独立训练的嵌入模型对齐到共享的语义空间，从而实现多领域知识融合。与以前的模型不同，TechNowNet 保留了分散在多个领域的知识，并在理论上促进了两个或更多领域的融合。特别是，TechNowNet 通过将多领域知识放置到以共享术语为中心的统一语义空间中，克服了领域异质性，这些共享术语代表了共同

结论
本研究提出了 TechNowNet，这是一种多领域语义网络，旨在全面捕捉在快速演变的技术格局中跨越科学、技术和市场与社会领域生成和传播的 S&T 知识。为了解决传统语义网络的局限性（这些网络依赖于单一领域和受时间限制的数据，因此无法捕捉最近的技术趋势），本研究尝试融合来自科学、技术和

作者贡献
Juhyun Lee 实现了框架，合著了草稿并修改了手稿。Jitaek Lim 合著了草稿并审阅了手稿。Heyoung Yang 设计了框架，合著了草稿并修改了手稿。所有作者均已阅读并同意发表版本的手稿。

CRediT 作者贡献声明
Juhyun Lee：撰写 – 原始草稿，可视化，软件，方法论，概念化。Jitaek Lim：撰写 – 审阅与编辑，可视化，验证，方法论。Heyoung Yang：撰写 – 审阅与编辑，验证，项目管理，方法论，概念化。

利益冲突声明
作者声明，他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢
本研究由韩国科学技术信息研究所（KISTI）支持。（编号：K25L4M2C4）

Juhyun Lee|Jitaek Lim|Heyoung Yang