面向新兴技术主题识别的多源数据融合框架：整合出版物、专利与GitHub开源数据

《Systems》：A Multi-Source Data Fusion Framework for Emerging Technology Topic Identification: Integrating Publications, Patents, and GitHub Open-Source Data

　　

新兴技术主题识别是科技情报领域的一项重要研究任务。为实现对新兴技术主题更加全面的识别，本研究提出了一种多源数据融合框架，整合三类数据源：学术出版物、专利数据和来自GitHub开源平台的数据。此外，从增长性、新颖性、连续性、影响力四个维度构建了评价指标体系。在识别过程中，采用BERTopic主题建模方法揭示数据中的潜在主题，同时应用熵权法进行客观赋权，最终实现对新兴技术主题的识别。结果表明，识别出的新兴技术主题包括但不限于大语言模型（LLM）驱动的智能交互、具身智能感知、上下文记忆管理和多模态生成。在各类数据源中，GitHub数据提供了更早的技术演化信号。将开源平台数据纳入该框架可有效缓解传统数据源存在的滞后问题。所提出的框架为新兴技术主题识别提供了更为全面的研究视角。

多源数据融合在新兴技术识别中的应用——基于《Systems》论文的解读

新兴技术主题识别是科技情报领域的重要研究任务，旨在从海量科技信息中发现具有发展潜力的技术领域。全球技术迭代不断加速，新兴技术持续涌现并深度改变社会经济结构与生活方式。传统研究主要依赖学术出版物或专利，但新兴技术发展具有不确定性和模糊性，且创新活动日益呈现跨学科融合与多主体参与特征，单一信息源难以全面反映其发展轨迹。多源数据融合虽已成为该领域趋势，但既有研究较少关注开放平台数据。GitHub作为全球最大的开源项目托管平台，许多人工智能领域的技术原型在论文或专利发表之前便以开源项目形式发布和迭代，因此引入GitHub数据有望捕获传统数据源难以察觉的早期信号。然而，GitHub数据如何与学术出版物、专利互补，以及其具体贡献仍不清楚。为此，研究人员构建了整合三类数据源的多源数据融合框架，并在AI Agents（人工智能代理）领域开展实证研究，以回答三个问题：如何有效融合异构数据源、能识别出哪些新兴技术主题、GitHub数据能提供哪些额外技术洞察。

研究人员以AI Agents为实证对象，数据检索期为2016年1月1日至2025年12月31日。经过预处理，最终保留15,028条记录。该框架采用BERTopic模型提取潜在主题，从增长性、新颖性、连续性、影响力四个维度构建评价指标，利用熵权法客观赋权，并经Jenks自然断点法确定阈值，最终识别出7个新兴技术主题。研究发现，GitHub数据能够提供比学术出版物和专利更早的技术演化信号，有效缓解传统数据源的滞后问题。该框架为新兴技术主题识别提供了更全面的系统视角，论文发表于《Systems》。

研究人员使用的主要技术方法包括：数据来源为Web of Science学术出版物、Patsnap专利数据以及通过GitHub REST API获取的开源项目，GitHub项目以100星阈值筛选并经过人工相关性验证；主题建模采用BERTopic，内部使用UMAP（Uniform Manifold Approximation and Projection，均匀流形近似与投影）降维、HDBSCAN（Hierarchical Density-Based Spatial Clustering of Applications with Noise，基于密度的层次聚类）聚类并基于c-TF-IDF（class-based Term Frequency-Inverse Document Frequency，基于类别的词频-逆文档频率）生成主题表示，再经层次聚类合并得到潜在主题；主题评估从增长性、新颖性、连续性、影响力四个维度展开，其中影响力对论文和专利采用引文数，对GitHub项目采用星标数，并在各数据源内先进行归一化；指标权重由熵权法确定，综合得分通过Jenks自然断点法划分阈值。此外，设计了移除GitHub数据的消融实验以评估其对识别结果的贡献。

在潜在技术主题识别方面，研究人员将预处理后的多源数据输入BERTopic模型，初始识别出82个主题；通过层次聚类并依据主题关键词、代表文档和AI Agent领域知识进行人工合并，最终得到22个潜在技术主题，覆盖大语言模型驱动的对话Agent（智能体）、多智能体协作、具身感知、信息抽取、代码生成等方向。

在新兴技术主题识别方面，研究人员对22个主题计算四维指标并采用熵权法赋权，所得权重分别为增长性0.3207、新颖性0.1329、连续性0.3194、影响力0.2271。基于综合得分和Jenks断点0.539087，选出8个候选主题，其中Topic3虽综合得分较高但新颖性得分仅0.260，显著低于其他候选主题，予以排除。最终保留的7个新兴技术主题包括：对话Agent与检索增强生成（Retrieval-Augmented Generation，RAG）技术、具身Agent视觉感知技术、模型上下文协议与记忆管理、生成式图像模型与扩散模型、非结构化信息抽取技术、音视频语音交互与实时转录、基于大语言模型的代码生成与提示工程优化。

在新兴技术主题的时间演化分析方面，研究人员通过主题相关文档的年份与数据来源分布热力图发现，7个新兴主题在2022年后均呈上升趋势，且GitHub数据的增长早于学术出版物和专利。影响力贡献分解结果显示，GitHub对七个主题的影响力贡献约占88%–94%，表明开源项目是AI Agent领域技术影响和社区关注的重要载体，且这一结果源于各数据源内部归一化，而非量纲差异导致。

在消融实验方面，仅使用学术出版物和专利的双源模型识别出11个潜在主题，最终得到4个新兴技术主题。对比发现，对话Agent与检索增强生成主题在双源框架中已能被识别，但具身Agent视觉感知、模型上下文协议与记忆管理、非结构化信息抽取等主题在双源框架中缺失或未达阈值，而这些主题主要由开源社区和工程实践驱动。同时，双源框架识别出的AI Agent安全漏洞检测与防御、区块链赋能的智能Agent、基于知识图谱的Agent推理等主题未进入三源框架的新兴集合，因为这些方向已有较长发展历史、相对成熟。消融实验证明，GitHub数据能够捕获工程导向且快速演进的早期技术信号，补充传统知识生产型数据源的不足。

在讨论与结论部分，研究人员指出，多源数据融合能够弥补单一数据源在信息完整性上的局限，使新兴技术识别同时覆盖知识生产与工程实现两个维度。在AI Agent领域，GitHub数据最早反映技术变化，而学术文献和专利存在不同程度滞后；识别出的新兴主题分别聚焦信息交互、物理环境任务执行和底层能力建设等不同应用路径。研究也存在局限性：开源数据仅来自GitHub，未来可扩展至其他开放平台，并引入政策文本、社交媒体情感数据等异构来源，同时可进一步完善二级指标并开发实时监测或早期预警系统。研究结论可概括为：本研究通过整合学术出版物、专利数据和GitHub开源平台数据，开发了新兴技术主题识别的多源数据融合框架；实证分析表明，该框架能够有效识别新兴技术主题，且GitHub开源数据对捕捉传统数据源难以覆盖的工程驱动型新兴方向具有重要价值。