编辑推荐：
创新是经济学、战略、管理及金融模型的核心，但由于其无形且基于知识的特性，仍难以衡量。自然语言处理（NLP）的最新进展为分析文本产物提供了新方法，为先前难以测量的创新方面提供了实证洞察。本文概述了这些方法在实证创新研究中的当前应用，强调了它们重塑研究人员研究和量
创新是经济学、战略、管理及金融模型的核心，但由于其无形且基于知识的特性，仍难以衡量。自然语言处理（NLP）的最新进展为分析文本产物提供了新方法，为先前难以测量的创新方面提供了实证洞察。本文概述了这些方法在实证创新研究中的当前应用，强调了它们重塑研究人员研究和量化创新方式的变革潜力，并讨论了伴随其使用的关键挑战。
创新研究在经济学中占据核心地位，但由于知识本身的无形性，其测量长期面临挑战。传统上，研究人员依赖专利、科学论文等产物作为代理指标，但这些指标无法充分捕捉创新的内在质量、类型及溢出效应。近年来，自然语言处理（NLP）技术的快速发展为分析文本数据提供了新工具，能够从专利、论文、财报、招聘广告等海量文本中提取信息，从而改进现有指标、创建新指标并量化知识关联。本文发表于《Annual Review of Economics》，系统回顾了NLP在创新研究中的应用现状，强调其变革潜力，同时指出关键挑战。
研究背景方面，创新是宏观经济学、微观经济学、战略、管理及金融模型的核心，但关键特征（如新技术的本质、质量、类型）难以直接观测，通常不体现在财务报表中。传统研究使用专利计数、引用等代理指标，但文本本身未被充分利用。近年来，NLP方法（从关键词搜索到深度学习模型）的进步使定量分析文本成为可能，从而为创新测量提供新途径。
研究人员首先概述了测量挑战：知识生产函数（KPF）框架要求输入（人员技能、物质投入、现有知识）和输出（新知识）的代理，但知识无基本单位，且存在溢出效应。NLP通过三种方式应对：改进现有指标（如区分引用类型）、创建新指标（如从非结构化文本中提取信号）、发现新关联（如知识溢出路径）。
为开展研究，作者采用了多种关键NLP技术方法：1）关键词搜索（proto-NLP），如Tetlock等用于情感分析，Dechezleprêtre等用“robot”识别自动化专利；2）向量化方法，包括词袋（BoW）、n-gram、TF-IDF、词嵌入（Word2Vec、GloVe）及Transformer架构（BERT、GPT系列），以及专利专用模型PatentSBERTa和PaECTER；3）分类方法，包括监督（基于规则或种子文档）和无监督（LDA主题模型、K-means等）。样本队列方面，作者随机抽取了1000件USPTO专利（2018年申请）进行相似度分布比较。
研究结果部分按四个应用领域展开：
4.1 增强底层数据质量：通过命名实体识别（NER）模型从专利全文中提取学术引用（Marx & Fuegi 2020、Bryan等2020、Verluise等2020），并清理历史专利元数据（如发明人归属、地点）。这些任务自动化了人工密集工作，并建议建立共享验证数据集以提高标准化。
4.2 识别不同类型技术：监督方法（如Webb等2018用关键词识别无人机、机器学习；Dechezleprêtre等2020用“robot”定位自动化专利）和无监督方法（如LDA主题模型，Kalyani等2021用财报电话会议记录识别技术趋势）均被用于分类。混合方法（Abood & Feltenberger 2018，Bergeaud & Verluise 2023）结合规则和嵌入扩展，平衡透明度和可扩展性。
4.3 测量创新率：文本相似度用于衡量专利新颖性（如与现有技术的距离）和影响（如与后续专利的相似性）。Kelly等（2021）使用动态TF-IDF权重从1850年至今识别高影响力专利。其他工作包括Arts等（2021）用新颖n-gram评估技术新颖性，以及Bellstam等（2021）用分析师报告构建非专利公司创新指标。NLP指标在引用数据缺失时特别有用，且与引用高度相关，但存在测量误差风险。
4.4 识别知识溢出：文本相似度连接科学论文与专利（如Poege等2019），量化知识从科学到技术的扩散。类似方法用于专利到产品（Argente等2025用维基百科描述）、专利到行业（Seegmiller等2023用行业描述）、专利到职业任务（Kogan等2021用专利与任务描述相似度推断互补/替代关系）。此外，招聘广告（Babina等2024）和公司网站（Kinne & Lenz 2021）也被用于追踪技术采用。
最后，研究结论部分强调：NLP方法在提升创新研究数据质量、精度及揭示新关系方面潜力巨大，但其使用频率和强大性已超过对输出含义的理解。不同方法产生的相似度分布差异显著，且缺乏“真实相似度”的基准。研究人员需从单纯应用更强大计算模型转向建模文本与经济概念之间的潜在关系，以充分实现NLP的潜力。翻译研究结论如下：正如新研究方法常见的情况，这些方法的力量和使用频率的增长速度超过了我们对它们真正告诉我们什么的理解。毫无疑问，NLP在增加创新研究中有用的数据、提高已有数据的精度和准确性、以及阐明以前难以研究的关系方面具有巨大潜力。然而，要实现这一潜力，研究人员需要从将越来越强大的计算方法应用于越来越大的数据集，转向思考并建模文本与我们所关心的经济概念之间的潜在关系。
