网络爬取的系统性综述：技术、基于大型语言模型的增强方法、性能指标以及法律与伦理问题

《Data & Knowledge Engineering》：A systematic review of web scraping: Techniques, LLM-enhanced approaches, performance metrics, and legal–ethical issues

　　纳夫罗兹·考尔·卡霍隆 | 威廉吉特·辛格
印度旁遮普大学计算机科学与工程系，帕蒂亚拉，147002，旁遮普邦

**摘要**
对于任何研究人员来说，收集和分析数据是一项重要的任务。互联网为研究人员提供了许多机会，帮助他们理解和解释海量现有数据。从互联网上获取适当的信息并将其转换为结构化格式是获得有用结果的首要任务。网络爬取是一种自动化过程，用于从多个网页中收集数据并将其以有序的方式呈现。尽管网络爬取在计算社会科学、商业分析和人工智能研究中被广泛用作主要的数据收集方法，但该领域仍然缺乏一个全面的、最新的系统综述，该综述应同时涵盖：（i）经典和最先进的数据提取技术；（ii）基于大型语言模型（LLM）的新兴爬取方法；（iii）标准化的性能评估指标；（iv）具有报告数据集规模的主要应用领域；以及（v）法律和伦理考虑及实际指导原则。大多数现有的调查仅在一定程度上涵盖了网络爬取的技术和应用，并很少整合涉及大型语言模型的最新进展或提供可行的伦理建议。为了弥补这一空白，本研究对301项主要研究（发表于2004至2025年之间）进行了系统性的文献回顾，其中198项为同行评审的期刊文章，103项为高级会议论文。我们系统地梳理了网络爬取方法的发展历程，确定了主导的编程语言和工具，量化了性能指标，考察了基于LLM的创新，并综合分析了不同司法管辖区内的法律和伦理风险及缓解策略。该综述还明确将网络爬取定位为一种语料库收集工具，并强调了负责任的网络爬取实践。我们呼吁提高人们对网络爬取各个方面的认识，并指导研究人员如何从网站中收集数据，以避免任何法律或伦理责任。

**引言**
根据国际电信联盟（ITU）的估计，2023年约有54亿人（占世界人口的67%）正在使用互联网，相比2018年增长了45%，这表明互联网在过去几十年里取得了显著发展，数据流量也随之大幅增加[1]。网络技术的变化和网站设计的变化增加了从网络上获取结构化信息的难度。数据提取过程必须能够高效地访问网页、识别这些网页并从中提取有用信息[2]。网络爬取（Web scraping）或网络数据提取是一种从网站自动提取数据的技术。随着时间的推移，网络爬取技术得到了多项发展，例如改进的解析库、与自动化工具的集成以及自然语言处理（NLP）算法的应用，使得从网络中提取数据变得更加高效和先进。

从网络中提取数据的流程始于根据用户需求搜索和检索网页，然后从相关网页中提取有用信息。如图2所示，网页中的数据是HTML格式的非结构化数据。爬取技术将这些数据转换为CSV（逗号分隔值）、JSON（JavaScript对象表示法）和Microsoft Excel等结构化数据类型。网络爬取已被多个领域广泛应用，如电子商务、学术研究、医疗保健和旅游业等。从网络上提取数据伴随着许多法律和伦理责任。在爬取数据时，必须特别关注数据的隐私及其使用者的权益。因此，需要一项全面的研究，帮助读者了解从网络中提取数据的不同方法以及执行提取过程之前必须考虑的具体条件。

**引言续**
根据ITU的统计，2023年大约有54亿人使用互联网，占全球人口的67%，相比2018年增长了45%，这表明互联网在过去几十年里得到了快速增长[1]。网络技术的发展和网站设计的变更增加了从网络上获取结构化信息的难度。数据提取过程应能高效地访问网页、识别这些网页并从中提取有用信息[2]。网络爬取是一种从网站自动提取数据的技术。随着时间的推移，网络爬取技术取得了多项进展，比如改进的解析库、与自动化工具的集成以及自然语言处理（NLP）算法的应用，使得数据提取变得更加高效和先进。

网络爬取的过程始于根据用户需求搜索和检索网页，然后从相关网页中提取有用信息。如图2所示，网页中的数据是HTML格式的非结构化数据，而爬取技术将这些数据转换为CSV、JSON或Microsoft Excel等结构化数据类型。网络爬取已被多个领域广泛应用，如电子商务、学术研究、医疗保健和旅游业等。从网络上提取数据涉及许多法律和伦理责任，在爬取数据时必须特别关注数据的隐私及其使用者的权益。因此，需要一项全面的研究，帮助读者了解从网络中提取数据的不同方法以及执行提取过程之前必须考虑的具体条件。

**本研究的内容**
本研究进行了系统的文献回顾，分析了基于网络爬取的研究成果。系统性的文献回顾虽然耗时较长，但能提供特定领域正在进行的研究的全面而透明的概述，并有助于发现许多研究思路。我们参考了两篇具有里程碑意义的综述[3] [4]，以及[5]中定义的系统文献回顾指南，将其视为识别、解释和评估与特定主题或领域相关所有研究的方法。

网络爬取的历史可以追溯到1989年，当时英国科学家蒂姆·伯纳斯-李发明了万维网（World Wide Web）。万维网具备三个重要特性，为当今的网络爬取奠定了基础：每个网站的URL、用于导航的嵌入超链接，以及包含图像、视频、文本等各种类型数据的网页。在同一位科学家开发的第一个网页浏览器出现后不久，马萨诸塞理工学院的马修·格雷（Matthew Gray）开发了名为“The Wanderer”的爬虫软件，用于测量万维网的大小[6]。万维网上存在的海量非结构化数据推动了在线资源索引和搜索技术的发展。因此，在1993年开发出了名为JumpStation的基于爬虫的搜索引擎，该搜索引擎能够索引数百万个网页。与“The Wanderer”不同，JumpStation利用标题和文档标题来索引网页。

随着新千年的到来，互联网公司和电子商务平台数量显著增加，需要更先进的方法来访问和收集数据，因为互联网已成为一个庞大的信息来源。网络爬取技术的发展与互联网使用量的增长呈正比。正如前文所述，过去二十年互联网使用量大幅增长。网络和电子商务网站的商业化推动了更先进的网络爬取技术的发展。根据ITU [7]和世界银行集团[8]的数据，图1显示了过去三十年互联网用户数量的增长情况。此外，图表还表明，约2007年移动宽带用户数量超过固定线路用户数量，这对网络爬取技术来说是一个转折点，因为此时动态JavaScript网站的爬取变得可行。因此，全球连接性、技术发展和经济因素是网络爬取呈指数级增长的主要驱动力。

**研究方法**
- **网络爬取在某些情况下可以是数据收集的宝贵工具**。本研究旨在识别从网络中提取数据的各种方法。
- **本研究探讨了用于网络爬取的各种技术，并进行了比较分析**。
- **本研究全面概述了网络爬取的主要研究领域以及相关的法律和伦理责任**。
- **虽然现有的网络爬取文献回顾做出了宝贵贡献，但在数据提取方面仍有改进空间**。本研究通过分析现有数据库，力求为读者提供关于网络爬取的全面视角。

**已有研究综述**
许多作者描述了从网络中提取数据的各种方法、算法和工具。例如[10] [11]详细回顾了用于提取异构数据的不同算法和工具[12] [13]对比分析了各种方法[14]指出了网络爬取的广泛应用领域[12]还探讨了网络爬取的合法性和伦理问题。关于网络爬取的综合性研究仍处于起步阶段，有必要开展涵盖相关领域的 methodological literature survey。表1总结了本研究与传统研究的比较，并提供了广泛的文献回顾，以评估和发现基于现有研究的研究挑战。

**研究局限性**
- 本研究的局限性之一是“爬取”一词存在多种含义。我们将研究范围限制在爬取概念本身，未涉及数据挖掘或“大数据”研究。在数据提取阶段我们非常谨慎，手动搜索以补充遗漏的文章，但手动搜索可能会遗漏一些相关文献。
- 在纳入或排除某些研究方面，各位作者之间存在分歧。

**结论**
本文从各种电子资源中检索了与网络爬取相关的研究，共纳入了301项主要研究，这些研究发表于知名期刊、会议和研讨会。将收集到的研究分为不同的网络爬取类别，并展示了各项研究中使用的性能指标。我们还从多个角度（如网络爬取作为语料库收集工具等）对研究进行了分析和整理。

**作者贡献声明**
纳夫罗兹·考尔·卡霍隆：撰写——原始草稿、可视化、资源管理、项目管理、方法论设计、调查实施、正式分析、数据管理、概念构建。
威廉吉特·辛格：撰写——审稿与编辑、可视化、验证、监督、方法论设计、正式分析、概念构建。

**资金支持**
本研究未获得任何资金资助或其他支持。

**利益冲突声明**
作者声明他们没有已知的财务利益冲突或个人关系可能影响本文的研究内容。