智能双语并行文档爬取技术

《Natural Language Processing》：Smart bilingual focused crawling of parallel documents

　　**摘要**
从互联网上爬取平行文本（即互相翻译的文本）通常采用暴力搜索的方法：大量文档被无目的地下载，但其中只有一小部分最终能够找到真正的平行内容。在这项工作中，我们提出了一种智能爬取方法，该方法能够更快地引导爬取过程找到平行内容。我们采用了一种基于神经网络的方法，通过微调预训练的多语言语言模型（该模型基于Transformer架构的编码器）来执行两项新任务：从文档的统一资源定位符（URL）推断文档的语言，以及判断两个URL是否链接到平行文档。我们分别评估了这两个模型以及它们集成到爬取工具中的效果。结果表明，这两个模型各自都有效，并且它们的组合使我们能够解决一个实际的工程难题：在给定语言对中进行网页爬取时尽早发现平行内容。这与传统的爬取方法相比，减少了被认为无用的文档下载量，并获得了更多的平行文档。

**1. 引言**
得益于人工智能的进步和大量数据的可用性，人类语言技术取得了前所未有的进展（Deng和Liu，参考文献Deng和Liu2018）。大型文本语料库的可用性在机器翻译领域尤为重要，因为神经机器翻译的最新方法（Vaswani等人，参考文献Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser和Polosukhin2017）需要大量的平行文本，即一种语言的文本及其另一种语言的翻译。平行文本也被证明有助于构建具有跨语言能力的预训练语言模型（Conneau等人，参考文献Conneau, Khandelwal, Goyal, Chaudhary, Wenzek, Guzmán, Grave, Ott, Zettlemoyer和Stoyanov2020；Kale等人，参考文献Kale, Siddhant, Al-Rfou, Xue, Constant和Johnson2021；Reid和Artetxe，参考文献Reid和Artetxe2022），以及用于辅助专业翻译员的翻译记忆工具（Bowker，参考文献Bowker2002）。然而，平行文本的可用性较低，特别是对于资源较少的语言对，这激发了人们对网络挖掘的兴趣，从而建立了迄今为止一些最大的平行语料库（El-Kishky等人，参考文献El-Kishky, Chaudhary, Guzmán和Koehn2020；Ba?ón等人2020；Schwenk等人，参考文献Schwenk, Wenzek, Edunov, Grave, Joulin和Fan2021；Ba?ón等人，参考文献Ba?ón, Esplà-Gomis, Forcada, García-Romero, Kuzman, Ljube?i?, van Noord, Sempere, Ramírez-Sánchez, Rupnik, Suchomel, Toral, van der Werff和Zaragoza2022）。从互联网上收集平行数据的最新工具，如Bitextor（Ba?ón等人2020；Esplà-Gomis等人，参考文献Esplà-Gomis, Forcada, Ortiz-Rojas和Ferrández-Tordera2016）和ILSP-FocusedCrawler（Papavassiliou, Prokopidis和Piperidis，参考文献Papavassiliou, Prokopidis和Piperidis2018），使用网页爬虫自动浏览网络并收集文本数据。网页爬虫从一个种子URL列表开始，下载并解析相应的文档，并将从中链接到的新URL添加到待下载列表中。当过程被中断或待下载列表耗尽时，爬取结束。最后，处理下载的文档以识别平行内容。这个过程极其低效，因为许多下载的文档最终被丢弃，要么是因为它们不是感兴趣的语言，要么是因为它们不是平行文本（Ba?ón等人2020）。此外，在大规模爬取中，由于某些网站只被部分爬取，这种无指导的方法会导致部分可用平行内容的遗漏。对于资源较少的语言对来说，这种情况更加严重，因为互联网上可用的平行文档更少。有针对性的爬取旨在通过优先考虑对选定下游任务更有用的文档来解决这个问题（Chakrabarti, van den Berg和Dom，参考文献Chakrabarti, van den Berg和Dom1999）。文献中包括一些依赖于提取内容的工作（Agarwal和Sureka，参考文献Agarwal和Sureka2014），以及仅使用从下载文档中提取的URL来优先进行爬取的工作（Baykan, Henzinger和Weber，参考文献Baykan, Henzinger和Weber2013；Hernández等人，参考文献Hernández, Rivero, Ruiz和Corchuelo2016；Han, Wuillemin和Senellart，参考文献Han, Wuillemin和Senellart2018）。对于收集平行数据的任务，我们提出了一种智能双语有针对性爬虫，它对要下载的URL进行排名，以优先处理最有希望是平行文本的文档，即那些可能是目标语言的文档。我们的方法整合了两个模型提供的信息：一个模型从URL推断文档的语言，另一个模型确定两个URL是否指向两个平行文档，且这两种模型都不需要访问文档的内容。我们在XLM-RoBERTa（Conneau等人，参考文献Conneau, Khandelwal, Goyal, Chaudhary, Wenzek, Guzmán, Grave, Ott, Zettlemoyer和Stoyanov2020）的基础上构建了这两个模型，这是一个支持100种语言的多语言模型，我们在公开的数据集上对其进行了微调。我们分别评估了这两个模型的独立性能以及它们集成到爬取工具中的效果。语言识别器在161种语言上进行了评估，平行性识别器在11种语言对上进行了评估，两个模型集成到爬取工具中的效果在4种资源较少的语言对上也进行了评估。结果表明，尽管这两个模型仅使用文档的URL，它们也能以合理的准确率完成各自的任务。此外，将它们集成到爬取工具中可以减少爬取的文档数量，同时获得更多的平行文档。我们对现有技术的贡献是引入了第一个专门为收集平行数据而设计的有针对性爬取方法。这种方法使爬取器能够更快地发现网站中的平行内容，从而减少了获取平行语料库所需的带宽和时间。此外，据我们所知，这也是文献中第一个仅基于URL评估文档中平行内容可能性的方法（Dara和Lin，参考文献Dara和Lin2016；El-Kishky等人，参考文献El-Kishky, Chaudhary, Guzmán和Koehn2020）。本文的其余部分安排如下：下一节回顾了相关文献；第3节和第4节分别描述了上述两个模型并单独评估了它们；第5节概述了将这些模型集成到我们的智能双语有针对性爬取方法中，并在真实的爬取任务中进行了评估；最后，第6节给出了一些结论性的意见。

**2. 相关工作**
如上所述，进行通用爬取以挖掘特定数据是浪费带宽和计算资源，因为许多下载的文档最终因与目标无关而被丢弃。这一挑战通过开发有针对性的爬取器来解决（Chakrabarti, van den Berg和Dom，参考文献Chakrabarti, van den Berg和Dom1999），这些爬取器能够识别与当前特定任务相关的网页。这涉及到删除与特定任务无关的文档中的URL，并可选地对URL进行排名，以优先下载最相关的URL。在文献中，有针对性的爬取器被用于各种用途，包括仇恨检测（Agarwal和Sureka，参考文献Agarwal和Sureka2014）、医学情感分析（Abbasi等人，参考文献Abbasi, Fu, Zeng和Ajeroh2013）以及最重要的主题识别（Shrivastava, Pateriya和Kaushik，参考文献Shrivastava, Pateriya和Kaushik2023）。已经提出了许多基于URL的方法来通过识别下载网页的主题来指导爬取：Rajalakshmi和Aravindan（参考文献Rajalakshmi和Aravindan2013）使用$n$-gram模型从URL中提取特征并应用不同的监督方法；Hernández等人（参考文献Hernández, Rivero, Ruiz和Corchuelo2016）根据URL及其关联主题的元组来识别URL模式；Han, Wuillemin和Senellart（参考文献Han, Wuillemin和Senellart2018）应用强化学习来优先下载更有可能导致特定主题文档的URL。从网上收集平行内容需要文档对齐。然而，大多数方法依赖于基于内容的方法（Buck和Koehn，参考文献Buck和Koehn2016b；Guo等人，参考文献Guo, Yang, Stevens, Cer, Ge, Sung, Strope和Kurzweil2019；Thompson和Koehn，参考文献Thompson和Koehn2020），并且在下载文档之前无法使用这些方法来优先选择URL。与基于内容的方法不同，如果可以从URL元素中提取必要的信息，基于URL的方法可以节省资源。Chen和Nie（参考文献Chen和Nie2000）以及Resnik和Smith（参考文献Resnik和Smith2003）使用依赖于语言的规则进行字符串替换来指导爬取，而Zhang, Yao和Kit（参考文献Zhang, Yao和Kit2013）识别至少在一个字符上不同的URL对，这些URL对可能包含平行内容。还提出了结合URL和基于内容特征的混合方法来对齐平行文档（Esplà-Gomis和Forcada，参考文献Esplà-Gomis和Forcada2010）。与我们的工作更接近的是，Barbosa, Bangalore和Rangarajan Sridhar（参考文献Barbosa, Bangalore和Rangarajan Sridhar2011）以及Baykan, Henzinger和Weber（参考文献Baykan, Henzinger和Weber2013）分别使用基于URL的机器学习模型来查找双语网站和进行语言识别。Barbosa, Bangalore和Rangarajan Sridhar（参考文献Barbosa, Bangalore和Rangarajan Sridhar2011）通过检测单个URL中的模式来识别可能包含平行文档的网站，并处理文档的内容来确定语言——与我们的方法不同，我们的方法仅使用URL；如果每种感兴趣的语言至少找到一个文档，他们就认为该网站是双语的。Baykan, Henzinger和Weber（参考文献Baykan, Henzinger和Weber2013）使用$n$-gram从URL中识别文档的语言并指导爬取过程；然而，他们只支持五种语言，而我们支持161种语言。

**3. 从URL中识别语言**
我们将从URL中推断文档语言的问题视为一个多类分类问题，并提出了一个模型，该模型利用XLM-RoBERTa（Conneau等人，参考文献Conneau, Khandelwal, Goyal, Chaudhary, Wenzek, Guzmán, Grave, Ott, Zettlemoyer和Stoyanov2020）作为基础，生成一个包括未知类别在内的支持语言的概率分布。我们的方法如下：首先，输入的URL经过预处理，去除协议，解码HTML实体，通过分割字母字符组、空格和特殊字符（如下划线）进行预分词，并添加特殊标记$\lt$ s $\gt$ 和 $\lt$ s $\gt$ 来标记每个URL。然后，URL通过XLM-RoBERTa变压器进行处理（应用其内部子词分词器）以生成输出嵌入。以BERT的方式（Devlin等人，参考文献Devlin, Chang, Lee和Toutanova2019），使用第一个标记$\lt$ s $\gt$ 的嵌入来表示每个URL，并将其传递给前馈层，该层连接到一个softmax输出层，以获得支持语言集的最终概率分布。图1展示了这种架构。

**3.1 实验设置**
**数据集。**我们构建了一个数据集，其中$(u,l)$对表示每个URL $u$对应的链接文档的语言 $l$。我们基于CommonCrawl（参考文献CC）的CC-MAIN-2023-06和CC-MAIN-2023-14快照，这些快照包含使用CLD2自动识别语言的大量网页文档。**虽然语言没有手动注释，但CLD2在宏观精度和宏观召回率方面的表现都非常高，超过$98\%$（CLD2Owners，2014）。独立研究也证实了即使是现成的CLD2也有显著的宏观F1分数（Lui和Baldwin，参考文献Lui和Baldwin2014）。CC中的数据涵盖了161种语言，这些语言遵循Zipf分布表示。**为了处理语言过度代表的问题，每种语言最多收集600,000个URL，从而形成了约5040万个URL的语料库。我们将数据分为两部分，5000万个URL用于训练，其余用于开发和测试（每种大约220,000个URL）。我们的数据划分方式是，来自同一网站的URL只出现在其中一个划分中。图2显示了用于语言识别的训练集、开发集和测试集的语言分布。

**评估指标。**我们展示了精确度、召回率和F1分数的结果，以及它们的聚合值：宏观精确度、宏观召回率和宏观F1。这些聚合指标代表了所有可能类别的平均值，提供了系统性能的全面概览。**基线系统。**我们将我们的方法与一个基线方法进行比较，该基线方法的灵感来源于El-Kishky等人（参考文献El-Kishky, Chaudhary, Guzmán和Koehn2020）以及Baykan, Henzinger和Weber（参考文献Baykan, Henzinger和Weber2013）。基线方法关注URL中的不同组成部分，这些组成部分可能指示链接文档的语言：子域名、公共后缀、目录名称以及各种参数的值（如果有的话）。每个组成部分的值都会与ISO 639-1和ISO 639-2语言代码进行比较。为了解决来自不同URL组成部分的潜在矛盾，我们按照在开发集上进行的评估确定的特定顺序来检查它们。通过评估所有可能的组合，确定的最佳顺序如下：参数值、目录名称、公共后缀和子域名。此外，我们还包括了一个比我们基于transformer的模型更简单的基线方法（见第3节），该方法使用FastText（Joulin等人参考文献Joulin, Grave, Bojanowski和Mikolov2017），这是一种常见的语言识别方法（Facebook AI Research, 2017；NLLB团队等人参考文献Costa-Jussà, Cross, ?elebi, Elbayad, Heafield, Heffernan, Kalbassi, Lam, Licht, Maillard, Sun, Wang, Wenzek, Youngblood, Akula, Barrault, Gonzalez Mejia, Hansanti, Hoffman, Jarrett, Sadagopan, Rowe, Spruit, Tran, Andrews, Ayan, Bhosale, Edunov, Fan, Gao, Goswami, Guzmán, Koehn, Mourachko, Ropers, Saleem, Schwenk和Wang2022）。这个系统是一个线性分类器，它将文本表示为字符级别的$n$-grams的集合。这些$n$-grams的嵌入（从每个单词独立提取）被平均起来形成一个隐藏表示，然后输入到一个分层softmax分类器中，以计算支持类别的概率分布。对于这个基线方法，以下简称FastText，我们使用了与我们的方法相同的训练数据数据和数据预处理流程。这确保了两个模型支持相同的标签集——从而可以进行直接比较——并且有效地适应了对URL而不是文本的分类。关于超参数，我们采用了公开可用的语言识别模型lid.176.bin（Facebook AI Research, 2017）所使用的参数；具体来说，使用16维嵌入，字符$n$-grams从$2$到$4$，学习率为$0.1$，以及$10$个训练周期。

3.2 模型的训练
我们使用了HuggingFace Transformers（Wolf等人参考文献Wolf, Debut, Sanh, Chaumond, Delangue, Moi, Cistac, Rault, Louf, Funtowicz, Davison, Shleifer, von Platen, Ma, Jernite, Plu, Xu, Le Scao, Gugger, Drame, Lhoest和Rush2020）和PyTorch（Paszke等人参考文献Paszke, Gross, Massa, Lerer, Bradbury, Chanan, Killeen, Lin, Gimelshein, Antiga, Desmaison, Kopf, Yang, DeVito, Raison, Tejani, Chilamkurthy, Steiner, Fang, Bai和Chintala2019）来微调XLM-RoBERTa$_{_{\mathrm{Base}}$，并使用交叉熵损失函数。基于初步实验，我们将学习率设置为$10^{-5}$，并使用了AdamW优化器（Loshchilov和Hutter参考文献Loshchilov和Hutter2019）的默认参数（$\beta _1=0.9$，$\beta _2=0.999$，$\epsilon =10^{-8}$，$\lambda =0.01$）。我们使用了一个学习率调度器，在第一个训练周期的$10\%$步骤中进行了初始热身阶段，其中学习率线性增加到一个配置的值，然后按照平方根的倒数模式衰减。由于CC中的数据量很大，每个训练周期使用整个训练集是不切实际的。因此，我们选择分批逐步处理训练集。从一百万个URL开始，在每个训练周期后添加额外的一百万个URL。当进一步的数据在开发集上无法提高宏F1指标五个周期时，训练停止。图2中显示的训练数据对应于实际用于训练的数据。最后，遵循Zhang等人（参考文献Zhang, Wu, Katiyar, Weinberger和Artzi2021）的观点——他们认为预训练模型输出层附近的内容保留了任务特定的知识——我们尝试重新初始化transformer的前$n\in [0,5]$层。我们的发现表明，在微调我们的下游任务之前重新初始化顶层（$n=1$）可以略微改善开发集上的结果。因此，我们采用了这种配置。

表1. 基线方法、FastText和我们的语言识别器的结果。请参阅图3，了解每种语言的详细分解。

3.3 结果和讨论
表1显示了基线系统、FastText系统和我们的模型在测试集上的结果：我们的模型在所有指标上都超过了基线和FastText系统。虽然基线在宏观精度上取得了显著的分数，但其宏观召回率较低。这种较低的召回率归因于某些URL中缺乏语言信息，即使在多语言网站中也是如此。这一点得到了基线将57.4%的测试样本分类为未知的百分比的证实。FastText系统在宏观F1方面的表现优于基线，并且在报告的指标上表现出更平衡的性能，与我们的基于transformer的模型相似；然而，它在宏观精度、宏观召回率和宏观F1方面仍落后于我们的方法超过10个百分点。图3提供了每种语言的F1指标的全面分解，显示出我们的模型在所有语言上相对于基线（左子图）的一致性优势，除了少数F1相当的情况——值得注意的是，基在线性阿姆哈拉语和鞑靼语上的表现更好。FastText系统（右子图）在各种语言上的结果更接近我们的方法；然而，总体趋势表明我们的模型始终表现更好，唯一的例外是梵语、奥里亚语、土耳其语、印地语、泰语、乌尔都语和阿塞拜疆语。值得注意的是，所有系统——基线、FastText和我们的模型——在英语上的结果都出乎意料地低；表现最好的模型（我们的模型）的精度为$36.6\%$，召回率为$58.5\%$。进一步的分析揭示了非英语URL与英语之间频繁混淆的模式（28种语言中有至少$10\%$的数据被错误地与英语混淆）。这些发现与CLD2的作者报告的结果一致，证实了对英语的偏见，特别是对于Interlingua（CLD2将这些文档的$44.4\%$分类为英语）。值得注意的是，我们的模型也有类似的行为，有$46\%$的标记为Interlingua的URL被错误地分类为英语。

图3. 按语言划分的语言识别结果，将我们的模型与基线（左子图）以及在相同数据上训练的FastText模型（右子图）进行比较。只有在测试集中至少有100个URL和10个不同 web 域名的语言才被包括在内。数据中的另一个噪声来源是链接非英语文档但URL中包含英语文本的URL，例如西班牙语网页https://www.dochaney.com/es/contact-us。当URL缺乏任何明确的语言提示时，这个问题会更加严重，如西班牙语网页https://hjmorelia.com/about-us所示。通过对测试集中链接到英语文档的URL进行手动检查，我们发现$94.1\%$的这些URL缺乏任何语言标识符标记（例如，“/en/”或“/*-eng/”），这迫使我们的模型依赖于检测英语单词的存在或其他复杂模式（如果有的话）。这一事实，加上链接到非英语文档但URL中包含英语文本的网页的存在，可能是模型难以处理链接到英语文档的URL的另一个原因。这些问题本质上与使用URL来推断链接文档内容的信息有关。URL通常很有用，因为它们与它们链接的文档具有相似的语义。然而，由于语义不足或不准确，从URL中识别文档的语言并不总是可行的。在我们的分析中，我们遇到了几个例子，这些URL似乎链接到一个特定语言的文档，但实际上链接到另一个不同的文档，如上所述。

4. 从URL推断平行性
我们将确定两个URL是否指向平行文档的任务建模为一个二元分类问题。我们的模型接受一对URL作为输入，并输出链接文档平行的概率。这种方法与第3节中概述的方法类似。不同之处在于架构：模型接受两个URL作为输入，第一个令牌的输出嵌入通过前馈层投影到一个单一的输出神经元，其输出使用Sigmoid函数进行归一化，表示两个输入URL指向平行文档的概率。两个URL都经过相同的预处理，并由特殊令牌$\lt$ s $\gt$分隔开。图4展示了这种架构。

4.1 实验设置
数据集。我们的模型在一个标记了URL对的标签数据集上进行训练，这些URL对表示平行或非平行关系。与此任务最相关的公开可用数据集是WMT16双语文档对齐共享任务分发的数据集（Buck和Koehn参考文献Buck和Koehn2016a）（以下简称WMT16）；它包含了来自252个多语言网站的英文和法文文档的集合。它被分为训练集（来自49个网站的文档）和测试集（来自203个网站的文档）。对于每个文档，都有纯文本和HTML内容，以及其URL和自动检测到的语言。还分发了一个包含1,624个URL对用于训练和2,402个用于测试的金标准。这个数据集有三个显著的局限性：（i）它只支持一种语言对；（ii）金标准相对较小，只包括训练集和测试集中实际平行文档的一个子集；（iii）金标准缺乏负样本，即被标记为非平行的URL对。

我们通过扩展原始WMT16金标准来应对这最后一个限制，方法是通过模拟网络爬虫的行为来获取负样本——这正是我们计划使用我们模型的场景。对于金标准中的每个URL，我们提取与之对应的HTML内容中链接的所有URL，并丢弃那些指向英语或法语文档的URL。然后，我们通过将原始URL与每个链接的URL配对来构建一组URL对。最后，我们检查这些对之一是否出现在金标准中，如果出现，我们将其余的对标记为非平行；否则，我们丢弃集合中的所有对。我们通过扩展我们的训练数据来缓解其他两个限制，使用了MaCoCu（Ba?ón等人参考文献Ba?ón, Esplà-Gomis, Forcada, García-Romero, Kuzman, Ljube?i?, van Noord, Sempere, Ramírez-Sánchez, Rupnik, Suchomel, Toral, van der Werff和Zaragoza2022）v2语料库，该语料库涵盖了10种额外的语言对；即英语与阿尔巴尼亚语、保加利亚语、克罗地亚语、冰岛语、马其顿语、塞尔维亚语和土耳其语的对齐。这个语料库在段落级别和文档级别都进行了对齐，并且每对对齐的文档都附有URL；尽管这些对齐不如WMT16中的对齐准确，因为文档是自动对齐的。此外，这个语料库不包括原始HTML内容，这阻碍了上述方法的应用来生成负样本。为了解决这个限制，我们设计了受Esplà-Gomis等人（参考文献Esplà-Gomis, Forcada, Ortiz-Rojas和Ferrández-Tordera2016）和Dara和Lin（参考文献Dara和Lin2016）提出的策略的启发，来生成负样本，而无需访问HTML内容。接下来，我们评估了从MaCoCu v2语料库中的URL对$(u_A,v_B)$创建合成负样本的各种方法，其中$u_A$和$v_B$分别指向语言$A$和$B$的文档。这些方法包括：• 随机匹配：通过用$v_B'$（从对集合中随机选择的URL）替换$v_B$来生成一个新的URL对$(u_A, v_B')$。这种方法相当简单，因为生成的URL可能会显著不同。• 删除随机令牌：$u_A$和$v_B$都被分词，然后删除随机令牌；随机令牌从不包括方案、权威或端口。• 最大化Jaccard相似性：类似于随机匹配，创建一个新的URL对$(u_A,v_B')$，但在这种情况下$v_B'$被选择为最大化与$v_B$的Jaccard相似性。这种方法旨在创建与原始URL对非常相似的URL对。这些方法假设所有URL都链接到语言$A$或$B$的文档，这正是WMT16数据集的情况。然而，在现实的爬取场景中，直到文档下载完成之后才能识别语言，而且经常会遇到链接同一种语言文档的URL对。因此，在训练中包含对应的非平行文档的负样本是至关重要的。我们通过生成合成单语负样本来实现这一点，其中$A=B$，使用相同的URL对$(u_A, u_A)$和$(v_B, v_B)$作为起点。我们在WMT16数据集上评估了上述所有策略的组合，正如之前讨论的，可以从HTML中获取真实的负样本；这次评估的全面结果可以在附录A中找到。结果表明，最有效的组合包括随机匹配（单语和双语）、最大化Jaccard相似度（单语和双语）以及移除随机令牌（仅限双语）。为了创建一个连贯的数据集用于我们的实验，我们将这些策略应用于从WMT16和MaCoCu v2生成合成负样本。我们使用WMT16训练分割中60%的网站域进行训练，另外40%用于开发。在MaCoCu v2中，网站域的分配如下：80%用于训练，10%用于开发，10%用于测试；我们确保来自同一网站域的URL只出现在其中一个分割中。表2报告了每个语言对中正样本和合成负样本的数量。表2. 在训练、开发和测试集合中，使用正样本/合成负样本来训练模型，以推断两个文档的并行性。我们对官方WMT16测试集和上一段描述的测试集进行了模型评估。对于WMT16测试集，我们使用了召回率和软召回率（Buck和Koehn 2016a引用），这是一种在共享任务中使用的召回率变体，它考虑了接近的匹配。由于WMT16黄金标准的非完整性，无法使用精确度，因此无法获得实际的正确URL对。关于上述测试集的评估，使用了第3.1节中描述的相同指标：精确度、召回率、F1分数、宏精确度、宏召回率和宏F1分数。我们使用WMT16共享任务的官方基线（Buck和Koehn 2016a引用）。这个基线定义了一组被认为是URL中潜在语言标识符的令牌；如果一对URL可以通过移除一个或多个这些令牌转换为相同的字符串，则认为它们是对齐的。我们扩展了这个基线以支持我们实验中涉及的所有语言。与已经支持的语言类似，额外语言的令牌集包括语言的英文名称、其本地名称、ISO 639-1和ISO 639-2语言代码，以及ISO 639-1语言代码和ISO 3166-1国家代码的组合（如果该语言是官方语言），这些代码之间用连字符分隔；例如对于阿尔巴尼亚语：albanian, shqip, sqp, alb, sq, sq-sq, sq-ks。

4.2 模型训练
我们采用了与第3.2节中描述的相同的训练配置，包括学习率、优化器、超参数和损失函数。如果在五个周期后，基于开发集计算出的宏F1分数没有改善，则停止训练。此外，在训练之前会重新初始化XLM-RoBERTa $_{\mathrm{Base}}$ 模型的顶层。

4.3 结果与讨论
表3报告了WMT16测试集上的召回率和软召回率结果。该表中的数据可以直接与提交到共享任务的系统所获得的数据进行比较（Buck和Koehn 2016a引用，表3和表4；来自11个不同研究组的19个提交）。为了计算这些数据，我们获取了WMT16测试集中所有英文和法文URL的笛卡尔积，并将我们的模型和基线应用于每一对URL。由于WMT16只允许1对1的URL对齐，我们的模型输出了识别出的对齐中最有可能的一个。获得的结果非常有希望：我们的方法不仅在软召回率上超过了基线近7个百分点，还在提交的十九个系统中的四个系统中超越了它。这一点尤其重要，因为所有提交的系统都通过比较文档的内容来确定它们是否平行，而我们的模型仅依赖于URL。

表4. 第4.1节描述的数据集中的URL并行性标识器的结果，考虑了所有语言对。
图5. 第4.1节描述的数据集中URL的并行性标识器的宏F1分数（与英文配对）。
表4展示了第4.1节描述的测试集上所有语言对的结果；图5单独显示了每个语言对的宏F1分数。表4显示了基线在正类上的表现不佳，召回率低于15%，而负类的召回率则高于99%。这表明基线的简单性在处理平行URL的复杂性时遇到了困难。然而，它在宏精确度上达到了竞争水平，尽管没有超过我们的系统。这是因为它在URL中寻找明确的语言线索，如果一对URL被认为是平行的，那么它很可能是真正的正例，除了可能与ISO-639代码中的常见字符串混淆（例如，“isl”被误认为是“island”而不是冰岛语）。图5显示，我们的模型在所有语言上系统性地优于基线，特别是在法语上。手动检查证实了WMT16数据集的英文-法文测试集与MaCoCu v2语料库中的其他测试集之间存在显著差异。在英文-法文数据集中，大约60%的正样本仅使用URL中的语言标识符来识别翻译文档。

相反，对于用于其他语言的数据集，这一比例在10%到15%之间。基线是为WMT16任务专门设计的，它仅基于语言标识符来检测平行文档，这解释了在这一特定测试集上的高表现。虽然构建WMT16黄金标准的方法细节并未公开，但似乎该程序在某种程度上偏向于过度代表使用语言标识符的网站。

5. 智能双语聚焦爬取
在本节中，我们描述并评估了利用第3节和第4节中讨论的模型的智能双语聚焦爬取策略。我们在Heritrix 3上实现了我们的爬取方法，Heritrix是一个开源且广泛使用的爬虫。

与其他爬虫工具一样，Heritrix最初使用一组种子URL来开始爬取。在爬取过程中，从这份列表中提取URL，并解析下载的文档以追加任何新发现的URL。默认情况下，Heritrix按照添加的顺序探索待下载列表中的URL（即广度优先搜索）。然而，我们通过使用优先队列来修改这种行为，其中每个URL的优先级是通过结合上述两个模型获得的概率来确定的。此外，我们确保种子URL始终优先下载。图6. 我们的智能双语聚焦爬取平行文档的方法的总体架构。在这个例子中，$A$和$B$分别是英语和西班牙语，下载文档的语言$L'$是英语，用于获取语言概率的语言$L''$是西班牙语。图6展示了我们爬取方法的总体架构。对于指定的语言对$A$和$B$，我们按照以下步骤进行：
1. 从待下载列表中选取一个URL $u$，并下载相应的文档 $D_u$。
2. 使用CLD2来确定 $D_u$ 的语言；如果它不是 $A$ 或 $B$，则丢弃该文档，否则存储该文档并继续下一步。
3. 解析 $D_u$ 并提取从它链接到的URL集合 $\{v_i\}_1^N$。
4. 使用从URL识别文档语言的模型来确定每个URL $v_i$ 是否属于语言 $A$（如果 $D_u$ 是语言 $B$），或者属于语言 $B$（如果 $D_u$ 是语言 $A$）。
5. 使用从URL推断平行性的模型来确定每对 $(u,v_i)\}_1^N$ 的平行概率。
6. 将每个URL $v_i$ 添加到待下载列表中，并根据步骤4和5获得的概率计算其优先级分数。如果 $v_i$ 已经在列表中，则只有在新的优先级更高时才会更新其优先级。请注意，这个过程基于这样一个假设：包含相同内容但语言不同的网页通常会相互链接。

5.1 实验设置
我们在四个语言对上评估了上述爬取策略：英文-冰岛语（eng-isl）、英文-马耳他语（eng-mlt）、英文-芬兰语（eng-fin）和西班牙语-巴斯克语（spa-eus）。值得注意的是，芬兰语、西班牙语和巴斯克语都没有被用来微调从URL推断平行性的模型，马耳他语甚至没有被用来训练我们的模型XLM-RoBERTa。我们为每个双语爬取任务构建了种子URL集合。为了确保要爬取的网站确实包含平行数据，我们使用了Paracrawl v9平行语料库来识别我们实验中涉及的语言的有效网站。Paracrawl包含43个语言对的平行句子及其对应的源URL。对于每个语言对，我们构建了唯一的URL列表，并按网站对其进行分组；然后我们根据这些列表中的URL数量对网站进行排序。排除了用于微调第3节和第4节中描述的模型的训练和开发集中的网站。最终，通过收集前200个网站的首页，为每个语言对创建了一个种子URL列表。

5. 评估
我们根据爬取过程中不同时间点下载的平行数据量来衡量我们方法的性能。我们在比较中包括了三个模型：(a) Heritrix的原始实现；(b) 结合了第3节和第4节中提出的两个模型以及CLD2的提出方法（Heritrix+CLD2+smart）；(c) 仅集成CLD2以排除非目标语言文档的爬虫（Heritrix+CLD2）。包括最后一个爬虫有助于确定提出的模型和CLD2各自的贡献。我们在实验中包括的每个网站上运行每个版本的Heritrix，最长48小时。然后我们根据每个网站下载的总数据量的十分位数来评估获取的平行数据量。为了测量获得的平行数据量，我们使用了Bitextor，因为手动评估将非常昂贵。尽管Bitextor可能会引入一些噪声，但这对所有评估的方法都有影响。无论如何，重要的是要注意Bitextor是一个用于收集平行内容的先进工具（Ba?ón等人2020年引用；Esplà-Gomis等人2016年引用）。参考文献：Ba?ón, Esplà-Gomis, Forcada, García-Romero, Kuzman, Ljube?i?, van Noord, Sempere, Ramírez-Sánchez, Rupnik, Suchomel, Toral, van der Werff 和 Zaragoza2022。5.2 结果与讨论 图7展示了三种模型获得的结果；x轴对应于每个网站在48小时爬取后下载的文档总数的百分比（注：q），而y轴代表每个时刻识别的平行文档的数量。对于给定百分比的下载文档，每个网站的平行文档数量是分别计算得出的，该图表显示了汇总结果。值得注意的是，识别的平行文档数量可以作为爬取速度的代理指标，避免了测量爬取时间时的缺点，如服务器工作负载或计算资源限制。如果在相同数量的下载文档下识别出更多的平行文档，那么我们就可能提高了爬取速度和带宽使用效率。图7显示了三种爬虫（Heritrix、Heritrix+CLD2以及Heritrix+CLD2+smart）以及语言对eng-isl、eng-mlt、eng-fin和spa-eus的情况下，根据从每个网站下载的文档百分比（x轴），检索到的平行文档数量（y轴）。每个数据点累积了从该网站下载的平行文档数量，直到x轴上指示的百分比。所有语言对的结果都证实，Heritrix+CLD2+smart方法能够比其他两种方法更早地识别出大部分可用的平行文档。正如预期的那样，随着下载的数据比例增加，三种方法之间的差异变小，如果爬取时间足够长以覆盖这些网站的所有数据，它们最终会趋同。另一个值得注意的观察是，无论这些语言对是否在训练期间出现过，趋势都是一致的，这部分证实了我们方法（Heritrix+CLD2+smart）的零样本能力。请注意，虽然我们推断平行性的方法与语言无关，但用于从URL识别文档语言的模型（见第3节）是在实验中包含的所有语言上进行了微调的。因此，需要对更多的语言对进行更广泛的评估，以稳健地确认我们方法的零样本能力。6. 结论性评论 为了优化从互联网爬取平行文档并节省带宽，我们引入了两种仅基于URL工作的模型，并将它们集成到一个爬取工具中。第一个模型能够根据URL推断文档的语言；第二个模型确定两个URL是否指向两个平行文档。我们分别对这两个模型进行了彻底的评估，它们在各自的任务中展示了实用性。我们将这两个模型集成到一个爬取工具中，以优先下载那些更有可能导致所需语言中平行内容的URL。使用四种不同语言对的实验显示，平行文档与下载文档的比例明显增加，从而减少了被丢弃的文档数量。这提高了带宽使用效率，并且与常规爬取方法相比，有潜力减少爬取时间同时获得更多的平行文档。此外，该方法对于模型无法通过URL推断出平行性的语言对也有效。我们没有评估其他多语言模型，除了XLM-RoBERTa。探索新的模型，如mT5（Xue等人，参考文献Xue, Constant, Roberts, Kale, Al-Rfou, Siddhant, Barua和Raffel2021），可能会为我们方法的有效性提供进一步的证据，但由于模型参数数量不断增加的趋势（Smith等人，参考文献Smith, Patwary, Norick, LeGresley, Rajbhandari, Casper, Liu, Prabhumoye, Zerveas, Korthikanti, Zhang, Child, Yazdani Aminabadi, Bernauer, Song, Shoeybi, He, Houston, Tiwary和Catanzaro2022），这需要更多的计算资源。无论如何，我们的主要结论仍然没有改变：基于URL的多语言模型可以有效地指导爬取，以获得比传统方法更多的平行文档。我们实验中使用的所有代码、从语料库中提取的数据集以及模型均已公开，以便其他研究人员进行复制和验证，以及用于智能双语聚焦爬取。致谢 本工作得到了西班牙科学与创新部、西班牙研究机构（AEI/10.13039/501100011033）和欧洲区域发展基金（Project ID PID2021-127999NB-I00）的支持；Cristian García-Romero得到了瓦伦西亚自治区政府和欧洲社会基金（研究资助CIACIF/2021/365）的资助。所使用的计算资源由欧洲区域发展基金通过项目IDIFEDER/2020/003提供。利益冲突 作者声明没有利益冲突。附录A. 用于从URL推断平行性的合成负样本 本附录描述了第7节中描述的不同策略的评估，以生成由非平行文档对应的URL对组成的合成负样本。我们在WMT16数据集上评估了所有这些策略的组合，该数据集的负样本可以直接从HTML内容中获得。我们的方法仅使用WMT16训练分割来生成负样本，并采用10折交叉验证策略。在每次交叉验证迭代中，我们从测试折叠中的HTML文档中提取负样本，并使用评估中的合成负样本对剩余的折叠进行训练。随后，我们使用训练折叠中的正样本和合成负样本来训练一个分类器，然后在测试折叠的数据上进行评估。表A1显示了所有这些可能组合的结果。这些结果证实，最有效的组合包括随机匹配（单语言和双语）、最大化Jaccard相似性（单语言和双语）以及移除随机标记（仅双语），宏F1值为95.74%（正类F1：92.00%；负类F1：99.49%）。表A1. 生成合成负样本的所有方法组合的评估结果。最佳组合以粗体显示。a 编码：随机匹配双语（1）、最大化Jaccard相似性双语（2）、移除随机标记双语（3）、随机匹配单语言（4）、最大化Jaccard相似性单语言（5）、移除随机标记单语言（6）。注：a 代码、模型和数据集可在https://github.com/transducens/url2lang/查看；b https://commoncrawl.org/；c https://github.com/CLD2Owners/cld2/；d https://commoncrawl.github.io/cc-crawl-statistics/plots/languages；e 代码、模型和数据集可在https://github.com/transducens/parallel-urls-classifier/查看；f 请注意，WMT16共享任务最初被设计为一个挖掘任务，而不是分类任务。g 我们选择MaCocu v2而不是其他从互联网爬取的多语言语料库，如ParaCrawl（Ba?ón等人，2020）或CCAligned（El-Kishky等人，参考文献El-Kishky, Chaudhary, Guzmán和Koehn2020），因为它被认为质量更高（Noord等人，参考文献van Noord, Chichirau, Esplà-Gomis, Kuzman, Ljube?i?, Ramírez-Sánchez, Rupnik和Toral2023）。h 请注意，WMT16数据集没有开发集。i https://github.com/christianbuck/wmt16-document-alignment-task/；j WMT16共享任务的任何提交都不能被视为基线，因为它们都依赖于文档的内容来进行对齐。k 例如，URL对www.un.org/en/和www.un.org/fr/，它们仅在en和fr标记上有所不同。l https://github.com/internetarchive/heritrix3/；m 我们创建了Heritrix 3的一个分支，以实现我们实验所需的变化。代码可在https://github.com/cgr71ii/heritrix3/tree/puc_uri_cost/查看；n 由于Paracrawl中的一些URL已经不存在，我们丢弃了那些HTTP连接状态不是OK（HTTP代码200）的URL。o 网站的首页被定义为没有额外资源的其URL（例如，https://en.wikipedia.org对于https://en.wikipedia.org/wiki/Deep_learning）。p https://github.com/bitextor/bitextor/；q 在x轴上使用相对值而不是绝对值的原因是，由于服务器工作负载或网络速度等外部因素，从每个网站下载的文档数量可能会有所不同。