利用大型语言模型（LLMs）和知识蒸馏方法实现高效的信息提取：一项关于HPV健康传播的研究

《PLOS Digital Health》：Efficient information extraction using LLMs and knowledge distillation: A study on HPV health communication

　　摘要

美国卫生部的网站是有关HPV相关健康信息的权威来源，提供了针对各州的具体内容，这些内容影响着公众的认知和疫苗接种决策。我们开发了一个计算效率高的框架，用于系统地评估这些信息库的内容质量、完整性以及它们对疫苗接种行为的激励作用。我们提出了一个整合了48个不同卫生部网站数据的数据集，这些数据专门针对HPV和HPV疫苗接种。通过创建一个带有注释的数据集（n=400）、高效的提示技术和知识蒸馏框架，我们基于Llama系列大型语言模型（LLMs）和RoBERTa大型编码器架构开发并评估了高效的模型。最后，我们部署了性能最佳的学生模型，以进行卫生部网站内容的计算上可行的评估。我们展示了经过微调的RoBERTa Large模型在测试集上获得了0.74的F1分数，优于所有其他学生模型，并接近于教师模型的性能（F1=0.77）。此后，我们将经过微调的RoBERTa-Large模型应用于各个州卫生部的网站数据，以评估其中呈现的信息。我们还讨论了所提出方法的更广泛影响、局限性以及伦理和法律考量。

作者摘要

我们研究了州卫生部的网站如何传达关于人乳头瘤病毒（HPV）和疫苗接种的信息。这些网站非常重要，因为它们塑造了公众的理解并影响了人们的疫苗接种决策。我们从48个州的网站上收集了信息，并考察了其内容的完整性、清晰度和说服力。为此，我们创建了一个更小、更高效的计算机模型，能够快速阅读和评估大量网站文本。我们使用一种教学方法训练这个模型，其中一个更大、更强大的模型向它展示了如何做出好的决策。我们的小型模型几乎与大型模型一样准确，但速度更快、使用更方便。然后我们使用它来审查每个州的网站。这种方法可以帮助公共卫生组织识别他们提供的信息中的差距，并改进他们传达重要健康信息的方式。虽然我们专注于HPV，但同样的方法也可以用来研究其他健康主题在网络上的呈现方式。

引言

人乳头瘤病毒（HPV）是美国癌症的主要原因之一，每年导致约48,000例病例，其中宫颈癌最为突出[1]。尽管HPV疫苗在预防HPV引起的宫颈癌方面显示出高效率（88%），但美国的疫苗接种率仍然不理想，只有76.8%的青少年和39.9%的18-26岁成年人接种了疫苗[2-4]。相比之下，澳大利亚在12岁女孩中的HPV疫苗接种率达到82%，并预计在20年内消除宫颈癌[5]。美国较低的HPV疫苗接种率由多种因素造成，包括州政策、社会经济因素、文化态度，最重要的是公众意识水平[6]。公众意识和HPV疫苗接种受到包括社交媒体、新闻、公共卫生通讯以及州政府赞助的卫生部（DOH）网站在内的复杂信息生态系统的影响[7,8]。先前的研究表明，有效的沟通策略已被证明在提高各种疾病的疫苗接种率方面具有优势[9,10]。作为传达信息的权威来源，卫生部网站提供了经过验证的信息，但在质量、全面性和可访问性方面存在显著差异[11,12]。对在线健康信息的自动化、可扩展分析对于评估内容质量和完整性至关重要。对于HPV疫苗接种而言，各州卫生部的网站是关键的信息来源，但内容差异很大。评估这些网站有助于识别信息传播的差距，提高意识，并减少健康差异。在线健康资源，包括卫生部网站，主要以非结构化文本的形式呈现信息[13,14]。虽然手动内容分析劳动密集且缺乏可扩展性，但自然语言处理（NLP）技术通过文本分类和信息抽取（IE）方法（如命名实体识别（NER）和关系抽取（RE）[15-19]实现了自动化的大规模分析。尽管这些方法已被应用于社交媒体和新闻媒体中的HPV主题，以分析疫苗接种立场、情感和公众意见，但尚未有全面的分析系统地识别、提取和分类各卫生部网站中的HPV信息模式和知识结构[20-25]。一般来说，由于需要从非结构化文本中提取结构并解决语义歧义，大规模描述在线健康信息具有挑战性[26-30]。这些挑战直接适用于评估卫生部网站上与HPV相关的内容质量，因为这些信息在很大程度上是非结构化的且语义多变的。NLP技术已经从基于规则的系统发展到缺乏深度语言理解的统计方法[31-34]。像循环神经网络（RNNs）这样的神经架构提高了语义建模能力，但需要大量的训练数据，并且在处理长文本时遇到困难[35-39]。通过上下文学习和思维链（CoT）提示方法进行训练的指令式LLMs，在数据有限的情况下表现良好，减少了对特定任务的训练数据需求，使其成为评估卫生部网站信息质量的合适解决方案[39-44]。知识蒸馏（KD）解决了在在线健康信息中部署LLMs进行IE任务的计算障碍[45]。虽然像DistilBERT和TinyBERT这样的模型已经证明了KD在模型压缩方面的有效性，但最近的进展将KD扩展到从教师LLMs向较小的学生模型提取推理能力[46-48]。其中，CoT蒸馏技术专注于将复杂的LLM推理能力转移到较小的模型中[49,50]。由于模型兼容性问题、领域特定知识转移和性能稳健性，将KD应用于健康IE任务仍然具有挑战性，但它代表了一个平衡计算效率和注释需求的有希望的方向[51-53]。本研究提出了一个通用的KD框架，用于健康IE，旨在使用紧凑模型实现可扩展的高性能推理，同时满足最低限度的注释要求。虽然该方法广泛适用于各种健康沟通场景，但我们在其有效性方面评估了它在各州卫生部网站上的HPV相关内容的应用，这一领域以非结构化文本和信息质量的显著差异为特征。具体来说，我们研究了仅使用编码器的紧凑模型（RoBERTa Large）与LLMs在分类关键健康主题方面的性能比较。

我们的框架整合了特定于任务的注释、提示策略和基于KD的模型压缩，将非结构化内容转换为适合下游评估的结构化、语义连贯的表示。除了HPV之外，这种方法还可以轻松应用于评估其他领域的在线健康信息的质量、完整性和清晰度，例如流感、COVID-19、慢性病预防和新出现的公共卫生威胁。总之，我们研究的关键贡献包括：

- 一种通用的KD框架，用于从LLMs中提取推理能力到紧凑的仅编码器模型，以用于健康IE任务
- 开发了一个结构化的问答框架，将非结构化的健康内容转换为用于HPV信息评估的语义表示
- 创建了一个包含400个双重注释样本的基准数据集，用于模型评估
- 一个案例研究，分析了48个卫生部网站上超过14,000段的段落，评估了主题覆盖范围和质量

结果

我们以四个部分展示了实验结果，反映了我们研究的主要阶段。首先，我们比较了多种大型LLMs的提示策略，以确定最有效的KD教师模型。接下来，我们评估了从这个教师模型中提取的较小学生模型在不同KD方法下的性能。这些结果通过成对自助显著性测试进行了统计验证。然后，我们进行了错误分析，以检查教师模型和学生模型之间的性能差异，突出了显式信息提取与推理信息提取之间的优缺点。最后，我们将性能最佳的学生模型应用于综合HPV语料库，以评估48个卫生部网站的信息覆盖范围。关于我们的实验方法的更多细节在本文的“材料与方法”部分中呈现。

提示策略

我们使用所提出的提示策略评估了多个模型。初始测试使用了Zero-shot + Guidelines方法，对Llama模型和GPT-4o进行了测试。与Llama 3.1 70B相比，GPT-4o的表现较差（0.55 F1），因此不适合作为KD的教师模型。此外，OpenAI的服务条款禁止使用他们的模型来训练其他模型，因此GPT-4o被排除在进一步的实验之外[54]。表1展示了在未经监督微调的情况下，Llama系列模型基于提示的推理性能。Llama 3.1 70B使用Zero-shot + Guidelines的方法获得了0.77 F1的分数。虽然1-shot + CoT提高了较小模型的性能（Llama 3.1 8B和Llama 3.2 3B），但它降低了Llama 3.1 70B的性能。在所有提示策略中，Llama 3.1 70B始终优于其他模型。表1a表明，使用Zero-shot + Guidelines提示的Llama 3.1 70B（在表1a中用*标记）显著优于所有其他候选教师模型。

知识蒸馏

表1总结了学生在不同KD方法下的表现。在每个实验中，Llama 3.1 70B都是教师模型。结果显示，KD流水线一致地提高了较小学生的性能，除了Llama 3.2 1B。使用RoBERTa的编码器基线获得了最佳性能，F1分数为0.74，仅比教师模型低0.03 F1（教师模型为0.77 F1）。此外，显著性测试显示学生模型和教师模型之间没有统计学上的显著差异，表明学生的出色表现不太可能是偶然的。将CoT标签整合到RoBERTa（Encoder + CoT）中没有带来任何改进。同样，对于LLM学生模型，无论是理由（LLM + Rationale）还是监督CoT（LLM + CoT）都没有带来性能提升。表2详细比较了教师模型（Llama 3.1 70B with Zero-shot + Guidelines）和性能最佳的学生模型（RoBERTa with Encoder Baseline）。学生模型在五个标签上的表现优于教师模型，并在另外四个标签上达到了接近的等效性（差距小于0.06 F1）。这些结果表明KD中的有效知识转移。学生的出色表现，加上显著降低的计算需求，突显了KD在开发资源高效模型以进行大规模信息评估方面的实用性。我们的实验表明，包含额外的CoT信息（Encoder + CoT）并没有提升性能。鉴于性能相当或更优，我们选择了带有Encoder Baseline的RoBERTa作为最终的学生模型。此后，“学生模型”特指带有Encoder Baseline的RoBERTa，“教师模型”特指带有Zero-shot + Guidelines的Llama 3.1 70B。

错误分析

教师模型在识别与直接、明确表述的信息相关的标签方面优于学生模型。教师模型在“No Cure”和“Number Doses”标签上获得了完美的F1分数（1.00），在“Highly Effective”标签上获得了强大的性能（0.80 F1）。教师模型在提取显式信息方面表现出色（例如，“HPV没有治愈方法...”，“需要2剂疫苗...”），而在处理微妙或间接内容方面表现较弱，这表明它在提取显式信息方面的能力更强。这一发现与许多高级LLMs面临的“过度思考”问题相类似，即过多的推理会损害性能[55]。相比之下，学生模型在需要从不太明确的语言中进行推理的标签上表现更好。它在像Cancer Prevention（0.85 vs 0.73 F1）、Sexual Spread（0.92 vs 0.85 F1）和Prevent Spread（0.68 vs 0.56 F1）等标签上的表现优于教师模型。这些标签通常包含嵌入在更广泛叙述中的信息或以间接方式呈现的信息，需要推理而不是显式的事实提取。例如，“这些都是可以通过性传播的病毒...”和“自从引入HPV疫苗以来，与HPV相关的疾病和感染减少了...”这样的例子表明，通过蒸馏进行模型压缩可能会保留甚至增强解释隐含信息的能力，同时降低在提取显式事实方面的性能。为了提供进一步的清晰度，S3文本中包含了代表这些类别的完整数据示例。这些模式也适用于与推荐相关的标签。教师模型在明确呈现的信息上表现出色（例如，“医生建议...”或“建议儿童...”）。相比之下，在Stance-Optional（确定疫苗是否被推荐为可选）标签上，学生模型优于教师模型（0.50 vs 0.36 F1）。然而，在某些情况下存在显著差异，例如学生模型在Rec-Male Female（0.22 vs 0.83 F1）上的表现明显不佳，这表明在KD过程中性相关医学推理的转移不足。这些相似标签之间的不一致表现表明，成功更多地取决于文本样本中信息的结构，而不是问题类型。

综合HPV语料库的案例研究

我们将学生模型应用于整个综合HPV语料库，分析了所有段落级别的15个预定义标签。模型输出被转换为每个段落的一热编码（one-hot encoding），然后由各州的卫生部（DOH）网站汇总，以统计每个网站至少出现一次的独特标签数量。这种表示方法捕捉的是主题覆盖范围而非频率，从而解决了各州在多个页面上经常重复信息的问题。这种方法能够有意义地评估每个州对于HPV相关主题的覆盖程度。图1显示了各州HPV信息密度的热图，颜色越深表示覆盖范围越广，颜色越浅表示覆盖范围越窄。在50个州中，有48个州有可抓取的网络内容，而2个州（以灰色显示）因数据限制或缺乏信息而被排除在外。每个州上的数字叠加表示在其卫生部门网站上检测到的15个预定义标签的数量。尽管Google Search API存在限制，但有些州仍实现了全面的覆盖，因为它们的HPV信息主要集中在少数几个关键页面上。这些高相关性的页面通过API算法对相关性的偏好得到了成功识别，即使在返回结果数量受限的情况下，这种方法论选择仍然是有效的。在S1文本中提供了额外的实验来验证这一观点，即尽管Google Search API有100页的限制，但仍能覆盖足够的内容。该图还显示，没有哪个州能涵盖所有15个关注点，但也没有任何单一标签是普遍缺失的，这验证了标签构建的有效性。五个州（新墨西哥州、纽约州、北达科他州、德克萨斯州和华盛顿州）包含了14个标签，31个州至少包含10个标签，只有5个州的目标信息点少于5个，这突显了各州HPV信息覆盖范围的显著差异。对于覆盖范围较低的州，这并非由于API的限制，因为这些州返回的页面数量远低于100页。

下载：PPT、PowerPoint幻灯片、PNG格式的大图、TIFF格式的原始图像
图1. 各州卫生部门网站信息密度的热图。基底地图使用Plotly Python包生成，地理数据来自Natural Earth。
链接：https://doi.org/10.1371/journal.pdig.0001275.g001

**讨论**
本研究使用大型语言模型（LLMs）和仅编码器模型（encoder-only models）评估在线健康信息，重点关注卫生部门网站上的HPV内容，探讨了高效公共卫生信息分析的必要性。结果表明，通过有效的知识蒸馏（KD）技术，小型RoBERTa模型在分析HPV内容方面的表现可以与Llama 3.1 70B相媲美。在本节中，我们将进一步讨论该系统的性能、实际应用、更广泛的影响、局限性以及伦理考虑。

**性能解读**
知识蒸馏实验揭示了关于模型架构和知识转移的关键见解。RoBERTa作为学生模型取得了最高的性能（0.74 F1分数），几乎接近教师模型（0.77 F1分数）。这一成功归因于RoBERTa仅使用编码器的架构非常适合分类任务，从而能够有效地从教师预测中学习。虽然LLMs在生成任务中表现出色，但实验表明，通过问答（QA）框架将教师知识提炼出来用于分类对它们来说更具挑战性。多标签分类方法更适合RoBERTa的架构优势，而不是生成模型的自回归能力，这解释了尽管RoBERTa的参数数量较少，但其表现仍然优于其他模型。此外，我们的实证结果表明，简单的知识蒸馏方法（如编码器基线）在大多数模型中都优于更复杂的框架，这表明精简的知识转移对于这项任务更为有效，因为额外的推理步骤可能会引入不必要的复杂性并妨碍从训练数据中进行泛化。

**更广泛的影响**
知识蒸馏流程不仅限于事后评估，还能实现跨数字生态系统的实时健康信息监控，从而允许持续评估和及时警报，以支持快速的公共卫生沟通响应。该系统不仅适用于传染病，也适用于非传染病（如糖尿病或慢性疼痛），在这些情况下，传播准确和高质量的信息对于有效的疾病管理和患者决策至关重要。该系统可用于评估跨平台传播的健康信息质量，并检查权威数据存在与实际结果（如疫苗接种率）之间的相关性。该框架还可适应各种健康主题和来源，包括新闻和社交媒体，因为它可以通过训练有素的模式识别模型来识别信息差距和不一致性，为数据库改进提供指导。最后，其可扩展的框架使其适用于各种健康主题和生态系统的质量评估。

**本研究工作的局限性**
本研究存在一些局限性，这些局限性将为未来的研究提供参考。主要问题是数据来源的局限性。虽然卫生部门网站提供了权威信息，但它们仅代表了健康信息生态系统的一部分，并且缺乏新闻和社交媒体等监管较少渠道中的虚假信息复杂性。仅分析卫生部门网站无法全面了解特定州的卫生政策或通过其他渠道传播的当地卫生部门信息，从而限制了我们对州政府健康信息传播的理解。此外，数据收集受到HPV相关信息分散且不受州级限制的影响，使得手工分析和Google Search API方法都较为复杂，并可能遗漏重要内容。此外，仅关注网站文本会忽略PDF、视频和交互式媒体中的信息，可能导致全面评估的缺失。最后，由于分析的内容仅限于英文，因此结果受到美国语言多样性的限制。尽管卫生部门网站提供了多语言版本，但我们没有评估内容均衡性或潜在的信息不对称性。需要进一步的工作来了解非英语使用者的信息状况。

**伦理和法律考虑**
预训练的语言模型可能反映了大规模训练数据中存在的偏见，包括社会、文化和人口统计方面的偏见 [56,57]。在健康领域，这些偏见可能会影响特定主题的表述或解释 [58,59]。虽然我们的工作侧重于内容层面的评估而非实际部署，但我们认识到，如果将知识蒸馏流程集成到下游系统中，这些偏见可能会被传播。首先，健康内容的阅读难度、语言复杂性和文化框架的差异可能会影响模型的预测，从而对某些人群不利 [60]。其次，不同人群之间的数字访问能力存在差异，任何部署的系统都应明确考虑这些不平等因素 [61]。第三，网页层次结构（主页与次级页面）中的信息质量也各不相同，可能会引入采样偏差。我们尝试均匀地抽取网页样本，但未来的工作应开发系统方法来考虑这些质量差异。我们通过分析不同标签类别下模型的性能差异，提供了对偏见风险的初步定量评估。结果表明，基于事实的标签比基于推理的标签表现更好，表明某些类型的健康信息分类更为可靠。虽然我们没有系统地评估上述的语言和访问相关因素，但这些变量可能会显著影响健康信息质量的评估。如果实际部署，应系统地检查并从所有这些来源缓解偏见传播。数据收集仅限于来自卫生部门网站的公开信息。然而，一些州对自动化数据收集施加了限制，这限制了我们从所有辖区均匀收集数据的能力。

**材料与方法**
我们收集了两个数据集：
(1) **针对HPV的数据集**，包含400个来自卫生部门网站的带有注释的段落，用于模型评估；
(2) **全面的HPV语料库**，通过Google Search API检索到超过14,000个未标记的段落。下面提供了关于采样和预处理的详细信息。在后续实验中使用的所有数据均收集于2024年12月之前。

**目标HPV数据集**
我们通过两级分层爬取策略构建了一个标注数据集，重点抓取经常包含感兴趣的HPV相关信息的卫生部门网页。首先，我们手动识别每个州卫生部门领域内的主要HPV相关页面，然后通过跟随主页的出站链接自动检索次级页面，仅包括包含“HPV”或“Human papillomavirus”术语的页面。这一过程产生了41个主要页面和1,124个次级页面。一些州缺乏HPV相关页面或设置了安全限制，导致数据收集受阻。初步分析显示，从主页面扩展链接超出一层时，信息的相关性显著下降。尽管增加更多层次可以提高页面数量，但其中大部分内容与HPV相关性较低。虽然次级页面平均包含的文本更多（227.46段 vs. 主页的20.56段），但大部分内容是片段化或低相关性的内容，如导航菜单或简短无关的部分，而非实质性的HPV相关信息。为了优化内容相关性，数据收集限于主要页面和直接链接的次级页面，从而获得了比自动搜索API产生的更集中、更有意义的内容。这些样本被标注以建立黄金标准参考。包含次级网页有助于创建更平衡的数据集，以便更好地进行评估。我们随机抽取了400个段落（313个来自主要页面，87个来自次级页面）进行标注，保持主要页面较高的比例，以确保HPV内容的足够集中。这些标注样本构成了目标HPV数据集，该数据集被分为开发集（33%，132个样本）和测试集（67%，268个样本），用于评估知识蒸馏策略。

**全面的HPV语料库**
尽管目标HPV数据集在正面和负面案例的表示上较为平衡，但手动选择页面可能会遗漏相关内容。为了确保广泛覆盖，我们使用Google Search API创建了全面的HPV语料库，通过搜索每个州的“HPV”和“Human papillomavirus”术语并检索前100个结果。数据仅来自公开可获取和可抓取的网络来源。这种方法是合适的，因为HPV内容通常会明确包含这些术语。我们排除了附件（如PDF、PowerPoint和电子表格）和外部链接，仅保留了卫生部门领域内的文本。最终的语料库包含来自48个州的14,444个样本。数据收集受到州级访问限制的影响：马萨诸塞州和新罕布什尔州由于安全措施限制了程序化提取，返回HTTP 403（禁止）错误，因此被排除在案例研究之外。对于HPV信息超过100页的州，Google Search API的100个结果限制带来了挑战。当HPV术语主要出现在导航元素而非信息性内容中时，这种限制更加明显，导致覆盖率较低。虽然100个结果的限制理论上可能限制覆盖范围，但Google的相关性排名会优先显示最实质性的页面 [62]。S3文本展示了北达科他州的分析，该州在过滤后达到了这一限制，证明了内容覆盖的充分性。

**数据预处理**
两个数据集都使用了相同的预处理流程，包括删除冗余空白、非必要的标点符号和页眉页脚等外围内容，同时保留了句子级别的标点符号。网页内容被分割成包含段落的样本，并将其与对应的HTML标题配对，以保留主题背景。

**注释方案**
我们开发了一个由26个二进制（是/否）标签组成的注释方案，每个标签都表述为自然语言问题，以支持问答（QA）框架。最初的标签集基于定性内容文献，并通过主题整合进行了完善（例如，将喉癌和生殖器癌合并为“HPV导致癌症”）。标签进一步通过与公共卫生和癌症领域的健康教育研究人员以及具有女性健康、生殖护理和健康教育专长的认证护士助产士的咨询进行了细化。这种基于QA的表述方式通过将复杂的判断简化为二进制决策，与LLMs的QA指令调整相一致。在测试和验证集中，有11个标签因出现频率过低（<5次）而被排除在外。表3列出了剩余的15个标签及其对应的是/否问题。注释指南摘要，包括表示二元标签的自然语言问题以及标签名称。https://doi.org/10.1371/journal.pdig.0001275.t003每个标签都附有详细的指南，其中包含澄清性描述以及正面和负面的示例，以减少歧义并支持一致的解读。这些指南在早期的注释轮次中进行了迭代优化。完整的标签描述见S1表中的表1。目标HPV数据集由两名独立注释者使用Doccano进行注释，他们为每个问题标记了相关的文本片段[63]。该过程以迭代批次的方式进行，最初规模较小以支持训练，后来规模扩大以提高效率。每轮注释后通过讨论解决分歧，从而生成黄金标准标签。最终数据集的F1分数为0.87，Cohen’s Kappa同行一致性为0.85。该数据集被用作评估模型性能的基准。我们探索了三种文本信息提取（text IE）的提示策略：1）零样本+指南，2）零样本+指南+理由说明，3）单样本+指南+CoT提示。表4详细介绍了每种策略，并包含了简短的文本样本。每个样本基于我们感兴趣的标签需要15次独立的大型语言模型（LLM）查询，因为结合多个问题会导致模型因任务过长而混淆，从而降低性能。所有LLM实现都使用了16位浮点精度模型。我们使用“零样本”这一术语来描述我们的设置，因为预测文本样本到我们整理好的标签的任务从未被用来训练LLM，尽管模型可能在预训练期间接触过相关数据。下载：PPT、PowerPoint幻灯片、PNG格式的更大图像、TIFF格式的原始图像。表4. 提示策略。https://doi.org/10.1371/journal.pdig.0001275.t004零样本+指南：LLM接收文本样本、问题以及经过改写的指南作为提示。这些指南是根据与Llama 3.1 70B模型的关联性能进行迭代优化的，利用观察到的错误来提高清晰度和有效性。零样本+指南+理由说明：这种策略在模型输出二元（是/否）答案之前，首先要求模型生成解释其分析的理由说明。这种理由说明旨在揭示中间的推理步骤，从而不仅传递决策结果，还传递解释逻辑。单样本+CoT：这种策略使用监督式CoT提示，为模型提供完整的示例，包括一对样本问题-答案、一组手动整理的CoT子问题及其对应的答案[64]。与模型生成的CoT不同，这些推理步骤是人类编写的，旨在反映特定标签的推理模式。结构化的推理被纳入知识蒸馏（KD）过程中，以传达细致的逐步推理过程。基于验证性能，CoT子问题进行了迭代优化。分析表明，某些标签（例如“无症状”）可以通过单个推理步骤解决，而其他标签（例如“宫颈癌的原因”）则需要在一个CoT过程中进行多次推理才能得到正确答案。在15个标签中有7个标签选择性地包含了CoT子问题，在这些标签中逐步推理显示出了明显的改进效果。完整的CoT子问题集合见S1表中的表2。知识蒸馏我们在验证集上使用Llama模型进行了KD实验，这些模型因其问答（QA）性能和开放权重可用性而被选中[65]。Llama 3.1 70B在零样本+指南策略下取得了接近独立评估者一致性（IAA）的性能。然而，其高昂的计算成本使得大规模部署不切实际：在三个A100 GPU上标记1000个样本需要36小时，估计处理整个综合HPV语料库需要三周时间。为了解决这一挑战，我们开发了一个KD框架，将教师模型（Llama 3.1 70B）的能力转移到更小、更高效的学生模型上（经过实验验证后选择了RoBERTa）。我们评估了几种学生模型架构（Llama 3.1 8B、3.2 3B、3.2 1B、RoBERTa和DistilBert），使用了以下蒸馏方法：编码器基线：仅适用于RoBERTa和DistilBert等编码器模型，该方法将任务视为一个多标签分类问题。模型接收输入文本样本并输出一个对应于二元标签的15维向量。学生模型使用教师模型对15个二元标签的预测进行训练。编码器+CoT：通过将CoT子问题作为目标标签来扩展编码器基线。虽然输入仍然是文本样本，但输出扩展为一个（15+m）维的向量，其中m=7代表所有标签的CoT子问题总数。训练过程与编码器基线相同，模型学习预测原始标签和CoT子问题的答案。LLM基线：对于Llama学生模型，这种方法类似于零样本+指南策略。输入包括一个文本样本、一个问题以及经过改写的指南，模型输出一个二元标签。学生模型仅根据教师模型对每个标签的二元预测进行训练。LLM+理由说明：这种方法要求模型在生成二元标签之前先生成理由说明。输入包括文本样本、问题以及经过改写的指南。学生模型基于教师模型的输出进行训练，教师模型的输出包括生成的理由说明和相应的二元标签。在推理时，输入和输出格式与零样本+指南+理由说明策略相同。LLM+CoT：这种方法通过用特定标签的示例替换理由说明来扩展LLM+理由说明策略。每个训练实例包括一个文本样本、一个问题、经过改写的指南以及来自单样本+CoT的手动整理的示例。学生模型被训练以复制结构化的推理步骤和二元标签。在推理时，输入和输出遵循单样本+CoT格式。S1表中的表3总结了每对学生-教师组合的示例输入和输出。显著性测试为了评估模型之间的性能差异是否具有统计学意义，我们应用了配对 Bootstrap测试，通过从原始数据集中随机抽样（有放回）生成了1000个伪测试集[66]。对于每个Bootstrap样本（大小为测试集的一半），我们计算了模型之间的F1分数差异，并根据这种差异超过观察到的差的频率计算了一个单侧经验p值。这使我们能够以p<0.05（置信区间为95%）的统计置信度识别出表现最佳的教师模型和学生模型，确保观察到的改进不太可能是偶然发生的。关于我们实验范式的更多细节见S2文本。结论本研究解决了在碎片化信息生态系统中系统评估健康信息质量的关键挑战，以DOH网站上的HPV信息作为案例研究。自然语言处理（NLP）使得这些存储库的可扩展分析成为可能，而手动评估将非常耗费资源。经过指令调优的LLM实现了零样本和少样本信息提取，减少了注释数据的需求，但它们的高计算成本阻碍了实际应用。为了解决这一挑战，我们开发了一个资源高效的流程，结合了结构化的问答注释框架、经过整理的数据集以及一个KD框架，将大容量教师模型的能力转移到更小的学生模型上。我们通过对48个DOH网站上的14,000多段文本进行的大规模分析来展示了这种方法。未来的工作可以在几个方向上进行扩展。首先，该框架可以支持更详细的评估，包括跨管辖区的比较以及将信息可用性与健康实践和疫苗接种结果联系起来的分析。其次，将更多样本纳入KD过程可能会提高学生模型的性能。第三，将研究扩展到支持多语言内容将扩大其适用范围，并有助于评估不同语言群体之间的主题覆盖差异。总体而言，这些改进将有助于更全面地理解公共卫生信息是如何传播的，以及在哪里可以改进内容。支持信息 参考文献