《Applied Sciences》：Using LLMs for Pre-Annotation of Emotional Manipulation Techniques in a Low-Resource Language Corpus: Are We There Yet?
编辑推荐：
本文考察增量式提示工程（prompt engineering）是否能在低资源语言环境下实现可靠的大语言模型（large language model，LLM）预注释（pre-annotation）。研究人员以立陶宛语（Lithuanian）作为案例，系统评估了
本文考察增量式提示工程（prompt engineering）是否能在低资源语言环境下实现可靠的大语言模型（large language model，LLM）预注释（pre-annotation）。研究人员以立陶宛语（Lithuanian）作为案例，系统评估了多种LLM提示（prompt）设计，并评价其用于生成情感操纵（emotional manipulation）注释以支持语料库开发的适用性。研究人员发现，表现随任务复杂度而变化，系统性的提示优化可测量地降低了输出不稳定性。对表现最佳的提示策略进行跨模型评估显示，多种现代LLM在结果上呈现一致且相似的趋势。研究结果表明，结构化提示（structured prompts）虽能显著提升输出一致性，且LLM辅助注释对于定义明确的类别可大致接近人工标注质量，但当代LLM所生成结果的质量仍不足以满足低资源语言情感操纵技术的自动预注释要求。
**1. 研究背景、问题与研究目的概述**
情感操纵（emotional manipulation）在公共媒体和社交媒体中能够显著影响人类决策，并可能被恶意行为者利用。自动检测在线文本中的操纵模式有助于监测公众对信息内容的反应、识别新兴叙事趋势，并在有害活动升级前加以缓解。语言线索（linguistic cues）也是误导性内容传播的促成因素：情感负载且风格鲜明的表达可放大欺骗性信息在社交平台上的传播范围，从而加剧了在系统性建模操纵性话语时捕获此类信号的需求。大语言模型（LLM）在高资源语言的自然语言处理领域拓展了新的可能性，但在低资源语言中的实用性仍未被充分探索。可靠的操纵性内容检测需要大规模、高质量的标注数据集，然而这类数据集的构建耗时且人力成本高昂。针对立陶宛语（Lithuanian）等较小语言的数据集极为稀缺，且缺乏规模和多样性。因此，开发能够自动化创建低资源语言注释语料库的工具具有重要意义。尽管当前模型在技术检测精度和注释跨度识别上存在困难，但研究人员对LLM可能成为人类注释者宝贵助手仍抱有期待。
本项研究以立陶宛语为案例，系统考察提示工程（prompt engineering）作为一种实用策略，能否使低资源语言环境中的自然语言处理（NLP）任务得以实现。研究人员探究结构化提示（structured prompting）能否实现可靠的文本分类，以及LLM生成的结果能否作为未来数据集开发的基础。同时，研究人员也评估了利用LLM启动注释工作流（bootstrap annotation workflows）的可行性。该研究针对增量式提示工程策略如何在低资源语言环境下影响LLM稳定性和检测性能这一缺乏系统性证据的问题，提供了一系列评估结果和未来研究指南。此外，研究人员还开发了一个由四位专家标注的、包含1000条立陶宛新闻门户网站评论、5300个标注跨度的黄金标准语料库（gold-standard corpus），覆盖14种情感操纵技术。研究旨在回答三个核心问题：提示工程能在多大程度上改善LLM在立陶宛语文本标注任务中的表现？哪些提示策略、提示和模型设置对辅助语料库注释者具有最高的实际效用？在不同温度设置或不同LLM下执行同一提示时，输出方差能达到何种程度？
**2. 主要关键技术方法**
研究人员采用了一套八阶段的系统实验流程：首先构建情感操纵技术标注数据集；随后设计四种基于递增式优化的提示策略；在GPT-4.1模型上执行设计好的提示；对提示输出进行后处理以提取精确的原文跨度；建立分析与评估框架；分析提示输出；评估各提示策略；并在其他主流LLM上测试最终结果。四种提示策略包括：策略I仅提供简短任务描述；策略II补充了操纵技术清单和情绪列表；策略III每次仅针对一种技术，包含其定义和可能诱发的情绪；策略IV在策略III基础上增加技术定义、省略情绪列表并加入显式提取条件。所有提示采用零样本策略，指令以立陶宛语撰写，技术名称和定义保留英语以利用模型预训练优势。跨模型评估涉及GPT-5.4、Gemini 2.5、Claude Sonnet 4.5和DeepSeek-V3.2。样本来源于LITIS语料库（2010-2014年立陶宛新闻门户Delfi.lt和Lrytas.lt的匿名用户评论）以及2021-2025年主流新闻媒体Facebook讨论区的105条高互动性评论。
**3. 研究结果**
- **5.1 提示适用性评估**：在1000条评论的测试中，所有策略的提示均未呈现稳定的输出。策略I在不同运行间的检测差异最大（温度0为4.1-5.6%，温度1为5.1-7.3%），而其他策略仅呈现微小变化。各策略在跨度级别上的唯一跨度数量在单次运行内相似，但累计所有运行后总唯一跨度数高于任一次运行，表明存在执行间变异。片段复现稳定性问题包括：合并跨度、使用省略号标记遗漏、以解释性文字替代实际摘录。策略IV虽减少了跨运行变异，但产生了比策略III更多的不正确跨度。标签生成稳定性方面，策略I生成了异常巨大且高度可变的标签集；策略II加入技术清单后，唯一技术标签数量较策略I减少97%，但仍较高，需手动归一化。
- **5.2 提示性能评估**：基于符号匹配的评价显示，策略IV在精确率上最高，策略III在召回率上最高，策略IV的F1分数具竞争力；温度影响微小。在具体技术层面，策略IV在10/14种技术上提升了检测F1分数，略低于其他策略的包括名称呼（Name-calling）、诉诸恐惧（Appeal to Fear）和情绪性语言（Loaded Language）。基于跨度匹配的评价中，策略IV在多数技术上仍表现最佳，但精确率提升幅度因技术而异。
- **5.3 跨模型实验结果**：在GPT-5.4、Gemini 2.5、Claude Sonnet 4.5和DeepSeek-V3.2上测试策略IV提示，F1分数大多不优于GPT-4.1基线，且部分模型显著更差。重复测量方差分析（ANOVA）显示模型间存在显著差异（F=17.43，p<0.001）。事后比较表明，Claude Sonnet 4.5和DeepSeek-V3.2的平均F1分数显著低于基线GPT-4.1，而GPT-5.4和Gemini 2.5未达统计显著性。
- **5.4 实用适用性评估**：策略IV虽提升了多数技术的实用F1分数（自定义指标F1
a），但除一种技术外，F1
a均低于25%。还原到希特勒（Reductio ad Hitlerum, RH）技术的F1
a超过0.5（0.57），可视为可用于预注释。该技术中40%的注释与专家一致，32.3%需部分调整，1.5%需纠正，12.3%未被模型检测到。标签滥用（Labelling, Lb）和煽动种族仇恨（Sp）技术虽改进明显，但Lb产生较多噪声（FP占比49.4%），Sp遗漏近三分之一跨度。夸大（Exaggeration）、怀疑（Doubt）、抽象指控（GA）和替罪羊（Scapegoating）技术的FP比例下降但仍较高。趋同效应（Bandwagon）、口号（Slogans）、民族主义标语（Flag Waving）、诉诸恐惧、最低限度（Minimization）和情绪性语言技术均不适合实际使用。
**4. 讨论与结论**
研究人员总结道：提示结构塑造了输出稳定性和模型性能。策略I表现出实质性不稳定性，不适合自动化注释；策略II虽将标签变异性降低了97%，但仍保持高度结果不稳定性；策略III缺乏稳定性和精确度；策略IV在多数技术上呈现出更好的结果稳定性和精确率，但改进并非均匀分布。温度强烈影响LLM结果稳定性，温度1导致更大的输出变异和偏差，因此推荐使用温度0。跨模型测试显示趋势基本一致，但存在部分差异。
理论意义方面：研究发现强化了既有结论，即LLM在细粒度操纵跨度检测中的表现对提示结构和上下文支撑高度敏感。多标签提示存在语义漂移限制，单技术提示加显式约束更为稳健。实际意义方面：所提出的结合稳定性指标、符号/跨度匹配和自定义实用度量的评估框架可用于评估提示是否切实减轻注释者负担。当前主流LLM总体上不适合在低资源立陶宛语语料库中自动标注情感操纵技术，仅Reductio ad Hitlerum技术接近可用。
研究局限性包括：数据集基于目标抽样策略，可能引入选择偏差，不代表自然评论分布；仅包含立陶宛新闻门户评论，限制了跨领域或跨语言推广；多阶段、多次运行的实验方法增加了API成本和计算资源需求；仅对策略IV使用温度0设置，其实验性不稳定效应未经验证。
未来研究方向：探索跨语言迁移性，引入自验证或多轮提示技术以稳定输出，关注持续表现不佳的技术（如Bandwagon和Slogans）以理解其在立陶宛语境中检测率低下的语言或概念因素。
**研究结论部分翻译**：研究人员提出了一项针对增量式LLM提示工程方法的系统研究，其目的是检测立陶宛语文本中情感操纵技术的出现。大部分工作基于GPT-4.1完成。研究人员还使用其他当代主流LLM（GPT-5.4、Gemini 2.5、Claude Sonnet 4.5和DeepSeek-V3.2）测试了最终的提示工程结果，其中GPT和Gemini模型的性能与基线差异未达统计显著性，而Sonnet和DeepSeek的整体F1分数显著更低。基于GPT-4.1的结果表明，提示的表述方式决定了输出稳定性和模型性能。策略I提示表现出实质性不稳定性，使其不适合自动化文本注释。策略II提示通过纳入技术清单和情绪清单，将标签变异性较策略I降低了97%，但维持了高的结果不稳定性，表明在有限上下文引导下的多标签任务不足以实现可靠检测。策略III和IV的结果不存在策略I和II中观察到的多标签变异性。策略III的结果缺乏稳定性和精确度，这促使研究人员开发了策略IV，其具有技术特定定义和显式提取规则。策略IV在多数技术上展现出更好的结果稳定性和更高的精确率。然而，不同技术上的性能提升并不均匀，这表明进一步的提示优化应针对每种技术进行明确定制。提示温度被发现在结果稳定性上具有强烈影响。在温度1下执行的提示产生了显著更大的输出变异、更多对任务指令的偏离以及更高比例不可复现的跨度。这表明，出于情感操纵检测的目的，最好在温度0下运行提示。所有使用策略IV提示测试的主流LLM在少数技术上的结果略优于GPT-4.1的基线，但在多数技术上结果更差。技术间的趋势紧密跟随基线LLM所显示的趋势。这表明本研究的结果在不同LLM之间大体可迁移，尽管存在一些差异。
