使用大型语言模型的模块化自动新闻生成方法

《Information》：A Modular Approach to Automated News Generation Using Large Language Models Omar Juárez Gambino, Consuelo Varinia García Mendoza, Braulio Hernandez Minutti, Carol-Michelle Zapata-Manilla, Marco-Antonio Bernal-Trani and Hiram Calvo

　　

生成式人工智能的进展使得开发能够生成与人类创作类似的文本、图像和音频的模型成为可能。这些模型通常因在大规模数据集上训练而具备宝贵的通用知识。通过微调或基于提示的适应性调整，这些知识可应用于特定任务。在这项工作中，研究人员提出了一种使用大型语言模型（Large Language Models, LLMs）进行自动新闻生成的模块化方法，该方法由信息检索模块和文本生成模块组成。所提出的系统利用了公开可用的（开源权重）和专有的大型语言模型，从而能够对它们在所提出的新闻生成流程中的行为进行比较评估。研究人员描述了使用总共五种代表性大型语言模型（涵盖两类模型）进行的实验，详细说明了它们的配置和性能。结果表明，使用大型语言模型来自动化此任务是可行的，并揭示了不同模型类别之间行为的系统性差异，以及实现完全自主新闻生成仍需解决的问题。

## 论文解读文章

### 研究背景与问题

新闻业自诞生以来不断演进，从15世纪印刷术奠定报纸基础，到广播、电视和互联网的兴起，媒体形式和新闻传播速度发生了根本性变化。社交网络和在线新闻平台使用户对信息的即时性需求激增，迫使新闻机构以更快的速度发布内容。为满足这一需求，媒体机构越来越多地借助人工智能（Artificial Intelligence, AI）工具辅助新闻创作。例如，利用结构化数据（如财务报告或体育赛事结果）进行自动新闻生产已在路透社等知名媒体中得到应用。生成式人工智能（Generative Artificial Intelligence, GAI）的发展使模型能够生成高度逼真的合成数据，大型语言模型（Large Language Models, LLMs）如GPT的出现进一步加速了应用开发。

然而，尽管LLMs在通用领域（如聊天机器人）表现出文本生成潜力，其在特定领域（尤其是新闻写作）的应用仍面临诸多挑战。目前，从非结构化数据自动生成西班牙语新闻的研究在文献中受到的关注有限，相关工作主要集中于自动摘要和标题生成等子任务。现有数据集（如NoticIA）揭示了事实一致性问题和幻觉现象，而西班牙语资源的稀缺性进一步制约了任务专用研究。特别是，在开源权重（open-weight）与专有（proprietary）大型语言模型之间进行系统性比较，以实现端到端的西班牙语新闻生成的研究尤为不足。为此，研究人员开展了这项研究，旨在探索LLMs在西班牙语新闻自动生成中的应用，并提出一种模块化方法，结合信息检索与文本生成，评估不同模型类别在新闻写作流程中的表现。

该研究发表在《Information》期刊上。

### 主要关键技术方法

研究人员提出一个模块化方法，包含两个模块：（1）信息收集与选择模块：以作者提供的地点、日期和关键词为初始数据，通过RSS feed从三家墨西哥报纸（La Jornada、Expansión、Reforma）检索新闻文章；使用OpenAI text-embedding-3-small模型将初始数据和新闻内容转换为嵌入向量（embedding vectors），通过余弦相似度（cosine similarity）计算相似性，并设定阈值（0.6-0.9）筛选相关文章；由作者手动选择最相关的文章以增强初始数据。（2）新闻文章生成模块：将增强后的数据与提示（prompt）和模型行为指令（如要求包含日期、地点、事件，禁止幻觉）输入LLM，生成符合新闻结构的文章。研究人员对公开模型GPT-2和LLaMA 3进行了微调（GPT-2使用15,952篇西班牙语新闻全量微调，其余模型使用100篇文章子集微调），并对比了专有模型GPT-3.5、Gemini 1.0 Pro和GPT-4o-mini（未微调）。评估采用定量（UniEval框架，评估连贯性、一致性、流畅性和相关性）和定性（人类评估，检查结构、准确性、额外信息生成、连贯性和完整性）两种方式。

### 研究结果

#### 6.1 信息收集与选择模块实验

通过人类注释对20个查询进行经验性评估，将检索到的文章按余弦相似度分为四个区间（r1: 0.10–0.30, r2: 0.31–0.59, r3: 0.60–0.90, r4: 0.91–1.00）。两名独立评估者使用包含三个标准（事件信息包含、额外相关信息、客观性）的评分表评估相关性。结果显示，区间r3（0.60–0.90）在大多数查询中获得最高相关性得分，评估者间肯德尔τ系数平均为0.967，科恩κ系数为1.00，表明完全一致。因此，系统将检索阈值设定为0.6-0.9。进一步分析显示，人类对相关文章的手动选择对生成质量至关重要：仅使用初始数据（方案1）导致幻觉和不准确信息；使用所有未过滤文章（方案3）导致不一致和幻觉；而手动选择子集（方案2）生成的文章保持清晰焦点、连贯性且无事实错误。

#### 6.2 新闻生成模块评估实验

##### 6.2.1 定量评估

使用UniEval框架评估模型在连贯性、一致性、流畅性和相关性四个维度的得分（表12）。结果表明：微调对开源权重模型的影响因模型而异——GPT-2微调后整体性能提升不显著（基础版得分甚至略高），而LLaMA 3仅用100个样本微调后在所有维度提升约20%。在全部模型中，GPT-2（基础和微调版）在所有指标上表现较差（除流畅性外）；GPT-3.5和微调版LLaMA 3表现相似且整体良好（流畅性除外）；Gemini表现均衡且稳定；GPT-4o-mini在所有维度（除一致性外）获得最佳结果，展示了模型的显著进化。

##### 6.2.2 定性评估

由西班牙语母语者根据五个标准（新闻结构、文本准确性、额外信息生成、连贯性、完整文本）对20篇生成文章进行评估（图7-11）。GPT-2几乎不符合任何标准，频繁产生幻觉和截断文本；Gemini能生成完整连贯文本，但在准确性和结构方面有困难；GPT-3.5和LLaMA 3满足所有标准但无法生成额外信息，且LLaMA 3在半数新闻中生成不完整文本；GPT-4o-mini在结构、连贯性、额外信息和完整文本方面表现最佳，但在4篇新闻中产生了不准确信息（如地点、日期、人物幻觉）。按新闻板块（经济、娱乐、政治、体育）分解的评估结果趋势一致。

### 总结讨论与结论

讨论部分指出，第一个模块中设定0.6-0.9的余弦相似度阈值能最佳检索相关文章，人类引导的文章选择对于避免噪声和矛盾信息至关重要。增强数据改善了LLM生成新闻的质量，表明检索机制与人类选择策略的结合是关键。在第二个模块中，尽管LLMs在文本生成方面成功，但在新闻写作的特定要求（结构、准确性、连贯性）上仍存在缺陷。GPT-2表现最差，GPT-3.5、LLaMA 3和Gemini虽有改善但倾向于复述输入文本而非生成补充信息。GPT-4o-mini在所有标准中脱颖而出，但所有模型（包括GPT-4o-mini）均出现幻觉，尤其在新闻场景下无法容忍。开源权重模型（如LLaMA 3）可通过微调达到与专有模型相当的性能，而专有模型在零样本设置下表现更强。

研究结论部分翻译如下：数字媒体用户要求持续即时地获取信息，这推动了对自动新闻写作的考虑。新闻写作必须严格遵守质量标准，因有伦理承诺需准确、无偏见地报道事件。尽管LLMs在文本生成方面取得显著成果，满足新闻写作要求仍是自动化面临的重大挑战。本文探索了使用LLMs自动生成新闻文章，提出了一种结合新闻源信息检索与不同LLM文本生成的模块化方法。实验使用开源权重和专有模型，并通过自动指标和人类定性分析评估性能。结果表明，所选语言模型受益于检索模块提供的数据增强，更丰富的上下文信息改善了新闻写作。通过人类注释对相似度阈值进行经验性评估以及检索策略分析，揭示了上下文信息如何影响生成新闻的质量和可靠性。除GPT-2外，测试模型大多能满足评估标准，GPT-4o-mini尤其在额外信息生成方面表现突出。实验结果展示了可行性，并凸显了开源权重与专有模型之间的行为差异：专有模型无需任务专用微调即可达到强基线性能，而开源权重模型提供更大灵活性和适应性，但需要额外的工程工作和计算资源。所有模型均出现幻觉案例。研究结果表明，当前基于LLM的系统最适合半自动新闻生成工作流程，可在数据增强中通过选择相关新闻文章加速内容生产，而非完全取代编辑监督。未来工作将集中于提高生成内容的可靠性和事实基础、减少幻觉、增强对新闻写作规范的遵守。特别是，可探索强化学习策略以明确奖励事实一致性并惩罚无依据或虚构信息的生成，同时可探索基于作者叙事意图全自动选择相关新闻文章的策略。