DRE：一种在开放域对话评估中集成小语言模型和大语言模型的有效双重精炼方法

《Neural Networks》：DRE: An Effective Dual-Refined Method for Integrating Small and Large Language Models in Open-Domain Dialogue Evaluation

　　

•我们探索和分析了各种方法，包括基于硬约束的方法（SLIDE 算法）和自学习约束机制（DRE 算法），以将特定任务知识从 SLMs 转移以减轻幻觉问题，从而提高 LLM 性能。据我们所知，这是首个旨在通过这种双细化过程增强 LLMs 在评估开放域对话中性能的方法。
•我们采用了一种新颖的结构化三元组提示词：<辅助信息，解释，任务>，该提示词整合了外部知识（源自 SLM 的洞察）以提高 LLM 的响应质量。
•我们通过引入多个正响应和对抗性负响应增强了现有的对话评估数据集。这种增强后的数据集可用于微调开放域 SLM 模型。
•我们进行了广泛的实验来验证所提出的评估框架的有效性，证明 DRE 在开放域对话评估基准上取得了最先进的性能。此外，我们对 SLMs 和 LLMs 集成的研究为未来研究结合这些模型以增强对话评估提供了有价值的见解。

引言
开放域对话生成代表了自然语言生成（NLG）内的一个重要研究焦点 Dai et al. (2024); Loakman et al. (2023); Tang et al. (2023); Xiao et al. (2023); Yang et al. (2024); Ye et al. (2024); Zhao et al. (2023)。评估此类对话具有挑战性，这是由于问题的一对多特性，即单个对话上下文允许存在多个合理且语义适当的响应。与上下文表现出词汇重叠的对抗性负响应进一步使评估复杂化 Sai et al. (2020)。

现有的评估方法依赖于词重叠指标（例如，BLEU Papineni et al. (2002), ROUGE Lin (2004), METEOR Banerjee and Lavie (2005)）或语义嵌入方法（例如，BERTScore Zhang et al. (2020), BARTScore Yuan et al. (2021)），这些方法计算生成响应与上下文/参考集之间的相似度。这些方法未能充分解决一对多问题。虽然基于广泛数据集预训练的大语言模型（LLMs）在评估任务中表现出强劲性能 Chiang and Lee (2023); Fu et al. (2024); Kocmi and Federmann (2023); Liu et al. (2023)，但其广泛的预训练范围限制了特定任务的知识。因此，它们在任务执行过程中可能会出现幻觉，导致次优的评估性能 Lin and Chen (2023); Wang, Yang, Huang, Yang, Majumder, Wei, 2024a, Wang, Li, Chen, Cai, Zhu, Lin, Cao, Kong, Liu, Liu, Sui, 2024b。例如，Lin 和 Chen (2023) 提出了使用多个 LLMs 进行开放域对话评估的 LLM-EVAL，识别出显著的提示词敏感性，这人为地限制了指标的有效性，并导致评估质量随着提示词表述而波动，从而产生不可靠且不稳健的评分。此外，Wang 等人 (2024b) 指出，如果没有额外的支持，LLMs 单独并不能构成公平的评估者。

此外，LLMs 在产生可靠评估方面遇到显著限制，特别是在区分高质量正响应和对抗性负响应时。虽然 LLMs 在分类对抗性响应方面表现出中等准确率，但它们在多个合理正响应之间进行区分的能力——这是一对多开放域对话系统的核心挑战——仍然有限。在这种情况下，语义不同但上下文适当的响应往往与参考答案存在显著差异，使基于 LLM 的评估复杂化。小语言模型（SLMs）虽然成本效益高，但由于其训练范围较窄，表现出对正响应的内在偏见。然而，部署 SLMs 受限于其对大规模、话题多样化训练数据的依赖。这一要求在数据稀缺和话题覆盖不足阻碍实施效率和可扩展性的开放域对话应用中加剧了挑战。

为解决上述问题，我们提出了一种集成 SLMs 和 LLMs 的混合方法，以解决一对多挑战并通过基于 LLM 的增强来缓解数据稀缺。我们研究了利用先前知识和领域特定约束来协同两种模型互补优势的方法。这种方法名为 SLIDE（小模型与大模型对话评估集成）Zhao et al. (2024)，优化了 SLMs 和 LLMs 用于对话评估之间的平衡。首先，使用对比学习训练 SLM，以最小化正响应和上下文嵌入之间的余弦距离，同时最大化对抗性负嵌入的距离。经过对比微调后，SLM 能有效区分响应类型。然后，将响应表示分类为鲁棒或非鲁棒向量，仅保留鲁棒向量。随后计算上下文 - 响应距离和分类概率。这些值被组合以形成 SLM 评估分数，该分数与 LLM 的输出集成以产生最终的评估指标。

然而，SLIDE 构成了 SLMs 和 LLMs 的基本集成，利用了它们的互补优势，但需要手动阈值设计。基于 SLIDE，我们提出了双细化评估方法（DRE），这是一个通过自学习细化循环集成 SLMs 和 LLMs 的新颖框架。遵循与 SLIDE 相同的 SLM 训练过程，DRE 实现了两种不同的约束机制：
(1) 内部细化：将 SLM 输出集成到提示词中指导 LLM 评估，产生初步分数和量化 SLM 影响的影响分数；
(2) 外部细化：使用由上下文 - 响应距离、分类概率和影响分数导出的系数来细化 LLM 分数。这些阶段共同生成最终的评估指标。跨多种 LLMs 的实验证实了 DRE 的鲁棒性，表明在对话评估中性能显著改进。

SLIDE 和 DRE 之间的差异总结如下：
•算法差异。SLIDE 构成了 SLMs 和 LLMs 的基本集成，利用了它们的互补优势，但需要手动阈值设计。相比之下，DRE 通过用于对话评估的优化框架推进了这种集成，采用自学习控制循环来动态平衡 SLM 和 LLM 的贡献。具体而言，我们提出了一种双细化方法——包含外部和内部细化——以增强 LLM 评分和整体性能。
•提示词设计差异。SLIDE 的提示词仅包括任务描述，没有补充知识来指导 LLM 响应。相反，DRE 采用结构化三元组提示词：<辅助信息，解释，任务>，该提示词整合外部知识（源自 SLM 的洞察）以提高 LLM 响应质量。
•实验差异。为了更全面地验证 DRE 的有效性，我们扩大了 LLM 评估的范围，超出了 SLIDE 的范围，纳入了闭源和开源模型（Llama, Qwen, Deepseek-R1）。此外，我们使用在 DailyDialogue++ 数据集上训练的 SLM 进行了额外的泛化测试，以评估在增强数据集上的性能。
•其他差异。本文详细阐述了 SLM 训练细节，包括损失/准确率曲线、阈值选择实验及相关实现细节。

我们的贡献可以总结如下：
•我们探索和分析了各种方法，包括基于硬约束的方法（SLIDE 算法）和自学习约束机制（DRE 算法），以将特定任务知识从 SLMs 转移以减轻幻觉问题，从而提高 LLM 性能。据我们所知，这是首个旨在通过这种双细化过程增强 LLMs 在评估开放域对话中性能的方法。
•我们采用了一种新颖的结构化三元组提示词：<辅助信息，解释，任务>，该提示词整合了外部知识（源自 SLM 的洞察）以提高 LLM 的响应质量。
•我们通过引入多个正响应和对抗性负响应增强了现有的对话评估数据集。这种增强后的数据集可用于微调开放域 SLM 模型。
•我们进行了广泛的实验来验证所提出的评估框架的有效性，证明 DRE 在开放域对话评估基准上取得了最先进的性能。此外，我们对 SLMs 和 LLMs 集成的研究为未来研究结合这些模型以增强对话评估提供了有价值的见解。

章节片段
对话评估指标
传统的基于 n-gram 的评估指标如 BLEU Papineni et al. (2002), ROUGE Lin (2004) 和 METEOR Banerjee and Lavie (2005) 评估候选响应与参考之间的词重叠。相反，基于嵌入的指标如 Extrema Forgues et al. (2014) 和 BERTScore Zhang et al. (2020) 将响应和参考转换为高维表示以评估语义相似度。近年来，人们对开发 Transformer 表现出越来越大的兴趣。

Transformer
对于句子 xi，假设它包含 j 个 token，嵌入过程定义如下：
????=[???(????,1);???(????,2);?;???(????,??)]∈???×??
其中 Xi 是输入序列的嵌入表示，j 是序列长度，d 是嵌入维度。在本文中，d=768。
由于 Transformer 本质上缺乏序列信息，有必要将位置编码纳入输入嵌入。通常，这是通过应用正弦和余弦函数来表示实现的。

数据集
我们在三个开放域对话数据集上进行对话评估：DailyDialog++ Sai et al. (2020), TopicalChat Gopalakrishnan et al. (2019) 和 PersonaChat Zhang et al. (2018)。DailyDialog++ 数据集在训练集中包含 9,259 个上下文，验证集中包含 1,028 个，测试集中包含 1,142 个。每个上下文都配有五个正响应，五个随机负响应和五个对抗性负响应。值得注意的是，DailyDialog++ 数据集是唯一可用的...

训练过程分析
为了证明解耦过程的有效性，我们分析了三个数据集中损失和准确率值的变化。这包括对比损失和三元组准确率的分析，三元组准确率测量正响应与其对应上下文之间的距离小于负响应距离的实例比例，以及分类率及其相关准确率。图 3 说明了包含...的模型。

结论
在本文中，我们首先介绍了一种新颖的自动评估指标（SLIDE），该指标集成 SLM 与 LLMs 用于开放域对话评估。我们的方法包括首先通过迭代对比学习阶段训练 SLM，随后利用 SLM 和 LLMs 的联合优势创建优越的评估指标。与仅源自 LLMs 的指标相比，该指标与人类判断的相关性增强。此外，实验结果揭示...

局限性
1. 关于可扩展性：虽然我们当前的实现在标准对话评估数据集上表现出强劲性能，但处理超大规模数据集将需要额外的计算资源和优化。主要瓶颈来自 LLM API 调用，其随对话对数量的增加而线性扩展。为解决此问题，我们建议对重复评估进行批处理和缓存 LLM 响应。对于工业应用，我们建议使用较小的、微调的...

生成式人工智能声明
声明：在准备本工作期间，作者使用了 ChatGPT 以修改语法问题。在使用该工具/服务后，作者根据需要审查和编辑了内容，并对出版物的内容承担全部责任。

CRediT 作者贡献声明
Kun Zhao: 写作 – 审查与编辑，写作 – 原创草稿，可视化，验证，项目管理，方法论，调查，形式分析，数据整理，概念化。Bohao Yang: 写作 – 审查与编辑，数据整理。Chen Tang: 写作 – 原创草稿。Siyuan Dai: 写作 – 审查与编辑。Haoteng Tang: 写作 – 审查与编辑。Chenghua Lin: 写作 – 审查与编辑。Liang Zhan: 写作 – 审查与编辑，资金获取。

竞争利益声明
作者声明他们没有已知的可能影响本论文报告工作的竞争性财务利益或个人关系。

致谢
本研究部分得到了国家自然科学基金 (NSF) (IIS 2045848, CCF 2523787) 和德克萨斯大学 Rio Grande Valley 分校 (UTRGV) 计算机科学系的总统研究奖学金 (PRF)，以及 UTRGV 种子基金的支持。

Kun Zhao|Bohao Yang|Chen Tang|Siyuan Dai|Haoteng Tang|Chenghua Lin|Liang Zhan