基于提示的掩码语言模型在数值推理中的应用

《ACM Transactions on Intelligent Systems and Technology》：Prompt-based Masked Language Modeling for Numerical Reasoning

数字意识标题生成与数值推理研究：通过预训练、少样本提示和思维链提示分析大语言模型性能，提出指令调优与掩码语言模型双方法，在NumHG数据集上验证其优于基线模型，掩码方法显著提升中小模型数值推理能力，并证实对事实核查和文本总结的鲁棒性。

　　

摘要

标题生成是摘要生成中的关键任务，其目标是将整篇文章总结成一条简洁的句子。尽管序列到序列的编码器-解码器模型和基于Transformer的大型语言模型在文本生成和摘要生成方面表现出色，但生成包含新闻正文中数字的标题仍然是一个重大挑战。生成能够识别数字的标题需要模型具备解决数字问题和进行数学推理的能力，以推断新闻正文中数字之间的关系。鉴于在生成能够识别数字的标题以及进行新闻正文中数字推理方面存在的挑战，本研究采用多种策略（包括预训练、少样本提示和思维链提示）对大型语言模型（LLMs）进行了实证研究，以探讨其在生成能够识别数字的标题和进行数字推理方面的能力。基于我们对大型语言模型在生成能够识别数字的标题和进行数字推理方面的实证研究所得到的见解，我们提出了两种新方法：利用大型语言模型进行指令调优以生成能够识别数字的标题，以及基于提示的掩码语言建模来进行数字推理。我们在NumHG数据集上进行了实验。实验结果表明，我们提出的方法在生成能够识别数字的标题和进行数字推理的任务中，均优于预训练、少样本提示和思维链提示设置的大型语言模型，以及文献中的基线模型。实验结果还显示，我们提出的基于提示的掩码语言建模显著提高了小型和中型语言模型在数字推理任务上的性能。我们还通过评估这些模型在事实核查数字声明和进行能够识别数字的文本摘要的数字推理方面的表现来研究其鲁棒性。我们的研究结果表明，基于提示的掩码语言建模方法在数字声明验证和能够识别数字的文本摘要的数字推理方面也同样有效。