LaPA2：用于长文本可控生成的长度感知前缀与提示词注意力增强技术

《Pattern Recognition》：LaPA2: Length-aware Prefix and Prompt Attention Augmentation for long-form Controllable Text Generation

　　•前缀注意力稀释被确认为长文本生成中控制损失的重要因素。•已有正式证明表明，前缀注意力的衰减与序列长度呈反比关系。•长度感知缩放方法能够有效减缓前缀注意力的衰减速度。•可选的上下文锚定强化机制可保持提示语的连贯性。•在六种前缀方法、四种模型规模及三项任务中均展现出一致的优化效果。

引言
可控文本生成技术旨在引导语言模型具备特定的属性，如情感倾向、主题或安全性[1][2]。目前已有多种方法被提出，包括全模型重训练[3][4]、强化学习[5][6]，以及参数高效微调[7][8]和解码时干预策略[9][10][11][12]。其中，基于前缀的方法尤为值得关注：通过在模型输入前添加特定于属性的标记——无论是经过学习的嵌入向量[8][12][13]还是自然语言指令[14][15]——就能在不修改模型权重的情况下实现有效控制。

然而，目前对基于前缀方法的评估大多集中在短文本生成场景，通常序列长度在20至50个标记之间[9][12][16][17]。这种有限的测试范围掩盖了一个实际问题：如图1所示，随着生成序列长度的增加，基于前缀方法的可控性会逐渐下降。尽管近期出现了一些架构上的解决方案，比如非残差提示机制[18]和残差记忆Transformer[19]，它们虽能缓解这种衰减现象，但需要额外的可训练模块以及专门的预训练过程，因此难以应用于故事或文档级等长文本生成场景。

受多模态领域中视觉注意力衰减会导致生成质量下降的研究成果启发[20][21][22]，我们推测基于前缀的可控文本生成也会存在类似的“注意力稀释”问题：在softmax归一化作用下，分配给前缀标记的预期注意力权重会随着总序列长度的增加而单调递减。我们对此现象进行了形式化分析，并证明在均匀logit假设下，预期前缀注意力的衰减速率为O(l?1)，其中l为总序列长度。大量实验证据也支持这一假设，从而为基于前缀的可控文本生成方法中出现的控制损失提供了理论解释。

基于上述分析，我们提出了长度感知前缀与提示注意力增强框架LaPA2，这是一种无需训练的框架，可通过两种机制来抵消注意力稀释效应。长度感知对数缩放机制会为前缀注意力的logit值添加与长度相关的偏置，从而将衰减速率从O(l?1)降低到O(lα?1)（见命题2）；另外还有一种可选的上下文锚定强化机制，它会对提示标记应用类似的增强处理，从而在那些对属性控制要求过高的场景下保持语义连贯性。由于该增强机制作用于注意力logit值，因此LaPA2与前缀类型无关，既可用于软前缀方法，也可用于硬前缀方法。与基于重训练的方案[3][4]或依赖额外模块的方案[18][19]不同，LaPA2既不引入任何可学习参数，也不需要额外的前向计算步骤。我们在六种基于前缀的方法、四种不同规模的模型（355M至13B参数量）、三项可控文本生成任务，以及64至512个标记不等的序列长度上对该框架进行了测试。我们的主要贡献如下：
1. 我们确定了注意力稀释是导致基于前缀的可控文本生成方法在长文本生成中性能下降的关键因素，并且通过形式化分析证明了在均匀logit假设下，前缀注意力的衰减速率约为O(l?1)。
2. 我们提出了LaPA2，这是一种无需训练、无参数且与模型类型无关的框架，它通过长度感知对数缩放来降低前缀注意力的衰减速率，同时还可通过可选的上下文锚定强化机制来保持语义连贯性。
3. 大量实验表明，在六种基于前缀的方法、四种模型规模及三项可控文本生成任务中，LaPA2都能有效提升长文本生成场景下的可控性，同时不会影响文本的流畅性和内容相关性。

章节摘录
基于重训练的可控文本生成
早期的可控文本生成方法会利用特定于属性的数据来修改模型结构或参数。Keskar等人[3]使用55个控制代码训练了一个包含1.63B参数的条件Transformer模型。CoCon[4]则通过自监督模块将控制条件嵌入到模型的隐藏状态中。POINTER[23]则先在12GB的维基百科数据上基于逐步插入目标进行预训练，之后再针对高约束度的生成任务进行微调。Director[24]则提出了一种生成器-分类器混合架构，用以进一步优化生成结果。

基础知识：基于前缀的可控文本生成
给定一个长度为T?1的提示语x1以及一个目标属性a（例如积极情感），可控文本生成的任务就是生成一个与a相匹配的后续文本xT:N，其概率分布为：P(xT:N|x1:T?1,a)=∏t=TNP(xt|x基于前缀的方法是通过在模型输入前添加特定于属性的标记来实现这一目标的。这类标记可分为两类：一类是从特定于属性的数据中学习得到的连续型嵌入向量，即软前缀[8][13]；另一类则是离散型的自然语言指令，例如“请生成一段积极向上的文本：”，即硬前缀[14][15]。这两种类型的前缀均可用于实现可控文本生成目标。

lapa2框架
基于上述分析，我们提出了lapa2，这是一种无需训练的框架，它通过增强注意力logit值的方式来抵消注意力稀释效应。该框架可直接应用于各种基于前缀的可控文本生成方法，无需进行任何修改。整个框架的结构如图3所示。

实验设置
任务与评估指标
我们在三项可控文本生成任务上进行了测试：情感控制、主题控制以及去毒处理。我们采用了air-decoding[12]中的方法，同时进行自动评估和人工评估。在自动评估方面，我们对情感控制和主题控制任务使用了通过air-decoding在yelp review和agnews数据集上训练得到的roberta分类器[32]来衡量属性识别准确率（acc ↑），这两个数据集上的测试集准确率分别达到了98.53%和95.57%，且最大输入长度为512个标记；而对于去毒处理任务，则通过平均毒性值（tox. ↓）来评估效果。

结论
在本研究中，我们发现注意力稀释是导致基于前缀的可控文本生成方法在长文本生成场景中可控性下降的关键原因：随着生成序列长度的增加，softmax归一化机制会逐渐削弱前缀注意力的强度，进而降低属性控制的精度。为了解决这一问题，我们提出了lapa2，这是一种无需训练、与模型类型无关的框架，它通过为前缀注意力的logit值添加与长度相关的对数偏置来减缓注意力衰减速度，同时还提供了一种可选的增强机制来进一步提升控制效果。

credit作者贡献声明
杨家兵：论文撰写——初稿编写、软件工具使用、方法设计、概念构思。陈益祥：论文撰写——审阅与编辑、验证工作、软件工具应用、形式化分析。温子晨：论文撰写——审阅与编辑、验证工作、形式化分析、数据整理。崔晨航：论文撰写——审阅与编辑、研究工作。李佩岩：论文撰写——审阅与编辑、资源收集、研究工作。徐远：论文撰写——审阅与编辑、研究工作。方博文：论文撰写——审阅与编辑、研究工作。余涛：论文撰写——审阅与编辑。

关于 manuscript准备过程中生成式ai及ai辅助技术的声明
在撰写本文的过程中，作者们使用了anthropic公司的claude工具来协助语言润色、latex格式编排以及初步的文献检索工作。在使用该工具之后，作者们对内容进行了必要的审阅和修改，并对最终发表的文章内容负全责。

利益冲突声明
作者们声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢
本研究得到了国家自然科学基金委员会（项目编号62322607、62236010和62276261）以及北京市自然科学基金（项目编号l252033）的共同支持。

杨家兵|陈益祥|温子晨|崔晨航|李佩岩|徐远|方博文|余涛|林瑞康|黄岩|王亮 基于前缀的方法是通过在模型输入前添加特定于属性的标记来实现这一目标的。这类标记可分为两类：一类是从特定于属性的数据中学习得到的连续型嵌入向量，即软前缀[8][13]；另一类则是离散型的自然语言指令，例如“请生成一段积极向上的文本：”，即硬前缀[14][15]。这两种类型的前缀均可用于实现可控文本生成目标。 lapa2框架 基于上述分析，我们提出了lapa2，这是一种无需训练的框架，它通过增强注意力logit值的方式来抵消注意力稀释效应。该框架可直接应用于各种基于前缀的可控文本生成方法，无需进行任何修改。整个框架的结构如图3所示。 实验设置 任务与评估指标 我们在三项可控文本生成任务上进行了测试：情感控制、主题控制以及去毒处理。我们采用了air-decoding[12]中的方法，同时进行自动评估和人工评估。在自动评估方面，我们对情感控制和主题控制任务使用了通过air-decoding在yelp review和agnews数据集上训练得到的roberta分类器[32]来衡量属性识别准确率（acc ↑），这两个数据集上的测试集准确率分别达到了98.53%和95.57%，且最大输入长度为512个标记；而对于去毒处理任务，则通过平均毒性值（tox. ↓）来评估效果。 结论 在本研究中，我们发现注意力稀释是导致基于前缀的可控文本生成方法在长文本生成场景中可控性下降的关键原因：随着生成序列长度的增加，softmax归一化机制会逐渐削弱前缀注意力的强度，进而降低属性控制的精度。为了解决这一问题，我们提出了lapa2，这是一种无需训练、与模型类型无关的框架，它通过为前缀注意力的logit值添加与长度相关的对数偏置来减缓注意力衰减速度，同时还提供了一种可选的增强机制来进一步提升控制效果。 credit作者贡献声明 杨家兵：论文撰写——初稿编写、软件工具使用、方法设计、概念构思。陈益祥：论文撰写——审阅与编辑、验证工作、软件工具应用、形式化分析。温子晨：论文撰写——审阅与编辑、验证工作、形式化分析、数据整理。崔晨航：论文撰写——审阅与编辑、研究工作。李佩岩：论文撰写——审阅与编辑、资源收集、研究工作。徐远：论文撰写——审阅与编辑、研究工作。方博文：论文撰写——审阅与编辑、研究工作。余涛：论文撰写——审阅与编辑。 关于 manuscript准备过程中生成式ai及ai辅助技术的声明 在撰写本文的过程中，作者们使用了anthropic公司的claude工具来协助语言润色、latex格式编排以及初步的文献检索工作。在使用该工具之后，作者们对内容进行了必要的审阅和修改，并对最终发表的文章内容负全责。 利益冲突声明 作者们声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。 致谢 本研究得到了国家自然科学基金委员会（项目编号62322607、62236010和62276261）以及北京市自然科学基金（项目编号l252033）的共同支持。>基于前缀的方法是通过在模型输入前添加特定于属性的标记来实现这一目标的。这类标记可分为两类：一类是从特定于属性的数据中学习得到的连续型嵌入向量，即软前缀[8][13]；另一类则是离散型的自然语言指令，例如“请生成一段积极向上的文本：”，即硬前缀[14][15]。这两种类型的前缀均可用于实现可控文本生成目标。

lapa2框架
基于上述分析，我们提出了lapa2，这是一种无需训练的框架，它通过增强注意力logit值的方式来抵消注意力稀释效应。该框架可直接应用于各种基于前缀的可控文本生成方法，无需进行任何修改。整个框架的结构如图3所示。

实验设置
任务与评估指标
我们在三项可控文本生成任务上进行了测试：情感控制、主题控制以及去毒处理。我们采用了air-decoding[12]中的方法，同时进行自动评估和人工评估。在自动评估方面，我们对情感控制和主题控制任务使用了通过air-decoding在yelp review和agnews数据集上训练得到的roberta分类器[32]来衡量属性识别准确率（acc ↑），这两个数据集上的测试集准确率分别达到了98.53%和95.57%，且最大输入长度为512个标记；而对于去毒处理任务，则通过平均毒性值（tox. ↓）来评估效果。

结论
在本研究中，我们发现注意力稀释是导致基于前缀的可控文本生成方法在长文本生成场景中可控性下降的关键原因：随着生成序列长度的增加，softmax归一化机制会逐渐削弱前缀注意力的强度，进而降低属性控制的精度。为了解决这一问题，我们提出了lapa2，这是一种无需训练、与模型类型无关的框架，它通过为前缀注意力的logit值添加与长度相关的对数偏置来减缓注意力衰减速度，同时还提供了一种可选的增强机制来进一步提升控制效果。

credit作者贡献声明
杨家兵：论文撰写——初稿编写、软件工具使用、方法设计、概念构思。陈益祥：论文撰写——审阅与编辑、验证工作、软件工具应用、形式化分析。温子晨：论文撰写——审阅与编辑、验证工作、形式化分析、数据整理。崔晨航：论文撰写——审阅与编辑、研究工作。李佩岩：论文撰写——审阅与编辑、资源收集、研究工作。徐远：论文撰写——审阅与编辑、研究工作。方博文：论文撰写——审阅与编辑、研究工作。余涛：论文撰写——审阅与编辑。

关于 manuscript准备过程中生成式ai及ai辅助技术的声明
在撰写本文的过程中，作者们使用了anthropic公司的claude工具来协助语言润色、latex格式编排以及初步的文献检索工作。在使用该工具之后，作者们对内容进行了必要的审阅和修改，并对最终发表的文章内容负全责。

利益冲突声明
作者们声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢
本研究得到了国家自然科学基金委员会（项目编号62322607、62236010和62276261）以及北京市自然科学基金（项目编号l252033）的共同支持。

杨家兵|陈益祥|温子晨|崔晨航|李佩岩|徐远|方博文|余涛|林瑞康|黄岩|王亮>