《Neural Networks》:TextEconomizer: Enhancing Lossy Text Compression with Denoising Transformers and Entropy Coding
编辑推荐:
马布布·E·索巴尼(Mahbub E. Sobhani)|阿尼卡·塔斯尼姆·罗德拉(Anika Tasnim Rodela)|乔杜里·莫菲祖尔·拉赫曼(Chowdhury Mofizur Rahman)|德万·穆罕默德·法里德(Dewan Md. Farid)|斯瓦卡尔·沙塔布达
马布布·E·索巴尼(Mahbub E. Sobhani)|阿尼卡·塔斯尼姆·罗德拉(Anika Tasnim Rodela)|乔杜里·莫菲祖尔·拉赫曼(Chowdhury Mofizur Rahman)|德万·穆罕默德·法里德(Dewan Md. Farid)|斯瓦卡尔·沙塔布达(Swakkhar Shatabda)
摘要
有损文本压缩在保留核心意义的同时减少了数据大小,因此非常适合用于摘要生成、自动化分析以及数字档案存储等对精确度要求不高的场景。尽管基于Transformer的模型在语言建模领域占据主导地位,但将上下文向量和无损熵编码集成到序列到序列(Seq2Seq)文本生成中的研究仍较为有限。一个关键挑战在于从编码器输出中识别出最具信息量的上下文向量,并将熵编码融入Transformer框架中,以在保持高质量输出的同时提高存储效率,尤其是在文本存在噪声的情况下。以往的研究主要集中在接近无损的符号生成上,往往忽略了空间效率。在本文中,我们提出了TextEconomizer框架,该框架结合了编码器和解码器以及Transformer神经网络。该框架利用其潜在表示能力,无需预先了解数据集的维度,即可将输入大小减少50%至80%。通过引入熵编码,我们的模型实现了具有竞争力的压缩比,并在双语评估(BLEU)、基于召回率的文本生成评估(ROUGE)、具有显式排序的翻译评估指标(METEOR)以及语义相似性评分等方面表现出近乎完美的文本质量。值得注意的是,TextEconomizer的参数数量仅为同类模型的大约1/153,压缩比达到了5.39倍,且没有牺牲语义质量。此外,我们还通过实现一种基于长短期记忆(LSTM)的自编码器(该技术常用于图像压缩)以及将高级模块集成到Transformer架构中来评估我们的框架。我们的自编码器实现了67倍的压缩比,参数数量仅为传统方法的1/196;而改进后的Transformer模型在参数数量上减少了263倍,性能更胜一筹。TextEconomizer框架在平衡内存效率与高保真输出方面显著超越了现有的基于Transformer的模型,标志着有损压缩技术在空间利用方面的重大突破。