TextEconomizer:利用去噪变换器和熵编码技术提升有损文本压缩效果

《Neural Networks》:TextEconomizer: Enhancing Lossy Text Compression with Denoising Transformers and Entropy Coding

【字体: 大 中 小 】 时间:2026年05月16日 来源:Neural Networks 6.3

编辑推荐:

  马布布·E·索巴尼(Mahbub E. Sobhani)|阿尼卡·塔斯尼姆·罗德拉(Anika Tasnim Rodela)|乔杜里·莫菲祖尔·拉赫曼(Chowdhury Mofizur Rahman)|德万·穆罕默德·法里德(Dewan Md. Farid)|斯瓦卡尔·沙塔布达

  
马布布·E·索巴尼(Mahbub E. Sobhani)|阿尼卡·塔斯尼姆·罗德拉(Anika Tasnim Rodela)|乔杜里·莫菲祖尔·拉赫曼(Chowdhury Mofizur Rahman)|德万·穆罕默德·法里德(Dewan Md. Farid)|斯瓦卡尔·沙塔布达(Swakkhar Shatabda)

摘要

有损文本压缩在保留核心意义的同时减少了数据大小,因此非常适合用于摘要生成、自动化分析以及数字档案存储等对精确度要求不高的场景。尽管基于Transformer的模型在语言建模领域占据主导地位,但将上下文向量和无损熵编码集成到序列到序列(Seq2Seq)文本生成中的研究仍较为有限。一个关键挑战在于从编码器输出中识别出最具信息量的上下文向量,并将熵编码融入Transformer框架中,以在保持高质量输出的同时提高存储效率,尤其是在文本存在噪声的情况下。以往的研究主要集中在接近无损的符号生成上,往往忽略了空间效率。在本文中,我们提出了TextEconomizer框架,该框架结合了编码器和解码器以及Transformer神经网络。该框架利用其潜在表示能力,无需预先了解数据集的维度,即可将输入大小减少50%至80%。通过引入熵编码,我们的模型实现了具有竞争力的压缩比,并在双语评估(BLEU)、基于召回率的文本生成评估(ROUGE)、具有显式排序的翻译评估指标(METEOR)以及语义相似性评分等方面表现出近乎完美的文本质量。值得注意的是,TextEconomizer的参数数量仅为同类模型的大约1/153,压缩比达到了5.39倍,且没有牺牲语义质量。此外,我们还通过实现一种基于长短期记忆(LSTM)的自编码器(该技术常用于图像压缩)以及将高级模块集成到Transformer架构中来评估我们的框架。我们的自编码器实现了67倍的压缩比,参数数量仅为传统方法的1/196;而改进后的Transformer模型在参数数量上减少了263倍,性能更胜一筹。TextEconomizer框架在平衡内存效率与高保真输出方面显著超越了现有的基于Transformer的模型,标志着有损压缩技术在空间利用方面的重大突破。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号