《Sensors》：A High-Throughput Memory Compression Architecture for Real-Time 3D Visual Tracking and Quantification on Edge Devices
编辑推荐：
在嵌入式边缘设备上部署实时三维（3D）视觉感知、连续空间感知和图形密集型多媒体应用，会引入显著的运行时内存压力。在执行期间，这些工作负载持续生成小粒度内存页，包括图像缓冲区、深度图、渲染缓存、中间特征张量和媒体缓冲区。为在保持低处理开销的同时降低内存占用，本文
在嵌入式边缘设备上部署实时三维（3D）视觉感知、连续空间感知和图形密集型多媒体应用，会引入显著的运行时内存压力。在执行期间，这些工作负载持续生成小粒度内存页，包括图像缓冲区、深度图、渲染缓存、中间特征张量和媒体缓冲区。为在保持低处理开销的同时降低内存占用，本文提出一种面向视觉与多媒体工作负载所生成运行时内存页的序列感知级联压缩框架。该框架不采用传统的恢复后重新压缩路径，而是直接重用LZ4生成的中间序列表示。它解析LZ4序列，将其划分为字面量流和结构化流序列，并采用霍夫曼编码和有限状态熵（FSE）编码进行流特定熵编码。通过避免整页恢复和重复冗余分析，该框架在降低压缩开销的同时保持了无损重建语义。在真实运行时内存页上的实验结果表明，所提框架平均压缩处理时间降低42.10%，最高降低52.22%；平均中央处理器（CPU）时间降低20.28%，平均峰值内存使用量降低29.92%。在RISC-V边缘平台上的额外验证表明，压缩处理时间最高降低64.36%。基于三维扫描数据得到的16 MB点云内存样本进一步显示压缩时间降低33.16%。对超过200K个混合熵内存页的功能测试表明，所提框架实现100%无损重建，并能成功检测损坏的压缩流。
随着感知丰富的移动终端与边缘设备的发展，实时三维（3D）视觉感知、连续空间感知以及图形密集型多媒体应用已成为边缘侧系统的重要工作负载。这些应用在执行过程中会持续生成大量小粒度运行时内存页，例如图像缓冲区、深度图、渲染缓存、中间特征张量和媒体缓冲区。然而，移动终端和边缘设备通常受限于内存容量，难以通过简单的硬件扩展来缓解日益增长的运行时内存压力。因此，如何在保持低处理延迟和低系统响应开销的同时，有效压缩运行时内存并节省内存空间，成为压缩内存系统和数据密集型视觉应用的关键问题。
现有运行时内存压缩机制通常需要在压缩速度与压缩效果之间进行权衡。一类方法以LZ4等快速字典匹配压缩器为代表，这类方法压缩与解压速度快，适合延迟敏感路径，但主要依赖重复字节序列匹配，对残差统计冗余的利用能力有限，压缩效果仍有提升空间。另一类方法是二次重新压缩，即先用快速主压缩器处理页面，再对选中的压缩结果使用高压缩率算法重新压缩。这类方法能进一步减小压缩体积，但通常需要更长的处理时间和更高的运行开销。该开销的主要来源是传统的“恢复后重新压缩”路径：现有机制将主压缩结果视为不透明的压缩字节流，二次压缩器难以直接利用其中已有的结构信息，因此需要先将压缩块恢复或重组成原始页格式，再重新扫描并发现冗余。这不仅引入额外恢复开销，也未能充分利用主压缩阶段提取的序列级信息。
为解决这一矛盾，本文提出一种序列感知级联压缩框架，用于视觉与多媒体工作负载生成的运行时内存页。该研究发表于《Sensors》。其核心思想是直接重用LZ4生成的中间序列表示，而非回退到完整原始页进行再次压缩，从而避免恢复后重新压缩路径中的重复处理，同时保留二次压缩的体积缩减收益。研究人员首先通过LZ4压缩模块显式暴露内存页中的局部重复，生成可恢复的LZ4序列中间表示；然后由级联转码模块直接解析LZ4序列，将字面量长度（LL）、字面量内容、匹配长度（ML）和偏移（OF）等字段按信息类型分离为字面量流和结构化流；最后，二次熵编码模块根据各流统计特性，对字面量流应用霍夫曼编码，对LL、ML、OF流应用有限状态熵（FSE）编码，从而在避免整页恢复和重复冗余分析的同时保持无损重建语义。
在技术方法上，主要实验使用真实移动终端上代表性视觉和多媒体应用运行时的4 KB内存页，来源覆盖抖音、微信、淘宝、QQ音乐、浏览器和微博；3D传感数据采用Stanford Bunny点云样本和Redwood RGB-D Living Room样本。关键流程包括：LZ4前端压缩提取局部重复；级联转码解析LZ4序列字段并分离为字面量流和结构化流；字面量流采用霍夫曼编码，结构化流采用FSE编码。实验平台为树莓派4 Model B（4 GB内存），并使用StarFive VisionFive 2 RISC-V平台进行跨架构验证。
研究结果如下。5.1 实验设置：主实验在树莓派4平台进行，另在RISC-V平台开展相同设置下的验证，以确保公平比较。5.2 压缩大小-延迟权衡：与恢复后重新压缩路径相比，所提框架平均压缩处理时间降低42.10%，最高降低52.22%，其中抖音和微信降幅最大；压缩大小比平均增加0.70个百分点，浏览器差异最大为5.15个百分点。对4 KB页而言，平均每页多占用约29字节，最大约211字节；每1 GiB原始页数据平均多约7.2 MiB，最大约52.7 MiB。延迟分解表明，序列转码比LZ4解压平均快35.60%，微信工作负载中最大达65.16%；排除预处理开销后，后续压缩阶段平均降低41.92%，最大降低50.62%。5.3 压缩侧资源开销：所提框架平均CPU时间降低20.28%，Redwood工作负载中最大降低33.44%；平均峰值内存使用量降低29.92%，微博工作负载中最大降低79.22%。这得益于避免整页重建和重复冗余分析，中间表示更小且工作集更稳定。5.4 解压性能与资源开销：在树莓派4上，所提框架解压延迟为Zstd解压的1.01至1.51倍，平均约1.19倍；CPU时间和峰值内存保持稳定，额外开销较小。5.5 RISC-V跨架构验证：在StarFive平台上，压缩时间降低47.51%至64.36%，平均降低56.92%；解压延迟为Zstd的1.04至1.40倍，平均约1.20倍，表明性能趋势不依赖单一平台。5.6 功能正确性与鲁棒性：对超过200K个混合熵内存页进行端到端重建，所有页面均实现字节级无损恢复；全零页和重复字节页可正确编解码；长字面量、扩展匹配长度、极端偏移和末尾字面量等边界情况均正确解码；在压缩块中注入位级错误后，解码器能通过元数据验证和解码状态检查成功检出损坏流。5.7 流特定熵编码的有效性：与统一霍夫曼和统一FSE两种基线相比，所提策略在所有工作负载上取得最低第二级压缩大小比，平均比统一霍夫曼低4.79个百分点，比统一FSE低5.36个百分点，抖音工作负载中最大改进分别为6.0和6.9个百分点，表明单一熵编码器无法匹配不同流的统计特性。5.8 对3D传感工作负载的有效性：对Stanford Bunny样本，压缩时间降低33.16%，压缩大小比下降6个百分点；对Redwood RGB-D Living Room样本，压缩时间降低43.07%，压缩大小比下降1.54个百分点，验证了框架对点云和RGB-D内存数据处理的有效性。
讨论部分指出，该框架将LZ4从独立快速压缩器转变为结构提取前端，使第二级压缩避免整页恢复和重复冗余分析，因此显著降低处理时间、CPU时间和峰值内存。它是一种延迟和资源导向的重新压缩策略，而不是最大密度压缩器。相比恢复后重新压缩基线，压缩大小比仅平均增加0.70个百分点，却换来了压缩处理时间平均减少42.10%、CPU时间平均减少20.28%、峰值内存平均减少29.92%的收益。流特定熵编码的必要性得到证实：字面量字节呈多峰分布，而LL、ML、OF呈头部集中长尾分布，统一编码会削弱压缩效果。集成到实际压缩内存系统时还需考虑解压延迟、缺页处理、调度干扰和应用响应性；未来可研究动态编码决策和硬件感知加速。研究结论可概括为：本文提出了一种序列感知级联压缩框架，直接重用LZ4序列信息，分离字面量和序列流，并分别采用霍夫曼和FSE编码，从而在保持无损重建的同时降低二次压缩的计算与内存开销。在代表性视觉和多媒体应用上，该方法相比恢复后重新压缩路径平均降低压缩处理时间42.10%，最高52.22%，降低CPU时间20.28%和峰值内存29.92%，且压缩大小比基本相当；超过200K个混合熵4 KB页的功能测试验证了字节级无损重建与损坏流检测。该框架适用于内存受限的边缘侧场景，并对3D点云和RGB-D数据具有良好适用性，为边缘3D感知与跟踪系统提供了有效的内存压缩方案。
