用于GIS栅格数据的BWT增强压缩技术：一种结合AV1编码思想和Burrows–Wheeler变换的混合方法 Yair Wiseman

《Big Data and Cognitive Computing》：BWT-Enhanced Compression for GIS Raster Data: A Hybrid AV1-Inspired Approach with Burrows–Wheeler Transform Yair Wiseman

　　摘要 AVIF（AV1图像文件格式）是一种现代的、免版税的图像格式，它利用AV1视频编解码器实现高效的压缩，支持有损和无损压缩模式。其熵编码依赖于多符号上下文自适应算术编码器（带有自适应累积分布函数（CDF）的范围编码），这种编码方法对一般图像很有效，但可能无法充分利用地理信息系统（GIS）地图/数据中常见的重复结构。本文提出用Burrows–Wheeler Transform（BWT）替换AVIF的熵编码器，BWT是一种可逆的预处理算法，通过重新排列数据来创建相似符号的连续序列，从而提高后续压缩效果。我们详细介绍了修改的技术步骤，并参考了AV1的开源实现，解释了为什么BWT对于具有大面积均匀区域、有限颜色调色板和空间冗余的GIS栅格地图/数据来说具有优势。来自相关研究的实证证据表明，在无损压缩场景下，BWT可以显著减小文件大小，同时保持对地理空间分析至关重要的数据完整性。这种替换可以提高GIS应用（如遥感和制图）中的存储、传输和处理效率。讨论中包括了计算开销和兼容性等挑战，并提出了实现建议。最终的BWT-AVIF混合格式产生的非标准AV1比特流不符合AV1或AVIF规范，因此需要自定义解码器。本文将其作为针对GIS特定的压缩技术原型进行介绍，而不是一个兼容的AV1扩展。

1. 引言
在大数据时代，高效的图像压缩至关重要，尤其是在地理信息系统（GIS）等专业领域，其中栅格数据代表了庞大的地理空间数据集。传统的格式如JPEG或PNG在文件大小、质量和保真度之间常常难以平衡，特别是对于需要无损压缩以保持分析精度的GIS栅格数据[1]。AVIF格式于2019年由开放媒体联盟（AOMedia）作为开放标准推出，它通过将AV1压缩的图像封装在HEIF（高效图像文件格式）容器中来满足这些需求[2]。AVIF在压缩比率、支持高动态范围（HDR）、宽色域和阿尔法通道方面表现出色，使其适用于Web和多媒体应用[3]。
AVIF效率的核心在于AV1编解码器的流程：预测、变换编码（例如离散余弦变换变体）、量化以及熵编码。熵编码阶段使用多符号上下文自适应算术编码器对符号进行概率编码，以减少冗余[4]。虽然这种方法对于自然图像有效，但可能无法充分利用GIS栅格数据的独特特征，例如土地覆盖中的重复模式（例如森林、水域）或具有有限离散值的主题层。算术编码基于局部上下文处理符号，但缺乏全局重排以放大冗余。

Burrows–Wheeler Transform（BWT）是一种最初为bzip2等文本压缩工具开发的块排序算法。BWT通过排序所有循环移位，提取最后一列将类似字符分组为连续序列，从而提高后续编码（例如游长编码或霍夫曼编码）的效率。与基于概率顺序编码符号的算术编码不同，BWT利用全局上下文从重复数据中创建可压缩结构[5]。

本文探讨了用BWT替换AVIF的熵编码器，重点讨论其对GIS地图压缩的潜在好处。GIS栅格数据通常以像素值网格的形式存储，代表海拔、植被指数或土地利用等信息，无损压缩方法可以有效避免影响变化检测或建模等分析的数据失真。常见的GIS压缩技术包括LZ77（deflate）、JPEG 2000或四叉树分割，但BWT处理图像等非文本数据中重复模式的能力尚未得到充分利用。

本文认为，通过这种替换，我们可以由于GIS栅格数据的空间自相关性实现更高效的压缩：相邻像素经常具有相同的值，因此在BWT处理后会产生较长的连续序列。关于BWT在图像压缩中的研究显示，在无损场景下，其性能优于JPEG-LS等标准方法。本文按顺序介绍了我们提出的压缩方法的开发和评估过程。第2节概述了相关工作，特别关注了AVIF和Burrows–Wheeler Transform（BWT）的当前实现，并解释了GIS的基础和BWT压缩的必要性。第3节概述了技术方法，详细说明了执行所提议替换所需的步骤。第4节探讨了该方法的实际价值，强调了其在应用于地理信息系统（GIS）数据时的独特优势。第5节对实验结果进行了深入讨论和分析。最后，第6节总结了我们的发现并提出了结论性意见。

2. 相关工作
2.1. AVIF图像标准：背景和比较评估
AVIF图像格式是数字压缩技术的一个重大进步，主要基于AV1视频编解码器构建。该编解码器在AV1比特流和解码过程规范中有详细的描述，概述了编码和解码数据流的精确机制。AV1本身是多家科技巨头共同努力的结果，提供了一个开源的、免版税的解决方案，可以与HEVC（也称为H.265）等成熟标准相竞争[6]。由于AV1在视频序列和静态图像方面都具有较高的效率，它能够在保持高质量视觉效果的同时实现较小的文件大小，特别适合带宽节约至关重要的Web应用[7]。在AVIF框架中，单个图像被视为独立的帧内帧，这些帧不依赖于其他帧的时间参考，并被封装在HEIF容器中[8]。这些容器作为多功能包装器，可以容纳必要的元数据，如颜色配置文件、图像方向甚至用于透明度的阿尔法通道，确保格式在各种平台和设备上保持灵活性和兼容性。

AV1的设计理念在于在不收取许可费用的情况下实现卓越的压缩比率，这是HEVC等前辈格式的主要缺点[9]。AV1由开放媒体联盟（AOMedia）开发，包含了一套针对现代内容传递的创新工具，包括超高清视频和复杂的静态照片。其免版税的特性使得开发者、内容创作者和最终用户可以无缝将其集成到软件生态系统中，而无需支付费用。对于AV1中的静态图像，这意味着该格式不仅保留了细腻的细节和鲜艳的色彩，还优化了存储和传输，尤其是在移动摄影或在线画廊等场景中，快速加载时间可以提升用户体验[10]。从像HEVC这样的专有编解码器转向AV1，体现了行业中向开放性和合作趋势的转变，促进了虚拟现实和增强现实成像等领域的创新，其中AV1的效率可以支持沉浸式体验，而不需要过多的硬件资源[11]。

在AV1框架内，将图像编码为帧内帧是对视频技术的一种巧妙适应，消除了视频压缩中典型的帧间依赖性[12]。这种方法确保每个图像都可以独立解码，这对于随机访问和编辑工作流程至关重要[13]。HEIF容器源自ISO基础媒体文件格式，通过支持图像序列、连拍照片甚至计算摄影元数据等功能增加了复杂性。例如，HEIF容器可以存储关于高动态范围（HDR）渲染或深度图的信息，使AVIF文件能够超越简单的数字信息，捕捉到捕捉场景的真实本质。这种AV1核心与HEIF结构的结合使AVIF成为一个前瞻性的格式，有望取代浏览器、操作系统和内容管理系统中的旧标准，其中与新兴显示技术的兼容性至关重要[14]。

AV1压缩的初始阶段依赖于帧内预测，该过程利用图像内的空间相关性来估计相邻像素的值。通过预测并从实际数据中减去这些值，编码器减少了由于平滑梯度或重复纹理等模式产生的冗余，从而简化了后续压缩阶段。这一步骤具有高度适应性，采用了多种预测模式，如方向性、DC或平滑预测，以最佳匹配图像块的局部特征[15]。实际上，帧内预测使AVIF能够处理从自然景观（具有微妙颜色过渡）到合成图形（具有锐利边缘）的各种内容类型，同时保持感知质量。在这里获得的效率为整个流程奠定了基调，确保传递给后续阶段的残差数据尽可能紧凑，这对于高分辨率图像尤为重要，因为原始文件大小可能变得很大。

在帧内预测之后，残差数据会进行变换编码，这是一个关键阶段，其中空间域数据通过数学变换转换为频域系数。AV1提供了多种选择，包括用于通用压缩的离散余弦变换（DCT）、用于处理某些边缘情况的离散正弦变换（DST），以及在无损场景下完全跳过此步骤的恒等变换[16]。这些变换将能量集中在较少的系数上，从而实现更有效的量化和编码。AV1支持的块大小从4×4到128×128像素不等，可以根据图像内的细节程度进行适应，对均匀区域应用较大的变换以获得更高的效率，对复杂区域应用较小的变换以保持保真度。这种灵活性是AVIF相对于JPEG等格式的优势所在，后者依赖于更严格的8×8 DCT，经常在压缩输出中产生块状或振铃效应。

AVIF继承了AV1的递归多类型树分割机制。图像从64×64或128×128像素的超级块开始。每个超级块递归分割（四叉树+非对称二进制/三分割）为4×4编码块。每个编码块选择相应的变换块（应用于实际DCT/ADST等），还可以进一步分割，支持从4×4到64×64（方形和矩形）的各种大小。

编码器对每个选定的块大小应用（可能不同的）变换核： (1) （AV1实际上支持DCT、ADST、翻转ADST和恒等变换；上述公式是DCT情况。 是预测残差。）

不同的变量N值具有不同的数学优势。首先，在均匀和平滑区域，能量压缩非常有效，这意味着较大的变换可以提高编码效率。对于完全恒定的残差块（），只有DC系数是非零的： (2) 一个大的块（例如64×64）需要一个DC系数+一组模式/分割位。同样的区域如果编码为64个单独的8×8块（JPEG风格），则需要64个DC系数+64倍的信号开销。即使对于缓慢变化的平滑梯度，较大的N也能提供更精细的低频分辨率（频率间隔周期/像素），因此能量被集中在较少的低（w, v）系数中。量化后生成更多的零值系数可以在给定的失真水平下实现更低的编码比特率。

此外，在复杂和详细区域中，更好的空间定位决定了较小的变换能够提供更高的重建保真度。一个锐利的边缘或纹理如果限制在4×4区域内，将迫使大块使用许多高频系数（或在64×64像素范围内产生振铃效应）。较小的4×4变换可以将高频能量（和任何振铃效应）限制在那些16个像素内。图像的其余部分可以继续使用大块。

此外，速率-失真优化（RDO）作为核心决策引擎，动态评估并选择最有效的编码参数。编码器评估每种可能的分割树和变换大小组合，并选择最小化拉格朗日成本的模式 (3) 其中失真（通常是原始像素和重建像素之间的平方误差之和，或感知度量）；总比特数（量化后的变换系数+熵编码+分割/模式信号）；是由目标质量/比特率控制的拉格朗日乘数。

这种内在的适应性解释了为什么像AVIF这样的先进格式可以动态地根据图像的具体内容调整其处理方式，对平坦均匀区域应用较大的变换，对高度复杂的区域应用较小的变换。底层的数学框架旨在精确计算和执行每个区域之间的压缩效率和视觉保真度之间的权衡。因此，平滑区域可以从最大的能量压缩中受益，而尖锐的细节则保持其局域性。与此形成鲜明对比的是，传统的标准（如JPEG）受到严格架构设计的严重限制。由于JPEG依赖于一个固定的、不可变的网格，它被迫在整个图像上应用完全相同的8 × 8块变换，这使得它完全无法适应视觉数据的不同空间复杂性[17]。量化作为在有损压缩模式中引入可控损失的主要机制，通过缩小变换系数来减少表示所需的比特深度。在AVIF中，这一过程可以精细调节，量化参数可以针对每个块或帧进行调整，以平衡文件大小和视觉质量：较粗的量化会产生较小的文件，但可能会引入可感知的失真；而较细的设置则优先考虑精度，但会牺牲压缩比[18]。对于无损压缩，可以省略量化，从而确保原始图像的逐位重建。这一阶段的影响深远，因为它直接决定了效率和保真度之间的权衡，使得AVIF适用于从需要无损存储的场景到通过有损模式优化带宽而不影响观众满意度的流媒体服务等各种应用。

AV1压缩能力的核心在于其熵编码阶段，该阶段采用了一种复杂的多符号上下文自适应算术编码器（一种基于自适应累积分布函数（CDF）的编码器）。这种编码器支持多达16个符号的字母表，并在帧或瓦片级别动态更新CDF，从而能够针对特定内容进行精确的概率建模。上下文适应通过根据先前编码的元素（如相邻块或符号历史）调整符号概率来进一步提高效率。这种方法增强了对于不同图像元素的压缩效果，包括预测模式、量化变换系数以及（在视频上下文中）运动向量[19]。对于AVIF中的静态图像，这种方法可以产生极其紧凑的文件，通常优于WebP或JPEG[20]。自适应特性确保编码器能够应对从需要无损压缩的存档存储到通过有损模式优化带宽的流媒体服务等各种应用场景。

尽管有这些优点，AV1的熵编码及其对局部适应性的强调在处理高度重复的数据（如具有均匀模式或大量相同符号的GIS栅格数据）时可能会有所不足。在这种情况下，熵编码器的逐帧或瓦片级更新可能无法充分利用全局冗余，相对于专为模式密集型数据集设计的专门变换方法来说可能会落后。然而，AV1通过强大的无损压缩支持来缓解这一问题，可以通过完全绕过量化或使用恒等变换来避免任何数据更改。不过，在极端优化情况下，熵编码阶段仍可能成为瓶颈，因此正在持续研究混合方法或补充工具，以在科学成像或制图等特定应用中进一步拓展其潜力。由于熵编码阶段定义了最终的比特流语法，用基于BWT的流程替换它必然会产生不符合AV1标准的比特流。因此，生成的文件是一种需要特殊解码器的自定义研究版本。

尽管AV1的多符号上下文自适应算术编码器在自然图像上表现良好，但其局部上下文建模（通常仅限于相邻块或短符号历史）在处理GIS栅格的全局空间自相关时存在困难。例如，大型均匀区域（如水体、农田或背景掩码）会产生大量的相同或近似相同的预测残差。传统的AVI熵编码器无法充分利用这些长距离重复性，导致熵值高于全局重新排列变换（如BWT）的结果。我们的实验定量证据表明，在均匀瓦片中，BWT后的运行长度经常超过9000-12,000个符号，远远超出了AV1的典型上下文窗口，这直接贡献了观察到的31-47%的额外压缩增益。

需要澄清的是，由于熵编码阶段被完全替换，因此输出比特流不符合AV1规范，不是一个有效的AVIF文件。因此，这种格式被标记为“BWT-AVIF”，纯粹是一个研究原型。标准AVIF解析器和解码器将无法解码图像内容，尽管为了元数据的方便保留了HEIF容器包装。

AV1/AVIF压缩过程的可视化表示可以在[21]中找到。

2.2. BWT：技术概述、优势与局限性
Burrows-Wheeler变换（简称BWT）由Michael Burrows和David Wheeler于1994年提出，是一种高效的预处理技术，旨在通过巧妙的可逆排列输入序列来增强数据压缩[22]。通过将相似符号组合成连续的相同字符来重新排列原始数据，这种变换显著提高了后续压缩阶段的效率，同时不丢失任何信息。这种排列操作是在固定大小的数据块上进行的，例如在bzip2这样的实现中，块的大小通常约为900千字节，尽管块长度可以根据数据集的具体需求进行调整，包括数字图像的尺寸和复杂性，较大的或较小的块可能更适合获得最佳性能[23]。

BWT算法的核心是首先构造输入字符串S的所有n种可能的循环旋转，每种旋转都会将字符 circularly 移位，使得每个可能的起始位置都恰好出现一次。设S是某个字母表上的长度为n的输入字符串。BWT首先构造所有循环旋转。第i个旋转定义为：

然后将这些旋转按字典顺序排列成一个矩阵，这意味着行是根据完整的字符串按字母顺序排列的，同时考虑了每个旋转的完整上下文。一旦形成排序矩阵，变换就提取该矩阵的最后一列作为其主要输出，并记录一个索引值，该值精确地标识原始未旋转字符串在排序列表中的位置；这种最后一列字符串和索引的组合以紧凑且可逆的方式完全捕获了变换后的表示[24]。

设数组indices为原始起始索引，使得行在字典上满足排序条件。排序后的Burrows-Wheeler矩阵M有m行：

BWT的主要输出是变换后的字符串L（通常称为BWT字符串），即该矩阵的最后一列：

同时，记录一个索引i，它表示原始未旋转字符串在排序矩阵中的行号：

这对(L, i)完全且紧凑地表示了变换：L是长度为n的最后一列字符串，i标识了原始未旋转字符串在排序列表中的确切位置。

BWT的强大之处在于，这种排序过程自然地将相同或高度相似的字符在输出字符串中聚类成连续的序列，这是因为在原始数据中具有相同前缀的字符在字典排序后会相邻排列。例如，在重复或结构化数据中，频繁出现相同模式的符号被合并在一起，将分散的出现转变为易于下游算法高效编码的长序列。这种聚类效应并非随机产生，而是旋转的循环性质和全局排序操作的直接数学结果，它有效地揭示了输入中隐藏的冗余性和上下文关系，而无需预先了解数据的统计特性[25]。

L中的运行长度聚类直接来源于排序后的旋转与其前驱字符之间的关系。因为L[i]总是位于第i个排序旋转起始位置之前的字符（即L[i]位于原始S中整个上下文字符串之前），并且行是根据这些上下文全局排序的，因此具有长公共前缀的旋转在矩阵中会相邻排列。正式地，如果两个旋转具有相同的长度为l的前缀：

那么它们的前驱字符分别来自S中紧接在相同上下文序列之前的位置。在重复或结构化数据中，这导致相同的符号在L中形成长连续序列。这种效果是循环构造和字典排序的直接结果：对完整旋转的排序操作根据它们的右上下文（排序后的后缀/旋转）有效地将符号分组，从而聚集了它们的左上下文前驱。

通过一种优雅且确定性的过程可以逆转BWT以恢复原始字符串：首先取变换后的输出字符串，并创建一个初始矩阵，其中每个输出字符构成其自己的行。然后对这个矩阵进行字典排序，同时在每次迭代中将输出字符串本身连接到每一行的开头，逐步重建完整的旋转集合，直到重新出现完整的排序矩阵；最后，使用记录的索引来选择与原始输入字符串相对应的确切行，从而实现完美重建，而不会有任何数据丢失或错误引入。这种逆向过程是有保证的，因为最后一列属性和稳定的排序保留了所有必要的位置信息，使得整个变换完全可逆。

BWT的实际优势包括其计算效率，标准时间复杂度为O(n log n)，这是由于旋转的排序所致，尽管可以通过使用后缀数组或后缀树等高级数据结构将其优化为线性O(n)时间，这些数据结构避免了显式生成所有旋转。算法的可逆性且不丢失任何数据进一步使其成为理想的预处理工具，因为它在仅重新排列符号以暴露可压缩性的同时保持了输入的位级保真度。这些属性结合在一起，使得BWT在处理多种数据类型时异常稳健，无论输入是高度重复的文本还是更多样化的二进制内容，都能保持索引和排序的开销在可管理范围内[26]。

当BWT集成到完整的压缩流程中时，通常会跟随其他阶段，如Move-to-Front（MTF）变换（将最近使用的符号动态排在列表的前端以获得更短的代码）、运行长度编码（RLE）（将新形成的相同字符的长序列压缩为紧凑的计数值对），以及最终的熵编码器（如Huffman或算术编码）以进一步压缩剩余的冗余。这种分层方法使得BWT能够超越单独的熵编码方法，特别是在具有局部重复的数据上，因为它首先揭示了其他情况下会隐藏的结构模式，从而在后续阶段更有效地利用这些模式[27]。对于非传统文本的应用，例如图像压缩，BWT在将二维像素阵列通过行主排序转换为了一维流之后应用，或者更有效地，在从相邻像素计算预测误差之后应用，以进一步增强相似值的聚类效果，展示了该变换在将图像作为序列化字节序列处理时的多功能性[28]。

2.3. 推动GIS发展：从空间分析到压缩
地理信息系统（GIS）是一种结合了硬件、软件和数据的变革性技术，用于捕获、存储、分析和可视化以交互式数字地图形式呈现的空间信息。在其核心，GIS栅格数据不仅仅是静态图像。它们是地球表面的动态、分层表示，每个像素或矢量特征都与丰富的属性数据库相关联，如海拔、人口密度、土地利用、土壤类型或基础设施细节[30]。GIS整合了空间和描述性数据，揭示出复杂模式，将原始信息转化为可操作的智能。这些数字数据提供了重要的可视化工具，驱动着各个行业的关键决策[31]。GIS栅格数据的技术基础建立在复杂的数据模型之上，这些模型区分了栅格格式和矢量格式、坐标参考系统以及拓扑关系，确保了精确到厘米级的空间准确性。现代GIS平台可以处理TB级别的卫星图像、LiDAR点云、无人机调查数据、众包GPS轨迹以及来自物联网网络的实时传感器数据，然后将它们进行地理参考并投影到统一的坐标系统中。先进的算法执行空间连接、缓冲、插值、网络分析和预测建模，而基于云的架构则 enables 分布在各大洲的团队进行协作编辑。这一计算基础使得GIS栅格数据从单纯的可视化工具发展成为能够模拟未来情景的预测引擎，例如在不同政策选择下的城市扩张或海平面上升导致的洪水淹没。这种技术复杂性的重要性不可低估；没有它，人类将无法精确管理有限资源、应对快速的环境变化或为不断增长的人口规划具有韧性的基础设施[32]。

在城市规划和智慧城市发展中，GIS栅格数据已成为指导日益城市化世界可持续增长不可或缺的决策支持系统[33]。GIS使规划者能够优化基础设施位置、管理交通并可视化再开发的影响。最重要的是，在灾难管理和公共卫生危机中的空间分析通过快速响应挽救了无数生命[34]。地理信息系统使城市规划者能够战略性地定位关键基础设施、高效管理日常交通流量，并准确可视化再开发项目的复杂影响。此外，在严重的公共卫生危机和自然灾害管理中利用空间分析可以显著加快应急响应时间，从而每天拯救无数生命[35]。

GIS图像，如高分辨率卫星图像、数字高程模型、土地覆盖分类栅格和专题地图，其特征是广阔的均匀区域（如均匀的海洋表面、连绵的森林冠层或大型农田）与明显的线性特征（如道路、海岸线、行政边界）交织在一起，并具有固有的平铺结构（通常是256 × 256或512 × 512像素的瓦片），这些特征产生了高度重复且上下文相关的像素值，传统的熵编码器（如AV1的多符号自适应熵编码器（带有自适应CDF的范围编码器）难以高效利用。Burrows-Wheeler变换是一种理想的无损压缩方法，适用于这些特定数据集。它通过可逆地重新排序序列数据流，并按字典顺序对所有循环旋转进行排序来工作。这种上下文感知的排序将相同的符号分组在一起，在均匀区域内创建出极长的连续重复字节序列。这种聚类显著增强了后续阶段（如前向移动编码、游程长度编码和轻量级霍夫曼或算术编码）的效果，通常比标准AVIF在GIS栅格上实现更好的压缩比，同时保持了科学准确性所需的数学无损保真度、变化检测分析和法律存档。

此外，BWT与每瓦片处理无缝集成，使得跨CPU核心或GPU的并行编码成为可能，这与现代地图服务器和云GIS平台的原生架构相匹配，从而减少了PB级地球观测存档的存储需求和传输带宽，而不会引入跨瓦片伪影或牺牲GIS工作流程所要求的空间独立性。本质上，BWT将GIS图像的固有冗余模式从潜在性质转变为可利用的属性，提供了优于传统基于块或自适应上下文方法的速率-失真性能，使其成为下一代地理空间压缩流程的最佳熵预处理选择。

3. 方法论
3.1. 用BWT替换标准熵编码器
用Burrows-Wheeler变换替换AVIF中的标准熵编码器的概念引入了一个强大的预处理阶段，可以通过利用量化数据中的长序列相同符号显著提高压缩性能。由于AVIF基于AV1视频流构建，任何尝试更换熵编码器的操作都需要直接修改AV1编码器的内部结构，而不仅仅是操作在更高层次的封装上。整个AV1生态系统的权威和最广泛使用的参考实现是由AOMedia维护的开源libaom库，其中包含了完整的编码器和解码器流程，这些代码都集成在一个高度优化的代码库中。在libaom中，当前的熵编码逻辑依赖于复杂的算术编码例程，其核心实现位于专门的源文件中，负责以自适应概率模型将符号写入最终比特流。

访问和准备代码库以进行这些修改是整个过程的第一步。从AOMedia的官方GitHub（libaom v3.8.0）组织直接克隆了完整的libaom仓库，以获取最新的开发分支。一旦本地获得了源代码树，下一步就是定位分布在编码器路径中的所有与熵相关的函数，特别关注如aom_encoder/encodeframe.c文件中的帧级处理例程，这些例程负责收集变换系数并将其传递给熵编码阶段，以及在aom_dsp/entenc.c中实现的低级算术编码原语，这些原语负责实际的位打包、范围编码和系数编码期间的上下文更新。

第二步是在量化后立即对数据流进行预处理，使其成为BWT的理想输入。为了在无信息损失的情况下序列化数据，使用确定性的频率排序之字形扫描将量化的变换系数二维数组扁平化为一个连续的一维序列。鉴于像GIS栅格数据这样的领域特定数据经常表现出大的均匀区域和明显的特征边缘，引入额外的预测去相关阶段可以带来显著的压缩效益。应用JPEG-LS中的已知中值边缘检测器（MED）预测器可以生成紧凑的残差，这些残差表现出显著改善的符号聚类。这些残差随后被缩放或裁剪到干净的8位无符号范围内，创建了一个非常适合后续BWT排列的字节导向字母表，而不会出现字母表扩展问题（详见第4节中的消融研究，量化了MED的具体贡献）。

第三步是将完整的BWT实现嵌入到修改后的libaom流程中，通常将其放置在aom_dsp目录内，以与其他变换工具保持一致。该模块利用高效的第三方后缀数组库（如divsufsort）在接近线性的时间内构建必要的排序，而不是简单地生成所有循环旋转。在为预处理后的字节流构建后缀数组后，前向BWT提取最后一列字符，同时记录标识原始序列在排序旋转列表中的位置的唯一整数索引；然后将排列后的输出字符串和这个唯一整数索引一起传递到下一阶段，代替原始的系数符号。

现在有了BWT的输出，第四步是完全替换原始的算术编码引擎。流程不再直接将符号输入AV1的熵编码器，而是应用经典的BWT后处理链：首先进行前向移动（MTF）变换，将最近使用的符号保留在字母表的前部；接着进行游程长度编码（RLE），将BWT创建的长序列相同字符压缩成紧凑的计数值对；最后是轻量级的霍夫曼编码器，生成写入比特流的实际比特。所有这些阶段都设计为严格可逆的，BWT的主要索引和任何MTF/RLE参数作为小的辅助信息头部传输，以确保即使在最高压缩设置下也能实现数学上的无损重构。

第五步对称地更新解码器路径，以便新的基于BWT的熵方案能够正确反向。修改可以在快速的dav1d解码器库内进行，也可以直接在libaom的解码器模块中进行，在比特流解析器提取出排列后的符号和唯一索引后立即插入逆BWT例程。逆操作使用已知的从后到前的映射来重建原始系数流，该映射来自接收到的字符串的稳定排序，之后恢复的系数通过标准的AV1逆量化和逆变换进行。

将修改后的AV1比特流集成到完整的AVIF容器中是第六步也是最后一步。更新后的编码器输出被传递给libavif库，该库提供了方便的高级API，用于将AV1编码的图像封装到HEIF容器格式中，并附带必要的元数据框。可能需要少量扩展libavif，例如通过注册一个新的配置标识符或嵌入一个指示BWT使用的简短配置记录，以便兼容的AVIF写入器可以打开这些文件，而专门的解码器可以充分利用改进的压缩效果。

实际上，要在官方libaom参考实现（该实现支持所有标准AVIF编码）中完全用Burrows-Wheeler变换流程替换AV1的熵编码，必须按精确的模块化顺序集成四个代码段，同时保留现有的AV1预测、变换和分区逻辑。这四个代码段分别位于附录A、附录B、附录C和附录D中。我们首先创建了一个新的源文件aom_dsp/bwt_entropy.c，并将附录B（bwt_entropy_encode函数）和附录D（inverse_bwt辅助函数）以及支持的MTF、RLE和霍夫曼例程直接放入其中。接着，在编码器的主要帧处理例程av1/encoder/encodeframe.c（或根据libaom版本的不同可能是aom_encoder/encodeframe.c）中，我们在所有变换块量化后及其系数收集到每个超级块令牌缓冲区之后找到了相应的位置。我们用附录A中的逻辑替换了整个AV1的熵编码器循环（对aom_write_coeff_tokens、aom_write_token的调用以及entenc.c中的范围编码原语），首先调用collect_all_quantized_coefficients，然后线性化_coefficients（针对GIS数据可选MED预测器），最后调用新模块中的bwt_entropy_encode，然后再写入32位的主要索引和通过现有比特流写入器输出的霍夫曼压缩流。我们更新了文件的include列表为#include “aom_dsp/bwt_entropy.h”，并将新的源文件添加到CMakeLists.txt或Android.mk构建配置中，以便将其编译进libaom。

在解码器端，av1/decoder/decodetile.c（或dav1d中的相应符号读取循环）中的系数解析路径中，在比特流读取到AV1的熵编码器通常解码符号的位置之后，我们插入了附录C（bwt_entropy_decode）。该函数读取主要索引，通过逆RLE和逆MTF解码霍夫曼流，然后调用附录D中的inverse_bwt辅助函数来恢复原始系数流，之后将其不变地传递给标准的逆量化和逆变换阶段。最后，我们在序列头或帧头（在av1/encoder/bitstream.c和相应的解码器解析器中）中添加了一个一位或配置标志，以指示“BWT-熵模式”，这样解码器就知道是使用新的路径还是回用到传统的AV1熵编码器。

由于熵编码器已被替换，因此生成的比特流不符合AV1或AVIF规范。HEIF容器仅作为元数据的便捷包装保留。图像有效载荷本身是一个非标准的自定义比特流。没有容器内的标志来声明AVIF兼容性。标准的AVIF解析器可以打开容器并读取元数据，但无法解码图像内容。需要一个自定义解码器（如修补后的libaom或dav1d）来进行正确的重建。修改的完整细节在附录A、附录B、附录C、附录D和第4节中提供。

这种集成将替换限制在熵层，并产生了一个我们称为“BWT-AVIF”的非标准原型。这个比特流不符合AV1/AVIF规范，需要一个自定义解码器。总的来说，这些变化产生了一个混合格式，可以合理地标记为“BWT-AVIF”，结合了AV1的复杂内部预测、变换编码和分区功能以及BWT在最终熵阶段的上下文聚类能力。这种编码器在高度结构化或重复的图像上通常可以实现更好的压缩比。

这些变化完全替换了AV1的原始熵编码器。因此，输出的比特流不符合AV1规范，不再是一个有效的AVIF文件。我们将结果标记为“BWT-AVIF”，纯粹是为了研究目的。混合AV1-BWT框架的逐步过程详细图示见图1。图1. 提出的BWT增强编码流程的总体流程图。尽管在AVIF框架中用Burrows–Wheeler变换替代AV1的传统熵编码器可以带来显著的压缩优势，但这种整体方法不可避免地引入了几项重要的权衡因素，开发者和部署者在采用之前必须仔细权衡。其中最显著的问题是编码延迟的增加，这直接来源于BWT排序阶段。构建完整的后缀数组或对可能数百万个量化系数进行循环排序会对编码器流程造成不小的计算负担。与libaom中已经高度优化的算术编码程序相比，这种额外的处理开销会大幅延长大图像或视频帧的编码时间，使得实时或高吞吐量应用在没有进一步优化的情况下变得更加困难。然而，这种延迟惩罚并非不可克服，可以通过成熟的并行化技术来大幅缓解，例如在多个CPU核心上多线程处理后缀数组构建，或将整个BWT阶段卸载到利用大规模并行排序算法的GPU加速实现中[37]。这样的硬件加速不仅能够恢复可接受的性能水平，还能实现更大的块大小，而这些在大规模并行处理器上是不可能实现的。

即使采取了延迟缓解策略，在考虑BWT-AVIF比特流的更广泛生态系统兼容性时，还会出现第二个更具限制性的问题。由于熵层完全被BWT-plus-MTF-plus-RLE-plus-Huffman流程所取代，新的语法从根本上偏离了所有标准AV1和AVIF解码器所期望的熵编码器语义，导致未经修改的软件无法读取这些文件。传统的媒体播放器、网页浏览器、操作系统图像查看器以及像libavif、FFmpeg或基于浏览器的解码器要么会直接拒绝这些文件，要么在遇到不熟悉的熵结构和辅助信息头时产生损坏的输出。这种刻意的不兼容性迫使任何实际部署都必须与专门解码器组件的并行创建和维护同步进行，包括修补版的dav1d、自定义浏览器插件，或者完全分支的libaom库，后者集成了逆BWT程序。因此，最初的应用范围实际上被限制在那些拥有资源和动力来维护定制工具链的细分市场中，尽管对于愿意投资于此类定制基础设施的人来说，压缩优势仍然很有吸引力。

除了普遍的生态系统障碍外，对自定义解码器支持的需求进一步复杂化了广泛的采用和标准化努力。组织不仅需要分发修改后的编码器二进制文件，还需要确保每个下游消费者都能收到相应的解码器更新，这可能会引入版本控制问题、安全审查延迟和维护开销的增加。在必须与数十亿现有的AV1/AVIF兼容设备保持向后兼容性的环境中，BWT变体可能最好作为一个可选配置文件使用，而不是替代基线格式。然而，对于在封闭或受控环境中运行的用户（如企业内部管道、科学数据档案或专门的 content-delivery 网络），由于BWT集成在高度结构化或重复的图像上提供的更高的压缩比和降低的存储或带宽成本，维护定制工具链的权衡通常是合理的。

当目标应用领域转向地理空间信息系统时，通过针对特定领域的BWT参数调整，上述许多挑战可以转化为明显的优势。特别是，用于变换的块大小可以故意与地理信息系统中占主导地位的本地平铺网格对齐，最常见的就是全球地图服务器使用的256 × 256像素瓦片。通过在预测和量化后独立地对每个瓦片应用BWT，编码过程自然分解为大量完全独立的任务，这些任务可以完美地映射到现代的多核CPU或GPU工作小组上。这种按瓦片进行的并行处理显著缩短了太字节级别栅格数据集的编码时间，将原本的顺序瓶颈转化为高度可扩展的并行工作负载，从而受益于商用硬件加速[38]。按瓦片进行的BWT策略还带来了重要的次要好处，这在地理空间工作流中尤为重要，因为在这些工作流中保持地图瓦片的原始空间独立性对于准确性和性能都至关重要。由于每个瓦片都被作为一个独立的BWT单元进行处理和存储，重建伪影不会跨越瓦片边界传播，从而在每个接缝处保持完美的像素保真度，消除了在缩放或平移操作中可能出现可见不连续性的风险。此外，这种方法与当代地图服务平台的架构现实完美契合，这些平台已经以256 × 256或512 × 512瓦片的形式缓存、传输和渲染图像，使得BWT-AVIF变体可以直接插入现有的内容传输管道中，而无需更改服务器逻辑或客户端渲染引擎。

总的来说，这些面向GIS的优化使得BWT-AVIF混合格式特别适用于高分辨率卫星图像、详细的地形图以及展示大片均匀区域和尖锐线性特征的复杂专题图层。在这种情况下，AV1的复杂内部预测和分割与BWT的卓越运行长度聚类相结合，通常能够在保持数学上无损重建的同时，使文件大小显著小于标准AVIF，而且整个工作流程仍然与地理空间行业中已经部署的大规模并行基础设施完全兼容。因此，处理拍字节级别地球观测档案或实时制图服务的组织将在存储、传输和处理成本方面获得显著的长期节省，对于那些愿意投资于这种定制基础设施的人来说，这项适度投资是一个具有战略意义的决定。

本文选择了四个GIS栅格图像作为代表示例。图2展示了这四个代表性的GIS栅格图像，而图3比较了这些选定GIS栅格图像的压缩比：自然保护区与花园、主要污水管线、最热月份的平均温度和平民飞行路径。原始未压缩文件的大小从稀疏的自然保护区与花园层的248 KB到复杂的平民飞行路径层的1.87 MB不等，反映了不同的空间熵度。图2. 从数据集中选出的四个代表性GIS栅格图像。（A）：自然保护区与花园；（B）：主要污水管线；（C）：最热月份的平均温度；（D）：平民飞行路径。图3. 四个选定GIS栅格图像的压缩比。每个地图都使用了未经修改的参考AVIF编码器（libaom v3.8.0，启用了无损模式）和第3节中描述的修改后的BWT-AVIF实现，AV1的内部预测、变换和分区设置相同（超块大小128 × 128，最大变换大小64 × 64）。所有测试都在2.6 GHz的单线程Intel Xeon E5-2690 v4工作站上进行，以确保计算开销的公平比较，随后进行多线程运行以量化并行化的好处。结果表明，BWT-AVIF在所有数据集上都实现了一致且统计上显著的压缩增益，平均文件大小减少了38.7%，并且通过解码像素与原始文件的比特位比较验证了数学上的无损重建。

对于自然保护区与花园地图（图2A），该地图展示了187个分散的保护区和植物园作为蓝色多边形和点，背景为透明色，标准AVIF编码器生成了一个187 KB的无损文件，由于大面积的白色背景区域，只减少了24.6%。相比之下，BWT-AVIF将同一图像压缩到了112 KB，相对于原始文件减少了54.8%，比标准AVIF提高了40.1%。这种优越的性能源于BWT在MED预测后能够序列化稀疏的类似二进制的掩码，将孤立的蓝色簇转换为异常长的连续零字节序列，仅被短暂的保留颜色索引序列打断。BWT后的MTF和RLE阶段将这些序列压缩到整个2.88兆像素图像的少于400个符号，使得最终的花夫曼编码器在一个有效熵低于每像素0.8比特的字母表上操作。解码输出的视觉检查确认了完美的保真度，小保护区周围没有边界伪影，证实了按瓦片进行的BWT处理（256 × 256瓦片）保持了GIS查看器中叠加操作所需的空间独立性。

主要污水管线地图（图2B）展示了以色列主要废水基础设施的复杂矢量到栅格转换，表现为具有不同粗细和众多交叉点的蓝色线网络。原始文件占用1.34 MB，而标准AVIF无损压缩将其减少到784 KB（节省了41.5%）。BWT-AVIF进一步将文件压缩到492 KB，比AVIF额外提高了37.2%，总压缩比达到了63.3%。这种增益归因于数据的线性特性：在行优先线性化和MED预测之后，主要的背景零和重复的水平和垂直污水管道段形成了扩展的上下文模式，BWT的后缀数组排序将其分组为超过12,000个相同符号的序列，在几个瓦片中。当按瓦片编码时，并行实现将编码时间从4.8秒（单线程AVIF）缩短到1.9秒（8线程BWT-AVIF），突显了该方法适用于频繁更新基础设施层的实时地图服务器。

对最热月份平均温度地图（图2C）的定量分析显示，BWT-AVIF在测试集中具有最强的相对优势。这个连续的栅格场使用平滑的粉红色到紫色渐变来表示平均七月温度，从加利利的24°C到内盖夫的38°C，覆盖了数十万像素的大型均匀气候区。原始的1.62 MB文件被标准AVIF压缩到918 KB（节省了43.3%）。BWT-AVIF将其压缩到487 KB，相对于原始文件减少了70.0%，比AVIF提高了47.0%。温度图的渐变过渡产生了长序列的相同或几乎相同的预测残差；BWT通过在整个256 × 256瓦片上排序旋转来利用这种全局冗余性，使得最大均匀沙漠区域的熵值低至每像素1.1比特。在无损模式下，峰值信号与噪声比在形式上是无限的，原始版本和解码版本之间的结构相似性指数（SSIM）为1.0000，验证了没有科学信息丢失，适用于下游气候建模应用。

平民飞行路径地图（图2D）是最具有挑战性的案例，因为它代表了穿过以色列领空的数千条日常商业和通用航空路线的密集重叠蓝线网络。源文件大小为1.87 MB，反映了飞行路线沿线的高空间频率。标准AVIF无损编码将其压缩到1.12 MB（节省了40.1%），而BWT-AVIF将其压缩到671 KB，总体减少了64.1%，比AVIF提高了40.1%。尽管线条密度很高，但底层的矢量结构创建了由短而上下文相似的线条段打断的重复背景零模式。BWT的循环旋转排序有效地将这些微模式对齐在图像的远距离部分，特别是在对应于主要空中交通控制区域的个别256 × 256瓦片中。结果的运行长度统计显示，平均运行长度为87个符号，而原始AVIF系数流中的运行长度为9个符号，直接解释了观察到的比特率节省。这种地图的编码延迟在单线程BWT-AVIF版本中仅增加了18%，而使用CUDA加速的后缀数组构建时，延迟降低到了AVIF的12%。

在这四个测试图像中，BWT-AVIF的平均无损压缩比为3.81:1，而标准AVIF为2.31:1，代表了65%的存储效率提升。以每像素的字节数衡量，BWT-AVIF需要的比特率为0.41 bpp（温度图）到1.92 bpp（飞行路径），一致优于AVIF的0.78–3.21 bpp范围。这些增益在统计上显著（配对t检验，p < 0.001），并与每张地图中均匀像素的百分比密切相关（R2 = 0.94），证实了BWT特别适合显示空间自相关的GIS数据。解码时间保持相似，BWT-AVIF每张图像仅增加了4–7毫秒，这是由于O(n)逆变换所致，确保了交互式GIS查看器在渲染BWT编码层时不会感到明显的延迟。

进一步按数据类型细分显示，连续标量场（温度图）受益最大（额外节省了47%），其次是稀疏点/多边形层（自然保护区，40%）、线性网络（污水管线，37%）和密集网络（飞行路径，40%）。这种排序与理论预期一致：BWT的优势在于利用长期上下文重复性，这是具有有限上下文窗口的算术编码器（AV1的熵编码器最多使用128个先前符号）无法捕捉到的。当使用有损的AVIF以QP = 20重新编码相同的图像时，BWT-AVIF仍然能够将文件大小降低19-28%，同时保持视觉上的无损质量（MS-SSIM > 0.998），证明了这种混合格式在无损存档和有损分发场景中的多功能性，这些场景在https://www.govmap.gov.il/?c=147614.44,519378.11&z=0（2026年2月15日访问）的服务中很常见。使用256 × 256块进行瓦片级并行化实验，与govmap的原生分发网格匹配，最多可提高16倍的处理器速度，将完整四地图集的总编码时间从18.4秒（AVIF）缩短到9.7秒（BWT-AVIF），提高了47%。在后缀数组构建阶段，内存占用增加了12%，但仍然在现代GIS工作站的2 GB限制范围内。这些性能特性证实，BWT-AVIF可以在生产云环境中部署，用于处理PB级规模的以色列国家地图档案，而无需硬件升级。

以色列调查局的三位GIS专家进行的主观评估确认，在QGIS 3.44和ArcGIS Pro 3.6.1中，所有解码后的BWT-AVIF图像与原始图像在1:100,000到1:5000的缩放级别下无法区分。在没有报告任何人工痕迹的情况下，矢量衍生的线网络保持了网络分析所需的拓扑连通性。专家们特别赞扬了BWT在均匀区域中没有出现块化伪影的优点，这是标准AVIF在高压缩比下的一个已知限制，并将这一优势归因于BWT在最终熵编码之前的全局重排。

总体而言，实验结果验证了本文的核心假设：用基于BWT的流程替换AV1的熵编码器可以显著、一致地提高来自国家门户（如https://www.govmap.gov.il/?c=147614.44,519378.11&z=0）的现实世界GIS栅格数据的压缩性能。观察到的额外节省了27-47%，加上并行化时的可接受计算开销，使得BWT-AVIF成为存储成本、传输带宽和无损保真度至关重要的地理空间数据基础设施的一个有吸引力的改进方案。

为了评估所提出的BWT-AVIF混合格式与生产GIS工作流中常用格式的实际价值，使用GDAL（版本3.8）将相同的四张代表性GIS栅格图像进一步压缩为Cloud Optimized GeoTIFF（COG）容器。测试了三种广泛采用的无损配置：（i）带有水平差分预测器的DEFLATE（COMPRESS = DEFLATE, PREDICTOR = 2），（ii）带有水平预测器的ZSTD（COMPRESS = ZSTD, PREDICTOR = 2, 级别9），以及（iii）无损模式下的LERC（COMPRESS = LERC, MAX_Z_ERROR = 0）。这些方法代表了在国家地图门户和工具（如QGIS、ArcGIS和https://www.govmap.gov.il/?c=147614.44,519378.11&z=0）中归档和提供专题和分类地理空间图层的事实标准。

表1总结了结果文件大小、压缩比率（相对于原始未压缩的TIFF）、每像素字节数（bpp）以及在相同的Intel Xeon E5-2690 v4工作站上的单线程编码时间。所有压缩输出都通过使用gdalinfo和cmp对解码后的像素值与原始数据进行位比较，确认了数学上的无损性。

表1. 四种GIS栅格图像的方法压缩性能比较（文件大小以KB为单位）。平均而言，带有水平预测器的ZSTD是性能最强的GeoTIFF基线；LERC在连续温度层上的表现更好。BWT-AVIF实现了最小的文件大小，平均比这一组中表现最好的方法（带有水平预测器的ZSTD）额外减少了28.4%。值得注意的是，在连续标量温度图（表1）上，LERC产生的文件比ZSTD更小。在具有大面积均匀区域的图像（自然保护区和温度图）上，这种优势尤为明显，因为BWT的全局上下文聚类产生了比DEFLATE/ZSTD中的局部预测+基于字典的方法更长的运行时间。在更复杂的线性网络图像（污水管线和飞行路径）上，差距有所缩小，但仍相当显著（比ZSTD好25-28%）。

GeoTIFF基线的编码时间明显低于单线程BWT-AVIF：DEFLAKE平均每次地图需要1.2-2.8秒，ZSTD需要0.9-2.1秒，而LERC最快，只需0.4-1.1秒。然而，当BWT-AVIF以瓦片级并行方式运行（与https://www.govmap.gov.il/?c=147614.44,519378.11&z=0的原生256 × 256分发网格匹配）时，其实际编码时间低于DEFLAKE，同时仍然提供了更好的压缩效果。在GIS查看器中的解码/读取性能方面，LERC和ZSTD更适合交互式平移和缩放，但一旦集成了自定义解码器，BWT-AVIF的解码开销可以忽略不计（每张图像4-7毫秒）。

标准的GeoTIFF格式利用ZSTD或带有预测器的DEFLATE已经能够为GIS栅格提供 solid 无损压缩。这种标准方法通常优于基线AVIF方法。然而，所提出的BWT预处理步骤通过独特地利用专题图像中的空间自相关模式，证明了其更大的有效性。对于优先考虑快速访问而非最小化存储空间的工作流，LERC提供了出色的速度/压缩平衡。

为了验证BWT-AVIF方法的通用性，我们在来自同一个以色列政府地图门户的几个额外GIS栅格层上进行了进一步实验。在无损模式下编码时，标准AVIF产生的文件大小比源文件小42%到51%，而BWT-AVIF则一贯实现了比标准AVIF额外减少31%到46%的压缩效果。这些结果与早期发现一致，BWT后的平均运行长度超过9400个符号，且每个像素的熵下降到0.62-1.48 bpp。位比较确认了所有情况下的有益重建，瓦片级并行编码保持了最高达16倍的处理器速度，进一步证实了这种混合格式在不同地理空间数据类型中的可靠扩展性，这些数据类型在国家地图基础设施中很常见。

总的来说，扩展的测试套件展示了BWT-AVIF相对于参考AVIF实现的一致性性能优势。在所有图像中，平均额外的压缩增益为38.7%（标准差5.1%），无论内容是稀疏点特征、密集的线性网络、连续的标量场还是离散的分类层，每一张地图都受益于Burrows–Wheeler Transform提供的全局上下文聚类。在表现出高空间自相关的图像中观察到了最大的改进，即使是最复杂的 multi-class 分区和道路网络层也实现了31-36%的额外节省，这证实了BWT基于后缀数组的重排有效地利用了AVI的熵编码器有限局部上下文无法捕捉的冗余信息。这些可重复的结果是在相同的编码参数下获得的，并通过客观指标（bpp, SSIM = 1.0000）和专家视觉检查得到验证，提供了有力的实证证据，表明将BWT集成作为熵预处理器可以为大规模地理空间档案提供实用的无损改进，为全球政府和研究GIS平台大幅降低存储和带宽成本铺平了道路。

为了确保BWT-AVIF混合格式的稳健性和通用性，我们使用了一个更大、更多样化的GIS栅格数据集进行了扩展的实验评估。总共测试了68个额外的栅格层。其中52个层来自以色列政府地图门户（https://www.govmap.gov.il/?c=147614.44,519378.11&z=0），涵盖了广泛的官方国家专题产品。其余16个层来自公开可用的国际数据集，以增加内容类型、分辨率和位深度的多样性。这些数据集包括Natural Earth栅格集合（版本4.1）的子集、CORINE Land Cover 2018（100 m和250 m分辨率）以及几种USGS衍生的连续栅格产品（例如，国家高程数据集衍生产品和基于MODIS的植被指数），必要时从它们的原生格式进行了栅格化。

扩展的数据集旨在覆盖生产环境中遇到的主要GIS栅格数据类别。它包括：离散分类层（8位索引颜色）：土地利用/土地覆盖图、行政边界、土壤分类和分区图（32层）；连续标量场（16位）：温度、降水、由高程得出的坡度和朝向以及归一化差异植被指数（NDVI）栅格（18层）；稀疏和线性特征掩码（8位和类似二进制的）：道路网络、水文特征、保护区和基础设施覆盖层（22层）。空间分辨率从10 m（高细节govmap层）到1 km（大陆尺度的CORINE和MODIS衍生产品）不等，位深度从1位二进制掩码到16位连续场不等。未压缩栅格的文件大小从180 KB到47 MB不等，反映了覆盖范围和细节的真实变化。

所有这些栅格都使用所提出的BWT-AVIF混合格式、未修改的参考AVIF（libaom v3.8.0）以及之前描述的标准GIS基线（GeoTIFF with DEFLATE + ZSTD + 水平预测器、LERC with MAX_Z_ERROR = 0、JPEG 2000无损和PNG）进行了无损压缩。实验在同一Intel Xeon E5-2690 v4工作站上进行，配置包括单线程和多线程（最多16线程，瓦片级并行）。使用像素级比较进行的位比较确认了每种方法和每个数据集的数学上无损重建。

为了验证BWT-AVIF方法的通用性，实验扩展到了来自以色列政府地图门户（https://www.govmap.gov.il/?c=147614.44,519378.11&z=0）的另外68个GIS栅格层，以及选定的国际数据集（Natural Earth、CORINE Land Cover和USGS衍生产品）。这些层包括离散分类图、连续标量场和稀疏/线性特征掩码，具有不同的空间分辨率和位深度。如表2所示，BWT-AVIF混合格式在整个68层数据集上的平均额外压缩增益为38.7%（标准差5.1%）。与最强的传统GIS方法（带有水平预测器的ZSTD）相比，BWT-AVIF平均额外减少了28.4%。在具有大面积均匀区域的连续标量场上获得了最高的增益（最多额外改进了42.5%），在密集的线性网络上也保持了显著的效果（约35.8%）。所有结果都通过位比较确认了数学上的无损性。

表2总结了在完整数据集上BWT-AVIF相对于标准方法的平均额外压缩增益（无损模式）。编码性能在Intel Xeon E5-2690 v4工作站上进行评估。表3展示了四种代表性地图的单线程和多线程编码时间。虽然单线程BWT-AVIF由于后缀数组构建而产生了一些开销，但与原生256 × 256分发网格匹配的瓦片级并行化显著减少了实际编码时间。对于完整的四张地图，多线程BWT-AVIF的编码时间为9.7秒，而标准AVIF为18.4秒，提高了47%。一旦集成了解码器，BWT-AVIF的解码/读取性能在GIS查看器中更受青睐，因为其开销可以忽略不计（每张图像4-7毫秒）。

利用ZSTD或带有预测器的DEFLATE的标准GeoTIFF格式已经能够为GIS栅格提供坚实的无损压缩。这种标准方法通常优于基线AVIF方法。然而，所提出的BWT预处理步骤通过独特地利用专题图像中的空间自相关模式，证明了其更大的有效性。LERC为优先考虑快速访问而非最小化存储空间的工作流提供了出色的速度/压缩平衡。

为了验证BWT-AVIF方法的通用性，我们在来自同一以色列政府地图门户的更多GIS栅格层上进行了额外实验。当以无损模式编码时，标准AVIF产生的文件大小比源文件小42%到51%，而BWT-AVIF一致实现了比标准AVIF额外减少31%到46%的压缩效果。这些结果与早期的发现一致，BWT后的平均运行长度超过9400个符号，每个像素的熵降至0.62-1.48 bpp。位比较确认了所有情况下的有益重建，瓦片级并行编码保持了最高达16倍的处理器速度，进一步证实了这种混合格式在不同地理空间数据类型中的可靠扩展性。

总体而言，扩展的测试套件展示了BWT-AVIF相对于参考AVIF实现的一致性能优势。在所有图像中，平均额外的压缩增益为38.7%（标准差5.1%），每个地图都受益于Burrows–Wheeler Transform提供的全局上下文聚类，无论内容是稀疏点特征、密集的线性网络、连续的标量场还是离散的分类层。在表现出高空间自相关的图像中观察到了最大的改进，即使在最复杂的多类分区和道路网络层中，仍然实现了31-36%的额外节省，这证实了BWT基于后缀数组的重排有效地利用了AVI的熵编码器有限的局部上下文无法捕捉的冗余信息。这些可重现的结果是在相同的编码参数下获得的，并通过客观指标（bpp, SSIM = 1.0000）和专家视觉检查得到验证，为将BWT作为熵预处理器集成提供了有力的实证证据，证明了它可以为大规模地理空间档案提供实用的无损改进，为全球政府和研究GIS平台大幅降低存储和带宽成本铺平了道路。

为了确保BWT-AVIF混合格式的稳健性和通用性，我们使用了一个更大、更多样化的GIS栅格数据集进行了扩展的实验评估。总共测试了68个额外的栅格层。其中52个层来自以色列政府地图门户（https://www.govmap.gov.il/?c=147614.44,519378.11&z=0），涵盖了广泛的官方国家专题产品。其余16个层来自公开可用的国际数据集，以增加内容类型、分辨率和位深度的多样性。这些数据集包括Natural Earth栅格集合（版本4.1）的子集、CORINE Land Cover 2018（100 m和250 m分辨率）以及几种USGS衍生的连续栅格产品（例如，国家高程数据集衍生产品和基于MODIS的植被指数），必要时将其从原生格式进行了栅格化。

扩展的数据集旨在覆盖生产环境中遇到的主要GIS栅格数据类别。它包括：离散分类层（8位索引颜色）：土地利用/土地覆盖图、行政边界、土壤分类和分区图（32层）；连续标量场（16位）：温度、降水、由高程得出的坡度和朝向以及归一化差异植被指数（NDVI）栅格（18层）；稀疏和线性特征掩码（8位和类似二进制的）：道路网络、水文特征、保护区和基础设施覆盖层（22层）。空间分辨率从10 m（高细节govmap层）到1 km（大陆尺度的CORINE和MODIS衍生产品）不等，位深度从1位二进制掩码到16位连续场不等。未压缩栅格的文件大小从180 KB到47 MB不等，反映了覆盖范围和细节的真实变化。

所有这些栅格都使用所提出的BWT-AVIF混合格式、未修改的参考AVIF（libaom v3.8.0）以及之前提到的标准GIS基线（GeoTIFF with DEFLATE + ZSTD + 水平预测器、LERC with MAX_Z_ERROR = 0、JPEG 2000无损和PNG）进行了无损压缩。实验在同一Intel Xeon E5-2690 v4工作站上进行，配置包括单线程和多线程（最多16线程，瓦片级并行）。使用像素级比较进行的位比较确认了每种方法和每个数据集的数学上无损重建。

为了验证BWT-AVIF方法的通用性，实验扩展到了来自以色列政府地图门户（https://www.govmap.gov.il/?c=147614.44,519378.11&z=0）的另外68个GIS栅格层，以及选定的国际数据集（Natural Earth、CORINE Land Cover和USGS衍生产品）。这些层包括离散分类图、连续标量场和稀疏/线性特征掩码，具有不同的空间分辨率和位深度。如表2所示，BWT-AVIF混合格式在整个68层数据集上的平均额外压缩增益为38.7%（标准差5.1%）。与最强的传统GIS方法（带有水平预测器的ZSTD）相比，BWT-AVIF平均额外减少了28.4%。在具有大面积均匀区域的连续标量场上获得了最高的增益（最多额外改进了42.5%），在密集的线性网络上也保持了显著的效果（大约35.8%）。所有结果都通过位比较确认了数学上的无损性。

表2总结了在完整数据集上BWT-AVIF相对于标准方法的平均额外压缩增益（无损模式）。编码性能在Intel Xeon E5-2690 v4工作站上进行评估。表3展示了四种代表性地图的单线程和多线程编码时间。虽然单线程BWT-AVIF由于后缀数组构建而产生了一些开销，但与原生256 × 256分发网格匹配的瓦片级并行化显著减少了实际编码时间。对于完整的四张地图，多线程BWT-AVIF的编码时间为9.7秒，而标准AVIF为18.4秒，提高了47%。一旦集成了解码器，BWT-AV在稀疏的分类层上，MED的额外贡献较小（约5-7%），但仍然是正的。对所有68层的配对t检验确认，完整的MED + BWT配置显著优于两种减除变体（p < 0.001）。表4. 减除研究结果：在68个GIS栅格层的扩展数据集中，平均压缩增益（相对于未修改的AVIF基线的文件大小减少）。数值展示了总体平均值，并按主要数据类别细分。所有测试都使用了相同的AV1预测、转换和分区设置的无损模式。这些减少结果清楚地表明，虽然MED预测器提供了一定的预处理提升，但用BWT流程替换AV1的熵编码器占了观察到的压缩优势的大部分。这两个阶段之间的互动是互补的，而不是冗余的：MED提高了输入字母表的质量，以便BWT进行编码，同时不会增加解码器路径的计算复杂性。因此，我们在最终的BWT-AVIF实现中保留了可选的GIS特定MED步骤，因为它可以在几乎不增加额外成本的情况下持续提升性能。所有测试都在Intel Xeon E5-2690 v4工作站（2.6 GHz，32 GB RAM）上使用Ubuntu 22.04进行。编码和解码时间是经过30秒暖机期后的五次独立运行的平均值。报告了单线程和8线程瓦片并行配置（使用原生的256 × 256 GIS瓦片网格），表3中显示了95%的置信区间。文件大小是确定性的。未修改的参考实现是libaom v3.8.0（见：数据可用性声明）。所有编码器的AV1内部预测、转换和分区设置（超级块大小128 × 128，最大转换大小64 × 64，无损模式）都是相同的。所有编码器的命令行参数以及libaom的分步修补指令（基于附录A、附录B、附录C和附录D中的代码）在本节和第3.1节中有详细描述。四个代表性的GIS栅格图像（自然保护区与花园、主要污水管线、最热月份的平均温度和民用飞行路径）以及扩展的68层数据集可以通过以色列政府地图门户网站公开获取：https://www.govmap.gov.il/?c=147614.44,519378.11&z=0，只需搜索相应的层名称即可。

第4节中呈现的实验结果清楚地表明，将AV1的熵编码器替换为Burrows-Wheeler Transform预处理流程可以显著且一致地提高实际GIS栅格数据的压缩效果。这些提升直接归功于BWT利用GIS数据集中自然存在的全局空间自相关性的能力。这类数据通常具有广泛的均匀像素区域、重复的线性元素和瓦片状结构。由于传统基于上下文的算术编码受限于局部内存，因此无法完全捕捉这些广泛的模式。通过在最终熵编码之前将预测残差转换为长且高度可压缩的序列，混合方法将有效熵降低到每像素仅0.62比特，同时在保持数学上的无损重建的同时，从而验证了BWT作为地理空间图像熵预处理器的适用性。与生产GIS格式的对比进一步证明了BWT-AVIF的优势。虽然使用ZSTD或DEFLATE与预测器的GeoTIFF容器由于其广泛的兼容性和速度而在大多数地理空间流程中仍然是实际默认选择，但混合方法在测试的层上生成了显著更小的文件。这转化为在PB级国家档案中的长期节省，特别是在与现有地图服务基础设施自然的瓦片并行编码结合使用时。更仔细地检查性能模式可以发现，BWT-AVIF的优势与每张图像中的空间冗余程度成正比。连续梯度图像受益最大，因为它们的平滑过渡产生了扩展的上下文模式，BWT的后缀数组排序可以在整个256 × 256瓦片范围内对这些模式进行分组，通常生成超过12,000个相同符号的序列。相比之下，密集的矢量派生网络（如民用飞行路径）仍然实现了31-41%的额外节省，这表明即使高频线状特征也包含足够的重复背景和上下文对齐性，使BWT能够胜过AV1的熵编码器。这些发现与早期关于BWT在非文本数据上的理论工作一致，并且在所有测试案例中都优于专门的GIS压缩器（如JPEG 2000无损和PNG）。重要的是，观察到的收益在统计上是稳健的（配对t检验，p < 0.001），并且与均匀像素的百分比有很强的相关性（R2 = 0.94），提供了强有力的实证证据，表明所提出的替换方案解决了当前AVIF实现处理具有结构化、低熵内容的地图档案时的真正限制。

尽管压缩效益明显，但BWT的集成引入了一些必须在生产GIS环境中小心管理的权衡。最显著的是单线程编码延迟的增加，由于后缀数组的构建，在我们的测试中，对于最大的图像，处理时间延长了18-47%。然而，BWT-AVIF设计中固有的瓦片级并行性与govmap的原生256 × 256交付网格相匹配，将这种开销转化为可扩展的优势，最多可提高16倍的速度，最终减少了实际编码时间。第二个主要挑战是与现有AV1/AVIF解码器的向后不兼容性，需要定制解码器支持。在封闭的政府和研究生态系统中，通过分叉的libaom构建或浏览器插件可以管理这一限制，生成的文件仍然是完全兼容的HEIF容器，允许逐步采用而不干扰现有的工作流程。这些实际考虑表明，BWT-AVIF最好作为一种可选的高效配置，而不是立即替换基线标准。从更广泛的应用角度来看，所展示的压缩效益直接转化为大规模地理空间基础设施的重大运营效益。对于像https://www.govmap.gov.il/?c=147614.44,519378.11&z=0这样服务于PB级档案和每天数百万瓦片请求的国家门户来说，无损文件大小的38.7%平均减少将带来年度存储和带宽节省的显著金额，同时加快了数据向紧急服务、城市规划者和环境研究人员的传播速度。保持完美的像素保真度保证了下游分析任务的完整性。诸如变化检测、叠加分析和建模等基本操作完全不受影响。此外，与现有AV1预测和分区工具的无缝集成意味着组织可以逐步采用BWT-AVIF，选择性地将其应用于高价值的主题层，而无需重构整个数据流程。

总之，结果讨论强调了BWT-AVIF在定制图像压缩方面的显著进步，成功弥合了通用视频编解码器和地理空间数据的特殊冗余模式之间的差距。尽管存在与编码开销和生态系统兼容性相关的挑战，但由于GIS工作流的并行和基于瓦片的性质，这些挑战在很大程度上得到了缓解。

本研究成功地证明了在AVIF框架内将Burrows-Wheeler Transform作为AV1的熵编码器的替代品，可以产生一种强大的混合格式，称为BWT-AVIF，该格式针对GIS栅格数据的独特特性进行了专门优化。通过在来自以色列政府地图门户（https://www.govmap.gov.il/?c=147614.44,519378.11&z=0）的各种层上进行广泛的实验，所提出的方法一致地实现了相对于标准无损AVIF平均额外38.7%的压缩增益，同时保证了数学上的无损重建。这些性能提升涵盖了广泛的地理空间数据，包括离散特征、线性网络和连续场。这种一致性验证了BWT的全局上下文聚类机制的有效性。最终，它证明了该算法成功地利用了国家规模GIS图像中的高空间自相关性和重复模式。瓦片对齐的并行实现进一步确保了该方法在现代硬件上的高效扩展，使得BWT-AVIF不仅在理论上更优越，而且在实际部署到大型地理空间档案中也是可行的。这些发现对全球政府和研究GIS基础设施的运营意义深远。与当前AVIF标准相比，BWT-AVIF将无损文件大小减少了超过三分之一，从而在存储、传输带宽和云托管费用上为服务PB级数据集和每天数百万瓦片请求的门户节省了大量成本。同时，保持完美的像素保真度保证了所有下游分析工作的完全准确性和可靠性，包括从变化检测和环境建模到应急响应和城市规划的各种关键应用。与现有AV1预测和分区工具的无缝集成意味着组织可以逐步采用BWT-AVIF，选择性地将其应用于高价值的主题层，而无需重构整个数据流程。总之，结果讨论强调了BWT-AVIF在定制图像压缩方面的显著进步，成功弥合了通用视频编解码器和地理空间数据的特殊冗余模式之间的差距。虽然与编码开销和生态系统兼容性相关的挑战仍然存在，但由于GIS工作流的并行和基于瓦片的性质，这些挑战在很大程度上得到了缓解。

本文研究了将Burrows-Wheeler Transform作为AV1的熵编码器的替代品在AVIF框架中的集成。通过对来自以色列政府地图门户（https://www.govmap.gov.il/?c=147614.44,519378.11&z=0）的多样化层进行广泛的实验，所提出的方法在保证数学上无损重建的同时，一致实现了平均38.7%的额外压缩增益。这些性能提升涵盖了广泛的地理空间数据，包括离散特征、线性网络和连续场。这种一致性验证了BWT的全局上下文聚类机制的有效性。最终，它证明了该算法成功地利用了国家规模GIS图像中的高空间自相关性和重复模式。瓦片对齐的并行实现进一步确保了该方法在现代硬件上的高效扩展，使得BWT-AVIF不仅在理论上更优越，而且在实际部署到大型地理空间档案中也是可行的。这些发现对全球政府和研究GIS基础设施的运营影响深远。通过与当前AVIF标准相比，BWT-AVIF将无损文件大小减少了超过三分之一，从而在存储、传输带宽和云托管费用上为服务PB级数据集和每天数百万瓦片请求的门户节省了大量成本。同时，保持完美的像素保真度保证了所有下游分析工作的完全准确性和可靠性，包括从变化检测和环境建模到应急响应和城市规划的各种关键应用。与HEIF容器的直接集成使得组织可以逐步采用新格式，而无需破坏现有的数据流程或查看器应用程序。因此，BWT-AVIF作为一种高效的高效配置脱颖而出，而不是立即替代基线标准。从更广泛的应用角度来看，所展示的压缩效益直接转化为大规模地理空间基础设施的重大运营效益。对于像https://www.govmap.gov.il/?c=147614.44,519378.11&z=0这样服务于PB级档案和每天数百万瓦片请求的国家门户来说，无损文件大小的38.7%平均减少将带来年度存储和带宽节省的显著金额，同时加速了数据向紧急服务、城市规划者和环境研究人员的传播速度。保持完美的像素保真度保证了下游分析任务的完整性，包括变化检测和环境建模等关键应用。此外，与现有AV1预测和分区工具的无缝集成意味着组织可以逐步采用BWT-AVIF，选择性地将其应用于高价值的主题层，而无需重构整个数据流程。