FasTARFlow：将基于Transformer的自回归流蒸馏为快速逆自回归模型

《Neurocomputing》：FasTARFlow: Distilling transformer-based autoregressive flows into fast inverse autoregressive models

　　

TARFlow引入了基于Transformer的自回归流（Transformer-based autoregressive flows），克服了归一化流（normalizing flows, NFs）在表达能力和训练方面的挑战，实现了最先进的似然度和高质量样本。然而，其自回归特性导致采样速度缓慢，限制了实际应用。在这项工作中，研究人员提出了FasTARFlow，一种蒸馏框架，将训练好的TARFlow模型（作为教师）的知识迁移到快速且可并行的逆自回归流（inverse autoregressive flow, IAF）模型（作为学生）。蒸馏后的模型在显著加速推理的同时保持了有竞争力的样本质量。研究人员在三个覆盖广泛分辨率和内容统计的数据集上评估了FasTARFlow：AFHQ（）、FFHQ-256和CIFAR-100。实验表明，FasTARFlow在所有三个数据集上都达到了与教师TARFlow相当或更好的样本质量，同时显著加速了采样。此外，FasTARFlow在高分辨率场景中尤为有效，因为此时TARFlow的自回归采样成本最为严重。这些结果推进了基于归一化流（NF）的生成建模的实用性。

归一化流（normalizing flows, NFs）是一类基于似然的生成模型，通过可逆映射将复杂数据分布转换为简单潜变量分布，从而支持精确似然评估和双向采样。然而，与扩散模型、流匹配和自回归Transformer的快速发展相比，NFs面临表达能力受限、架构设计困难、雅可比行列式计算开销高以及训练工具不成熟等问题。TARFlow（Transformer AutoRegressive Flow）将Transformer架构引入掩码自回归流（masked autoregressive flow, MAF），构建了可扩展的高容量归一化流，首次在ImageNet上取得低于3.0比特每维（bits-per-dimension）的似然度，并生成与扩散模型相媲美的图像。但其自回归本质导致采样过程严格顺序执行，生成速度远慢于可并行模型。为克服这一瓶颈，研究人员提出了FasTARFlow，一个将预训练TARFlow教师模型的知识蒸馏至快速且可并行的逆自回归流（inverse autoregressive flow, IAF）学生模型的框架，旨在保持生成质量的同时显著加速推理。该研究发表在《Neurocomputing》。

在方法上，研究人员利用MAF与IAF的对偶性，将TARFlow的每个MAF块重新表述为循环IAF，并证明当