Pivot-FSOF：一种用于边缘设备上基于实时DiT技术的文本转语音的全栈优化框架

《Journal of Systems Architecture》：Pivot-FSOF: A Full-Stack Optimization Framework for real-time DiT-based TTS on edge devices

　　摘要：计算密集型模型已成为高保真生成任务的典范，但严重的内存带宽和I/O瓶颈限制了其在边缘设备上的应用。为解决这一问题，我们以文本转语音为例，提出了一种算法与硬件协同设计的优化框架。在算法层面，我们识别出时间步累积过程中的“语义转折点”，并设计了基于该转折点的结构化剪枝策略，结合敏感性感知的INT8量化及混合监督蒸馏技术。在架构层面，我们实现了针对性的边缘GPU加速措施，包括具有向量化内存访问功能的融合式旋转位置嵌入CUDA内核、基于指针的零拷贝内存传递机制，以及通过CUDA图记录来减少冗余的内存操作和内核启动开销。我们在NVIDIA Jetson AGX Orin平台上实现了该优化框架，并进行了大量实验。实验结果表明，在SIM-T评估协议下，该框架在保持80.45%的客观说话人相似度得分的同时，使网络层数减少了27%。此外，与ONNX Runtime FP32基准相比，该框架的端到端推理速度提升了9.13倍；与TensorRT FP16工业级基准相比，则提升了2.23倍。

引言：近年来，包括大型语言模型和多模态基础模型在内的计算密集型生成模型在各个领域取得了前所未有的突破。为提升表示能力，这些模型的参数数量和计算复杂度呈指数级增长。最初，扩散模型在计算机视觉领域取得了重大进展。受此启发，研究人员成功将扩散变换器及其流匹配技术应用到音频领域。Voicebox和Matcha-TTS等模型为上下文学习设立了新标准，进而出现了如F5-TTS这样的架构，它利用深度扩散变换器骨干网络进一步提升语音的自然度和情感表达能力。然而，要将这些深度架构的生成优势转化为实时边缘应用，却受到内存带宽饱和和低效I/O操作的极大限制。与传统CNN在不同局部窗口内可充分利用数据重用不同，扩散变换器中的深度Transformer堆栈具有极低的算术强度。在多步骤常微分方程求解过程中，模型需要大量重复的参数获取操作。在依赖共享LPDDR5内存池的统一内存架构的边缘SoC平台上，这导致了严重的架构失衡。尽管边缘GPU具有较高的峰值TFLOPS性能，但内存带宽却成了一个严格的限制因素。因此，GPU不得不频繁处于空闲状态等待内存操作完成，而由CPU负责指令调度也难以让SM始终处于满负荷状态。最终，推理瓶颈从计算受限转变为带宽受限，从而导致严重的延迟，无法实现实时语音交互。目前针对扩散模型的部署优化主要集中在时间维度压缩上，比如减少ODE采样步数或使用更先进的求解器。但这些方法往往忽视了扩散变换器骨干网络中的固有结构冗余，以及操作碎片化带来的严重系统级开销。我们的研究发现，在扩散变换器的深层结构中，并非所有层都对生成过程起到同等作用。虽然大量的冗余层可以安全地被压缩，但存在一些关键的“语义转折层”，它们是实现声学与语义对齐不可或缺的支撑；实验表明，删除这些层会导致不可逆的语音质量下降。此外，仅仅减少采样步数也无法缓解边缘SoC上的硬件瓶颈。当通过ONNX等通用框架导出扩散变换器模型时，诸如旋转位置嵌入之类的复杂操作会被分解为众多细粒度的内核。在碎片化的计算图中，每个细粒度操作都需要独立的执行环境，涉及CPU端的驱动程序验证和命令缓冲区编码。在边缘平台上，CPU单核性能远低于服务器级处理器，这些重复的调度操作所带来的延迟可能远远超过实际的GPU计算时间。这种不匹配会导致严重的指令饥饿现象，使得SM无法达到满负荷状态。尽管在视觉领域的紧凑型扩散变换器已在多种硬件上展现出良好性能，但音频合成中的时间依赖性和长序列建模需求要复杂得多。因此，现有的优化方法往往无法实现算法加速与实际推理速度提升之间的平衡，而针对操作级的融合以及高效的内存管理则是实现实时文本转语音的必要条件。为解决上述架构问题，本文提出了Pivot-FSOF，这是一种适用于在边缘设备上实时部署基于扩散变换器模型的通用全栈优化框架。以F5-TTS和NVIDIA Jetson AGX Orin作为全面案例，我们从算法简化、操作级融合以及系统级调度三个层次进行协同设计。主要贡献如下：•语义转折点识别与剪枝策略：通过分析扩散变换器的整体时间步累积情况，我们发现了“语义转折点”现象，即各层的重要性并不均匀。基于这一发现，我们提出了基于转折点的非连续结构化剪枝策略，并通过混合监督知识蒸馏进一步优化，从而在降低模型深度的同时保持语音的可懂性和说话人相似度。•系统级针对性加速：为减轻边缘平台上的内存带宽压力和操作碎片化问题，我们实施了一系列系统级优化措施，包括开发自定义的融合式旋转位置嵌入CUDA内核以减少启动开销，以及采用零拷贝内存管理和敏感性感知的INT8量化技术。•全面的边缘部署验证：我们在NVIDIA Jetson AGX Orin平台上部署并评估了该优化框架。全栈优化使得推理速度相比原始的ONNX Runtime FP32基准提升了9.13倍，相较于常规的硬件加速方案更是有了2.23倍的额外提升。此外，尽管模型层数减少了27%，但生成的模型仍能保持80.45%的说话人相似度，成功弥补了计算密集型流匹配架构与实时边缘交互需求之间的差距。本文的其余部分结构如下：第2节回顾了有关扩散模型加速和边缘智能的相关研究；第3节详细介绍了我们所提出的全栈框架，包括基于语义转折点的剪枝策略、混合监督蒸馏技术，以及融合CUDA内核和零拷贝内存管理之类的系统级优化措施；第4节介绍了实验设置、硬件性能测试结果及对比分析；最后，第5节对全文进行总结。

生成语音合成的进展：近年来，语音合成的技术发展经历了从生成对抗网络到扩散概率模型的重大变革。早期的端到端文本转语音方法，以VITS为代表，成功地将变分推断、归一化流和对抗学习相结合。通过引入随机持续时间预测器，VITS解决了文本转语音中的一对多映射问题，实现了并行端到端的语音合成，其性能超过了以往的方法。

方法论：为在资源受限的边缘设备上实现F5-TTS模型的实时推理，我们提出了一种全栈优化框架。该框架包含三个关键组成部分：基于全局累积效应的结构冗余分析、混合蒸馏剪枝，以及具备硬件感知能力的加速策略。

实验设置：我们在NVIDIA Jetson AGX Orin 64 GB平台上对所提出的Pivot-FSOF框架进行了测试。为严格评估架构性能极限并排除温度或功率限制带来的干扰因素，所有测试均在MAXN无限制功率模式下进行。同时，冷却风扇也被设置为最大转速，以确保SM和LPDDR5内存始终在最高时钟频率下运行。AGX Orin平台的操作系统为Ubuntu 22.04 LTS，搭配JetPack工具包。

结论：在本研究中，我们提出了Pivot-FSOF，这是一种用于提升基于扩散变换器模型在边缘计算平台上实时部署效率的全栈优化框架，以F5-TTS作为具体案例。通过对扩散变换器架构的深入敏感性分析，我们发现了作为声学与语义对齐核心的“语义转折层”。研究表明，这些层对于模型而言至关重要。

CRediT作者贡献声明：Chenhe Gong负责写作——审阅与编辑、写作——初稿撰写、可视化、验证、软件实现及方法论设计；Huan Guo负责写作——审阅与编辑、软件实现及方法论设计；Wenjie Zhang负责写作——审阅与编辑、监督工作及研究调查；Mingjiang Wang负责验证工作、监督工作、资金筹措以及形式化分析。

利益冲突声明：作者们声明自己没有已知的可能影响本文研究结果的财务利益或个人关系。

致谢：本研究部分得到了中国国家自然科学基金项目（编号62176102）、广东省基础与应用基础研究基金项目（编号2023A1515140109和2025A1515140116）、深圳市高等教育机构稳定支持计划项目（编号GXWD20231130133530002）以及新疆维吾尔自治区重点研发计划项目（编号2025B04037-001）的支持。Chenhe Gong于2024年在中国西安电子科技大学获得电子科学与技术学士学位，目前正在哈尔滨工业大学攻读集成电路工程硕士学位，他的主要研究兴趣包括大规模模型在边缘设备的部署、推理优化以及软硬件协同设计加速技术。

Chenhe Gong|Huan Guo|Wenjie Zhang|Mingjiang Wang
哈尔滨工业大学，中国