个性化移动边缘生成：通过扩展连接实现稳定的个性化训练方法

《IEEE Journal on Miniaturization for Air and Space Systems》：Personalized Mobile Edge Generation: A Stable Personalized Training Approach via Scaling Connection

MEG框架通过在边缘服务器和用户设备部署相同扩散模型，将计算任务卸载至ES，同时P-MEG引入个性化U-Net协同训练，利用融合系数适应用户偏好差异，并证明在AWGN噪声下CSC方法能稳定训练、加速1.4倍，RMT策略可降低计算量而保持性能。

　　

摘要：

移动边缘生成（Mobile Edge Generation，简称MEG）被构建为一个分布式框架，在该框架中，相同的扩散模型（Diffusion Model，简称DM）同时部署在边缘服务器（Edge Server，简称ES）和用户设备（User Equipment，简称UE）上。在MEG中，UE的大部分计算和生成任务都被卸载到ES上处理。然而，统一的扩散模型无法捕捉到用户的多样化偏好。为了解决这个问题，提出了个性化移动边缘生成（Personalized Mobile Edge Generation，简称P-MEG）框架，在该框架中，UE上会训练一个轻量级的个性化U-Net模型，并与ES预训练的DM模型协同工作。在推理过程中，通过编码用户特定偏好的缩放系数，将预训练的ES特征与UE特征融合在一起。本文从理论上研究了P-MEG的训练稳定性以及在噪声无线信道下特征融合的鲁棒性，得出了在前向和后向特征振荡、反向传播梯度以及存在加性高斯白噪声（Additive White Gaussian Noise，简称AWGN）噪声时的特征融合误差方面的界限。这些界限表明它们依赖于融合比例，而AWGN噪声下的鲁棒性也遵循相同的依赖关系。为了模拟空中训练过程，引入了带有AWGN扰动的多U-Net训练模型。基于这些研究结果，提出了一种恒定缩放连接（Constant Scaling Connection，简称CSC）方法，通过指数级调整融合系数来稳定训练过程；同时引入了随机掩码训练（Random Mask Training，简称RMT）策略，通过调整个性化特征的传输比例来降低计算需求。在MNIST、EMNIST和PACS数据集上的实验评估表明：1）P-MEG能够实现有效的个性化图像生成；2）RMT在仅增加少量训练开销的情况下减轻了计算负担；3）CSC能够在噪声信道下稳定特征振荡，从而使训练速度提高了1.4倍。

引言

近年来，生成式人工智能（Generative Artificial Intelligence，简称GAI）因其出色的生成能力而成为最受欢迎的应用之一。人工智能生成的内容（Artificial Intelligence Generated Content，简称AIGC）为人们的日常生活带来了极大的便利。得益于大量多模态训练数据，GAI模型可以根据用户的需求提供多种生成结果。此外，大多数GAI模型采用在线交互方式帮助用户访问模型，例如ChatGPT、Claude和Gemini。然而，随着用户设备数量的迅速增加和网站服务器资源的有限，网络将不可避免地面临巨大的流量压力。为了缓解在线网站访问的压力并满足GAI对计算资源的高要求，提出了移动边缘生成（MEG）的概念[1]。在MEG框架中，GAI模型同时部署在边缘服务器（ES）和用户设备（UE）上。由于ES和UE上的GAI架构是相同的，UE可以将计算密集型的生成任务卸载到ES上，利用ES更强大的计算能力来加速整个过程并减少本地资源消耗。此外，这种分解方式还使得生成过程能够与潜在特征进行交互，从而在保持高质量生成的同时进一步降低计算和传输开销[2]。潜在特征还可以被压缩，以适应信噪比（Signal-to-Noise Ratio，简称SNR）较低的环境而不牺牲质量[3]。此外，通过在设备上部署具有无线连接功能的GAI模型，可以实现无处不在的服务访问和提升用户体验。MEG架构将GAI模型紧密集成在ES和UE之间，从而增强了用户隐私保护。与传统的分割、分类和识别任务不同，图像生成严重依赖于用户的主观偏好。传统的在线交互方式需要将生成的内容和个人偏好上传到Web服务器，这可能会暴露敏感信息。相比之下，MEG框架要求UE仅将与GAI模型提取的低维特征传输给ES，从而有效保护了用户隐私。