免授权随机接入中活跃用户检测的快速且内存高效的核极限学习机方法

《Computer Networks》：Fast and memory-efficient kernel extreme learning machine method for active user detection in grant-free random access

　　

•活跃用户检测（AUD）被建模为多标签分类问题。
•所提出的AUD方法采用核极限学习机（KELM）进行单次训练。
•分类阈值无需人工干预即可自适应评估。
•采用随机枢轴Cholesky（RPC）分解来降低内存需求。

引言

随着各种物联网（IoT）应用的出现，大规模机器类通信（mMTC）已被确定为5G和6G的关键用例之一。mMTC的主要目标是实现大量机器类设备（MTD）与基站（BS）之间的大规模连接。预计MTD将被广泛嵌入到日常使用设备（如冰箱、洗衣机、家庭照明等）或专用应用程序（如机器人、传感器和无人机）中。mMTC部署的关键挑战之一是向海量设备提供无线连接，未来通信标准预计每平方公里可达一百万台设备。与"人类型"设备不同，MTD的特征是间歇性激活模式、小数据负载、经常变化的环境和低复杂度硬件。为了满足如此大量设备的连接需求，近年来开展了各种研究工作[1]。在文献[2]中，研究了多种前导码传输技术以支持大规模随机接入（RA）。标准组织也进行了许多支持mMTC的尝试，例如窄带物联网（NB-IoT）和机器类长期演进（LTE-M），但收效甚微[3]。传统授权式随机接入在mMTC中失败的主要原因是它们需要在初始传输阶段进行专用资源分配。虽然这种方法对于少量人类型设备效果很好（基站以协调方式分配无线资源），但在mMTC场景下，这些协议效率极低，与实际数据量相比产生了巨大的信令开销。因此，免授权接入取消了握手过程的需要，越来越被视为mMTC系统的有前景解决方案。在免授权随机接入中，基站为每个MTD分配唯一的前导码或导频序列，使MTD能够无需调度即可传输。然后基站需要识别所有可能的MTD中的活跃设备，即正在传输数据的设备。这通过使用一种称为活跃用户检测（AUD）的方法来完成，是免授权随机接入中成功数据检测的关键步骤。

在免授权随机接入中，导频序列可以是正交的，这将导致类似于传统码分多址（CDMA）中多用户检测的场景。然而，由于信道相干时间有限，不可能为如此大量的MTD设计相互正交的导频序列。因此，免授权随机接入越来越多地考虑非正交导频序列，其中分配给MTD的序列无需正交，但需唯一。另一方面，虽然非正交导频序列减少了碰撞次数，但导频序列之间的相关性使得AUD问题更加困难。此外，信道衰落和噪声会干扰导频序列的幅度，破坏序列固有的代数和相关结构，从而使AUD更加具有挑战性。

目前为mMTC的随机接入和AUD开发的许多技术都是基于一小部分活跃MTD产生不可预测且间歇性流量的前提。通常这一比例不超过设备总数的10%[4]。由于设备激活模式的稀疏性，压缩感知（CS）技术被广泛用于解决AUD问题[5]、[6]。CS是通过求解不定线性方程组来高效获取和重构信号的信号处理技术。在AUD中，我们特别关注稀疏支撑恢复问题，旨在估计随机接入传输时隙中活跃设备的索引。多年来，已提出多种利用近似消息传递（AMP）[7]、稀疏贝叶斯学习[8]和期望传播[9]的CS技术和AUD算法。文献中探索的其他AUD方法还包括匹配追踪和梯度方法[10]、[11]。然而，研究发现基于CS的算法性能会随着活跃MTD数量的增加而下降[12]。此外，文献[13]表明CS算法不适用于实时应用，因为这些算法收敛时间较长且依赖于稀疏度。

为克服这些局限性，也提出了使用深度神经网络（DNN）替代CS的方案[4]、[14]、[15]、[16]、[17]。深度学习（DL）近年来在自然语言处理、计算机视觉、机器人学等领域取得了巨大进展，对无线通信系统的设计也产生了重大影响。将DL应用于AUD领域主要有两种方法。在模型驱动方法中，传统算法与DNN相结合来解决AUD问题。基于模型驱动方法的架构将高不确定性参数视为可训练权重并进行优化[18]、[19]。然而，这类方法需要领域知识以及对经典算法的深入理解。另一方面，数据驱动方法不依赖于特定模型，纯粹从训练数据中学习映射关系。它们的优势在于适用于数学模型难以理解或难以处理的场景。然而，与基于CS的技术不同，DL需要大量数据进行训练。在mMTC中，由于只是间歇性传输少量字节，使用非常大的数据集进行训练效率低下。此外，即使使用专用硬件（如图形处理器GPU），使用大型数据集进行训练也可能需要很长时间。对于环境（如活跃设备数量、信道、相对距离等）快速变化且需要频繁重新训练的场景，这可能是不利的且不切实际的。

在本文中，我们提出了一种新颖的基于极限学习机（ELM）的AUD技术，克服了基于DL方法的对大数据集和长时间训练的要求。ELM是一种单隐藏层前馈神经网络，以其快速学习而闻名。在ELM中，仅预先定义隐藏神经元的数量，而权重和偏置则是随机分配的。ELM的训练仅涉及确定网络输出层的参数。具体而言，我们将AUD问题建模为多标签分类任务，并提出一种基于核极限学习机（KELM）的方案，称为AUD-KELM，用于在免授权场景下检测活跃用户。与基于DL的方法相比，这允许基站进行更快的训练，并使其能够适应新场景，同时保持可比的检测率。然而，KELM在单次训练过程中处理完整数据集，导致内存需求巨大。为解决此问题，我们还提出了一种快速内存高效（FME）方法，称为AUD-FME-KELM，该方法显著降低了峰值内存需求，并将KELM训练速度提高了数倍。

本文的主要贡献如下。

1. 我们将AUD建模为多标签分类问题，并利用KELM进行免授权接入场景下的前导码序列检测。与现有的需要数千个epoch训练的基于DL的AUD架构不同[4]、[13]、[15]、[20]，所提出的基于KELM的AUD方案可以进行单次训练并提供可比的检测性能。所提出的技术是首个采用KELM（或ELM）作为多标签分类器用于AUD的方法，避免了训练所需的大型数据集要求。此外，与基于CS的方法不同，所提出的AUD-KELM通过数据驱动设计和训练时间不依赖于稀疏度的方式保留了DL的优势。

2. 与文献中现有的基于DL的AUD方案需要手动调整输出层阈值以优化检测率不同[13]、[16]、[21]，所提出的AUD-KELM技术利用基于回归的阈值函数设置，无需任何人工干预即可自适应评估分类阈值。此外，所提出的方法不会像文献[15]中使用单独的网络来确定稀疏度那样将活跃用户数量限定为固定值。

3. 为加速训练并降低KELM的内存需求，我们提出对核矩阵进行低秩近似，以计算KELM训练算法中的矩阵逆。据我们所知的文献调研，所提出的方法是首个利用核矩阵低秩近似来降低基于KELM的多标签分类器复杂度的方法。此外，所提出的AUD-FME-KELM方法也是首个利用随机枢轴Cholesky（RPC）分解[22]来降低KELM训练复杂度并克服其他现有核近似方法局限性的方法。

4. 进行了广泛的数值仿真，在多种场景和不同的导频序列设置下评估了所提出算法的性能和训练复杂度。与现有的基于DL的方法相比，我们表明所提出的技术在性能和复杂度之间取得了良好的平衡。

本文其余部分的组织结构如下。第2节概述了与AUD和KELM相关的文献。第3节讨论系统模型。第4节介绍了所提出的基于KELM的AUD技术，第5节讨论所提出技术的计算复杂度。第6节报告了实验分析结果，第7节得出本文结论。

在本文中，矩阵、向量和标量分别用粗体大写字母、粗体小写字母和小写字母表示。这一规则的例外是核矩阵，用Ω表示。复数的实部和虚部分别用?{·}和?{·}表示。均值为0、方差为σ2的高斯分布和环形对称复高斯分布分别用N(0, σ2)和CN(0, σ2)表示。符号?和?分别表示实数集和复数集。

各节摘要

相关工作

本节概述了AUD问题的现有解决方案，重点介绍基于DL的架构。此外，我们还回顾了KELM的相关文献以及降低其计算复杂度的现有尝试。早期解决AUD问题的许多尝试都采用了基于CS的技术。近似消息传递（AMP）是近期文献中用于设备活跃检测和信道估计的最主要的CS技术之一[23]、[24]。

系统模型

让我们考虑一个用于IoT设备的免授权随机接入系统，该系统由一个小区中的K个发射设备（即MTD）和一个基站组成，如图1所示。尽管基站为K个MTD提供服务，但只有很小的比例Pa?1的设备处于活跃状态并尝试通过窄带信道向基站发送消息。假设所有MTD和基站均配备单天线。采用免授权多址方案，其中每个长度为T的随机接入帧被划分为两个阶段（图1）。

在……

预备知识

本节介绍经典ELM，并在标准多分类和多标签分类的上下文中阐述其原理。

所提方法

本节介绍我们为免授权随机接入场景下的设备活跃检测设计的AUD-KELM和AUD-FME-KELM算法的架构。

数值结果

本节评估所提出AUD方法的性能和复杂度，并与文献中现有的其他技术进行比较。系统模型和算法参数总结于表2中。为评估AUD算法的性能，本文考虑了两种不同的信道模型。第一种模型（信道模型1或CM1）假设为静态瑞利信道，复信道系数服从CN(0,1)分布。所谓"静态"是指……

结论

在本文中，我们提出了基于KELM的免授权随机接入协议下AUD的快速可训练方法。我们通过将AUD问题建模为多标签分类任务的一个实例来开发算法，将网络中的设备映射为类别，并利用KELM技术同时检测一个或多个设备的导频序列。与文献中现有的技术不同，所提出的方法通过利用基于回归的……来避免手动调整阈值。

CRediT作者贡献声明

Divya Yadav：撰写——审阅与编辑，撰写——原稿，验证，调查研究，形式化分析。Ajay Singh Raghuvanshi：撰写——审阅与编辑，软件。

Saikat Majumder：可视化、监督、方法学、形式分析、概念化。
利益冲突声明
作者声明他们没有任何已知的竞争性经济利益或个人关系，这些利益或关系可能影响本文中报告的工作。
Divya Yadav 于 2013 年从印度比尔拉理工学院梅斯拉分校获得无线通信工程硕士学位，并于 2007 年从印度 Bhilai 的 M.P. 基督教工程技术学院获得电子与电信工程工学士学位。她目前正在攻读电子与通信工程博士学位。她的研究兴趣包括物联网（IoT）和大规模机器类型的机器学习驱动解决方案
Divya Yadav|Ajay Singh Raghuvanshi|Saikat Majumder