理解、划分与征服：基于多智能体层次强化学习的特征子空间探索

《ACM Transactions on Knowledge Discovery from Data》：Comprehend, Divide, and Conquer: Feature Subspace Exploration via Multi-Agent Hierarchical Reinforcement Learning

　　

摘要

特征选择旨在对目标数据集进行预处理，找到最优且最精简的特征子集，从而增强下游机器学习任务的效果。在基于过滤器、包装器和嵌入的方法中，基于强化学习（RL）的子空间探索策略提供了一种新颖的目标优化导向视角，并展现出有前景的性能。然而，尽管性能有所提升，当前的强化学习方法在处理复杂数据集时仍面临与传统方法类似的挑战。这些挑战源于"一个特征一个代理"的无效范式以及数据集本身固有的复杂性。这一观察促使我们研究并解决上述问题，并提出了一种新方法，即HRLFS。我们的方法首先采用基于大语言模型（LLM）的混合状态提取器来捕获每个特征的数学和语义特征。基于此信息，对特征进行聚类，从而为每个簇和子簇构建层次化代理。大量实验证明了我们的方法的效率、可扩展性和鲁棒性。与当代的或一个特征一个代理的基于RL的方法相比，HRLFS通过迭代特征子空间探索提升了下游ML性能，同时通过减少参与的代理数量加快了总运行时间。我们的代码和数据集已在GitHub和Huggingface上公开。

1 引言

特征选择（FS）在经典机器学习模型中发挥着至关重要的作用，通过减轻维度灾难、缩短训练时间、缓解特征冗余，从而大幅提升预测性能[1–3]。特征选择方法的演进从早期的启发式和统计筛选技术，发展到融合了基于过滤器[4–6]、基于包装器[7, 8]和嵌入式策略[9–11]的先进方法，以应对日益复杂的数据环境。与此同时，现代AI[12–15]的快速发展将特征选择的应用领域扩展到数据模式发现[16]、生物标志物鉴定[17, 18]以及AI驱动的数据管道构建（AI4data）[19–22]等具有挑战性的任务。在多模态数据处理和实时大数据分析的新兴需求下，整合高效智能的特征选择日益被认为是提升数据质量和推进数据驱动范式的关键要素[23]。

在各种特征选择方法中，基于强化学习（RL）的策略[24]因其能够以目标导向的方式通过迭代特征子空间探索优化特征子集而备受关注。尽管取得了这些进展，基于RL的特征选择方法在处理复杂数据集时仍面临显著挑战。这一困难主要源于"单代理全特征"框架[24]能力的局限。当前的基于RL的研究在应对数据集复杂性方面取得了一些进展。一种富有洞察力的方法[25]采用多代理强化学习（MARL）[26]架构进行特征子空间探索。然而，"一个特征一个代理"（OAPF）系统的局限性显而易见，在处理高维数据集时需要过多的代理。

总之，如图1(a)所示，经典FS方法通过单次决策进行特征选择，虽然高效但未能充分分析特征的本质，导致性能较低。当前的基于RL的方法如图1(b)所示，这些子空间探索方法源于包装器FS的思想，具有强大的特征选择能力，但同样存在包装器方法的固有缺点，即时间复杂度为O(N)，在处理大数据集时需要大量时间。为缓解管理大量代理的挑战，基于分组[27]和基于交互[28]的代理架构已被提出作为有前景的解决方案。然而，这些方法仅依赖表层的数学特征（例如特征的方差）来组织特征，导致因忽视语义和上下文特征关系[29, 30]而产生不准确的结果。

图1. HRLFS与其他FS方法的比较。

这些观察促使我们开发新的基于层次化强化学习（HRL）的架构进行特征子空间探索。本研究的核心概念是：当一个特征（例如年龄）与任务无关时，其语义等价特征（例如出生日期）可能也无关。此外，两个呈现相似数值模式的特征（例如高度相关的生物信号）可能是冗余的，需要进行细粒度的区分。例如，Mice-Protein[31]被用于小鼠唐氏综合征研究，包含77个与小鼠大脑学习能力相关的关键蛋白质。其中包含两个基因"pGSK3B_N"和"GSK3B_N"，它们在生物学上高度相关，因为二者对应同一种蛋白质"GSK-3β"，代表该蛋白质在表达过程中的不同形式[31]。传统的FS方法难以处理这种固有的生物学冗余。一个特征一个代理的方法例如各自独立决策，往往由于缺乏代理协作而未能同时移除两个特征。同时，基于纯粹数学相关的分组和交互方法虽然能检测到统计关联，但缺乏语义上下文来理解其背后的生物学原因。我们的方法利用语义信息识别潜在关系，并采用层次化结构进行统一决策，解决了上述方法在特征理解、代理协作和决策效率方面的局限性。

如图1(c)所示，我们的方案构建层次化代理来对特征子空间探索任务进行决策，将平均决策时间复杂度降低至O(log N)的同时保持高性能。核心思想可分为三个阶段：（理解）我们的主要创新在于整合大语言模型（LLM）来理解特征元数据的语义含义，并结合高斯混合模型（GMM）来捕获特征的数学特征。（划分）基于这些增强的特征表示，我们采用聚类机制对相似特征进行分组。（征服）利用这些聚类，我们构建多代理层次化强化学习（MAHRL）框架，以反映特征空间的自然组织结构。这种层次化结构战略性地将决策责任分配给特定于簇的代理，并自适应地减少所需激活的代理数量，显著降低计算开销并加速探索过程。我们的贡献可以总结如下：

— 全面的特征理解。我们利用LLM和统计微分从数据集元数据及其数学特征中提取有意义的信息，从而实现对特征关系的更深入理解，超越单纯的数值统计。

— 超越一个代理一个特征的架构。通过层次化MARL架构管理聚类特征，减少总激活代理数量，提高计算效率，改进特征选择过程。

— 理论和实证效率。我们从理论和实验两个角度严格证明了方法的效率和有效性，展示了其相对于现有FS方法的优越预测性能和计算可扩展性。

2 重要定义

FS。给定数据集D={X∈R^{m×n}, y∈R^{m×1}, F}，其中X和y分别为特征和标签。m和n分别是样本数和特征数。我们使用有限集F={f?, f?, …, f?}表示数据集D中包含的特征列，其中f?是X的第i列。FS的目标是找到最优特征子集F*?F以提升模型性能，同时保持计算效率。

FS与RL结合。在本文中，我们将FS方法的决策过程建模为马尔可夫决策过程[32]。具体来说，s?表示时间步t时所选特征F?的状态。代理（们），通过策略函数π(·)，将以动作a?∈{0,1}?选择或丢弃每个特征，其中每个动作分量对应包含（1）或排除（0）一个特定特征。通过动作a?，我们可以构建特征子集F_{t+1}并提取其相关的新状态s_{t+1}。我们还可以评估选择并获得奖励r?。通过收集记忆m?=(s?, a?, s_{t+1}, r?)，我们可以优化策略函数π(·)以进行RL并最终获得最优选择F*。

3 方法论

3.1 HRLFS概述

HRLFS是一种高效的基于RL的特征子空间探索方法，采用"理解-划分-征服"范式。HRLFS首先提取每个特征的混合状态，对每个特征进行聚类，然后初始化层次化代理架构。利用每个特征的状态，层次化代理探索特征组合并优化其选择策略。之后，HRLFS输出最终最优选择以增强下游机器学习任务。

3.2 混合特征状态提取

如图2所示，我们开发了一种多面混合特征状态提取方法来帮助聚类和每个RL代理理解给定数据集。

图2. 混合特征状态提取。

利用特征分布。我们首先考虑每个特征的数学特征。为此，我们用k个高斯成分的GMM对每个特征f建模，以准确捕获特征值的分布。特征f的概率密度函数（PDF）定义为：P(f|θ)=∑???? z?N?(f|μ?, σ?)，其中∑???? z?=1。(1)

其中，N?(f|μ?, σ?)表示第i个高斯分布，z?是控制每个成分权重的非负常数。θ=(z?,…,z?,μ?,…,μ?,σ?,…,σ?)是GMM模型的整体参数。然后我们使用以下对数似然函数来最大化PDF与F的真实分布之间的似然，如下所示：l(Θ|F)=∑_{f∈F} ln(∑???? z?N(f|μ?, σ?))，(2)

其中Θ={θ?}????表示n个特征的所有参数。通过此方法，我们应用期望最大化算法优化损失函数并获得最终参数θ?*作为特征f?的分布状态。

利用特征元数据。解决特征状态不准确问题的另一个关键来源是从特征描述（即元数据）中获取语义信息。我们采用了一种简单但高效的方法：将特征名-描述对输入LLM，随后利用PCA[33]进行降维以对齐高斯成分数k。此过程生成的句嵌入作为语义特征状态。对于不完整的数据集，我们使用以下提示生成其特征描述。如图3所示，我们将数据集描述、可用的特征名称及其描述、以及没有描述的特征名称输入LLM以补全缺失的特征描述。生成的元数据在预处理期间一次性创建并存储为不可变注释。对于既没有数据集描述也没有特征描述的数据集（例如合成数据集），我们使用全零嵌入作为其语义特征状态。由此，我们可以获得每个特征f?的语义状态e?∈R?。

图3. 使用数据集元数据生成特征描述的提示。

最后，我们连接分布状态和语义状态以生成混合状态，表示为h?=e?⊕θ?*。

3.3 划分-征服代理架构

我们接着介绍如何构建代理层次结构（划分）以及组织代理决策（征服），以克服数据集复杂性的挑战。

3.3.1 代理层次构建。如图4所示，我们提出了一种H聚类算法，根据混合状态的相似度聚合特征，并利用这种分组信息构建代理层次结构。具体来说，我们采用增量聚类算法合并引起最小方差增加的两个聚类[34]。算法1说明了从所有特征状态H={h?}????开始，其中每个特征最初形成一个聚类，然后新聚类通过相似性分组依次合并，直到仅剩下一个聚类。然后我们导出聚类集C_agent，其中每个聚类C?∈C_agent代表一个代理A?。包含关系建立了代理的层次结构；如果C??C?（两个低层级代理组合形成一个高层级代理），则低层级代理A?是高层级代理A?的一部分。

图4. 通过增量聚类构建代理层次结构。

面向簇的层次化代理决策。如图5所示，代理在一个层次化框架内协同工作，跨不同粒度级别进行决策，从高层级到低层级代理。每个代理共享状态和奖励并发展策略。树的叶节点对应于单个特征，负责决定是否选择或丢弃每个具体特征。

相比之下，内部（非叶）节点代表更高层次的特征簇，并通过划分特征空间做出更广泛的决策，确定整个特征组（由其各自的子树表示）是否应被进一步考虑，或从选择过程中被剪枝。

**图 5.** 层次智能体迭代与优化的细节。

? **动作 (Action)：** 在第 $t$ 次迭代中，与第 $i$ 个智能体（对应树中的一个节点）相关的动作 $a_t^i$ 是一个二元选择：$a_t^i \in \text{select}, \text{drop}$。如果某个智能体（树节点）选择“select”动作，它会递归地将特征选择（FS）任务委派给其子节点（即以其子节点为根的子树被进一步探索）。反之，如果某个节点选择了“drop”动作，则以该节点为根的整个子树变得非活动，且其所有后代智能体（或其关联的特征簇）均不会被激活。以此方式，任何内部节点上的“drop”动作都会导致相应的子树从选择过程中被剪枝。

? **状态 (State)：** 每个智能体的状态是源自所选特征子集的向量化表示。我们采用混合特征状态作为每个智能体的状态表示。我们首先从特征 $f_i$ 的高斯混合模型（GMM）中获取参数 $\theta_i^* = \{z_{1i}, \cdots, z_{ki}, \mu_{1i}, \cdots, \mu_{ki}, \sigma_{1i}, \cdots, \sigma_{ki}\}$。由于对每个高斯分量的权重 $z$ 进行了调整，我们将每个 $\mu$ 和 $\sigma$ 向对应的 $z$ 进行加权求和，形成状态向量 $s_i$，形式化表示为：
$$s_i = e_i \oplus \sum_{j=1}^{k} z_{ji}^* (\mu_{ji} \oplus \sigma_{ji}) \quad (3)$$
为了获得步骤 $t$ 的状态，我们将所有特征状态连接成一个固定大小的向量 $s_t \in \mathbb{R}^{n \times (k+2)}$：
$$\mathbf{1} s_t = \bigoplus_{i=1}^{n} (\mathbf{1}_t(f_i) * s_i) \quad (4)$$
其中 $\mathbf{1}_t(\cdot)$ 是一个指示函数，表示特征 $f_i$ 在第 $t$ 步是否被选中。如果 $f_i$ 未被选中，函数返回 0；如果选中，则返回 1。

? **策略 (Policy)：** 智能体的策略网络是一个带有二元分类头的馈前神经网络。形式化地，对于特征 $f_i$，其在第 $t$ 次迭代中的动作由 $a_t^i = \pi_i(s_{t-1})$ 推导得出。

? **奖励 (Reward)：** 如图 5 所示，我们设计了关于下游任务性能和所选特征数量抑制的奖励函数。
? **性能 (Performance)：** 奖励函数的第一方面通过下游任务（如分类和回归）评估性能。我们使用所选特征子集训练一个下游任务模型，并通过模型评估指标定义 $r_t^p$。
? **数量抑制 (Quantity Suppression)：** 第二视角专注于通过以下方式确保特征数量紧凑：
$$r_t^q = \frac{|F| - |F_t|}{|F|} + \lambda \cdot |F_t| \quad (5)$$
其中 $F$ 是整个特征集，$F_t$ 是第 $t$ 步选择的特征子集，$\lambda$ 是超参数，$|\cdot|$ 表示给定集的大小。随着 $\lambda$ 增加，保留过多特征（较大的 $|F_t|$）的惩罚变得更加严厉，从而鼓励更大幅度的特征减少。反之，较低的 $\lambda$ 值会放宽对 $|F_t|$ 大小的惩罚，适用于最小减少量足够的情况。该指标确保选择过程策略性地减少特征数量。
? **奖励分配 (Reward Assignment)：** 然后我们结合两个视角，获得第 $t$ 步的奖励：
$$r_t = \alpha \cdot r_t^p + (1 - \alpha) \cdot r_t^q \quad (6)$$
其中 $r_t$ 是该步的总奖励。$\alpha$ 是一个超参数，用于调整两个视角的权重。获得奖励后，框架会将奖励平均分配给每个被激活的智能体。这种在奖励函数中平衡性能和特征数量的方法类似于基于稀疏约束的特征选择方法（Lasso [35] 和 LASSONet [11]），后者将正则化项纳入目标函数，但更加灵活和适应性强。

### 3.4 探索与优化

图 5 展示了我们使用层次强化迭代来发现最佳特征子集的方法，将模型训练分为两个不同的阶段：探索和优化。

**探索阶段 (Exploration Phase)。** 在探索阶段，层次智能体随机探索特征子空间。它们以当前状态 $s_t$ 作为输入，层次化地选择或丢弃特征，构建一个新的选中特征集。奖励 $r_t$ 和下一个状态 $s_{t+1}$ 从新选择的特征子集中计算得出。在此步骤中采取行动 $a_t$ 的每个智能体 $A_i$ 将其经验 $m_t = \{s_t, a_t, r_t, s_{t+1}\}$ 存储在其内存 $M_i$ 中。

**优化阶段 (Optimization Phase)。** 智能体将通过从优先经验回放 [36] 获得的内存小批量数据自主训练其各自的策略。我们利用 Actor-Critic 方法 [37] 优化策略，其中策略网络 $\pi(\cdot)$ 扮演演员（actor）的角色，而 $V(\cdot)$ 充当其相关的评论家（critic）。智能体 $A_i$ 的优化目标由期望累积奖励定义，表达式为：
$$\max_{\pi} \mathbb{E}_{m_t \sim \mathcal{B}} \left[ \sum_{t=0}^{T} \gamma^t r_t \right] \quad (7)$$
其中 $\mathcal{B}$ 指优先回放缓冲区中经验的分布，$\gamma$ 是折扣因子，$T$ 表示一个回合的时间范围。此外，我们引入了 Q 函数 $Q(s, a)$，它表示在状态 $s$ 下采取行动 $a$ 并随后遵循策略 $\pi$ 的期望回报：
$$Q(s, a) = \mathbb{E}[r + \gamma \max_{a'} Q(s', a') \mid s, a] \quad (8)$$
演员网络的训练调整由策略梯度 [38] 确定，定义为：
$$\nabla_\theta J(\pi) = \mathbb{E}_{m_t \sim \mathcal{B}} [\nabla_\theta \log \pi(a_t \mid s_t) A(s_t, a_t)] \quad (9)$$
这里，$A(s, a) = Q(s, a) - V(s)$ 是优势函数（advantage function），有助于策略改进的梯度估计。

**HRL 优势分析 (Analysis of the Advancement of HRL)。** 层次智能体结构在每个步骤中激活更少的智能体，从而在迭代中带来卓越的性能。单智能体方法使用一个智能体对 N 个特征做出 N 个决策。同时，多智能体方法使用 N 个智能体对 N 个特征做出 N 个决策，这两种方法的时间复杂度均为 $O(N)$。相比之下，我们应用了层次结构，减少了做出决策的被激活智能体数量，总共使用 $2N-1$ 个智能体对 N 个特征做出 $\log(N)$ 次决策，时间复杂度为 $O(\log(N))$。在接下来的章节中，我们将提供时间复杂度优势的详细证明。

### 3.5 分而治之解决方案的时间复杂度证明

在本节中，我们提供了分而治之特征选择解决方案的时间复杂度的形式化证明，分析了最佳、最差和平均情况。考虑一个由 N 个智能体组织成完全二叉树的架构，其中每个非叶智能体以概率 $p$ 将决策委派给其子节点。

**定理 3.1 (最佳情况时间复杂度)。**
最佳情况时间复杂度满足 $O(1)$。
**证明。**
最佳情况场景发生在根智能体立即终止决策过程而不委派给其子节点时。这只需要在根节点进行常数数量的操作：
$$T_{best}(N) = c_1 \quad (10)$$
其中 $c_1$ 是一个常数。因此，$T_{best}(N) \in O(1)$。 (11) □

**定理 3.2 (最差情况时间复杂度)。**
最差情况时间复杂度满足 $O(N)$。
**证明。**
最差情况场景发生在每个智能体递归地将决策委派给其子节点直到到达叶节点时，从而激活树中的所有 N 个节点。对于具有 $N = 2^h - 1$ 个节点（高度为 $h$）的完全二叉树：
$$T_{worst}(N) = \sum_{k=0}^{h-1} 2^k = 2^h - 1 = N \quad (12)$$
因此，$T_{worst}(N) \in O(N)$。 (13) □

**定理 3.3 (平均情况时间复杂度)。**
在下述假设下，当 $p = 1/2$ 时，平均情况时间复杂度满足 $O(\log N)$。

**假设 1 (平衡树结构)。**
层次架构是一个完美二叉树，具有：
— $N = 2^h - 1$ 个节点，其中 $h$ 是树的高度；
— 所有叶节点位于相同的深度级别；
— 每个非叶节点恰好有两个大小为 $\lfloor N/2 \rfloor$ 的子树。
虽然这个假设在理论上是方便的，但在实践中我们的层次结构非常接近这样的结构。我们在第 5.12 节中提供了该假设的经验验证，表明在 21 个数据集中观察到的平衡因子和树高度与完美二叉树的高度一致。

**假设 2 (独立委派)。**
每个非叶智能体独立地以概率 $p$ 将决策委派给其子节点，其中 $p \in [0, 1]$。 (14)
设 $E(N)$ 表示此类树中活跃智能体的期望数量。我们将分析形式化如下：

**引理 3.4 (期望分解)。**
对于 $N > 1$，活跃智能体的期望数量满足：
$$E(N) = (1 - p) \cdot 1 + p \cdot [1 + E(\lfloor N/2 \rfloor) + E(\lceil N/2 \rceil)] \quad (15)$$
边界条件为 $E(1) = 1$。
**证明。**
根据全期望公式：
$$E(N) = \mathbb{E}[\text{Nodes} \mid \text{root terminates}] \cdot (1 - p) \quad (16)$$
$$+ \mathbb{E}[\text{Nodes} \mid \text{root delegates}] \cdot p \quad (17)$$
具体来说：
— 如果根终止：$\mathbb{E}[\text{Nodes}] = 1$。
— 如果根委派：$\mathbb{E}[\text{Nodes}] = 1 + E(\lfloor N/2 \rfloor) + E(\lceil N/2 \rceil)$。
对于完美二叉树，当 $N = 2^h - 1$ 时，$\lfloor N/2 \rfloor = \lceil N/2 \rceil = N/2$，因此递推式简化为：
$$E(N) = 1 + 2p E(N/2) \quad (18)$$
□

**定理 3.5 (闭合解)。**
对于 $N = 2^h - 1$，递推式解析为：
$$E(N) = \frac{(2p)^{\log_2(N+1)} - 1}{2p - 1} \quad (19)$$
特别地，当 $p = 1/2$ 时：
$$E(N) = 2\log_2(N+1) + O(1) \quad (20)$$
**证明。**
展开 $N = 2^h - 1$ 的递推式：
$$E(N) = 1 + 2p E(N/2) = 1 + 2p [1 + 2p E(N/4)] = \sum_{k=0}^{h-1} (2p)^k + (2p)^h E(1)$$
$$= \frac{(2p)^h - 1}{2p - 1} + (2p)^h \cdot 1 = \frac{(2p)^{h+1} - 1}{2p - 1} \quad (21)$$
代入 $h = \log_2(N+1)$ 得到：
$$E(N) = \frac{(2p)^{\log_2(N+1)} - 1}{2p - 1} \quad (22)$$
对于 $p = 1/2$，$2p = 1$，所以：
$$E(N) = \log_2(N+1) + 1 = 2\log_2(N+1) + O(1) \quad (23)$$
□
因此，平均情况时间复杂度满足：
$$T_{avg}(N) \in O(\log N) \quad (24)$$
在第 5.2 节中，我们进行了实验，结果表明活跃智能体减少了 70.61% 至 82.30%，时间消耗减少了 35.49% 至 55.26%。这些观察结果与结论一致。

### 4 实验设置

#### 4.1 数据集描述

我们在 21 个数据集上进行了实验，这些数据集可从特征选择基准 [39]、美国国家生物技术信息中心基因表达综合库 [40]、UCI [41]、Kaggle [42]、OpenML [43]、libSVM [44] 等公开获取。这些数据集在三个任务（分类、多标签分类和回归）、样本大小和特征样本数量上各不相同。这些数据集来自各个领域，包括生物学、金融学和合成数据。这些数据集包含的样本数量从 253 到 83,773 不等。这些数据集包含广泛特征数量，从 21 到 20,670。为了避免过拟合，我们遵循现有研究 [16] 将数据集划分为训练集和验证集。具体来说，奖励在 80% 的样本中评估；剩余 20% 的样本用于验证所选特征的效率和能力。数据集描述（包括样本数、特征数和任务类型）列于表 1 中。

**表 1. 数据集及性能比较**

| 数据集 | 任务 | #样本 | #特征 | KBest | LASSONet | MCDM | RLASM | ARIFS | SAFS | GAINS | CompFS | 本文方法 |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| SpectFC | C | 267 | 44 | 79.16 | 82.11 | 79.44 | 80.38 | 77.01 | 80.78 | 80.55 | 83.69 | **87.56±0.22** |
| SVMGuide | 3C | 1,243 | 21 | 76.55 | 77.61 | 75.68 | 76.13 | 75.92 | 75.53 | 77.53 | 72.83 | **78.90±0.45** |
| German_Credit | C | 1,001 | 24 | 65.75 | 58.85 | 70.49 | 64.91 | 66.89 | 66.89 | 69.40 | 68.27 | **73.07±1.13** |
| Credit_Default | C | 30,000 | 25 | 80.40 | 79.86 | 74.87 | 80.41 | 80.11 | 77.49 | 80.05 | 78.15 | **80.56±0.09** |
| SpamBase | C | 4,601 | 57 | 90.36 | 89.16 | 89.10 | 91.40 | 90.04 | 90.93 | 91.71 | 89.70 | **92.60±0.31** |
| Megawatt1 | C | 253 | 38 | 84.02 | 89.59 | 89.59 | 83.22 | 87.64 | 86.46 | 89.42 | 91.83 | **92.70±0.73** |
| Ionosphere | C | 351 | 34 | 91.48 | 90.17 | 88.85 | 94.11 | 90.18 | 90.18 | 92.24 | 91.08 | **94.27±1.04** |
| Mice-Protein | MC | 1,080 | 77 | 82.86 | 82.71 | 81.95 | 77.78 | 80.56 | 77.81 | 81.04 | 78.96 | **83.79±0.91** |
| Coil-20 | MC | 1,440 | 400 | 93.92 | 88.19 | 96.53 | 90.97 | 96.19 | 94.41 | 97.22 | 95.16 | **97.56±0.06** |
| MNIST | MC | 10,000 | 784 | 89.67 | 86.40 | 91.25 | 88.30 | 90.75 | 86.65 | 91.40 | 87.65 | **91.75±0.24** |
| Otto | MC | 61,878 | 9 | 72.31 | 71.65 | 73.24 | 72.86 | 73.74 | 72.13 | 72.40 | 71.97 | **74.24±0.07** |
| Jannis | MC | 83,733 | 54 | 65.48 | 65.78 | 64.20 | 57.88 | 66.70 | 64.42 | 65.15 | 66.61 | **67.91±0.22** |
| Cao | MC | 4,186 | 13,488 | 82.81 | 83.65 | 82.37 | 84.57 | 83.71 | 84.67 | 82.47 | 85.57 | **89.37±0.13** |
| Han | MC | 2,746 | 20,670 | 70.18 | 72.57 | 71.33 | 74.73 | 74.69 | 75.79 | 74.03 | 73.20 | **81.45±0.21** |
| Openml_586 | R | 1,000 | 25 | 56.35 | 56.03 | 55.82 | 51.04 | 55.02 | 53.15 | 59.36 | 55.49 | **61.75±0.71** |
| Openml_589 | R | 1,000 | 25 | 53.34 | 52.99 | 54.12 | 49.36 | 52.68 | 45.51 | 59.33 | 48.46 | **61.60±1.01** |
| Openml_607 | R | 1,000 | 50 | 53.63 | 53.70 | 55.37 | 57.42 | 54.82 | 51.82 | 60.44 | 53.18 | **61.70±0.69** |
| Openml_616 | R | 500 | 50 | 31.16 | 21.69 | 28.27 | 50.38 | 31.36 | 46.16 | 49.54 | 49.16 | **53.90±0.86** |
| Openml_618 | R | 1,000 | 50 | 49.21 | 48.97 | 48.69 | 58.57 | 49.31 | 45.16 | 55.68 | 48.55 | **56.40±0.62** |
| Openml_620 | R | 1,000 | 25 | 53.00 | 54.63 | 55.00 | 41.63 | 54.57 | 50.16 | 61.51 | 55.49 | **62.78±0.82** |
| Openml_637 | R | 500 | 50 | 23.09 | 25.42 | 23.75 | 42.04 | 25.96 | 34.18 | 39.46 | 36.17 | **40.54±0.37** |

*注：每个数据集的最佳结果以粗体显示，第二佳结果以下划线显示。#Samp. 和 #Feat. 分别表示样本数和特征数。*

#### 4.2 评估指标

我们使用 F1-Score (Micro-F1)、准确率和召回率来评估分类任务（多分类任务）的性能。对于回归任务，我们利用来自研究 [45, 46] 的 1-相对绝对误差 (1-RAE) 来评估性能。对于所有指标，较高的值表示更好的性能。

#### 4.3 基线算法

我们与八种方法进行了广泛的比较，涵盖经典和最新的方法，包括三类特征选择（FS）：过滤法、嵌入式和基于强化学习的（最新的包裹法）。对于过滤法，KBest [47] 基于统计度量选择 K 个最佳特征，MCDM [48] 使用预定义的排序器为特征分配分数并相应选择。对于嵌入式方法，LASSONet [11] 利用残差组件将 FS 与模型训练过程集成，增强其泛化性，GAINS [16] 将特征嵌入向量空间并使用梯度上升搜索算法识别最佳子集。对于包裹法（包括基于强化学习的），CompFS [49] 提供了贪心前向选择的高效单遍实现，利用每一步的注意力权重来近似特征重要性，SAFS [50] 在神经网络中集成 FS 模型以识别特征组并测量这些组之间的相似性来选择最佳特征子集。对于基于强化学习的方法，MARLFS [25] 是一个多智能体系统，其中智能体数量与特征数量匹配，RLAS [51] 协同使用median-initialized 过滤器、基于 Q 学习的模块选择和重要性感知随机分组。

#### 4.4 超参数设置与可复现性

我们进行了 200 个 epoch 的 HRLFS 探索特征空间，并额外进行 200 个 epoch 优化智能体，内存大小设置为 400。根据超参数和消融实验结果，所有智能体的策略模型为 Actor-Critic，其中 actor 和 critic 模型均实现为两层神经网络，隐藏层大小为 (64, 8)。我们采用 Adam 优化器优化 actor 和 critic 模型，小批量大小为 32。遵循现有研究 [52]，为了确保收敛，critic 的学习率应约为 actor 的 10 倍。因此，actor 和 critic 模型的学习率分别为 0.001 和 0.01。公式 (8) 中的超参数 $\gamma$ 设置为 0.9。我们采用随机森林作为下游机器学习模型，以评估每一步所选特征子集的性能。我们将所有特征的高斯分量数 $k$ 设置为其 BIC 搜索结果的最大值。对于特征元数据嵌入，我们应用基于 GPT-4 [54] 的 text-embedding-3-large [53]。根据第 5.11 节超参数研究的结果，我们将公式 (6) 中的超参数 $\alpha$ 和公式 (5) 中的 $\lambda$ 分别设置为 0.4 和 0.6。

基线方法的超参数设置遵循其原始论文。4.5 环境设置
实验在 Ubuntu 18.04.6 LTS 操作系统上进行，配备 AMD EPYC 7742 CPU 和 4 块 NVIDIA V100 GPU，使用 Python 3.11.0 环境和 PyTorch 2.1.1。5 实验结果
5.1 主要对比
本实验旨在回答以下问题：HRLFS 是否能够在所有域上有效精炼出更优的特征子空间？我们在多个数据集上将本方法与传统方法和最新方法进行了比较。表1展示了 HRLFS 的总体结果。我们观察到，HRLFS 在所有任务上均优于传统方法、基于深度学习的方法和基于强化学习的方法。其背后的原因在于，与传统方法（KBest、LASSONet 和 MCDM）相比，HRLFS 通过大语言模型发现了特征间的细粒度差异，从而在数值统计之外构建了更精确的特征子空间，进而提升了性能。与基于深度学习的方法（SAFS、CompFS、GAINS）相比，HRLFS 采用层级架构管理聚类特征，从粗粒度到细粒度考虑特征间的相关性，从而更好地探索特征子空间。与基于强化学习的方法（RLAS、MARLFS）相比，HRLFS 通过 HRL 架构看待智能体协作，从而提升了性能。总体而言，本实验表明 HRLFS 在多样化的数据集上表现突出且稳健，涵盖不同的任务、规模和领域，凸显了其在特征子空间探索中的普适性。5.2 时空复杂度分析
与 OAPF 的时空复杂度比较。本实验旨在回答以下问题：HRLFS 相比 OAPF 方法是否在时空复杂度上具有优势？表2比较了 OAPF 架构与 HRLFS 在四个数据集上活跃智能体的数量以及整体运行时间。我们观察到，HRLFS 在所有4个数据集上的活跃智能体数量至少减少了70.61%。此外，活跃智能体数量的减少直接转化为显著的时间节省：在每个报告的数据集上，HRLFS 的整体运行时间相比 OAPF 减少了30%至50%以上。这些实证结果印证了我们在第3.5节中的复杂度证明，该证明表明 HRLFS 的期望活跃智能体数量为 O(log N)，而 OAPF 所需的活跃智能体数量为 O(N)。其根本原因在于，HRLFS 基于分治范式构建的层级决策结构实现了更优的决策效率，显著减少了活跃智能体的数量，从而降低了空间和时间复杂度。总之，通过减少活跃智能体的数量，层级架构不仅实现了更好的空间效率，相比 OAPF 方法还带来了运行时间的显著降低。

表2。
数据集 Spam Base Mice-Protein Coli-20 MNIST
方法 Ours?h Ours Ours?h Ours Ours?h Ours Ours?h Ours
活跃智能体数量（平均） 56 16.46 ?70.61% 76 13.45 ?82.30% 400 104.39 ?73.90% 784 156.73 ?80.01%
时间消耗（秒） 146.56 76.28 ?47.95% 177.77 79.53 ?55.26% 547.05 352.86 ?35.49% 2,291.25 1,317.28 ?42.50%

OAPF 与本模型平均活跃智能体数量的比较
与基线方法的时空复杂度比较。本实验旨在回答以下问题：HRLFS 是否在时间和性能两方面都表现出色？图6展示了 HRLFS 与其他基线方法以及我们的消融模型 HRLFS?h（将 MAHRL 架构替换为 OAPF 架构）的性能和时间消耗对比。我们发现，HRLFS 在所有基线方法和 HRLFS?h 上均取得更好表现，其时间消耗与传统统计方法（KBest、MCDM 和 LASSONet）相当，并远优于基于强化学习的方法（RLAS 和 MARLFS）、基于深度学习的方法（SAFS、CoFS 和 GAINS）以及 HRLFS?h。与基于深度学习的方法相比，我们的智能体仅由两层神经网络组成，相比这些方法所使用的具有大量参数的模型，耗时更少。与基于强化学习的方法相比，HRLFS 应用层级决策架构来管理聚类特征，大幅减少了活跃智能体的数量，当其余智能体保持不活跃时，活跃智能体将进行决策，从而实现更高效迭代和更少的时间消耗。此外，HRLFS 在性能和时间上均远优于 HRLFS?h，凸显了层级决策架构能够捕捉特征间相关性、促进智能体协作并减少活跃智能体数量的事实。综上所述，通过有效的状态提取和层级架构设计，HRLFS 在时间和性能方面具有巨大优势。
图6。HRLFS 与基线方法在下游任务性能和时间消耗方面的比较。5.3 消融研究
我们设计了三个变体：HRLFS?s(GMM) 仅使用 GMM 进行特征表示；HRLFS?s(LLM) 仅使用 LLM 进行特征表示；HRLFS?h 将 MAHRL 架构替换为 OAPF 架构。
混合状态表示的影响。图7展示了特征表示变体在两个分类任务和两个回归任务上的比较结果。我们发现，HRLFS 总体上优于 HRLFS?s(GMM) 和 HRLFS?s(LLM)。该观察结果背后的原因在于，与 HRLFS?s(GMM) 相比，混合状态表示利用大语言模型的力量来解释和提取特征元数据中的信息，为层级智能体优化和探索特征子空间提供了有价值的见解，从而实现了更好的特征选择。与 HRLFS?s(LLM) 相比，混合状态表示组件整合了 GMM 统计数据，为每个特征的分布提供了更好的描述，从而提升了性能。总之，本实验表明混合状态表示组件融入了来自特征名称和统计数据的有效信息，在 HRLFS 中发挥着重要作用。
图7。不同状态表示方法的影响。
HRL 架构的影响。图8比较了 HRL 架构变体在两个分类任务和两个回归任务上的表现。我们可以观察到，HRLFS 在降低时间消耗的同时，性能优于 HRLFS?h。这表明层级智能体结构大幅减少了活跃智能体的数量，从而减少了所消耗的时间。同时，该层级架构为特征子空间探索提供了可变粒度，带来了性能的提升。
图8。MAHRL 架构的影响。5.4 多智能体层级架构设置的分析
本实验旨在回答以下问题：更细粒度或更粗粒度的智能体层级设置如何影响整个系统？在算法1中，语义或数学分布相似的特征由同一个智能体控制，形成层级树结构。在本实验中，我们从三个任务中各选择一个数据集——Megawatt1、MNIST 和 OpenML_616，并改变所涉及的智能体层级数量。数值越小，表示越少的智能体层级参与特征选择，导致决策过程更加粗粒度。
从图9的结果中，我们可以观察到，随着层级数量的增加，性能持续改善并趋于稳定，表现为更高的得分和更小的标准差。这种行为背后的原因在于，随着更细粒度层级中智能体数量的增加，促进了特征空间的更细致探索。此外，我们注意到，激活较少智能体的更粗粒度层级由于对相关特征的探索不够细致而导致性能较低。这表明更细粒度的层级能够促进更好的智能体协调和决策，提高特征选择效率。然而，这种改进以更高的计算复杂度和更多活跃智能体为代价，表明智能体参与程度与系统效率之间存在权衡。
图9。下游任务性能及活跃智能体比例随所涉及的智能体层级粒度变化而变化的情况。5.5 混合状态提取方法的分析
本实验旨在回答以下问题：将 GMM 与 GPT-4 结合进行特征状态提取是否为最优选择？我们在几个数据集上比较了不同的特征分布提取方法和具有不同参数规模的语义提取模型，如图10所示。Statistic+GPT-4 使用均值、最大值、最小值、方差、第一四分位数、第二四分位数和第三四分位数来提取特征分布，并使用 GPT-4 来利用元数据。GMM+BERT、GMM+QWen 和 GMM+Gemini 使用 GMM 获取统计数据，并分别使用 BERT [55]、gte-Qwen2-7B-instruct [56] 和 gemini-embedding-exp [57] 来利用语义信息。通过比较 Statistic+GPT-4 和 GMM+GPT-4，我们可以观察到使用 GMM 获得的特征分布相比统计数据具有更好的结果。该行为背后的原因在于，诸如均值、最大值、最小值等统计数据只能提供数据描述的简单描述，无法捕捉数据的内部结构，而 GMM 可以通过多个高斯分布的线性组合来近似任意形状的概率分布，从而更好地捕捉这种复杂性并带来更好的结果。通过比较 GMM+BERT、GMM+QWen、GMM+Gemini 和 GMM+GPT-4，我们发现 GPT-4 在提取语义信息方面表现优于其他模型。这表明，与 BERT 和 QWen 相比，GPT-4 的模型架构和规模更大，能够捕捉更复杂的语义关系和上下文信息。与 Gemini 相比，GPT-4 的数据筛选和清洗标准减少了训练数据中的错误和偏差，进一步提高了语义信息提取的准确性和可靠性。总之，由于 GMM 和 GPT-4 能够准确地从数据中提取特征分布和语义信息，因此它们是特征状态提取的最佳选择。
图10。不同特征状态提取模型的比较。5.6 特征聚类算法选择的分析
本实验旨在回答以下问题：H-clustering 算法在特征子空间探索任务中是否比其他聚类方法性能更优？我们在四个具有不同数量特征的数据集上比较了 H-clustering（我们的方法）与 KMeans [58]、DBSCAN [59] 和 SpectralClustering [60]，如图11所示。
图11。不同聚类算法的影响。
我们可以观察到，H-clustering 优于所有聚类算法，且随着特征数量的增加，H-clustering 的优势变得更加明显。该行为背后的原因在于，与普通聚类算法相比，H-clustering 从细粒度到粗粒度聚合特征，构建层级决策架构，并在更多粒度上考虑特征选择问题，从而带来更好的性能。同时，这种从粗到细的决策方法将复杂任务分解为若干个相对简单的任务，这天然具有处理复杂问题的优势，因此 H-clustering 对于特征数量较多的任务更为有利。总之，H-clustering 在不同粒度上决定特征选择问题，具有更好的性能，并且能够处理更复杂的问题，从而优于其他方法。5.7 强化学习后端选择的分析
本实验旨在回答以下问题：HRLFS 中使用的策略模型是否优于其他现有模型？我们在图12中比较了 ActorCritic [37]（我们的方法）与 DQN [61]、Double DQN [62] 和 Dueling DQN [63] 在二分类、多分类和回归任务上的表现。我们发现 ActorCritic 在所有任务中均优于其他方法。这表明，与依赖 Q 值间接更新的方法（如 DQN）相比，ActorCritic 结合了策略梯度和价值函数估计，能够直接优化策略，从而降低方差并提高学习效率，进而在所有任务中取得更好的性能。总之，由于其在策略优化方面更高的效率和稳定性，ActorCritic 是策略模型的合适选择。
图12。不同策略模型的影响。5.8 误导性元数据的分析
本实验旨在回答以下问题：混合特征状态提取是否对噪声元数据具有鲁棒性？我们选择了四个数据集，并随机打乱 25%、50%、75% 和 100% 的特征描述，以测试在噪声和乱序元数据面前的鲁棒性，如表3所示。我们发现，该方法在所有数据集上的性能均未受到错误特征的显著影响。当 0–50% 的特征描述被打乱时，该方法的性能最多下降2.45。即使 100% 的特征描述被打乱，性能也仅下降了5.54%。在这种情况下，大多数数据集上的 HRLFS 仍然优于所有数据集上的“原始”设置（不进行特征选择），表明其既具有鲁棒性又具有有效性。这表明我们的混合特征状态提取组件结合了特征的语义和统计信息，从而具有出色的鲁棒性。即使语义信息不准确，统计信息仍然有效，该方法仍能高效地探索特征子空间，保持稳定的性能。总之，我们的方法结合了语义信息和统计特征，使其在面对误导性元数据时表现稳定。
表3。
数据集 HRLFS (0%) 25% 50% 75% 100% Original
German_Credit 73.07 72.95 72.18 71.41 70.13 65.44
Credit_Default 80.56 79.31 78.11 76.54 75.02 76.10
SpectF 87.56 87.05 86.47 85.57 84.13 75.96
SpamBase 92.60 92.24 91.76 90.96 89.91 90.13

不同特征描述打乱比例下的性能
“Original”表示使用所有原始特征而不进行任何特征选择时的性能。5.9 大语言模型生成元数据可信度的分析
本实验旨在回答以下问题：大语言模型生成的元数据是否可靠？我们采用大语言模型可信度评估方法 SelfCheckGPT [64] 来评估在三个存在缺失值的数据集（包括两个金融数据集 German_Credit 和 Credit_default）上生成的元数据的可靠性。

SelfCheckGPT 是一种大语言模型置信度指标，它要求大语言模型判断目标句子是否由提供的样本支持，从而提供置信度分数。该分数范围为 0 到 100，分数越低表明生成内容中的幻觉程度越低，即置信度越高。实验结果见表4。我们发现三个数据集的置信度水平均相对较高，这表明大语言模型能够基于可用信息，通过利用数据集元数据和特征名称构建详细提示来提供合理的特征描述。因此，由于我们使用了详细且具体的提示，生成的特征描述具有可信度，几乎不存在幻觉问题。

**表4 三个数据集的 SelfCheckGPT 得分**

| 数据集 | German_Credit | Credit_Default | SPECTF |
|---|---|---|---|
| SelfCheckGPT 得分 | 4.16 | 12.31 | 6.81 |

### 5.10 分组件运行时分析

本实验旨在回答以下问题：HRLFS 各组件的时间消耗如何随特征维度的增长而变化？我们在四个具有不同特征维度的数据集上记录了各组件的时间消耗，如图13所示。我们发现，探索与优化以及元数据嵌入主导了 HRLFS 的整体运行时，且随着特征维度的增加，它们所占的时间成本比例进一步上升。这意味着高斯混合模型（GMM）作为一种统计方法，能够高效且精确地提取特征分布，且对维度增长不敏感。用于构建层次化智能体的成对合并策略具有 $O(\log N)$ 的时间复杂度，即使在高特征维度下也能实现高效执行。元数据嵌入随特征维度线性扩展，且需要调用大语言模型 API，导致其时间开销迅速增长。此外，探索与优化阶段涉及多智能体层次化决策以及通过下游任务进行奖励评估，因此是主要的耗时模块。综上所述，尽管探索与优化和元数据嵌入占据了大部分计算成本，但它们是 HRLFS 性能的主导因素。第5.2节的分析也证明了我们的方法相比其他基线方法仍具有显著的运行时优势。

**图13 各组件时间消耗的影响。**

### 5.11 超参数研究

本节分析 HRLFS 的两个关键超参数，即 $\lambda$（公式5）和 $\alpha$（公式6）。较高的 $\lambda$ 鼓励选择较少特征，而增加 $\alpha$ 则优先考虑性能而非特征紧凑性。我们在 SPECTF 数据集上将 $\lambda$ 和 $\alpha$ 在 0.1–1.0 范围内进行调整并进行实验，结果如图14所示。分析表明，$\lambda$ 的变化对模型性能影响很小，但会影响所选特征的数量：随着 $\lambda$ 增大，特征数量先减少后增加。这种模式表明，较高的 $\lambda$ 首先抑制了所选特征的数量，但继续增加会减少 $r_{TQ}$ 的波动，从而允许纳入更多特征。对于 $\alpha$，增加其值最初会通过强调性能目标来提升模型性能。然而，超过一定点后，由于过度的特征选择引入冗余，性能下降。所选特征数量随 $\alpha$ 增大而增加，反映了奖励函数中抑制作用的降低。这些发现表明，$\lambda$ 和 $\alpha$ 在平衡特征选择与模型性能方面至关重要。因此，我们选择 $\lambda=0.6$ 和 $\alpha=0.4$ 来平衡性能与特征紧凑性。实验结果证实，$\lambda$ 和 $\alpha$ 按照我们的目标调节了奖励函数。

**图14 超参数 $\lambda$ 和 $\alpha$ 的影响。**

### 5.12 层次化假设的经验验证

我们的理论分析受到以下观察的启发：所构建的层次结构趋向于近似完美二叉树。为了经验性地评估这一假设，我们在所有21个数据集上评估了所学层次结构的平衡因子和高度。平均节点平衡因子定义为所有节点左右子树高度差异的平均值 [65]。具体而言，对于具有左右子树高度 $h_L(N)$ 和 $h_R(N)$ 的内部节点 $N$，定义节点级平衡因子为 $\beta(N) = |h_L(N) - h_R(N)|$，平均节点平衡因子可定义为：$\bar{\beta} := \frac{1}{|\mathcal{N}_{\text{int}}|} \sum_{N \in \mathcal{N}_{\text{int}}} \beta(N)$，其中 $\mathcal{N}_{\text{int}}$ 为内部节点集合。在完美二叉树中，此差异从不超过1，且树的高度由节点数唯一确定。如图15所示，所有数据集的绝对平衡因子均低于1，且超过80%的数据集落在0.5以内。此外，对于18个数据集，我们所构建层次结构的高度与对应完美二叉树的高度差异不超过2层。这种高度相似性源于我们的智能体层次构建算法在较早阶段将规模相近的智能体集进行聚类，从而自然地促进平衡分裂。综上所述，平衡因子和高度分析均证实，所构建的层次结构在经验上类似于完美二叉树，从而支持了我们假设的有效性。

**图15 HRLFS 层次结构与完美二叉树的经验对比研究。**

## 6 相关工作

**特征选择（FS）。** 特征选择方法大致可分为三类：基于过滤的方法、基于包装的方法和基于嵌入的方法 [1]。基于过滤的方法 [4, 5] 评估每个特征与预测目标之间或特征之间的统计关系，低于特定阈值的测量值特征将被排除。这些方法计算效率较高，但不考虑特征间的交互作用，可能导致冗余或次优的特征子集。基于包装的方法 [7, 8, 66, 67] 通过迭代训练和评估特定的机器学习模型来评估特征子集。然而，随着特征数量的增长，搜索空间变得越来越大，使得这些方法在大规模数据集上变得不切实际 [28, 68]。基于嵌入的方法 [9–11] 将特征选择直接集成到模型训练过程中，该方式允许同时优化特征相关性和模型性能，从而高效识别相关特征 [69–71]。然而，基于嵌入的方法通常与特定类型的模型绑定，限制了其灵活性和向不同下游任务的迁移能力。此外，一些基于嵌入的技术在应用于大型复杂数据集时仍可能计算代价高昂。

**强化学习（RL）。** 强化学习是一种机器学习范式，智能体通过与环境交互并根据其策略做出决策来学习 [72]。强化学习已被成功应用于多个研究领域 [73–76]。然而，经典强化学习算法由于可扩展性和效率的限制，通常难以应对长程决策任务 [77]。为克服这些挑战，层次化强化学习（HRL）被开发出来，将决策过程分解为多个抽象层次，从而在复杂任务中实现更高效的 Learning 和规划 [78, 79]。在 HRL 的基础上，多智能体层次化强化学习（MAHRL）侧重于多个 HRL 智能体之间的协调与协作 [77, 80–83]。例如，Chakravorty 等人 [84] 研究了合作多智能体系统中时间抽象的学习，而 Yang 等人 [85] 展示了将合作型 MARL 算法与单智能体强化学习相结合以训练高层策略同时获取低层技能的方案。MAHRL 的这些进展启发了我们的方法，我们在 MAHRL 框架中采用了分而治之策略。

**基于强化学习的特征选择。** HRL 已被广泛用于将基于包装的特征选择重新表述为目标导向的顺序决策问题，从而实现迭代子空间探索。在早期阶段，Liu 等人 [24] 提出了单智能体全特征框架；然而，该方法可扩展性差且时间复杂度高（在高维数据上为 $O(N)$）。Liu 等人 [25] 引入了分配 OAPF 的 MARL 架构，但智能体数量的二次增长很快变得不可接受。基于分组和交互的智能体 [27, 28] 通过简单的统计标准聚类特征来减少决策时域，但它们忽略了语义和上下文关系，导致冗余或次优的选择 [29, 30]。受 HRL 在长时域任务中成功应用的启发 [78, 79]，我们采用分而治之的 MAHRL 框架，首先对特征进行语义聚类，然后为每个聚类分配协作型层次化智能体，从而同时提升可扩展性、效率和下游性能。

## 7 结论与说明

本文研究了从复杂数据集中探索特征子空间所面临的挑战。具体而言，我们通过混合特征状态提取（理解）、层次化智能体初始化（分割）以及探索与优化（征服），将特征选择问题重新表述为 MAHRL 框架。我们对 HRLFS 进行了全面评估，展示了其在来自不同任务和领域的各种数据集中的高效、优越和稳健的性能。

## 8 局限性与讨论

HRLFS 依赖元数据和特征名称来生成特征描述，这使其容易受到对抗性或恶意构造的输入的破坏，可能导致生成的描述被篡改。此外，当前的设计和评估仅限于表格数据。将该框架扩展到时间序列、图像或音频等高维模态仍是一个开放挑战。最后，当前的表述专注于标准监督学习任务（分类和回归）。将 HRLFS 适应更多样化的下游目标——包括生存分析、异常检测和因果推断——代表了未来研究的一个有前景的方向。

为了更好地促进 HRLFS 的应用，我们针对以下三个方面准备了产业化说明：

**(1) 稀疏元数据的冷启动。** 对于稀疏元数据（例如未标注的合成数据集），当语义嵌入 $e_i$ 不可用时，HRLFS 将语义向量设为零并回退到仅基于分布的状态（$\theta_i^*$，优化后的高斯混合模型参数）。这保留了核心聚类和智能体决策逻辑，仅通过数学特征特性维持特征选择性能。

**(2) 所选特征漂移监控。** 我们跟踪 HRLFS 特征聚类的两个漂移指标：(i) 高斯混合模型参数 $\theta_i^*$（$\mu$, $\sigma$）的统计漂移和 (ii) 保留数据上的任务性能漂移。漂移触发将启动特征子空间的重新探索，以在非平稳分布下保持最优性。

**(3) 大规模 LLM 嵌入的成本控制。** 对于大规模数据集，LLM 嵌入成本通过轻量级开源模型（例如 Qwen3-Embedding-0.6B [86]）进行本地部署控制。对于超过 $10^5$ 个特征的情况，特征采样嵌入在精度和计算成本之间取得平衡。

**(4) 重训练周期与特征变动率。** HRLFS 的重训练周期与特征变动率对齐：(i) 变动率低于5%时：轻量级策略重训练；(ii) 变动率5–20%时：完整特征重新聚类 + 策略微调；(iii) 变动率超过20%时：完整的 HRLFS 重训练。对于静态数据集，仅在任务目标/评估指标发生变化时才需要重训练。