HFG LASSO：一种针对具有层次结构分类预测因子的模型方法

《Computational Statistics & Data Analysis》：HFG LASSO: a Method for Models with Hierarchical Categorical Predictors

　　

•提出了一种用于具有层级分类预测变量的线性模型的新惩罚方法，称为HFG LASSO。•HFG LASSO在回归过程中确保遵守底层的层级树结构。•开发了用于计算HFG LASSO的算法，并附有可复现的R代码。•在模拟和真实的层级分类数据上与其他方法进行比较。•创建了用于层级树中发现的组的一种新的组恢复指数。引言许多回归模型包含具有层级结构的分类预测变量，其中它们的类别嵌套在其他较粗的类别内，形成层级树。我们将这样一组嵌套分类预测变量的集合称为层级分类预测变量（HCP）。为说明一个示例，考虑一个使用来自多种金融数据源的变量来预测不同公司温室气体排放的回归模型（Assael等，2023）。该模型中包含的一个非常重要的特征是该公司的行业分类，因为它代表了公司可能从事的活动类型，这些活动因此对其温室气体排放做出贡献。这一层级行业分类由几个不同的分类预测变量组成，每个分类预测变量代表公司分类的不同层级（例如部门、行业等）。让我们首先假设一个包含HCP最细粒度层级的线性回归模型（即具有最多类别水平的分类预测变量）。为了区分属于HCP的类别水平与模型中的其他协变量，我们在整个论文中将使用的线性回归模型形式如下：Y = Xβ + Zθ + ε，其中Y∈??是响应向量；X∈????和β∈??分别是非HCP协变量的设计矩阵和系数向量；Z∈????和θ∈??分别是HCP的设计矩阵和系数向量；ε∈??是模型的误差项。注意Z是一个二值指示设计矩阵，每一列对应底层层级树??的d个叶类别之一。因此，只要??可用，我们可以通过组合类别（对Z的列求和）来恢复HCP的任何较粗类别。由于我们可以将θ视为每个HCP类别观测的截距集合，我们明确地排除模型截距（在X和β中）。X中的任何分类协变量可以继续采用参照编码，而不损害模型的可识别性。使用忽略HCP层级结构的估计方法（如普通最小二乘法（OLS））可能会带来一些挑战。首先，由于HCP具有高基数，d可能很大（甚至可能导致(p+d)>n）。由于多重共线性问题，这使得模型拟合变得困难，即使p本身不大也是如此。其次，可能有一些组类别对响应的效应足够相似，这意味着为所有类别设置不同的θ系数会导致不必要的模型复杂性。在某些情况下，这些组也可能对应于??中的组，因为层级树代表了不同类别之间的关系（因此也是相似性）。为了解决这些问题，一个自然的解决方案是惩罚系数θ，通过收缩部分系数至零或使相似的系数组具有等价值来促进稀疏性。科学文献中常见的惩罚方法示例包括岭惩罚（Hoerl和Kennard，1970）、最小绝对收缩和选择算子（LASSO）惩罚（Tibshirani，1996）以及弹性网络惩罚（Zou和Hastie，2005）。然而，这些惩罚忽略了分类预测变量的分组结构。相比之下，分组LASSO惩罚（Yuan和Lin，2006）对系数组进行正则化，并针对不同的数据设置有许多扩展（Fan和Li，2012，Jacob等，2009，Meier等，2008，Simon等，2013，Simon和Tibshirani，2012）。另一种替代方法是Gertheiss和Tutz（2010）针对分类预测变量提出的融合LASSO惩罚，该方法对分类预测变量水平的成对系数差异进行惩罚（另见Land和Friedman（1996），Tibshirani等（2005），以及Bondell和Reich（2009）），以将系数融合在一起。这种融合产生完全等值的系数，从而促进模型稀疏性。这些融合对的一个子集也可以包含在惩罚中，而不是所有可能的对（Tibshirani和Taylor，2011）。然而，如果d很大，那么分组LASSO惩罚对于如此大的组在实现模型稀疏性方面效果不佳（因为它要么将所有组系数设为零，要么一个也不设），而融合LASSO惩罚则变得非常计算上不可行。此外，这些惩罚单独都没有能力考虑HCP中存在的层级结构。在本文中，我们为具有HCP的线性回归模型提出了一种新惩罚，我们称之为层级融合分组LASSO（HFG LASSO）。HFG LASSO惩罚利用其对应的层级树将层级分类预测变量（HCP）的系数θ融合在一起，同时考虑其层级结构并避免数据预处理聚合。这一新惩罚不仅通过模型系数的组融合来促进模型稀疏性，还保留了HCP系数的可解释性。换言之，当HFG LASSO发生组融合时，所得系数现在是HCP中某个较粗类别的代表。相比之下，"无结构"融合方法（如融合LASSO）产生的系数难以解释，因为融合仅基于系数相似性发生。此外，尽管本文的重点是HCP，但HFG LASSO可应用于具有任何形成层级的预测变量集合的模型。后续为了简洁起见，当我们提到一种惩罚（如HFG LASSO）时，我们将指的是在如上所述的线性回归设置中对θ施加该惩罚的方法。本文其余部分结构如下。第2节对类似方法进行了文献综述。第3节正式定义了HCP并提供了可能出现它们的示例数据。第4节描述了HFG LASSO方法及其实现。第5节展示了用于评估HFG LASSO的模拟方法和结果。第6节涉及将HFG LASSO应用于包含HCP的真实数据集。第7节涉及对HFG LASSO的讨论、它与其他方法的比较、其向其他数据设置的泛化性以及未来研究方向。部分片段其他相关方法文献中此前已提出过许多分组LASSO和融合LASSO的扩展。示例包括强制执行模型交互项中弱/强层级的方法（Bien等，2013，Lim和Hastie，2015），将分组LASSO推广到其他潜在范数选择和分组结构的方法（Zhao等，2009），用于多变量结果层级的树引导分组LASSO（Jenatton等，2011，Kim和Xing，2012，Wang和Ye，2015），以及针对层级分类的融合LASSO（Gertheiss和Tutz，2010）。层级分类预测变量HCP是形成层级树的多个嵌套分类预测变量的集合。层级树的每一层对应一个分类预测变量，节点代表类别。较低层对应更细粒度的类别，较高层对应较粗粒度的类别。层级树的边代表祖先节点与后代节点之间的连接，祖先节点（子节点）代表类别的超集（子集）。最低的HFG LASSO我们提出的方法，即层级融合分组LASSO方法，涉及一个面向HCP的正则化项，该促进层级树中每个祖先组（非叶节点）的系数组融合。HFG LASSO方法求解一组系数（θ, β），以最小化以下目标函数：(θ?, β?) = min_{θ,β} { (1/2)‖Y - (Xβ + Zθ)‖2? + λ ∑_{l∈|S|} w? ‖S?θ‖? }。注意，属于??中每个祖先/非叶节点的每个矩阵S?都是集合S的成员，w?是其基...模拟设计基础和性能度量为评估HFG LASSO的性能和行为，我们基于三个不同的HCP场景生成模拟数据集：A 常见组融合：包含几个组，这些组具有对响应具有同质效应的后代叶节点，称为活跃祖先节点。B 最少组融合：仅包含一个活跃祖先节点，所有其他祖先节点不活跃。C 上层组融合：包含上层树中的一个活跃祖先节点以及几个其他活跃...数据概述和候选HCP我们将HFG LASSO和其他比较方法应用于一个刻画美国高等教育机构的数据集，该数据集可从Cerda和Varoquaux（2020）的论文中获得。该数据集包含52个变量和7804个机构。我们在此应用中的目标是建模连续结果"百分比佩尔助学金"（Cerda和Varoquaux（2020）在其回归模型中使用的相同结果），该结果表示获得...讨论总体而言，HFG LASSO为使用高基数预测变量（HCP）的建模提供了一个灵活且可扩展的框架，同时在相关类别中同时诱导稀疏性和融合。层级树通常由专家知识或先前的数据驱动工作所启发，因此在建模时可以作为有用的结构加以考虑。当HFG LASSO针对HCP执行组融合时，我们可以将其结果解释为将组成员类别"合并"...未引用浮动物表C1、表C2、表D1和D.10Nikolas Krstic|Gabriela V. Cohen Freue