心理测量聚类方法评估：基于机器学习的EFA与NCD比较

《Computation》：Evaluating Psychometric Clustering Methods: A Machine-Learning Comparison of EFA and NCD Jingyang Li and Zhenqiu (Laura) Lu

　　

分类方法，例如探索性因子分析（exploratory factor analysis, EFA）和网络社区检测（network community detection, NCD），被广泛用于识别多维心理评估中的潜在项目分组。然而，这些方法之间的直接比较仍然有限。此外，对聚类方法的评估通常依赖于整体分类指标，这可能会掩盖不同类别项目在恢复效果上的系统性差异。项目特征——例如核心-外围位置和载荷模式——可能影响分类结果，但鲜有研究考察这些项目类型如何与聚类方法相互作用。本研究通过在一个统一的机器学习（machine-learning）评估框架内比较EFA和NCD来解决这些差距，该框架变化了样本量、潜在结构、预处理策略以及机器学习分类器（随机森林（Random Forests）与支持向量机（Support Vector Machines））的选择。结果显示，EFA和NCD的性能均受样本量、项目类型、潜在结构和分类器选择的影响。此外，下游分类器（downstream classifier）调节了每种方法对不同项目类型差异的敏感性。这些发现强调了在评估聚类方法时考虑项目类型异质性的重要性，并展示了基于机器学习的框架在推进心理测量分类方法方面的价值。

在心理测量研究中，将项目聚类为有意义的分组是一项核心任务。准确的项目分组确保问卷量表能够充分代表其预期的潜在构念（latent constructs），例如人格特质，并支持量表分数的有效解释。传统上，项目聚类可以通过探索性因子分析（EFA）来实现。EFA提供了一个识别维度结构的原理性框架，并在量表开发和验证中发挥了基础性作用。最近，网络社区检测（NCD）作为一种基于图（graph-based）的替代方法出现。与假设潜在变量的方法不同，NCD根据项目相关性网络的拓扑结构对项目进行聚类。这些方法反映了根本不同的建模哲学。EFA假设项目之间的相关性由未观察到的潜在原因或因子驱动，而NCD则将相关性视为心理结构的构成要素。
然而，尽管它们有着发现有意义分组的共同目标，但直接比较EFA和NCD的工作相对较少。因此，建模假设的差异如何转化为分类性能和对数据特征敏感性的差异仍不清楚。此外，项目特征（在本文中也称为项目类型）可能在确定项目分类效果方面起着关键作用。项目在结构角色上可能不同，例如它们对一个构念是核心的还是外围的、表现出交叉载荷（cross-loadings），或者属于凝聚性与分散性的侧面（facets）。重要的是，项目类型的敏感性不仅在方法论上具有信息量，而且对测量具有理论意义。在量表开发中，项目聚类决策实际上决定了一个构念如何被操作化和解释，从而影响内容覆盖范围、内部一致性和区分效度（discriminant validity）。在潜在变量框架中，交叉载荷项目具有实质性的信息量，因为它们可能反映构念重叠、对简单结构（simple structure）的违背，这直接影响到基于因子的分数的可解释性和分数使用的有效性。在网络框架中，核心-外围组织可以表明哪些指标构成了一个特质最核心的与更依赖于情境的成分，而交叉载荷项目可能充当社区之间的“桥梁”，暗示侧面之间有意义的相互联系而非仅仅是测量误差。网络心理测量学（network psychometrics）的近期研究也强调，项目的位置和稳定性（例如，在重复抽样中的错误分配或多维安置）对于理解恢复的结构对测量的含义至关重要，而不仅仅是恢复正确的维度数量。因此，检查项目类型的敏感性为比较EFA和NCD的概念含义提供了一种有用的方法，有助于澄清每种方法可靠地代表了哪些类型的项目，以及项目分配在哪里可能不太稳定或在理论上存在模糊性。
然而，很少有研究系统地考察这些项目类型如何与聚类方法相互作用以影响分类准确性。例如，在网络心理测量学中，许多比较证据集中在维度估计上——即恢复正确的维度或社区数量——而不是在监督评估下的项目级别可恢复性。具体而言，探索性图形分析（exploratory graph analysis, EGA）被引入作为一种基于网络的方法，用于估计维度数量，并将该估计与传统因子保留技术在不同样本量和因子结构条件下进行基准比较。随后的模拟工作进一步扩展了这些评估，纳入了更广泛的数据条件（例如，连续和分类指标），操纵了结构特征，如因子载荷和交叉载荷，并检查了替代的网络估计组件。最近的研究分解了EGA流程，比较了稀疏诱导方法和社区检测算法（例如，Walktrap、Louvain、Fast-greedy）在连续和多分项数据下对潜在因子恢复的影响，强化了算法选择可以有意义地影响解决方案级别的恢复。与此同时，对采样变异性的担忧推动了以稳定性为重点的发展，例如bootEGA，它量化了跨自助重复样本的结构一致性和项目稳定性（例如，错误分配或多维安置）。
尽管取得了这些进展，现有研究大多在解决方案级别（例如，正确的维度/社区数量）或通过一般稳定性指标评估性能，留下了一个关键空白：即在监督分类背景下，当评估EFA和NCD时，它们在恢复结构异质性项目（例如，核心与外围项目，或交叉与单一载荷项目）的能力上是否存在系统性差异，以及为什么。此外，先前的工作没有考察这种项目类型敏感性是否受到下游分类器选择（例如，基于树的集成与基于间隔的分类器）的调节。据研究人员所知，此前没有研究在一个统一的机器学习评估框架内，同时考察项目类型敏感性、分类器调节效应和样本量，该框架直接比较了EFA和NCD。本研究通过在一个统一的机器学习评估框架内比较EFA和NCD来解决这些差距。具体而言，研究人员考察了样本量、潜在结构、预处理策略和分类器选择（随机森林（RF）与支持向量机（SVM））如何影响每种方法的性能。
在本研究中，研究人员使用RF和SVM作为机器学习工具来评估EFA或NCD产生的项目分组是否可以从选定的特征中被重现。随机森林（RF）是一种集成学习方法，它聚合了大量弱相关决策树的预测以提高泛化能力并减少方差。支持向量机（SVM）构建一个分离超平面，该超平面不仅能分类对象，还能在高维特征中最大化类别间的几何间隔/距离。边界或超平面可以是线性的或非线性的。
为了机器学习评估，研究人员基于项目间相关性和EFA的因子载荷，考虑了不同类型的项目对：核心与外围项目，以及交叉载荷与单一载荷项目。对于核心与外围项目，首先计算每个项目的节点强度（node strength），定义为其与所有其他项目的绝对加权相关性之和。在每个领域内，节点强度值高于领域特定中位数的项目被归类为核心项目，低于中位数的则归为外围项目。因此，核心项目代表一个给定特质高度稳定且连接紧密的指标，而外围项目反映较弱的、更依赖于情境的指标。对于交叉载荷与单一载荷项目，首先从EFA中识别每个项目的主因子载荷和次因子载荷。根据经典来源、关于交叉载荷的模拟研究以及关于稀疏载荷结构的当代工作的证据，得出的结论是：（a）等于或大于0.20–0.30的次因子载荷在现实条件下可能有意义地影响因子恢复和解释；（b）主载荷和次载荷之间的较小差距表明结构模糊性。因此，在本研究中，如果一个项目的次载荷大于0.20且主载荷与次载荷之差小于0.15，则认为该交叉载荷项目。
研究分为四个研究。研究1-3基于真实数据分析，研究4是模拟研究。研究1使用了一个包含60个项目的原始数据集，样本为394名完成大五人格问卷的本科生，计算了60×60的项目相关矩阵。研究2和研究3基于与研究1相同的相关矩阵，但将样本量增加到3000，生成了一个多元正态数据集。研究4通过操纵三个关键结构条件特征：因子相关性、交叉载荷和网络密度，考虑了八种条件以增加数据结构的多样性。重点放在一个具有小样本量（200）和短项目长度（I=15个项目，每个因子3个项目）的5因子模型上。因子相关性设置为ρ=0.30 vs. 0.60。对于交叉载荷，主载荷固定为0.70，每个项目在相邻因子上额外载荷0.20 vs. 0.50。对于网络密度，基于分位数的稀疏化设置为q=0 vs. q=0.80（保留20%更强的正相关，即稀疏化的加权网络）。每个条件重复100次。在每次重复中，首先从相关因子模型生成连续响应，然后使用五分位数切割点离散化为五个有序类别，以模拟Likert型项目。
所有分析均在R（版本4.5.3）中实现。关键软件包包括readr、dplyr、psych、Matrix、MASS、igraph、randomForest、e1071、caret、mclust和aricode。所有研究都使用了相同的5个步骤：数据准备、分类、训练、预测和评估。在训练部分，研究人员进行了EFA和NCD以恢复项目分组。对于EFA，使用最大似然估计方法确定因子数量和载荷，并通过旋转（如正交Varimax或斜交Promax）检测到5个因子。对于NCD，从训练数据获取基于相关性的邻接矩阵，将其视为加权无向图，并应用Louvain算法识别网络中密集连接的项目组，自动检测到5个社区。在研究3和4中，使用了更多的项目特征：对于EFA，每个项目的五维因子载荷向量作为其特征；对于NCD，引入主成分分析（PCA）对相关性邻接矩阵进行降维，保留前10个主成分作为输入特征。随后，训练了RF或SVM分类器。RF使用自助采样训练500棵树，使用基尼不纯度（Gini impurity）作为分割准则。SVM使用径向基函数（RBF）核，通过交叉验证选择超参数C和γ。训练好的模型应用于测试数据进行预测。
评估使用了多个指标。在研究1-3中，由于真实因子结构未知，将分类一致性指标（准确度、精确度、召回率、F1-分数）称为“稳定性（Stability）”，反映方法自身输出规则的可复制性/可学习性。同时使用调整兰德指数（ARI）和归一化互信息（NMI）评估EFA和NCD分组之间的一致性。在模拟研究4中，由于已知真实生成标签，额外计算了“恢复率（recovery）”指数，定义为与已知生成标签匹配的项目比例，提供效度导向的评估。所有指标在100次重复中总结为均值±标准差。
研究结果分为三部分。第一部分总结了真实数据分析（研究1-3）中EFA和NCD分组之间的一致性及整体分类性能。研究1显示，EFA和NCD分配之间的一致性为中等水平，ARI和NMI值表明两种方法共享一个项目分组的共同骨架，但在一个子集上存在非平凡差异。分类性能指标显示，NCD的整体稳定性显著高于EFA。研究2和3表明，增加样本量显著提高了EFA的整体性能，但即使样本量更大，EFA的评估指标仍然劣于NCD。然而，当在研究3中应用SVM分类器时，EFA的所有评估指标都显著改善，并全部超过了NCD。这表明分类器选择对塑造分类性能起着关键作用。
第二部分关注项目类型敏感性。对于核心与外围项目，结果表明，无论是EFA还是NCD，核心项目的分类性能始终远高于外围项目。例如，在研究2中，EFA下核心项目稳定性高于0.726，外围项目约为0.514；NCD下核心项目稳定性为0.953，外围项目约为0.787。这种模式与理论预期一致，因为NCD严重依赖于局部连接性，使得外围项目更难分类。在使用SVM分类器的研究3中，这种模式得以保持，但整体性能显著提高。对于交叉载荷与单一载荷项目，研究2显示，使用EFA标签时，交叉载荷项目的分类稳定性从单一载荷项目的0.734急剧下降至0.487；NCD也观察到类似但不太明显的模式。在使用SVM的研究3中，利用更丰富的特征表示，交叉载荷项目的分类性能得到实质性改善。
第三部分总结了蒙特卡洛模拟（研究4）结果。当交叉载荷较小（例如0.2）时，EFA表现最佳，在因子相关性水平下都显示出非常高的恢复率和分类性能。相比之下，NCD在这些条件下表现要差得多，表明EFA在简单结构假设成立时非常有效。当交叉载荷增加到0.5时，NCD变得具有竞争力，其性能大幅提升，甚至在分类性能上略微优于EFA，表明NCD方法在项目载荷于多个因子时能更好地捕捉复杂项目关系。网络稀疏化（q=0.8）显著改善了NCD的性能，移除较弱的边增强了社区结构。然而，即使在稀疏化后，当交叉载荷较弱（例如0.2）时，EFA仍然表现更好。高因子相关性使得恢复更加困难，当因子相关性增加到ρ=0.6时，两种方法的性能均下降。在最具挑战性的条件下（强交叉载荷和高因子相关性），高度稀疏化的NCD在结构恢复方面超过了EFA。
研究结论部分指出：EFA和NCD捕捉到重叠但不完全相同的项目结构，反映了其不同的建模视角。EFA在交叉载荷较弱的简单测量模型下表现出优异的恢复率，而NCD在交叉载荷较强的更复杂结构下变得更具竞争力，并且显著受益于网络稀疏化。关于项目类型，核心项目比外围项目分类更一致，单一载荷项目比交叉载荷项目分类更一致，反映了外围和交叉载荷指标的模糊性更大。样本量在分类性能中也起着重要作用。使用RF和SVM分类器的研究表明，分类稳定性取决于项目类型（如核心-外围位置和交叉载荷）。RF倾向于放大不同项目类型间的性能差异，而SVM对结构模糊性更稳健。EFA本质上允许项目间的多维隶属关系。当使用硬聚类框架（如RF）评估时，这种特性可能使EFA处于劣势，因为连续的载荷信息被简化为离散标签。然而，像SVM这样的分类器可以利用连续特征，使EFA能够更好地捕捉复杂的项目结构。未来研究可以扩展模拟条件，纳入更广泛的样本量、项目数量、因子或群体结构以及项目类型分布，将分析扩展到分层和双因子模型等额外数据结构，并纳入更广泛的机器学习分类器以澄清不同归纳偏差如何塑造敏感性模式。