用于生成具有心理测量学特性的合成测试数据的神经网络Copulas模型
Juyoung Jung、Minho Lee和Won-Chan Lee
《Journal of Intelligence》:Neural Network Copulas for Generating Synthetic Test Data Preserving Psychometric Properties
Juyoung Jung,
Minho Lee and
Won-Chan Lee
【字体:
大
中
小
】
时间:2026年05月07日
来源:Journal of Intelligence 3.4
编辑推荐:
摘要:在智力研究中,由于隐私问题,认知能力评估中的项目反应数据共享往往受到限制,而传统的参数模拟方法往往无法捕捉到复杂的反应依赖性。本研究提出了一种基于神经网络copula(NNC)的框架,用于生成合成二元项目反应数据,这种数据在保持必要的心理测量属性的同时,不会泄露考生的敏感信
摘要:在智力研究中,由于隐私问题,认知能力评估中的项目反应数据共享往往受到限制,而传统的参数模拟方法往往无法捕捉到复杂的反应依赖性。本研究提出了一种基于神经网络copula(NNC)的框架,用于生成合成二元项目反应数据,这种数据在保持必要的心理测量属性的同时,不会泄露考生的敏感信息。通过使用深度自动编码器和核密度估计来分离边际项目概率的建模与依赖结构,该框架既适应了二元项目反应数据的离散特性,又最小化了分布假设。针对大规模实证数据的验证表明,该框架在多个方面都具有高度一致性。在数据一致性层面,基于NNC的合成数据再现了总分分布和项目间相关性。在心理测量学上,该方法产生了稳定的项目特征曲线参数估计、项目拟合统计量和测试信息函数。此外,蒙特卡洛复制实验展示了算法的稳定性和推断精度。
1. 引言
合成数据已被广泛应用于定量学科中,作为保护隐私、确保研究可重复性和进行方法学基准测试的机制(Drechsler, 2011; Reiter, 2005)。合成数据生成的核心原理是用基于原始数据估计的模型生成的模拟观测值来替代实际观测记录,从而打破了与真实个体的直接联系,同时保留了从合成数据中得出的统计推断与原始数据统计推断之间的等效性(Raab et al., 2016; Raghunathan et al., 2003; Rubin, 1993)。传统的生成二元项目反应数据的方法主要依赖于参数项目反应理论(IRT)模拟,其中项目参数是根据实证数据估计的,新反应是通过从假设的分布中抽样能力来生成的(Baker & Kim, 2004; Harwell, 1997)。尽管概念简单明了,但这种方法存在重要限制。标准IRT模型对项目特征曲线(ICCs)的功能形式有严格的假设,通常依赖逻辑斯蒂或正态分布函数(Hambleton et al., 1991)。这些参数化可能无法充分表示实际评估中观察到的复杂反应过程,导致模型设定错误,从而生成的合成数据与原始分布特征不一致(Junker & Sijtsma, 2001; Sijtsma & Molenaar, 2002)。标准IRT模型通常假设严格的单一维度和条件独立性。虽然多维IRT在理论上可以容纳多种特质,但它要求预先指定潜在维数的数量(Reckase, 1985)。对分类数据进行的探索性因子分析(Bartholomew, 1980; Y. Yang & Xia, 2015)以及多种MIRT参数化方法(包括补偿性和非补偿性形式,Wang & Nydick, 2015)提供了一定灵活性。然而,这些方法通过将项目依赖性分解为有限的潜在因子来限制分析,任何超出这一指定结构的残余项目协方差都会被丢弃而不会被建模。当数据表现出复杂的局部项目依赖性时(Chen & Thissen, 1997; Yen, 1984),这种过于简化的潜在表示会扭曲潜在的相关模式,并违反局部独立性假设(Stout, 1987)。除了这些结构限制之外,其他方法如参数自举(Efron & Tibshirani, 1994)、多重插补(Rubin, 2018)和潜在类建模(Formann, 2007; Vermunt, 2004)在灵活性和可扩展性之间难以平衡。由于依赖严格的分布假设,这些方法无法捕捉大规模二元反应矩阵中固有的复杂非线性依赖性(Chalmers, 2016; Si & Reiter, 2013)。
近期深度学习的进步引入了灵活的数据驱动型合成数据生成方法,这些方法放宽了参数模拟的严格假设(LeCun et al., 2015)。深度生成模型,包括生成对抗网络(GANs)(I. J. Goodfellow et al., 2014)和变分自动编码器(VAEs)(Kingma & Welling, 2014; D. J. Rezende et al., 2014),已经证明了在没有显式参数化规定的情况下学习复杂非线性依赖性的能力(Xu et al., 2019)。然而,直接将这些方法应用于项目反应数据同时保留心理测量属性仍然具有挑战性。GANs训练起来往往不稳定,容易发生模式崩溃,导致反应模式变异性的表示不完整(Arjovsky et al., 2017; Salimans et al., 2016)。同样,VAEs通常对潜在空间施加强分布假设,这些假设可能与能力分布或心理测量构造不一致(Bowman et al., 2016)。在这两种情况下,由于缺乏保留边际项目属性的显式机制,基于IRT的后续分析可能会受到影响,而当前框架直接解决了这一限制。
基于copula的建模基于Sklar定理(Sklar, 1959),通过将多变量分布分解为单变量边际和显式的依赖结构,提供了一个补充框架(Joe, 2014; Nelsen, 2006)。这种分离特别适用于心理测量数据;边际反应概率可以直接从观察到的项目频率中估计出来,而copula则捕捉由潜在特质引起的复杂依赖性(Braeken et al., 2007; Nikoloulopoulos & Joe, 2015)。传统的心理测量学copula方法使用了高斯或因子copula等参数化copula族(Kadhem & Nikoloulopoulos, 2023a, 2023b)。最近的发展表明,神经网络可以自动化copula的构建,大大提高了分布的灵活性,而无需手动指定参数化copula族(Letizia et al., 2025; R.-S. Yang et al., 2024)。因此,神经网络copula(NNC)模型可以提供一种原理性的机制,用于生成同时保留边际项目属性和基于IRT分析所需依赖结构的合成项目反应数据。
在本研究中,我们提出了一种NNC模型,用于生成教育和心理评估中的合成二元项目反应数据。该方法包括三个阶段:(1)通过随机概率积分变换将二元反应转换为伪均匀边际(Genest et al., 2009; Rüschendorf, 2009);(2)使用深度自动编码器学习依赖结构(Kingma & Welling, 2014; D. J. Rezende et al., 2014);(3)通过逆变换生成合成数据。通过注入受控制的随机性,伪均匀变换解决了离散边际中固有的平局问题(Genest et al., 2009; Mendes et al., 2007)。这确保了变量在边际上是均匀的,满足了Sklar定理的先决条件(Nelsen, 2006; Sklar, 1959),同时保留了项目间的依赖性。关键的是,通过最终二元生成步骤中的经验边际概率,保持了项目区分度和难度,使得设计能够适应潜在变量结构,同时最小化分布假设。最后,为了应对分布发散和创建看似合理但在统计上不真实的记录的风险(Xu et al., 2019),我们使用了多方面的验证框架。
尽管人们对神经合成数据生成的兴趣日益增加(Choi et al., 2017; Xu et al., 2019),但当前的验证实践往往侧重于分布相似性而非有意义的心理测量标准(Drechsler & Reiter, 2011)。特别是,对于统计推断相关的抽样变异性的再现几乎没有系统的关注(Raab et al., 2016)。为了解决这一差距,我们进行了基于IRT的心理测量学验证(Baker & Kim, 2004; Hambleton et al., 1991),评估了数据级别的一致性、参数恢复以及项目和测试信息的准确性。重要的是,我们通过将经验渐近标准误差与从重复合成生成中得到的蒙特卡洛标准误差(MCSEs)(Robert & Casella, 2004)进行比较,扩展了标准协议。这种比较分析评估了NNC框架是否保留了点估计和原始的推断不确定性。通过对大规模数字推理智力评估的实证应用,我们证明了所提出的方法在保护考生匿名性的同时,准确地再现了必要的心理测量属性。生成这种结构上忠实的合成数据对于智力研究至关重要;由于隐私协议,操作数据集很少能够共享,尽管它们对于开发评估和基准测试认知测量模型是必不可少的。
2. 方法
2.1. 项目反应理论框架
2.1.1. 两参数逻辑模型
两参数逻辑(2PL)模型(Birnbaum, 1968)被用作参数估计和心理测量属性验证的心理测量框架。本研究框架适用于二元反应数据。在2PL模型下,用\(y_i^k\)表示考生i对项目k的观察到的二元反应,其中\(y_i^1\)表示正确反应,\(y_i^0\)表示错误反应。具有潜在能力\(a_i\)的考生在项目区分度\(\delta_k\)和难度\(\gamma_k\)下正确反应的概率定义为:
\[P(y_i^k = 1| a_i, \delta_k, \gamma_k) = \frac{1}{1 + e^{-(a_i - \mu_k)\delta_k\gamma_k}} \]
其中\(\mu_k\)代表潜在能力,\(\delta_k\)表示项目k区分能力的效率,\(\gamma_k\)表示正确反应概率为0.5的能力水平。2PL模型依赖于三个核心假设:单一维度(反应由单一潜在特质控制)、局部独立性(在给定\(\delta_k\)的条件下反应是条件独立的)和单调性(更高的能力增加成功的概率)(Embretson & Yang, 2012; Lord et al., 1968)。
2.1.2. 参数估计
IRT参数使用边际最大似然(MML)和期望最大化(EM)算法进行估计(Bock & Aitkin, 1981)。边际似然是在潜在能力分布上积分得到的,定义为:
\[L(a_i, \delta_k, \gamma_k) = \int_{-\infty}^{\infty} p(a_{i'} \exp\{-\log(\mu_{a_{i'} - \mu_k)\delta_k\gamma_{a_{i'}} \exp(\delta_k x_k) \, dx\]
其中\(p(a_{i'})\)表示标准正态密度,代表总体能力分布。EM算法在基于后验能力分布计算期望充分统计量(E步骤)和更新项目参数以最大化期望完整数据对数似然(M步骤)之间交替进行(Baker & Kim, 2004; Bock & Aitkin, 1981)。
在项目参数估计之后,通过期望后验(EAP)估计得到个体能力参数(Bock & Mislevy, 1982)。EAP方法根据观察到的反应模式\(y_i\)和估计的项目参数\(\theta_k\),将潜在特质\(a_i\)估计为后验分布的期望值:
\[a_i = E\{ \int_{-\infty}^{\infty} p(\mu_{a'} | y_i) \exp\{-\log(\mu_{a'} - \mu_k)\delta_k\gamma_{a_{i'}} \exp(\delta_k x_k) \, dx \}
其中\(\exp\{-\log(\mu_{a'} | y_i)\)是似然函数,\(\nu\)是标准正态先验。积分使用高斯-埃尔米特求积法近似(Thissen et al., 1995)。选择EAP估计是因为它可以在总体范围内最小化均方误差,并且即使在极端反应模式下也能得到稳定的、有限的估计值,因为在这种情况下最大似然估计是未定义的(Bock & Mislevy, 1982; Thissen et al., 2001)。
2.2. 神经网络copula方法论
本节概述了用于建模二元项目反应数据的提出的NNC框架。模型训练和合成数据生成的完整算法程序在附录A中有详细说明。
2.2.1. Copula理论基础
Copula理论为我们的方法提供了数学基础,它使得可以分离边际分布和依赖结构(Nelsen, 2006; Sklar, 1959)。Sklar定理指出,任何多变量分布函数F都可以唯一地分解为:
\[F(x_1, x_2, \ldots, x_n) = C\left[ F(x_1 | X_1), F(x_2 | X_1, X_2), \ldots, F(x_n | X_1, X_2, \ldots, X_n) \right\]
其中\(F(x_i)|X_i\)是单变量边际累积分布函数,C是捕捉依赖结构的copula函数(Sklar, 1959)。这种分解对于心理测量数据特别有价值:边际反应概率可以直接从观察到的频率中估计出来,而copula编码了由潜在结构引起的复杂依赖性,无需显式指定潜在变量模型(Braeken et al., 2007; Fox & Marianti, 2016; Nikoloulopoulos & Joe, 2015)。
对于离散二元数据,我们采用随机概率积分变换(Genest et al., 2009; Rüschendorf, 2009)来实现伪copula方法。给定具有边际概率\(p\)的二元反应\(y_i^k\),我们构造伪均匀变量\(z_i^k\)为:
\[z_i^k = \frac{\arctan(\frac{y_i^k}{\sqrt{1 - p^2})}{\sqrt{1 - p^2p^{2k-1}} \]
这种随机变换确保了边际上的均匀性,同时保留了潜在的依赖结构,生成适合copula建模的伪均匀矩阵(Genest et al., 2009)。
重要的是要明确这种变换的作用和局限性,因为伪均匀步骤在整体流程中的作用可能会被误解。方程(5)是Sklar定理在响应变量为离散时要求的标准预处理技术。由于离散分布在没有连续性校正的情况下没有唯一的copula表示,随机概率积分变换通过注入受控制的随机性来解决平局问题,确保转换后的变量在边际上是均匀的(Genest et al., 2009; Mendes et al., 2007; Rüschendorf, 2009)。关键的是,这一步并不取代IRT模型,也没有丢弃关于项目区分度(ICC陡度)或难度的信息。这些心理测量量通过经验边际概率\(\phi_i\)得到保留,这些概率在方程(12)的最终二元生成步骤中起作用。与可能在边界处引入伪影的确定性变换不同,这种随机方法保持了准确依赖建模所需的分布属性(Rüschendorf, 2009)。
2.2.2. 深度自动编码器架构
NNC采用了编码器-解码器架构,用于隔离和学习项目反应背后的潜在依赖结构。功能上,编码器作为非线性特征提取机制,将观察到的伪均匀变量映射到潜在空间:
\[z_i^k = \phi(\theta_{ik})\]
其中\(\theta_{ik}\)是伪均匀矩阵的第i行,\(\phi\)表示潜在代码。通过压缩输入,编码器迫使模型捕捉数据的基本协方差结构,而不仅仅是记忆单个反应模式。
相反,解码器作为生成组件,从这些潜在代码重构均匀边际:
\[y_i^k = \exp(\theta_{ik})\]
其中\(\theta_{ik}\)表示解码器参数。这个重建过程确保了潜在代码保留了足够的信息来恢复原始的多元分布。我们的实现采用了多层前馈架构来近似这些复杂的映射(Hinton & Salakhutdinov, 2006)。编码器包含三个隐藏层,其维度分别为[256, 128, 64]。这种逐渐減小的架构创建了一个分层的压缩漏斗。通过使用高容量层进行初始化,网络可以捕捉项目之间的广泛、非线性的关联,而随后逐步减少的维数迫使模型将这些相互作用提炼成越来越抽象的表示,从而最小化了通常与突然的维度减少相关的信息损失(I. Goodfellow等人,2016)。每一层都使用修正线性单元(ReLU)激活函数(Glorot等人,2011;I. Goodfellow等人,2016),来模拟项目之间的非线性相互作用。为了确保收敛性和泛化能力,我们应用了批量归一化(Ioffe & Szegedy,2015)来稳定内部协变量偏移,并使用了dropout正则化(率为0.2)(Srivastava等人,2014)来防止神经元之间的共适应。最后一个编码器层直接投影到d个潜在维度,而不使用激活函数,使得潜在空间能够覆盖整个实数线。这个维度参数d的具体值是通过敏感性分析来确定的,以平衡重建的忠实度、依赖性的保持以及模型的简洁性(见第4.1节)。解码器则反向复制这一架构,但以Sigmoid输出激活函数结束。这种最终的激活函数对于copula框架至关重要,因为它严格地将重建的输出限制在单位区间内,保持了Sklar定理所需的均匀边际的概率解释。这种Sigmoid约束是自编码器输出的标准架构选择(I. Goodfellow等人,2016),并且在功能上与方程(1)中的逻辑istic ICC不同,后者将项目响应概率建模为能力的函数。
2.2.3 训练目标
该模型优化了一个复合损失函数,旨在同时学习依赖结构,并严格遵循Sklar定理要求的分布约束:
(8)
主要组成部分是重建损失(),它量化了自编码器压缩和恢复多元依赖结构的能力。我们最小化输入的伪均匀变量与重建输出之间的均方误差:
(9)
通过最小化这个误差,模型被迫将项目间的基本相关性编码到潜在空间中。
次要组成部分是边际保持损失(),它作为正则化器,防止“边际崩溃”,即模型可能偏离所需的均匀分布以最小化重建误差。这个项惩罚重建的列均值与理论上的0.5分布期望的偏差:
(10)
这确保了生成器固定在正确的边际域上,这对于后续的逆概率积分变换至关重要。权重参数是通过经验选择来平衡这些目标的。它提供了足够的正则化,以保持分布属性,同时不会抑制学习复杂依赖关系所需的梯度信号(I. Goodfellow等人,2016)。模型训练采用了Adam优化器(Kingma & Ba,2015),初始学习率为,并且小批量大小为64。为了确保收敛到稳定的最小值,当验证损失连续10个周期保持不变时,通过“ReduceLROnPlateau”策略将学习率降低了50%。训练持续进行,直到验证损失连续20个周期没有改善(提前停止),以确保保留了可泛化的模型配置(Prechelt,1998)。
2.2.4 合成数据生成
合成数据生成通过一个四阶段的流程进行,旨在实现学习到的copula模型,同时保留潜在空间的复杂分布特征。首先,通过编码器提取的潜在表示使用非参数核密度估计(KDE)进行建模。这一选择解决了在确定性自编码器潜在空间中经常观察到的压缩现象,其中参数化(例如高斯)假设可能会低估极端分数的密度(Schmidt & Stadtmüller,2006)。潜在代码的经验分布()估计如下:
(11)
其中是训练数据的潜在向量,是标准高斯核,d是潜在空间的维度。
带宽参数h控制着估计密度的平滑度,并直接影响合成数据中的尾部保留。尽管可以通过交叉验证来优化h以最大化保留的对数似然(Scott,2015),但实际上选择h是为了平衡潜在分布中的偏差和方差之间的权衡。在本研究中,h是通过结构化的敏感性分析确定的(见第4.1节),评估其对依赖性保持和心理测量恢复的影响。具体来说,潜在代码表现出适度的方差以及与高能力和低能力受试者相对应的有意义的尾部密度。相对于数据自适应的Silverman经验法则估计的h = 0.2到0.3的带宽范围,可以减轻过度平滑,并确保在合成输出中更好地保留极端分数,这对于在认知评估背景下准确捕获极端能力水平至关重要(Silverman,1986)。
在分布特征描述之后,合成生成通过直接从估计的密度中采样新的潜在代码来进行。这些采样的代码通过解码器映射回伪均匀空间,其中Sigmoid激活确保值保持在范围内。为了恢复离散的二进制格式,这些连续概率经过逆概率积分变换:
(12)
其中表示指示函数,代表在训练数据中观察到的经验边际概率。这种阈值机制保证了,从而通过构造保留了项目难度(Genest等人,2009)。至关重要的是,这一流程有效地将复杂依赖结构的建模(由神经网络和KDE管理)与边际属性的保留分离开来,利用copula框架的核心优势来确保心理测量有效性(Nelsen,2006;Sklar,1959)。
2.3 验证指标和标准
为了评估所提出的NNC对合成项目响应数据的实用性,我们采用了多方面的验证框架,遵循了已建立的IRT验证实践(Baker & Kim,2004;Hambleton等人,1991)。该框架分为四个互补的方面,具体包括数据级一致性、心理测量属性、统计推断精度和算法稳定性。
2.3.1 数据级一致性
数据级一致性的评估集中在合成数据是否保留了原始响应矩阵的统计特征。首先,通过比较观察到的总分数分布来验证响应者层面的生成质量。其次,通过对比真实数据()中每个项目的正确响应比例(边际概率)与合成数据()来评估单变量难度层次结构。线性一致性通过皮尔逊相关系数(r)进行评估,偏差的大小使用平均绝对偏差(MAD)来量化:
(13)
与RMSD相比,MAD更适用于边际概率,因为它提供了在原始概率尺度上的可解释的平均绝对差异,而且不会受到个别偏差较大项目的过度影响;RMSD用于IRT参数的报道,其中对异常项目的敏感性更具诊断相关性。
第三,通过计算两个数据集的成对项目相关性矩阵来评估依赖性。矩阵之间的差异使用均方根残差(RMSR)来量化:
(14)
2.3.2 心理测量属性
这一维度评估合成数据是否保持了基于IRT的推断所需的结构性和测量特征。首先,评估了从合成数据()和经验数据()估计的IRT参数之间的一致性。使用皮尔逊相关系数(r)量化等级顺序的保持。参数差异的大小使用MAD和均方根偏差(RMSD)来评估:
(15)
(16)
这些指标分别是针对区分度(a)和难度(b)参数计算的。此外,通过比较来自两个数据集的EAP能力分数的核密度估计来评估潜在特质分布的一致性。
其次,为了评估潜在特质连续体上的精度,在100个点的均匀网格上计算了项目信息函数(IIF)、测试信息函数(TIF)和条件标准误差(CSEM)。对于2PL模型,项目k贡献的信息定义为:
(17)
其中是项目响应函数。项是项目响应的伯努利方差,反映了响应概率最不确定时的最大信息。总TIF的计算方法是。通过计算真实TIF向量与合成TIF向量之间的皮尔逊相关系数(r),以及CSEM向量之间的皮尔逊相关系数来量化一致性。
第三,为了验证生成响应模式的概率合理性,基于标准化残差计算了Infit和Outfit均方(MNSQ)统计量(Hambleton等人,1991;Wright & Stone,1979)。Infit统计量根据残差的方差进行加权,使其对受试者能力接近项目难度时的意外响应模式敏感,而Outfit统计量是对远离受试者能力水平的意外响应不敏感的非加权均值:
(18)
(19)
其中表示二元响应的伯努利方差。在可接受范围内的值表示适当的拟合(Wright & Stone,1979),而低于0.5的值表示严重的低估。评估了真实数据和合成数据之间的拟合轮廓的对应关系,以确保生成模型没有引入异常的响应模式(过度分散)或人为的确定性依赖。
2.3.3 统计推断精度
为了评估合成数据是否适当地再现了抽样变异性,我们进行了蒙特卡洛分析,生成了独立的合成数据。每个参数的MCSE计算如下:
(20)
通过将这些MCSE与从真实数据得出的渐近标准误差(ASE)进行比较来评估推断有效性。项目参数向量的ASE计算为逆费希尔信息矩阵对角元素的平方根(Baker & Kim,2004):
(21)
比率作为主要的推断有效性指标,接近1.0的值表示合成数据再现了真实数据的精度,高于1.0的值表示标准误差过于保守,低于1.0的值表示抽样变异性过度平滑。需要注意的是,基于模型的ASE通常会由于模型的不可避免的错误设定而低估实证数据中的不确定性。因此,其中的可能反映了合成数据捕获了全部的生成变异性,而不是精度的不足。
2.3.4 算法稳定性
前三方面评估了单个训练模型产生的合成数据的忠实度。算法稳定性探讨了一个不同且互补的问题:结果是否可以在神经网络的不同随机初始化下再现。这证实了观察到的忠实度反映了数据的稳定结构表示,而不是特定优化轨迹的幸运结果。为了量化稳定性,完整的训练和生成流程在多个独立的运行中重复进行,每次运行都使用不同的随机种子。对于每次迭代,NNC都是从头开始重新训练以生成一个新的合成数据集。通过评估这些独立运行中主要验证指标的方差,我们可以确定模型的鲁棒性。跨运行的低方差表明NNC无论初始化如何都能收敛到等效的生成解决方案,满足了实际部署的可复现性要求。
3. 分析
3.1 分析框架
分析流程(图1)采用了第2.3节描述的四方面验证框架,来评估NNC合成数据在IRT应用中的有效性。在使用每个配置的50个合成副本进行敏感性分析以确定最佳潜在维度(d)和核密度带宽(h)之后,我们按照四个验证方面进行了评估。表1总结了用于每个方面的具体数据集分配和随机种子配置。为了确保可复现性,完整的实现代码和采样数据集在https://github.com/Ju-youngJung/Neural-Network-Copula-Synthetic-Data.git上公开可用(访问日期为2026年4月14日)。图1. 合成数据的神经网络Copula分析流程图。表1. 四个验证方面中合成数据集分配和种子配置的总结。数据级一致性和心理测量属性评估使用了固定种子42生成的单一合成数据集。基准真实参数是通过使用Python 3.11包的girth 0.8.0的MML估计从训练数据划分()中估计的(Sanchez,2021)。在数据层面上,这个单一数据集支持总分数分布、边际概率和项目间相关性的分析。在心理测量层面上,使用相同的数据集来估计IRT参数(a, b)、ICCs、TIF、CSEM和项目拟合统计量。为了区分生成模型的不确定性和抽样变异性(Robert & Casella, 2004),统计推断的精确度方面使用从主随机数生成器派生的子种子生成独立的数据集。每个数据集都与训练样本大小相匹配。这样的设置确保了方程(20)中的MCSE估计量的充分收敛(Koehler等人,2009年),同时保持了计算的可行性。对于每次复制,都会重新估计IRT参数,以计算每个项目的MCSE,然后通过方程(21)与渐近标准误差进行比较。比率接近1.0表示合成数据复制了原始数据的推断精度;比率高于1.0表示不确定性过于保守;比率低于1.0则表示可能存在过度平滑。算法稳定性方面则从五个不同的种子(101、202、303、404、505)重新开始整个流程。对于每个种子,NNC都会从随机初始化开始重新训练,并生成一个合成数据集,以确认参数一致性指标在优化轨迹中保持稳定。报告了、、和的均值和标准差,以量化对随机初始化的敏感性。
3.2. 数据来源和划分
实证分析使用了来自大规模高中数学评估的项目反应数据,该评估测量了与流体智力及一般认知能力密切相关的数值推理能力。数据集包含了来自考生的二进制反应(错误为0,正确为1),涵盖了多个项目,生成了一个响应矩阵,该矩阵测量了一个与单维2PL模型一致的自潜能力构念。由于隐私协议的管理,相关的GitHub仓库提供了3000名考生的随机抽样数据集,供公众复制使用。为了在保持总分分布的同时区分优化和评估,我们通过按分数十分位数进行分层随机抽样,将全部操作数据分成了三个互斥的子集:训练集(64%)用于拟合NNC模型和估计基准IRT参数,验证集(16%)用于超参数调整和提前停止,以及测试集(20%)用于样本外验证。主要的心理测量比较将基于该模型生成的合成数据与相同的训练数据集进行对比。从完全相同的数据中估计基准IRT参数和NNC模型,确保了对生成 fidelity的公平评估,不受训练和测试分布变化的影响。
4. 结果
所有计算都使用了PyTorch 1.12(Paszke等人,2019年),在具备32个CPU核心和专用NVIDIA L40S GPU及CUDA加速的环境中进行。在完整数据集上进行模型训练直至收敛需要679.4秒(大约11.3分钟)。训练完成后,生成主要合成数据集仅用了0.02秒。完成蒙特卡洛复制以估计标准误差需要367.4秒(大约6.1分钟)。图2展示了训练过程中综合损失函数的收敛轨迹。训练损失和验证损失在最初的50个周期内迅速下降,之后趋于稳定,在大约第150个周期达到一个明显的平台期。两条曲线的一致性表明NNC成功地学习了响应数据的潜在依赖结构,而没有出现过拟合或优化不稳定。
4.1. 敏感性分析
我们选择了多个潜在维度来优化重建保真度和简洁性之间的平衡(表2)。候选集合的范围是从参数不足到参数过多表示,相对于观察到的项目数量而言。具体来说,代表了一个压缩的潜在空间(大约是K的一半),这测试了信息丢失的风险;而和超出了观察到的维度,允许评估潜在表示中的潜在过度拟合和冗余。这个范围确保了选定的维度不是基于任意选择,而是反映了模型容量的原则性探索。
表2. 验证指标对潜在维度(d)和核密度估计带宽(h)的敏感性。通过对每种配置使用合成复制来评估验证集,发现导致过度压缩,严重降低了(0.032)和RMSR(0.065),尽管与更高维度相比,它产生了最高的(0.980)和相对较低的(0.988)。在较高维度中,获得了最高的(0.942),同时保持了极好的(0.015)和RMSR(0.030),与相当。值得注意的是,在所有维度中,始终稳定在0.996,表明难度参数的恢复对这个范围内的潜在维度选择具有鲁棒性,而则显示出更大的敏感性。这种配置自然地将模型容量限制在每个项目一个坐标上,依赖于dropout和批量归一化来防止琐碎的身份映射。
对于KDE,我们采用了固定的带宽来保留极端分数的有意义尾部密度。候选集合被选为代表从低平滑(捕捉精细的局部结构)到高平滑(强调全局密度结构)的不同平滑程度。特别是,允许评估潜在的高方差、欠平滑估计,而测试了可能掩盖项目间依赖性的激进平滑的影响。中间值(h = 0.2, 0.3)提供了核密度估计文献中通常推荐的实用折中方案。对各种带宽的敏感性评估也平均值在次复制中得到了验证。在所有带宽值中,始终保持高度稳定(0.995–0.996),而范围从0.949变化到0.973,RMSR的变化更为显著。虽然对于值以下的整体性能保持稳定,但最宽的带宽过度平滑了项目间的依赖结构,导致RMSR显著增加(0.070)。最终,获得了最佳的平衡,具有最低的RMSR(0.025)和。
4.2. 数据级保真度
4.2.1. 总分分布
通过比较观察到的总分分布,评估了响应者级别的生成质量。如图3所示,NNC准确再现了经验分数的分布形状、中心趋势和离散度。合成数据在平均总分(与)和标准差(与)方面与真实数据非常接近。合成分布(红色虚线)与真实分布(蓝色实线)紧密重叠,成功地捕捉到了明显的负偏度(Skewnesssyn = ?0.441对比Skewnessreal = ?0.459)和峰度(Kurtosissyn = ?0.764对比Kurtosisreal = ?0.735),以及高分范围(分数15到19)的密度峰值。然而,合成数据在最大可能分数(20)上略有低估,只部分捕捉到了经验数据中满分出现的频率。这种边界效应与固定带宽KDE在分布边界低估密度的已知倾向一致(Jones, 1993)。
4.2.2. 边际概率
通过对比正确反应的比例(),评估了项目级别的难度层次结构。图4(左侧面板)展示了这些概率的散点图,显示出强烈的线性关系,其中点几乎精确地位于身份线上。这表明NNC保持了项目的排名顺序难度,成功地区分了简单项目(项目13)和困难项目(项目09)。如表3中详细说明,并在图4(右侧面板)中可视化,所有20个项目之间的为0.019,项目19的最大绝对差异为0.045。平均相对误差为3.398%,表明单变量统计特征得到了高度一致性的保留。右侧面板还显示了从1000次训练数据重采样中计算出的自举95%置信区间;合成边际值除了一个项目外都落在这些区间内,确认观察到的偏差在预期的抽样变异性范围内。
4.2.3. 成对关联
通过检查项目间的相关结构来评估高层次依赖性的保持情况。图5展示了真实数据(左侧)和合成数据(中间)的相关矩阵,以及差异矩阵(右侧)。视觉检查确认合成数据准确复制了经验相关性的块对角结构和强度。差异热图主要是中性的,表明残差接近零且没有系统偏差。定量上,这种结构保真性通过低RMSR(0.032;通常认为低于0.05的值表示良好的拟合(Hu & Bentler, 1999)得到验证,证实NNC有效保留了进行准确心理测量维度评估所需的局部依赖结构。
4.3. 心理测量参数恢复
4.3.1. IRT参数一致性
通过检查IRT参数估计量和测量精度的一致性来评估合成数据的心理测量有效性。如图6所示,区分参数(a)显示出强烈的一致性,尽管变异性略有增加(),主要是由高区分值的项(例如,项目13和18)驱动的,如下进一步讨论。难度参数(b)表现出异常的一致性()。尽管存在异常值,图7中显示的ICC表明合成项目的概率函数与经验函数在能力尺度上紧密跟踪。图6. 代表性合成数据集与真实数据的IRT参数散点图。左侧面板显示了区分参数(a),右侧面板显示了难度参数(b)。红色虚线表示完美匹配。图7. 所有20个项目中真实(蓝色实线)和合成(红色虚线)数据的项目特征曲线(ICCs)。每个面板都绘制了正确反应的概率作为潜在能力的函数。一个值得注意的模式需要专门讨论:项目13和18具有较高的实际区分值,在合成数据中表现出最大的正偏差。这种放大是系统的而不是随机的:相应的MCSE显著膨胀(分别为和0.234,而渐近估计分别为0.094和0.121;表4),并且在所有复制中,这些项目的平均合成区分值始终超过真实值(表5)。图7中的项目13和18的ICC证实合成响应函数在能力连续体上仍然合理,主要结果是信息在附近的集中。这一位置反映了真实数据:经验难度参数表明原始评估有意将高区分项目锚定在这个较低的能力阈值上,以区分基线熟练度。
4.3.1. IRT参数一致性
通过检查IRT参数估计量和测量精度的一致性来评估合成数据的心理测量有效性。如图6所示,区分参数(a)显示出强烈的一致性,尽管变异性略有增加(),主要是由高区分值的项(例如,项目13和18)驱动的,如下进一步讨论。尽管存在异常值,图7中呈现的ICC表明合成项的概率函数与经验函数在能力尺度上紧密跟踪。图6. 代表性合成数据与真实数据的IRT参数散点图。左侧面板显示了区分参数(a),右侧面板显示了难度参数(b)。红色虚线表示完美匹配。图7. 所有20个项目中真实(蓝色实线)和合成(红色虚线)数据的项目特征曲线(ICCs)。每个面板都绘制了正确反应的概率作为潜在能力的函数。一个值得注意的模式需要特别讨论:项目13和18具有较高的实际区分值,在合成数据中表现出最大的正偏差。这种放大是系统的而不是随机的:相应的MCSE显著膨胀(分别为和0.234,而渐近估计分别为0.094和0.121;表4),并且在所有复制中,这些项目的平均合成区分值始终超过真实值(表5)。图7中的项目13和18的ICC证实合成响应函数在能力连续体上是合理的,主要后果是信息在附近的集中。这一点反映了真实数据:经验难度参数表明,原始评估有意将高区分项目锚定在这个较低的能力阈值上,以区分基准熟练度。对于大多数具有中等区分度的题目(第4、11、12和16题),观察到了轻微的衰减偏差,平均合成估计值比实际值低约0.069到0.172。这种衰减与编码器中的dropout和批量归一化的正则化效应一致(Srivastava等人,2014年)。相反,第18题(+1.075)、第13题(+0.889)和第15题(+0.416)显示出显著的正面偏差,反映了上述的KDE(核密度估计)放大机制。对于难度参数(b),绝对差异一直较低(平均绝对偏差=0.051),其中第5题的偏差最大(0.229)。4.3.2 题目拟合统计所有20个题目的Infit统计都显示出显著的稳定性,实际值和合成值之间的平均绝对偏差可以忽略不计(<0.01),并且大多数题目的结果都在两种数据集的可接受范围内(Wright & Stone, 1979)。Outfit统计也基本保持一致,大多数题目的差异小于0.05。然而,有两个项目表现出局部分散不足:第13题从0.856(实际值)降低到0.466(合成值),第18题从0.733降低到0.413,这两项都低于0.5的严重分散不足阈值,并在表6中相应地被标记出来。第15题的差异适中(从0.776降低到0.659),但仍然高于临界阈值。这些模式与上述的区分度放大机制一致:高区分度的题目生成的响应模式过于确定,抑制了实际异常响应中通常发现的随机噪声。结果在图9中进行了可视化。表6. 实际数据和合成数据的题目Infit和Outfit均方统计比较。图9. 实际数据(蓝色,实线)和合成数据(红色,虚线)的Infit(上图)和Outfit(下图)均方统计比较。水平虚线表示可接受的拟合范围。4.4 推理精度合成数据通常产生的标准误差略大于实际数据,表明对精度的估计较为保守。平均而言,MCSE(蒙特卡洛标准误差)超过了ASE(平均绝对偏差),无论是对于区分度参数(0.095对比0.074)还是难度参数(0.037对比0.031),平均MCSE/ASE比分别为1.286和1.179。这种保守模式在各个题目中并不均匀。低到中等区分度的题目显示出近乎完全的对应关系(例如,第7题:比率=1.005),而高区分度的题目则表现出显著的膨胀(第13题:比率=1.791;第18题:比率=1.936),这与上述IRT参数一致性小节中描述的放大机制一致。完整的题目级SE(标准误差)比较报告在表4中。4.5 跨初始化的稳定性通过使用五个不同的随机种子{101, 202, 303, 404, 505}重复整个分析流程来评估对初始化和随机优化路径的敏感性。如表7所总结的,区分度参数(a)显示出强烈但略有变化的一致性,范围从(种子101)到(种子303),平均值为0.944。难度参数(b)表现出近乎完美的收敛性,相关性范围从(种子505)到(种子101、303和404),平均值为0.995。标准误差范围从0.014(种子202和404)到0.019(种子101),平均值为0.016。这些结果证实了NNC无论随机初始化状态如何,都能可靠地收敛到评估数据的稳定结构表示。表7. 跨初始化的稳定性:五个独立随机种子的结果。5. 讨论本研究介绍并验证了一个NNC框架,用于在保持心理测量完整性的同时生成合成题目响应数据。通过将边际概率与依赖结构解耦,NNC规避了传统参数化IRT模拟的严格分布假设,并解决了现有深度生成方法(如GAN和VAE)中缺乏明确保存边际题目属性的机制的问题。5.1 研究结果的总结四方面的验证在整个过程中表现出高保真度。在数据层面,总分分布被准确再现,边际概率得到了很好的保留,项目间的相关结构也得到了保持。这证实了copula编码捕捉了心理测量维度评估所需的高阶依赖性。心理测量参数的恢复非常强,难度参数显示出 exceptional consistency(一致性),TIF(特质信息函数)和CSEM(条件标准误)向量相关性也保持较高。这表明合成数据保留了足够的测量精度,适用于后续应用,如测试组合和等值。蒙特卡洛分析()产生的标准误差估计略保守(区分度参数的平均MCSE/ASE比为1.286,难度参数为1.179),表明NNC有效地作为一种生成性自举机制,捕捉了分析ASE(Efron & Tibshirani, 1994)中缺失的模型错误指定不确定性。跨五个独立重新训练运行的稳定性得到了确认,证明了其对抗随机初始化的鲁棒性。5.2 高区分度题目的行为观察到最高区分度题目的区分度参数有系统的放大,同时中等区分度的题目则出现了衰减。这种衰减反映了通过dropout和批量归一化的正则化效应,这些效应产生了依赖结构的平滑表示(Ioffe & Szegedy, 2015; Srivastava等人,2014)。这种收缩通常是良性的,因为所有项目的Infit统计都保持稳定。第13题和第18题的放大效应更为显著(平均合成偏差分别为+0.889和+1.075)。高区分度题目产生的响应模式高度聚集,在潜在空间中形成了高密度区域;固定带宽的KDE对这些簇进行了过度采样,生成的合成潜在代码解码为更确定的响应概率,从而夸大了区分度估计,并使Outfit统计低于0.5的严重分散不足阈值(Wright & Stone, 1979)。自适应带宽选择(Silverman, 1986)或有针对性的正则化调整是最可行的解决方案;在实际应用中,如认知能力测试组合时,应该考虑降低被标记为严重分散不足的题目的权重。5.3 局限性和未来方向有几个局限性需要考虑。首先,固定带宽的KDE导致最大总分(20)的轻微低估,这与已知的边界偏差一致(Jones, 1993)。使用边界校正的核方法或自适应带宽选择可以解决这个问题。其次,该框架目前仅适用于一维2PL模型中的二分响应。将其扩展到多分格式(如Graded Response Model,Samejima, 1969)和多维IRT结构(Reckase, 2009)是自然的下一步。这些扩展对于涉及混合响应格式的认知测试尤为重要,尽管它们增加了解码复杂性,并加剧了KDE中的维度灾难(Scott, 2015)。第三,向大规模操作性评估环境的转变引入了可扩展性的考虑。扩大到大规模样本量本质上有利于深度学习模型,因为它提供了稳定复杂自编码器训练和准确映射潜在空间所需的体积。这种转变需要实现计算效率高的密度估计技术,例如规范化流(D. Rezende & Mohamed, 2015)。最后,使用实证数据限制了对已知真实参数的评估。未来的模拟研究可以使用固定的人口值来明确NNC估计器的偏差-方差权衡与标准MML方法的比较。6. 结论本研究证明,NNC框架为生成合成题目响应数据提供了一个稳健且数据驱动的替代方案,同时保持了心理测量的完整性。通过将边际概率与依赖结构解耦,NNC规避了传统参数化IRT模拟的严格分布假设,并解决了现有深度生成方法(如GAN和VAE)中的结构缺陷,因为这些方法缺乏明确的保持边际题目属性的机制。5.1 研究结果的总结四方面的验证在整个过程中表现出高保真度。在数据层面,总分分布被准确再现,边际概率得到了很好的保留,项目间的相关结构也得到了维持。这证实了copula编码捕捉了心理测量维度评估所需的高阶依赖性。心理测量参数的恢复非常强,难度参数表现出 exceptional consistency(一致性),TIF和CSEM向量相关性也保持较高。这表明合成数据保留了足够的测量精度,适用于后续应用,如测试组合和等值。蒙特卡洛分析()产生的标准误差估计略保守(区分度的平均MCSE/ASE比为1.286,难度参数为1.179),表明NNC有效地作为一种生成性自举机制,捕捉了分析ASE中缺失的模型错误指定不确定性(Efron & Tibshirani, 1994)。跨五个独立重新训练运行的稳定性得到了确认,证明了其对随机初始化的鲁棒性。5.2 高区分度题目的行为观察到最高区分度题目的区分度参数有系统的放大,同时中等区分度的题目出现了衰减。衰减反映了通过dropout和批量归一化的正则化效应,这些效应产生了依赖结构的平滑表示。第13题和第18题的放大效应更为显著(平均合成偏差分别为+0.889和+1.075)。高区分度题目产生的响应模式高度聚集,在潜在空间中形成了高密度区域;固定带宽的KDE对这些簇进行了过度采样,生成了更确定的响应概率,从而夸大了区分度估计,并使Outfit统计低于0.5的严重分散不足阈值(Wright & Stone, 1979)。自适应带宽选择(Silverman, 1986)或有针对性的正则化调整是最可行的解决办法;在区分度敏感的应用中(如认知能力测试组合),应考虑降低被标记为严重分散不足的题目的权重。5.3 局限性和未来方向有几个局限性需要考虑。首先,固定带宽的KDE导致最高总分(20)的轻微低估,这与已知的边界偏差一致(Jones, 1993)。边界校正的核方法或自适应带宽选择可以解决这个问题。其次,该框架目前仅适用于一维2PL模型中的二分响应。将其扩展到多分格式(如Graded Response Model,Samejima, 1969)和多维IRT结构(Reckase, 2009)是自然的下一步。这些扩展对于涉及混合响应格式的认知测试尤为重要,尽管它们增加了解码复杂性,并加剧了KDE中的维度灾难(Scott, 2015)。第三,向大规模操作性评估环境的转变引入了可扩展性的考虑。扩大到大规模样本量本质上有利于深度学习模型,因为它提供了稳定复杂自编码器训练和准确映射潜在空间所需的体积。这种转变需要实现计算效率高的密度估计技术,例如规范化流(D. Rezende & Mohamed, 2015)。最后,使用实证数据排除了与已知真实参数的比较。未来的模拟研究将使用固定的人口值来明确NNC估计器的偏差-方差权衡与标准MML方法的比较。6. 结论本研究证明,NNC框架为合成题目响应数据生成提供了一种稳健且数据驱动的替代方案,与传统的参数化模拟和现有的深度生成模型相比具有优势。四方面的验证确认了数据层面的一致性、心理测量参数的恢复、测试信息的保留以及推理精度的高保真度。此外,MCSE/ASE比率确立了NNC作为一个原理性的生成性自举机制。主要发现是高区分度题目的区分度被放大。这种现象可归因于固定带宽的KDE,是一个可行的改进目标,不会削弱框架的整体有效性。随着教育和心理评估数据的量和复杂性的不断增加,这类灵活的生成架构对于安全共享数据、实现可重复的研究以及评估新兴的心理测量方法将变得越来越重要。