OPTIVAL——基于模型的最优测验效度分析与项目子集选择R包

《SoftwareX》:OPTIVAL: An R package for model-based optimal test validity analysis

【字体: 大 中 小 】 时间:2026年10月24日 来源:SoftwareX 1.9

编辑推荐:

  最大化外部效度(external validity,即测验分数预测相关效标的能力)是心理与教育测量中的核心关切。本文介绍OPTIVAL,一个R包,它实现一种基于模型的方法,用于选择项目子集,以优化测验分数相对于外部效标的预测效度(predictive vali

  
最大化外部效度(external validity,即测验分数预测相关效标的能力)是心理与教育测量中的核心关切。本文介绍OPTIVAL,一个R包,它实现一种基于模型的方法,用于选择项目子集,以优化测验分数相对于外部效标的预测效度(predictive validity)。项目通过单维因子分析模型(unidimensional factor-analytic model)进行校准,推导模型隐含效度曲线(model-implied validity curves)和最优项目排序(optimal item rankings),并通过bootstrap重抽样(bootstrap resampling)检查预测准确性。该包提供程序化R函数和交互式Shiny应用(Shiny application),并在GitHub上以GPL-3许可证(GPL-3 license)免费提供。其功能通过模拟数据和真实数据示例进行说明。
该文由David Navarro-González、Pere J. Ferrando和Fabia Morales-Vives完成。研究背景在于,最大化外部效度(external validity,即测验分数预测相关效标的能力)是应用心理与教育测量的持续挑战;测验组成与长度是提高预测效度(predictive validity)的直接决定因素之一,经典测验理论、协方差代数和纯经验选择方法均曾涉及。经验选择法易利用抽样误差和校准不确定性,导致结果跨样本不稳定、跨效标难以推广。基于模型的方法先用可检验测量模型校准项目,再由参数估计预测项目—效标关系,可缓解上述局限,但应用较少且缺乏自包含软件实现。Ferrando等发展的扩展同余模型(extended congeneric model,将项目和外部效标视为同一公共因子的线性指标)给出效度曲线和最优项目子集的理论基础。OPTIVAL即实现该框架,并与ShortForm、stuart、GAabbreviate等通用优化器相区别:后者搜索候选子集,OPTIVAL针对单一明确目标解析推导最优进入顺序、期望效度曲线和停止点,选择在给定校准下具有确定性,并提供效度上限及bootstrap检查。研究人员开展软件实现与示例验证,结论是OPTIVAL将校准、模型隐含效度曲线、bootstrap验证和子集选择整合为单一工作流,提供R函数与Shiny双接口,可降低基于模型效度分析的技术门槛,服务于量表开发、缩短和验证研究。

关键技术方法(≤250字):OPTIVAL以R实现并提供Shiny界面。核心流程:用单维验证性因子分析(CFA,lavaan)校准项目,在扩展同余模型中纳入外部效标,由λj与λy推导项目效度、模型隐含效度曲线及效度上限;用非参数bootstrap重抽样(默认2000次)估计项目效度指数、置信区间和观察效度曲线;按载荷排序计算增量效度Δ,以效率阈值(默认10%)和效果阈值(默认95%)的混合准则确定最优子集。示例1为模拟500名受试、20个项目及1个效标(λ=0.25–0.60,λy=0.55);示例2为Due?as等(2022)的928名西班牙高中生家长样本,使用FIQ-HS Home-based activities 17项与FACES Adaptability,预校准载荷来自Mplus稳健MLMV估计(λ=0.34–0.66,λy=0.61,SE=0.040)。

研究结果如下。Motivation and significance:通过文献与软件比较指出经验选择的不稳定性、模型法的潜力及自包含软件空白,并界定OPTIVAL适用于已校准单维测量、标准化项目分数的不加权和及单一连续外部效标。Software description:通过软件架构与功能说明,OPTIVAL形成核心计算、分析、用户界面三层结构,输出模型拟合与参数、项目级效度、测验效度曲线及最优子集;主函数OPTIVAL()整合流程,run_optival()启动Shiny,optival_example()提供示例路径。Software architecture:通过架构描述得出内部计算函数与三个导出函数分工,结果对象含五类信息并支持plot()诊断图。Software functionalities:通过扩展同余模型推导得出项目效度与载荷成比例、测验效度随项目数增加而趋近λy上限、按载荷排序为最优进入顺序,并实现模型校准、bootstrap验证、增量效度分析和混合准则选择。Implementation details:通过实现说明得出包以R为主、Shiny组件用JavaScript/CSS/HTML,依赖lavaan、shiny、plotly、DT、waiter,具roxygen2文档、README和GPL-3许可。Illustrative examples:通过两个示例验证流程。Example 1: simulated data with known structure:500名受试、20个项目模拟数据拟合良好(χ2(189)=205.14,p=0.20;CFI=0.988,TLI=0.987;RMSEA=0.013[0.000,0.024];SRMR=0.033),λy=0.515[0.442,0.588],选出10项,bootstrap效度r=0.454[0.388,0.520]接近期望0.456,全20项r=0.466[0.399,0.533],10项保留97.5%并达88.2%效率;载荷与项目效度相关r=0.827,前两项增量0.309与0.093,第10项后贡献可忽略。Example 2: predicting family adaptability from home-based parental involvement:928名西班牙家长数据中,预校准载荷0.34–0.66、λy=0.61[0.53,0.69],选出8项,bootstrap效度r=0.530[0.458,0.600]接近期望0.544,全量表r=0.550[0.469,0.627],保留96.3%效度、长度减少53%、效率86.9%;载荷与项目效度相关r=0.525,观察曲线约0.55低于上限,n=6后模型期望落入bootstrap区间,前5项模型期望高于区间,尤其第17、15项预测略低但不影响所选子集。Sensitivity to the selection thresholds:通过九种阈值组合得出90%或95%效果阈值下示例1选5–11项、示例2选8–11项,均保留至少94%和96%全量表效度;99%效果阈值导致18项和15项,增量Δ≤0.015和≤0.022;30次不同随机种子重复中默认长度稳定为例1的10项、例2的8项。Impact:通过影响讨论得出OPTIVAL填补工具空白,可用于量表开发与缩短、验证研究中的长度论证,双接口兼顾编程与非编程用户,计划扩展多维结构、有序反应格式和多效标。Conclusions:通过结论得出当前版本限于单维和单一外部效标,项目仅按载荷排序,内容覆盖不参与选择,可能以内容覆盖(bandwidth)换取预测准确性(fidelity),因此不应替代内容判断。

讨论与结论翻译:OPTIVAL为非认知测量实现基于模型的最优效度分析,将项目选择建立在扩展因子分析校准而非纯经验相关之上,并在单一工作流中整合校准、模型隐含效度曲线、bootstrap验证和子集选择。核心贡献是整合实现Ferrando等提出的理论框架,并增加混合选择准则和Shiny应用,使无编程背景研究者更易使用;bootstrap验证层对模型预测提供经验检查,使理论曲线与观察曲线之间的差异可见。当前版本限于单维结构和单一外部效标。扩展至多维模型、有序反应格式和多个同时效标是最自然的下一步,包的模块化架构旨在支持这些扩展。进一步局限是项目仅按载荷排序,因此仅按其对效标预测的期望贡献排序,项目内容不参与选择;当量表设计用于抽样构念多个方面时,facet-specific items不一定具有最高载荷,最优子集可能低估甚至排除某些方面,预测准确性(fidelity)的增益可能以内容覆盖(bandwidth)为代价。该权衡为任何由因子载荷或项目—效标相关驱动的选择程序共有,OPTIVAL不旨在替代基于内容的判断。因此研究人员建议检查所选项目内容,并在内容覆盖至关重要时调整子集,或使用允许明确内容约束的程序。通过降低基于模型效度分析的技术壁垒,OPTIVAL旨在鼓励心理学、教育及相关领域中更扎实的测验构建与缩短方法。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号