《Information & Management》:From large-scale text to model development: A novel approach to algorithm integration in information systems research
编辑推荐:
研究人员提出“种子词生成–溯因模型开发”(SWG-AMD)方法,该方法利用半监督主题建模和溯因推理的进展,将大规模文本用于研究模型开发。由于SWG-AMD的有效性依赖于种子词的质量以实现种子主题建模,研究人员提出了一种新颖的种子词生成(SW-Gen)算法来优化
研究人员提出“种子词生成–溯因模型开发”(SWG-AMD)方法,该方法利用半监督主题建模和溯因推理的进展,将大规模文本用于研究模型开发。由于SWG-AMD的有效性依赖于种子词的质量以实现种子主题建模,研究人员提出了一种新颖的种子词生成(SW-Gen)算法来优化这一关键输入。作为示例应用,研究人员将SWG-AMD应用于澳大利亚的COVIDSafe数据集以构建研究模型,随后使用两个额外的数据集进行外部验证。最后,研究人员讨论了SWG-AMD对于寻求在高容量、实时数据环境中开发情境敏感研究模型的研究人员的实用性。
**论文解读文章**
**研究背景与问题**
在数据驱动的时代,社交媒体、传感器、组织运营和健康数据等来源产生了前所未有的海量文本数据。文本挖掘技术(如情感分析、主题建模)已被广泛用于揭示数据中的隐藏模式,但在学术研究中,传统主题建模方法(如隐含狄利克雷分配(LDA)和BERTopic)通常优化数据的统计似然性,倾向于优先识别统计上占主导的模式,而非理论上意义深远的构念(construct)。这导致直接将此类方法应用于大数据时,分析可能降级为数据描述,仅提供语料库中讨论内容的描述,而无法解释现象为何发生或如何与现有理论框架关联。此外,自动生成的主题需要研究人员进行大量后期解释、验证和标记,而非作为现成的理论构念。因此,亟需一种方法,既能描述数据,又能促进理论或领域构念的识别与评估,将理论框架和领域知识整合到模型设计中,从而从大数据中做出更稳健的贡献。
**研究内容与结论**
为解决上述问题,研究人员提出了一种名为“种子词生成–溯因模型开发”(Seed Word Generation–Abductive Model Development, SWG-AMD)的方法,并开发了种子词生成(SW-Gen)算法。该方法结合了溯因推理和半监督主题建模,旨在从大规模文本中识别、测量并分析研究构念,进而开发情境敏感的研究模型。作为示例应用,研究人员将SWG-AMD应用于澳大利亚COVIDSafe应用程序的用户评论数据集(n=10,120),构建了一个包含实用效益、安装问题、使用问题和隐私担忧四个构念的研究模型,并通过英国NHS COVID-19(n=15,782)和印度AarogyaSetu(n=44,602)两个额外数据集进行外部验证。研究表明,SWG-AMD能够有效识别理论一致和数据涌现的构念,且使用SW-Gen算法生成的最终种子词相比仅使用初始种子词,能显著提升模型对用户满意度预测的解释力(R2从0.25提升至0.27)。该研究首次将高级自然语言处理(NLP)技术与种子主题建模结合以提取研究构念,为理论驱动的大规模文本分析提供了新范式。论文发表在《Information》。
**主要关键技术方法**
研究人员采用了以下关键方法:(1)溯因推理:通过反复迭代于小样本语料的定性主题分析与现有理论,识别并精炼研究构念,包括理论一致构念(理论对齐构念)和数据涌现构念(数据涌现构念);(2)种子词生成(SW-Gen)算法:该算法基于词频-逆文档频率(TF-IDF)计算,通过两个内循环(相似性检测和种子词列表更新)迭代扩展初始种子词列表,最终生成用于半监督主题建模的优化种子词;(3)半监督主题建模:采用导向BERTopic(Guided BERTopic)的变体,使用最终种子词列表为每个文档生成跨构念的概率分布,量化构念的显著性和普遍性;(4)统计建模:使用负二项回归和有序logit回归检验构念与用户满意度(星级评分)之间的关系。数据来源包括COVIDSafe、NHS COVID-19和AarogyaSetu应用程序的用户评论(收集自Heedzy.com,时间范围为2020年3月至2021年6月),以及用于验证的政府文档。
**研究结果摘要**
**1. 构念识别与模型开发(步骤1)**
通过对COVIDSafe应用370条评论(约语料库4%)的定性内容分析(使用NVivo支持人工编码),结合运用剥用性溯因(exploitative abduction),研究人员识别出四个主要构念:实用效益(utilitarian benefits)、安装问题(installation issues)、使用问题(use issues)和隐私担忧(privacy concerns)。前三个为理论一致构念,源于信息系统持续使用后的接受模型和期望确认理论;隐私担忧为数据涌现构念,未在所选理论中出现但通过溯因推理成为最合理解释。研究人员据此构建了形式化假设:H1.1实用效益与用户满意度正相关;H1.2安装问题与用户满意度负相关;H1.3使用问题与用户满意度负相关;H1.4隐私担忧与用户满意度负相关。
**2. 构念测量(步骤2)**
通过SW-Gen算法(相似性阈值0.2,显著性阈值0.3),经过三次迭代(第一轮添加53个新词,第二轮14个,第三轮2个),生成了最终种子词列表。使用导向BERTopic(以k-Means替换默认HDBSCAN聚类)进行主题建模,为每条评论生成跨四个构念的概率分布。验证阶段使用12个参考文档(每个构念3个),模型正确预测了所有文档的主要构念(例如,实用效益参考文档的概率分别为63%、53%和62%)。
**3. 构念使用(步骤3)**
负二项回归分析显示,使用最终种子词的模型(R2=0.27)优于使用初始种子词的模型(R2=0.25)和未使用种子词的BERTopic模型(R2=0.24)。所有假设均得到支持:实用效益正向影响满意度(系数1.61,p<0.001);安装问题负向影响(系数-1.70,p<0.001);使用问题负向影响(系数-1.07,p<0.001);隐私担忧负向影响(系数-0.43,p<0.001)。有序logit回归作为稳健性检验得出一致结果。
**4. 外部有效性验证**
在NHS COVID-19数据集中,使用相同初始种子词和SW-Gen超参数,最终种子词模型的所有构念仍显著,R2=0.08。在AarogyaSetu数据集中,隐私担忧构念的种子词未扩展(构念不显著),因此以剩余三个构念测试,R2=0.27。为展示SW-Gen适应性,研究人员对AarogyaSetu数据额外识别出“政府赞扬”(government praise)这一数据涌现构念(基于高频词“government”、“initiative”、“thanks”、“Modi”等),最终种子词模型包含四个构念,R2=0.21。
**讨论与结论总结**
**讨论部分总结**:SWG-AMD方法为从大规模文本中识别理论构念和开发情境研究模型提供了新途径,尤其适合大数据和机器学习时代。它建立在无标签文本分类方法基础上,通过溯因推理迭代于数据和理论之间,提出可检验的假说。该方法与“流动理论”(Theories in Flux)和“现象基础理论”(Phenomenon-Based Theorizing)等新兴探究模式相似,但明确聚焦于溯因推理作为发现逻辑,强调将现有理论与大规模文本洞察整合,确保新发现与更广阔的理论景观连接。SWG-AMD定位于实用主义(pragmatism)研究范式,结合定性与定量技术,注重实用性和有效性。
**研究结论翻译**:我们提出的SWG-AMD方法对模型开发和测试具有重大意义,特别是在大数据和机器学习背景下。通过将溯因推理与高级NLP技术相结合,SWG-AMD促进了经验数据与理论框架之间的动态互动。该方法使研究人员能够理解大规模文本,发现相关的构念和模式,从而为理论模型提供信息并加以完善。SWG-AMD允许研究人员迭代地在经验发现与现有理论之间移动,基于来自大量文本语料的数据驱动洞察来精炼假说和模型。这一迭代过程通过不断根据新经验证据验证和调整模型,增强了理论模型的稳健性。通过将理论发展植根于大量经验数据,SWG-AMD应对了现代数据集在数量、多样性和速度方面的挑战。此外,SWG-AMD通过开发与实际现象直接相关的情境特定模型,弥合了理论与实践之间的差距。该方法强调实用性和有用性(符合实用主义范式),确保发展的理论和模型不仅在理论上合理,而且具有实际适用性。通过利用先进的计算技术(如我们的SW-Gen算法和种子主题建模),研究人员可以高效分析海量文本数据。这一能力对于管理大数据的复杂性尤为宝贵,使得能够发展基于广泛经验证据的理论。该方法的灵活性和适应性使其适用于信息系统研究中时间敏感和复杂的问题。先前研究尝试应用主题建模技术理解用户评论文本数据,但传统方法在识别研究构念、具体用户问题及其在数据集中的普遍性方面存在不足。本研究通过引入两个关键贡献推动了该领域:(a)从非结构化文本数据中识别、测量和分析研究构念的SWG-AMD方法;(b)通过发现语义相似词促进种子主题建模的新型SW-Gen算法。我们在接触追踪移动应用用户满意度的具体情境中展示了SWG-AMD的应用。与先前依赖问卷调查的模型测试研究不同,本研究利用有机健康相关文档,避免了单一方法偏差和假设猜测等偏差。与其他学术工作一样,本文存在若干局限性,为未来研究提供了方向。SWG-AMD的有效性严重依赖于初始种子词的选择。为了增强SWG-AMD构念识别和模型开发的初始步骤,未来研究可以专注于进一步自动化这一过程,融入高级NLP技术。我们提出方法的另一个局限性是排除了文档过滤。未来工作可以集中于精炼一种高效的方法,将相关文档组织到相应类别中。为了确定所提出方法的泛化性和有效性,未来研究可以探索其在不同情境中的应用。