基于RoBERTa-Large模型的学生心理健康情感分析研究：精准识别与干预新策略

《Frontiers in Big Data》：Analyzing student mental health with RoBERTa-Large: a sentiment analysis and data analytics approach

本文系统探讨了利用前沿自然语言处理技术（NLP）进行学生心理健康情感分析的有效性。研究重点评估了RoBERTa-Large、ELECTRA等大型语言模型（LLM）在识别焦虑、抑郁、自杀倾向等复杂心理状态方面的性能。结果表明，RoBERTa-Large模型在七分类任务中取得了97%的准确率，显著优于传统模型，凸显了基于上下文嵌入的深度学习模型在心理健康监测中的巨大潜力，为早期预警和个性化干预提供了强有力的数据驱动工具。

　　

引言

学生心理健康对其整体福祉和学业表现至关重要。学业、体育等课外活动以及个人挑战带来的日益增长的压力，凸显了采用现代方法监测心理健康的必要性。传统方法如自我报告调查和心理评估可能耗时且存在偏见。随着人工智能（AI），特别是自然语言处理（NLP）的进步，情感分析已成为从文本数据中识别心理健康模式的有效技术。然而，由于情感表达的强度、语言变异和上下文依赖的情感，分析学生心理健康仍然是一项具有挑战性的任务。本研究的主要目标是利用先进的深度学习模型进行情感分析，以调查学生的心理健康状况。为实现此目标，研究采用了最先进的大型语言模型（LLM）方法，如RoBERTa、RoBERTa-Large和ELECTRA进行实证分析。

相关研究

近年来，深度学习和基于Transformer的模型在利用文本数据预测心理健康结果方面显示出有效性。多项研究已应用这些复杂方法进行情感评估和心理健康预测，它们在识别抑郁、焦虑和自杀风险因素方面展现出巨大潜力。当前心理健康预测研究面临的主要挑战包括处理表达的语言多样性、管理伦理问题以及整合多模态数据的需求。现有研究在数据集泛化性、偏见处理、多平台适用性以及结合非语言线索等方面仍存在局限。例如，一些研究未能充分解决数据质量、类别不平衡问题，或忽略了讽刺、多媒体内容等对模型精度的影响。

proposed methodology

本研究的方法论框架包括数据收集、预处理、特征提取和模型训练。数据预处理是关键步骤，涉及文本规范化、停用词去除、词形还原和分词，以提炼原始文本数据。研究提出了一种利用上下文嵌入和基于深度学习的分类模型来增强情感检测准确性的框架。

数据预处理

预处理技术包括去除停用词集合S中的词，如“the”和“is”，以及去除数字和特殊字符集合C中的元素，如标点符号或表情符号，以实现文本统一性。随后，通过函数f_norm将所有文本转换为小写，生成标准化文本。接着应用词形还原f_lemma将词语缩减为其基本形式，例如将“running”、“ran”变为“run”，以减少冗余词变异。最后，通过分词函数f_token将文本划分为词或子词，使NLP模型能够理解语言模式。

proposed model RoBERTa-Large

RoBERTa-Large是一种改进的基于Transformer的模型，通过优化预训练策略提升了BERT的性能。它采用24个Transformer层、16个注意力头和3.55亿个参数，能够利用细粒度的语言表示，非常适合分析关于心理健康讨论的用户生成内容等复杂文本数据。

模型架构包括输入嵌入层、多头自注意力机制、前馈网络、残差连接与层归一化以及掩码语言建模目标。输入嵌入由词嵌入、位置嵌入和段嵌入组合而成。多头自注意力机制允许模型并行考虑多个方面的上下文关系。前馈网络通过非线性变换帮助模型学习数据中更复杂的模式。残差连接有助于训练期间的梯度流动，层归一化则稳定了训练过程。MLM目标通过在预训练中随机掩码部分输入词符，让模型根据上下文预测被掩码的词符，从而学习句子内的词关系和上下文。

proposed model ELECTRA

ELECTRA使用了一种称为替换词符检测的预训练方法。它不预测被掩码的词符，而是学习区分被掩码的词符与其通过小型生成器网络生成的合理替换词。ELECTRA模型包含生成器G和判别器D两个组件。生成器是一个小型MLM模型，用于生成输入序列中被掩码词符的合理替换。判别器则负责区分原始词符和生成器产生的替换词符。两者联合训练，但在下游任务中仅使用判别器。这种方法比BERT更高效，因为它可以评估序列中的每个词符，而不仅仅是掩码部分。

数据集与基线模型

实验数据集来源于Kaggle网站，包含来自多个数据集的心理健康相关陈述，注释为七种心理健康状态之一：正常、抑郁、自杀意念、焦虑、压力、双相情感障碍和人格障碍。为了进行比较分析，研究还考虑了几种最先进的深度学习模型作为基线，包括LSTM、Bi-LSTM和GRU。

结果与讨论

描述性分析

数据集中七种类别的分布如下：正常（16,351个样本）、抑郁（15,404个样本）、自杀意念（10,653个样本）、焦虑（3,888个样本）、双相情感障碍（2,877个样本）、压力（2,669个样本）和人格障碍（1,201个样本）。词云分析揭示了不同心理健康状况下频繁使用的词语，例如在抑郁和自杀意念类别中，“感觉”、“生活”、“想要”、“帮助”等词占主导地位，反映了存在主义感受和对支持的需求。相关性热图显示，语句长度和词数与状态变量呈中度正相关，表明不同的心理健康状况可能需要更长的陈述来表达。

proposed model results

RoBERTa-Large模型在测试中表现出色，准确率达到97%，精确率为95%，召回率为91%，F1分数为94%。混淆矩阵分析显示，该模型在诊断焦虑、双相情感障碍和抑郁等状况方面具有显著的真阳性率。训练和验证准确率曲线呈现收敛趋势，表明模型学习有效。尽管验证损失存在一些随机波动，提示模型对特定特征或数据异常敏感，但整体性能卓越。该模型的高精确率最大限度地降低了误报风险，高召回率则确保了真实心理健康问题的准确识别，这对于实际应用至关重要。

ELECTRA模型作为基线模型，其准确率、精确率、召回率和F1分数均达到91%。混淆矩阵表明该模型在分类“正常”和“自杀”状态方面非常准确。然而，在区分临床症状或语言表达相似的状况（如双相情感障碍与抑郁、焦虑与压力）时，存在一定的混淆。训练和验证指标之间的差异较小，表明ELECTRA模型具有较好的泛化能力，适用于现实世界中可能遇到的不同数据环境。

模型比较

与其他基线模型相比，RoBERTa-Large模型性能最优。GRU模型的准确率为77%，LSTM模型为79%，Bi-LSTM模型为81%。这些循环神经网络模型在区分细微情感表达方面效果有限。而基于Transformer的ELECTRA模型在各项指标上均达到91%，展示了其强大的上下文学习能力。最终，RoBERTa-Large模型以97%的准确率和94%的F1分数胜出，证明了其在捕捉与心理健康状态相关的语言特异性方面的强大能力。宏平均和微平均F1分数也表明RoBERTa-Large在保持高总体准确性的同时，对少数类别的泛化能力更强。

与现有研究的比较

与以往研究相比，本研究所提出的RoBERTa-Large模型在心理健康情感分析任务中取得了领先的性能。例如，传统LSTM模型利用可穿戴设备的心率变异性或Twitter文本特征，准确率分别为83%和74%。更先进的模型如BiLSTM+BERT、MentalBERT和RoBERTa+BERT，在处理复杂文本数据和社交媒体互动时，最高性能分别为89%和79%。较新的XLNet模型利用词嵌入进行基于社交文本的沟通，达到了92%的结果。RoBERTa-Large模型的卓越性能归因于其对词嵌入的有效处理以及强大的训练，使其能够更深入、更细致地理解心理健康领域的语言上下文。

结论与未来研究

体育活动在塑造学生身心福祉方面扮演着重要角色，因此监测他们的心理健康至关重要。由AI进步推动的情感分析，提供了一种强大的方法来评估和理解学生从他们产生的大量文本数据中所反映的心理状态。研究结果表明，这项技术为了解该人群内部心理健康模式的复杂性提供了宝贵的见解。本研究利用了一套基于AI的模型来捕捉反映不同心理健康问题的细微语言线索。其中，提出的RoBERTa-Large模型表现令人印象深刻，在检测和解释心理健康相关情感的任务中准确率超过97%。凭借其处理词嵌入和利用大数据进行微调训练的能力，该模型达到了现有模型中的最高精度水平，使其成为解决学生心理健康问题的宝贵工具。

展望未来，利用基于AI的情感分析来监测和改善学生心理健康存在许多机遇。最重要的是，将视频、音频和生理测量等其他形式的数据与文本分析相结合，将能够更丰富地描述学生的心理状态。这些多模态数据可能包含仅使用文本时无法获得的非语言或生理线索，从而可能带来更精确、更全面的评估，最终扩大AI在心理健康评估中的覆盖范围，并推动将这些技术融入日常生活，从而改善对学生的支持系统。