LLM预测人类行为：一种基于BERT的方法，用于从在线内容中检测尽责性人格特征

《Acta Psychologica》：LLM predicts human behavior: A BERT-based approach for conscientiousness personality trait detection from online content

　　阿南·纳兹 | 希克玛特·乌拉·汗 | 阿卜杜拉·阿尔哈比 | 瓦埃勒·阿洛萨伊米 | 阿里·达乌德 | 穆扎米尔·艾哈迈德
巴基斯坦旁遮普省萨尔戈达大学信息技术系

**摘要**
深度学习的进步显著改变了自然语言处理（NLP）领域，使机器能够以惊人的准确性理解和分析人类语言。NLP的一个新兴应用是人格预测，其中人工智能驱动的模型处理文本数据以揭示潜在的行为特征。随着数字平台上用户生成内容的增加，个人不断表达自己的想法、观点和情感，为人格评估提供了宝贵的信息来源。人格是人类行为的基本方面，反映了人类的认知和社会模式。随着社交媒体的出现，理解与预测人格特征已成为一个热门话题，因为它在心理学、医疗保健、市场营销、教育等众多领域都有重要应用。从社交媒体内容中自动识别人格特征可以深入了解用户的行为。在这项研究中，我们的目标是预测尽责性人格特质，这对于理解一个人是否具有条理清晰、可靠和目标导向的行为至关重要。通过实证分析，我们使用了MBTI数据集和最先进的大型语言模型BERT，其准确率达到了97%，相比之下，其他结合了特征工程技术的机器学习（ML）和深度学习（DL）方法的表现较低。全面的结果分析表明，BERT是检测人格特征的有效工具，为了解社交平台上的用户行为提供了宝贵的见解。

**1. 引言**
语言不仅仅是交流的工具，更是人类认知、行为和人格的复杂反映。借助深度学习和AI的推动，机器已经从单纯处理文本发展到理解语境、意图和情感（Safari & Chalechale, 2023）。与传统基于规则的方法不同，现代AI驱动的模型如ChatGPT、Google Bard等采用了庞大的神经网络来生成类似人类的文本，并能动态适应细微的语言模式（Choong & Varathan, 2021）。随着数字平台变得更加互动，用户生成的内容（UGC）已成为丰富的数据来源，记录了人们如何表达思想、观点和情感（Mihalcea et al., 2024; Wang et al., 2023）。通过分析这些模式，由NLP支持的人工智能系统可以精确地解码潜在的情感、检测情感变化并预测用户参与趋势（Khan et al., 2021）。社交媒体的内容反映了基于人类行为的人格特征，这有助于分析个人在塑造在线行为和社区动态中的作用（Hussain et al., 2024; Song et al., 2024）。因此，在在线环境中准确识别人格特征至关重要。
病态人格特征是关键指标，有助于洞察人类行为并识别各种社会模式和倾向（Asghar et al., 2021）。通过结合这些特征，可以形成对事件的响应和幸福时刻，从而形成一致的身份（Huang, Tu, et al., 2025）。人格特征的研究是心理学和人口统计趋势的主要目标（Tuomchomtam & Soonthornphisaj, 2021），这促进了各种模型的开发，用于在市场营销（Christodoulou & Gregoriades, 2023）、推荐系统（Talha et al., 2023）、仇恨言论检测以及欺诈网站预测（Zamir et al., 2020）等领域的应用。研究了语言使用、帖子频率、情感分析和网络特征等特征，以根据广泛接受的模型（如大五人格模型和迈尔斯-布里格斯类型指标MBTI）推断人格特征（Lin et al., 2025）。
人格特征大致可分为五个维度：开放性、尽责性、外向性、宜人性和神经质（Samsuryadi et al., 2023）。每个维度代表一系列特征，从冒险到谨慎、从社交到内向、从高尚到悲观、从情绪稳定到敏感（Manisha et al., 2021）。这些模型已在职业咨询、聊天机器人和工作表现等方面得到应用（Naqvi et al., 2023）。这些应用凸显了人格特征识别的多功能性，强调了其在教育、政治、心理学、人机交互和技术等领域的转化和定制潜力的重要性（Meng et al., 2024）。MBTI模型和数据集中的“判断型（J）”和“感知型（P）”是理解个人如何看待外部世界的关键方面，通过对数据集的偏好分析可以获取关于尽责性人格特征的宝贵见解（见表1）。图1显示了特征与得分水平的关联，表明判断型（J）与感知型（P）之间的平衡影响着个人的人格得分。

**2. 相关工作**
多项研究表明，人格与用户的在线行为之间存在关联，这些研究通过分析社交媒体来推断不同平台的人格特征（Zeng et al., 2022）。表2总结了基于各种ML和DL模型的现有研究。

| 序号 | 技术 | 模型 | 特征 | 数据集 | 结果（%） |
|---------|----------------:|-------------------|-------------------|-------------|
| 1 | Transformers | BERT, Bagged SVM | 散文 | 59 |
| 2 | Ensemble | XGBoost | 实时Twitter | 82 |
| 3 | DL | BERT, GRU | Facebook | 79 |
| 4 | Transformers | Bert, MLP, SVM | 心理语言学与情感特征 | 86 |
| 5 | DLLS | LSTM | 情感特征 | 82 |
| 6 | MLR | TFTF-IDF | 定制数据 | 83 |
| 7 | MLR | RF, KNN, SVM | LSTM | 83 |
| 8 | MLR | TF-IDF, Word2Vec | Reddit, MBTI | 90 |
| 9 | DLCNN | BiLSTM | Twitter用户 | 75 |
| 10 | DL + Ensemble | CNN with AdaBoost | TF-IDF, N-Gram | 60 |
| 11 | MLR | DLLS | FAST Text | 79 |
| 12 | DL | RoBERTa | 文本嵌入 | 73 |
| 13 | ELLR, SVM, CNN, BiLSTM | Text-based Features | 72 |
| 14 | Transformers | Bert, Sentence Embeddings | MBTI | 88 |
| 15 | TLERNIE | Text Feature | MyPersonality | 87 |
| 16 | DL | Bi-LSTM | MBTI | 91 |
| 17 | DL + Ensemble | LSTM + XGBoost | 简历回复 + 面试 | 88 |
| 18 | Grunenberg | Zero-shot LLM | GPT-3.5 & GPT-4 | 79 |
| 19 | Transformers | RoBERTa/ELECTRA/ERNIE | 文本特征 | 87.17 |
| 20 | Tsani & Suhartono | LLM, RoBERTa-Large | Post text | 82 |
| 21 | Peters & Matz | LLMBERT + GCN | 文本 + 用户图 | 87.6 |

**2.1. 使用文本特征的研究**
情感分析也被视为AI的一个新领域。该领域的目标是利用有效的计算方法，在数据挖掘中应用情感推理方法来预测多种语言的情感（Shumanov et al., 2022）。其目标是创建和预测系统，通过评估和转换可测量的人类属性（如情感、人格特征、思想和情绪）来产生直观和情感化的响应（Zhi et al., 2023）。研究表明，梯度提升模型在这方面的表现优于其他方法，因此在招聘或面试数据分析（Chopra & Urolagin, 2020）、仇恨言论分析、团队建设和个人化营销（Demong et al., 2023）以及学生表现预测（Daud et al., 2017）等场景中具有实际应用价值。心理测量学通过文本挖掘衡量社交媒体中的行为，强调预测有效性、可靠性、关系和规范有效性，以评估用户在线行为（Tay et al., 2020）。基于语言的方法假设个人生成的所有文档都包含信息，并使用ML模型和TF-IDF模型实现了59%的准确率（Kazameini et al., 2020）。K-Means聚类结合XGBoost在处理和分析文本数据以预测人格类型方面比NB模型更有效（Serrano-Guerrero et al., 2024）。为了分析现实世界场景中的行为，研究人员应用了词袋特征模型来检测人力资源部门的行为和用户人格（Aditi & Panicker, 2020）。从社交媒体对话中提取的人格特征使用了TFIDF等特征提取方法，显示出显著的准确率提升（Dehghani Tafti et al., 2022）。XGBoost被用于从文本中预测MBTI人格特征，通过预处理和特征选择使用了TF-IDF技术（Mitra et al., 2022），为组织中的员工选拔奠定了基础。另一项研究提出了一种新框架，使用基于机器学习和深度学习的模型从在线文本中预测外向性人格特征，准确率达到92.52%（Naz et al., 2024）。

**2.2. 使用深度特征的研究**
在Facebook数据集上采用了BERT嵌入的新方法，发现并非所有消息都对心理回归任务有价值，获得了62%的结果（Lynn et al., n.d.）。研究表明，基于面试者言语行为的LLM在预测机构和个人工作表现方面比基于自我描述特征的词嵌入和语言探究变量更具预测性（Hickman et al., 2024）。多变量回归模型结合CNN和AdaBoost以及情感特征也被用于预测人格特征（Mohades Deilami et al., 2022）。转移学习也被用于通过Twitter数据预测人格特征，利用word2vec方法扩展数据源，并通过Facebook探索额外的人格参数（Alshouha et al., 2024）。该研究利用计算模型和NLP技术通过社交媒体文本分析人格特征，捕捉长期依赖性，从而提高了基于词嵌入的预测准确性（Alsini et al., 2024）。在NLP领域，LLM的最大成就之一是探索文本的依赖性和分类，无论是作为对话还是主题建模，并应用BERT分类器，准确率达到64%（Mehta et al., 2020）。当使用ULM时，通过LSTM模型对文本进行分类，准确率达到57%（El-Demerdash et al., 2021）。此外，跨行业标准化过程在PAN数据集中应用LSTM模型，使用doc2vec和glove增强了人格分类的准确性（Kosan et al., 2022）。应用LLM模型解释社交媒体内容以预测连续的大五人格特质分数，RoBERTa-Large在这一任务上的表现优于BERT（Shum et al., 2025）。此外，BERT和RoBerta的结合可以比以往的方法更精确地识别英文Twitter和YouTube帖子中的五大人格特质。他们的工作在实际应用中也有重要意义，因为他们观察到此类模型有助于招聘过程中的候选人筛选，尽管他们也警告说，基于社交媒体生成的性格概况进行招聘是极具争议的（Tsani & Suhartono, 2023）。其他作者研究了如何将深度神经模型与网络结构或其他特征集成在一起。例如 TraitBertGCN 将 BERT 嵌入与 GCN 结合起来，从而整合来自多个来源的信息，提高了跨领域预测的准确性（Waqas et al., 2025）。另一项研究比较了不同预训练语言模型在 myPersonality 数据集上的表现，发现微调后的 ERNIE 在多特质分类方面的表现优于 BERT、ELECTRA 和 RoBERTa。这些发现表明，更现代的Transformer形式在提取五大人格特质的语言指标方面可以超越 BERT（Alshouha et al., 2024）。还有类似的研究将 LLM 与小样本学习结合起来，使用 GPT-3.5 和 GPT-4 通过分析用户的 Facebook 原始帖子来预测他们的五大人格特质。在实施 AI 用于性格分析时，需要高度的伦理标准和用户的同意（Peters & Matz, 2024）。建议采用数据匿名化、跨层检测、联邦学习和透明度等手段，以确保性格预测系统中的人不被识别（Yin & Wang, 2026）。同样，GPT-4 可以创建虚构的个人资料并回答性格问题，发现的结果反映了类似人类的特质模式。这些发展表明，最先进的 LLM 能够以潜在表示的形式编码人格特征。然而，他们指出，基于用户生成内容（UGC）的研究问题涉及隐私和伦理问题。预测的特征是敏感的个人信息，未经授权的分析可能导致隐私侵犯或滥用（de Winter et al., 2024）。实际上，在招聘过程中整合在线可用的外部信息会引起重大的伦理和法律问题。使用英文简历和封面信对申请人性格的预测有效性是中等的，这与自我报告测试预测工作匹配标准的结果相似（Grunenberg et al., 2024）。此外，深度学习模型应用了巨大的预训练 Transformer 并在标记了性格特征的文本数据上进行微调，以捕捉与特质相关的语言模式，与以往基于机器学习的方法相比，展示了迁移学习在性格检测中的潜在效用（Kong et al., 2025）。该论文还考虑了伦理影响，即使用个人文本进行预测时的隐私问题和同意问题，并警告在离线环境中可能出现的偏见或不道德的使用自动化性格分析的行为（Liu et al., 2025）。同时，研究人员越来越强调伦理保障的重要性，以防止这些技术被滥用，从而损害用户隐私或在就业等领域加剧偏见（Naz, Khan, Bukhari, et al., 2025）。

2.3. 现有研究的局限性
许多关于这一主题的研究调查了多种机器学习和自然语言处理方法来预测文本数据的特征，其中大多数主要基于传统的特征技术，如词袋模型或 TF-IDF，以及 Word2Vec 和 GloVe 等深度特征来呈现文本数据以供决策使用（Sun et al., 2025）。当前关于性格特征预测的文献中的一个主要弱点是缺乏结合尽责性格特征的研究。因此，这一领域的研究存在显著空白。我们提出了一项研究，考虑了基于 LLM 的模型，并将尽责性格特征与 MBTI 数据结合，在偏好映射中进行判断和感知，取得了最佳结果，有效地整合了文本特征和深度先进特征。

3. 提出的研究方法论
本节提供了特征和算法的全面概述。图 3 展示了本研究方法论所遵循的框架步骤。这种方法的动机是旨在模拟用户生成文本中丰富的上下文和长距离依赖性——这些是较浅层次的词袋模型或神经模型容易忽略的信息。该模型利用多个 Transformer 层和双向自注意力来编码与性格方面相关的语言模式，其中 BERT-Large 经过微调。这种对丰富上下文嵌入重要性的强调使得准确率大幅提高，超过了基线和小型 Transformer 变体，并且通过注意力权重、SHAP 和 LIME 保持了事后可解释性。与仅使用 TF-IDF、静态嵌入或单方面架构的先前工作相比，基于 BERT-Large 的方法提供了最先进的预测性能，同时还理解了底层语言特征如何影响判断推理。

3.1. 数据预处理
首先，数据收集步骤定义了数据集的来源，即来自 Kaggle 仓库的 MBTI 数据集。接下来，数据预处理步骤包括数据过滤、移除 URL、停用词、分词、词干提取和数据标准化，如图 4 所示的处理后的数据样本。

3.2. 特征工程
特征提取是数据分析中的一个重要步骤，旨在将原始数据转换为算法适用的格式。

3.2.1. 文本特征
TF-IDF 是一种统计特征，用于计算词汇在文档中的重要性，相对于文档集合（语料库），如公式 1 所定义。所有参数在表 3 中有说明：
(1) TF?IDF
td = ∑(td / d)^(logN + 1)
ft = log(ft + 1)
SmoothedIDF
表 3. 定义的公式参数。

符号 描述
NT 总文档数
wandb 权重向量和偏置值
Fxi 目标变量的平均值
dft 包含词 t 的文档数量
NCX 给定特征向量 X 时 clase J 的后验概率
δtj 位于位置 t 的标签序列以标签 j 结尾的概率
NXC 给定类 C 中的特征向量 X
Ptjti 从标签 i 到标签 j 的转移概率
NXP 给定特征向量 X 和 classe Cand 的先验概率
Pwttj 给定标签 j 的词的发射概率
lyi,y?i 测量实际标签 yi 和预测标签 y?i 之间差异的损失函数
xi 特征向量
P?i 预测概率
yi 类别标签
m?i 实例 i 的最终预测
αi 语言乘数
m?it 第 t-th 树的预测
K 核函数
Ωf 正则化函数
DD 数据集
εt 重新加权的误差
σ Sigmoid 函数
Hx 单个弱分类器的加权和
ρ 数据集属性
T 总迭代次数
Dν 数据集子集
ht 隐藏状态
v 属性值
η 学习率
σz 特征的线性组合
λ 模型参数
Ctf 忘记门当前状态
xik 和 xjk 实例 i 和 j 的特征向量
htf 忘记门的隐藏状态
δyyi 最接近点的指示函数
Ctb 回忆门当前状态

PoS 标注是最重要的自然语言处理技术之一，它通过对单词进行标注（名词、动词等）来确定最合适的标签，如公式 2 所示。

3.2.2. 词嵌入
Word2Vec 是一种词嵌入方法，它学习选定的词策略，将文本数据映射为密集的向量表示（Lv et al., 2024），通过捕捉单词和句子之间的语义相似性和句法关系来定义（公式 3）。
(3) L = ?∑(wo ∈ V) * log softmax(vc?U)

GloVe 是另一种词嵌入矩阵分解技术，通过分析语料库中单词的共现情况来学习单词的描述，使用公式 4 计算。

3.2.3. 句子嵌入
句子嵌入是一种将整个句子转换为密集数值向量的技术，同时保持句子的语义意义，如图 5 所示，使用公式 5。句子嵌入在处理情感和主题理解以及作为上下文响应的输出方面非常有效（Cao et al., 2025）。

3.3. 应用的算法
我们提出了一种完整的方法，结合了多种基于机器学习和深度学习的模型来预测基于人格特征的类别结果，包括监督学习、无监督学习和混合方法（Ishfaq et al., 2022）。

3.3.1. 支持向量机 (SVM)
SVM 的目标是通过方程 6 预测理想超平面，该超平面在特征空间中分隔不同的类别，以找到最佳的分隔器。
(6) w·xi + b = 0
这种优化旨在最大化类之间的边际，如方程 7 所示。

3.3.2. 决策树 (DT)
基于规则的 DT 模型将数据分割成层次结构，每个节点都基于基于特征值的决策进行计算，使用方程 8。
(8) IGD
ρ = Entropy
D = ∑(ν ∈ D) * log(ρ)
Dν

3.3.3. 逻辑回归 (LR)
LR 是一种统计模型，可以有效地模拟给定输入属于这些类别之一的概率，如方程 9 所示。
(9) σz = 1 / (1 + e^(-z)
其中 z = w.x + b

3.3.4. K-最近邻 (KNN)
K-NN 是一种简单但有效的分类和回归算法。它通过找到特征中最接近给定数据点的因子来工作，基于 K 个最相似的数据点，如方程 11 所示。
(11) dxi/yi = ∑(k = 1)^N * xi * nk * (xj ? xi)

3.3.5. 朴素贝叶斯 (NB)
NB 通过结合每个类别的先验概率和观察到的单词来计算特征。
(13) NCX = N × CX
NCX
为了从训练数据中计算类别标签的概率，计算新的文本数据进行预测，如方程 (14) 和 (15) 所示。

3.3.6. 梯度提升 (GB)
GB 是一种有效的方法，通过结合多个弱学习器的优点来构建强大的预测模型，通常使用 DT，并使用目标函数，如方程 16 所示。
(16) Fox = log(PJ / P)
对于每个迭代训练实例，计算残差，如方程 17 所示。

3.3.7. 随机森林 (RF)
RF 结合了多种基于机器学习和深度学习的模型来预测分类结果，包括监督学习、无监督学习和混合方法（Ishfaq et al., 2022）。

3.3.8. 极端梯度提升 (XGB)
XGB 通过多种优化增强了梯度提升模型的性能，其预测过程使用目标函数来防止过拟合，如方程 20 所示。

3.3.9. 自适应提升 (Adaboost)
Adaboost 通过将弱模型链接起来成为一个强大的分类器来增强弱模型的执行，计算权重，如方程 21 所示。

3.3.10. 长短期记忆 (LSTM)
LSTM 可以学习跨越长时间间隔的数据模式，这对于理解序列中的上下文至关重要（Zhou et al., 2022）。忘记门决定了应该忘记的上一单元格状态 Ct?1 的部分，输入门、候选门和输出门连接起来进行预测，如方程 23 所示。

3.3.11. 双向长短期记忆 (Bi-LSTM)
Bi-LSTM 模型是在标准 LSTM 模型的基础上增加了双向处理能力，可以同时处理过去和未来的数据。在每一步 t，前向传递 LSTM 接收输入向量 vi 并使用方程 25 更新其当前 Ctf 和隐藏状态 htf。

3.3.12. 提出的基于 LLM 的模型
BERT 是一种最先进的语言模型，它利用其深度学习神经架构在预测性格特征方面表现出色，通过多层 Transformer 来理解句子中单词的上下文，允许它捕捉单词之间的含义和关系，如图 6 所示的架构。因此，BERT 可以更全面地理解文本中的上下文关系（Chen et al., 2024）。BERT 可以处理大量文本数据，识别与不同性格特征相关的语言线索，使用方程 26 进行编码。

3.3.13. 建议的 LLM 基础模型
BERT 使用其深度学习神经架构操作，在预测性格特征方面表现出色，具有多层 Transformer，擅长双向理解句子中的单词上下文，从而捕捉单词之间的含义和关系。训练模型多个周期，使用验证集来评估其性能以避免过拟合（Huang, Shen等人，2025年），使用方程式(27)：PJx=σ(WJ.CLS+bJ)。对于一个新的文本，对其进行分词处理，通过BERT模型，然后使用[CLS]标记的最终输出来预测该文本是否对应于JorP标签。BERT的优势在于，与许多模型不同，它构建了一个强大的自然语言理解模型，这在心理学和研究人类行为领域是非常有用的额外资产。

4. 实验设置
本节提出了数据选择的方法，然后展示了基于评估指标的人格特征数据映射。

4.1. MBTI数据集
MBTI数据集1包括基于迈尔斯-布里格斯类型指标的数据收集，该工具将个体分类为16种类型，每种类型有4个指标。该数据集大约有8673行数据。数据集中的每个条目通常根据个体的回答或文本分析被标记为相关的MBTI类型，如INFP、ESTJ等。在研究中，重点是JP标签，用于研究尽责性等人格特征。

4.2. 《老友记》人物数据集
该数据集2包含了《老友记》电视剧中的对话，基于前四集中的短对话和人格特征。数据集共包含711条记录，每条记录有六列，显示了与每种特征相关的文本帖子。

4.3. 性能评估指标
在评估用于预测人格特征的分类模型时，通常使用几个性能指标，如表4所示。

表4. 评估指标的公式。

5. 结果与讨论
除了结果外，还通过饼图展示了数据可视化，如图7所示，“判断型”（J）人格特征占比为39.6%，而“感知型”（P）人格特征占比为60.4%。虽然这是一个显著的分布，但这表明数据倾向于更灵活、更自发的性格类型。

如图8所示，判断型人格特征的帖子平均长度较长，平均为7325.8个字符，而感知型人格特征的帖子平均长度为7175.5个字符。此外，图9中的直方图清楚地显示了帖子长度的分布情况，随着更多人减少写作，帖子长度也在减少。最大分布范围约为6000个字符，这意味着我们数据集中的大多数帖子长度适中，而非常短和非常长的帖子较少见。

图10显示了由文本中出现频率最高的单词生成的词云，用于可视化与J和P相关的数据中最常见的单词。诸如“判断型”个体的单词表明他们注重结构、社会秩序和清晰的关系。相比之下，感知型个体倾向于表达性更强、更自发和更灵活的词汇。

5.1. 使用浅层机器学习分类器的结果
使用浅层ML时，SVM在预测人格特征方面的最高准确率为80%。当使用TF-IDF和POS标注特征预测J/P模式时，基于TF-IDF的模型比所有指标都更稳定，而基于POS标注特征的模型的准确率较低，其中LR仅为62%，如表5所示。这意味着TF-IDF记录了更多用于预测的相关数据，因为它能够区分判断型和感知型个体之间的差异。相反，基于POS标注特征的模型表现较差。这表明，在MBTI范式中，基于文本的人类人格预测，尤其是基于词汇语义的方法（如TF-IDF）优于基于句法的方法（如POS标注）。

5.2. 使用集成学习模型的结果
基于TF-IDF的模型中，GB的预测准确率最高，为81%。之后，在POS标注函数上训练的模型准确率较低，为61%，如表6所示。这意味着TF-IDF记录了更多用于预测的相关数据，因为它能够区分判断型和感知型个体之间的差异。

5.3. 使用深度学习算法的结果
训练模型以投影word2vec、glove和sentence嵌入的文本特征。使用LSTM和Bi-LSTM的word2vec在人格特征分类方面显示出潜力，准确率分别为87%和86%。其中，Sentence Embeddings模型的准确率最高，为89.56%。其指标略低于使用Word2Vec和GloVe嵌入的LSTM。总体而言，Sentence Embeddings和Bi-LSTM在分类人格特征方面表现较好，准确率分别为89%和90%，超过了表7中显示的sentence嵌入的结果。

5.4. 基于LLM的模型结果
基于LLM的模型BERT是一种注意力机制，能够提供高质量的文本表示。输入序列被分词到指定的最大长度。该模型在配备GPU的最佳可用设备上运行，通过设置BERT模型的超参数来计算结果，如表8所示。实验使用了三个独立的保留分割，其中70%的数据作为训练集，剩余的30%专门用作最终评估的测试集。在70%的训练数据中，我们进一步分配了10%作为验证集，以支持超参数调整、提前停止和性能监控。这使得三次独立运行的训练、验证和测试的比例分别为63%、7%和30%，从而对模型进行了全面的评估，并最小化了特定分割偏差的可能性。

图11显示了使用选定的特征的组合准确度分析。图12a和图12b分别展示了使用TF-IDF和POS进行机器学习预测的比较分析。图13强调了在基于文本的技术中文本的语义丰富性对人格特征预测的重要性，以及它们在心理学和行为建模中的意义。图14a和图14b展示了使用TF-IDF和POS标签的特征选择对模型性能的影响。

图15和图14显示了训练和验证过程中BERT模型的准确性发展。图16描述了BERT模型在训练和验证数据上的准确性。图17展示了BERT模型对每个数据集的预测信心，即训练、验证和测试。这种可视化的特别优势在于它提供了模型在不同数据暴露水平下预测可靠性的量化度量。图18和图19分别展示了使用TF-IDF和POS标签的模型性能的比较分析。该图的重要性在于它能够反映出模型在不同数据集分割下的性能差异。图18更深入地展示了BERT模型在训练过程中如何提高其对验证准确性的信心。在这个可视化图中，100个时代的准确率百分比用不同颜色的气泡来表示，每个颜色对应不同的准确度水平。这表明这些点密集重叠，意味着对于大多数样本来说，模型预测的特征水平与真实数据非常吻合。每个类别索引的预测在识别不同水平的责任心时也表现出高度一致性，这表明该模型非常适合从文本中检测人格特征，如图19所示。

模型在三种独立的70/30数据分割下的表现非常平衡，标准差非常小，置信区间也非常狭窄，如表9所示。训练准确率为99.5%（标准差±0.3），验证准确率为97.0%（标准差±0.6），测试准确率为95.8%（标准差±0.9）。这些发现表明模型具有很强的泛化能力，能够在未见数据上保持良好的性能，且没有出现性能下降的情况。模型对数据分割的鲁棒性通过表10中一致的性能指标得到验证，在三种独立的70/30分割中，训练准确率接近完美（0.994–0.997），验证准确率接近完美（0.968–0.973），测试准确率也非常集中（0.956–0.961）。BERT-Large模型在预测责任心特征方面的稳定性也通过各项指标的一致性得到证明。

表9. 在三种独立分割下的训练、验证和测试性能分析。
- 数据集分割 | 准确率（平均值±标准差） | 精确率（平均值±标准差） | 召回率（平均值±标准差） | F1分数（平均值±标准差）
- | | | | |
| | | | | |
| 训练集 | 0.995 ± 0.003 | [0.991, 0.999] | 0.992 ± 0.004 | [0.987, 0.998] |
| 验证集 | 0.970 ± 0.006 | [0.962, 0.978] | 0.956 ± 0.008 | [0.945, 0.968] |
| 测试集 | 0.958 ± 0.009 | 0.942 ± 0.010 | 0.932 ± 0.012 | [0.916, 0.949] |
所有报告的结果代表三种独立70/30分割的平均性能。“标准差”表示三次运行的标准差，反映了测量的变异性。“置信区间”是指95%的置信区间，计算公式为CI=xˉ±t0.975,df=2×SD3，其中t0.975,df=4.303。标准差和置信区间值的狭窄表明模型在不同分割下的性能稳定且鲁棒。

表10. 每种独立分割的性能指标。
- 分割 | 训练准确率 | 验证准确率 | 测试准确率 | 测试精确率 | 测试召回率 |
| | | | | |
| 分割1 | 0.996 | 0.971 | 0.957 | 0.944 |
| 分割2 | 0.994 | 0.968 | 0.961 | 0.946 |
| 分割3 | 0.997 | 0.973 | 0.956 | 0.935 |

表11的统计分析也支持了这种一致性，表明尽管训练集与验证集和测试集之间的性能存在预期差异（p < 0.01），但验证集与测试集之间的性能没有统计学上的显著差异（准确性：p = 0.081；F1分数：p = 0.067），这意味着模型的泛化能力很强，并非过拟合验证集的结果。表12中的ANOVA和Friedman测试结果进一步证明，在所有评估指标中，不同数据分割之间没有显著差异（所有p值均超过0.36），这证明了所提出的BERT-Large模型在不同数据分割下的性能是一致的。综合这些结果，可以确认模型的性能不受分割影响，从而反映了其高可靠性、可重复性和泛化能力。

表11. 三种独立分割下的统计显著性分析。
- 对比指标 | 平均差异 | 配对t检验（p值） | Wilcoxon符号秩检验 |
| | | | |
| 训练集与验证集 | 0.025 | p = 0.004 | |
| 训练集与测试集 | 0.037 | p = 0.003 | |
| 验证集与测试集 | 0.012 | p = 0.081 | |
| 验证集与F1分数 | 0.013 | p = 0.067 | |

表12. 各种分割下的ANOVA和Friedman测试结果。
- 指标 | ANOVA F值 | ANOVA p值 | Friedman χ2值 | Friedman p值 |
| | | | | |
| | 0.842 | 0.488 | 1.33 | 0.51 |
| | 0.921 | 0.462 | 1.67 | 0.435 |
| | 1.104 | 0.421 | 2.00 | 0.368 |
| | 0.773 | 0.523 | 1.33 | 0.51 |

此外，应用于解释BERT在预测责任心方面97%准确性的全局和局部可解释性的AI方法也证实了这些发现。在图20的SHAP摘要图中，与显性MBTI类型（如INFJ、INTJ、INTP等）相关的词用红色标记，这些词提供了具有非常高值的“有意识（J）”特征，而较随意的词（如INFP）则给出负值。图21中的样本7的SHAP瀑布图显示，INFJ单独为基础分数0.397增加了大约+0.14，其他词对分数的影响较小。

图20. 负责任的SHAP摘要图。
图21. 样本#7的SHAP瀑布图，展示了每个特征对预测的贡献。

最后，与图22中显示的相同示例的LIME条形图相比，LIME图表强调了特定于文本的驱动因素：“好奇”、“见面”、“家庭”、“即将发生”等以目标为导向和时间的词将预测值拉向J型，而“男人”和“愚蠢”等填充词则将其推向P型。这些SHAP和LIME分析共同揭示了BERT使用了与人格类型相关的词汇和规划能力。图23提供了关于BERT模型训练在实际方面的关键信息，即GPU内存使用情况和训练期间的计算负载。该可视化展示了模型在整个训练过程中的GPU内存使用情况，不仅显示了使用量，还显示了内存使用的变化趋势。这表明需要硬件支持来高效训练模型，同时不会降低GPU内存的性能。

图22. 样本#7的LIME局部解释图。
图23. 训练期间的计算资源分析。

使用基于BERT的相同架构对FriendsPersona数据集进行预测责任心特征的研究也取得了惊人的结果，准确率为95%，如表13所示。这些分数与在MBTI语料库上获得的结果相当，表明模型的深度双向注意力层和上下文敏感的微调嵌入具有广泛的应用性。

图24. 由于训练和验证曲线在100个时代内的清晰变化，模型的动态得到了明确体现。这些曲线之间的狭窄差距以及验证性能在没有分化或后期恶化的情况，表明采用了Dropout、权重损失和提前停止准则来避免过拟合。大多数模型预测集中在90%的置信水平上，验证数据和测试数据中的最高预测水平分别为88–93%，如图25所示。这进一步证明了该模型在现实世界中应用的可靠性，其置信分数可以用于影响下游应用。总体而言，这些数字表明基于BERT的方法在不同类型的数据集上都能保持其预测能力和鲁棒性，包括在FriendsPersona数据集上的97%、95%、94%和97%（准确率、精确率、召回率和F1分数）。FriendsPersona的结果略低并不令人惊讶，因为这两种数据在风格和平台上有所不同：MBTI数据更加结构化且内省，而FriendsPersona数据更接近于随意的社交媒体语言。

表13. 使用所提出模型在两个数据集上的结果分析。
- | | | | |
| 特征 | | | |
| Model | | | |
| | | | |
| Bert Encoder | | | |
| | | |
| BERT-Large | | | |
| MBTI | | | |
| | | | |

尽管BERT-Large在责任心预测方面表现出色，但其计算复杂性为实际应用带来了限制，特别是在技术基础设施有限的教育机构中。运行全尺寸的Transformer模型需要大量的GPU内存、高处理能力和较长的推理时间，这对于资源有限的学校、公共部门机构或大规模课堂部署可能是不可行的。为了应对这些限制，未来的研究应该探索可扩展、成本效益高的替代方案，如DistilBERT、ALBERT、MobileBERT等压缩Transformer变体，这些变体可以在保持强大预测性能的同时显著减少模型大小和延迟。通过开发优化的低资源框架，责任心预测系统可以在各种教育环境中变得可访问、公平且广泛使用。

5.5. 基于LLM的模型——FriendsPersona数据集的结果
使用基于BERT的相同架构对FriendsPersona数据集进行责任心预测，也获得了95%的准确率，如表13所示。这些分数与在MBTI语料库上获得的结果相似，表明模型的深度双向注意力层和上下文敏感的微调嵌入具有普遍适用性。

5.6. 与现有研究的比较
与使用文本信息预测责任心特征的现有研究相比，所提出的模型表现出显著的性能提升。许多早期的研究尝试应用ML和DL模型，包括CNN、LSTM、LR、SVM、RF和MNB，并结合Word2Vec和TF-IDF进行特征提取。所提出的基于LLM的BERT模型将研究范围进一步缩小，准确率达到97%，能够捕捉文本中更多内在的语义关联和上下文细微差别。这是一个巨大的性能提升，因为LLM在预测人格特征方面非常有效，相比传统的特征提取方法具有明显优势。

5.6. 与现有研究的比较
表14展示了与所提出模型相比的相关文献的相对评估。许多早期研究试图应用ML和DL模型，包括CNN、LSTM、LR、SVM、RF和MNB，并结合Word2Vec和TF-IDF进行特征提取。所提出的基于BERT的模型将研究范围进一步缩小，准确率达到了97%，能够捕捉文本中更多的内在语义关联和上下文细微差别。通过对杰出人格模型的研究，我们可以将所提出的理论基础与人格特征预测的实际意义和在当前研究领域的适用性联系起来。我们的研究发现，TF-IDF特征在各种人格特征上都能 consistently（一致地）产生良好的结果，这表明它们在捕捉与人格预测相关的文本信息方面非常有效。BERT的准确率为97%，而Bi-LSTM在处理人格特征时表现最佳，准确率达到90.5%。为了减少单次数据划分可能引入的变异性，所有报告的指标都是通过对三次独立实验的结果进行汇总得出的。我们提供了平均值、标准差和置信区间，以便更可靠地评估模型行为。不同实验结果之间的小差异证实了模型的性能稳定性，说明模型对数据划分不敏感，从而增强了研究结果的实证有效性。这凸显了双向架构在从文本数据中捕获上下文信息方面的有效性，尤其是当与句子嵌入等先进嵌入技术结合使用时。未来的研究方向应致力于提高模型在不同领域和语言中的泛化能力和可解释性。利用多种模式（例如文本输入动态和社交网络属性）可以进一步丰富特征推断，并有助于区分那些仅从文本中难以辨识的人格线索。同时，亟需解决隐私保护技术和偏见缓解策略，以确保研究的道德合规性。这项研究的成果表明，机器学习和深度学习在心理学领域与文本内容相结合以预测人格特征方面具有巨大潜力。该研究结果还对教育领域具有重要意义，因为尽责性（conscientiousness）与学习者的学术自律、持久性和组织行为密切相关。基于BERT的尽责性预测模型可以帮助教育工作者识别可能在任务规划、时间管理和持续学习方面遇到困难的学生。通过分析学生的反思性写作、学习日志、在线讨论帖子或基于学习管理系统（LMS）的提交内容，教育系统可以自动检测出尽责性低下或波动的模式，并主动提供个性化干预。这种早期检测机制可以帮助教师提供有针对性的指导，提高学生的学习留存率，并培养他们的自主学习习惯。此外，在数字学习环境中整合对人格特征有意识的分析功能，可以提升自适应学习系统的效果。从文本互动中推断出的尽责性水平有助于调整作业难度、反馈频率和激励信息，以更好地契合个别学生的学习倾向。例如，尽责性评分较低的学生可能会获得结构化的支持、更频繁的提醒或目标设定建议，以帮助他们建立学术自律性；而尽责性较高的学生则可以获提供更有挑战性的项目或自主学习模块。因此，基于BERT的情境化人格建模为开发以学习者为中心的教育技术提供了有益的途径，将心理特征与教学策略紧密结合。

**作者贡献声明：**
Anam Naz：撰写初稿、数据可视化、验证、资源整理、方法论设计、概念构建。
Hikmat Ullah Khan：审阅与编辑、验证、项目监督、方法论设计、正式数据分析、数据整理、概念构建。
Abdullah Alharbi：审阅与编辑、验证、资源协调、资金筹措、正式数据分析。
Wael Alosaimi：撰写初稿、数据可视化、验证、软件开发与资源管理。
Ali Daud：审阅与编辑、数据可视化、验证、项目监督、概念构建。
Muzamil Ahmed：审阅与编辑、数据可视化、软件开发与资源整理、方法论设计。

**资金支持声明：**
作者感谢沙特阿拉伯泰夫大学（Taif University）通过项目编号（TU-DSPP-2024-67）对本研究工作的支持。

**关于写作过程中使用生成式AI和AI辅助技术的声明：**
作者声明，在本手稿的准备、撰写或分析过程中未使用任何AI工具。