《Information Processing & Management》：PhDGPT: Measuring bias in academic mental health across quantised and uncensored LLMs
编辑推荐：
PhDGPT数据集通过大语言模型（LLM）模拟学术情境下的心理健康状态。人工智能模型在模拟博士研究生时呈现出的心理困扰水平高于模拟教授时的水平。GPT-3.5能够复现人类的心理测量学因子结构，而较新的开源模型GPT-OSS（GPT-OSS-20b）则未能实现这
PhDGPT数据集通过大语言模型（LLM）模拟学术情境下的心理健康状态。人工智能模型在模拟博士研究生时呈现出的心理困扰水平高于模拟教授时的水平。GPT-3.5能够复现人类的心理测量学因子结构，而较新的开源模型GPT-OSS（GPT-OSS-20b）则未能实现这一点。PhDGPT数据集将心理健康评分与自然语言解释相关联。模型对齐（alignment）、架构（architecture）与量化（quantisation）共同塑造了模拟心理困扰的语言表达模式。
论文解读文章
一、研究背景与问题
学术界心理健康问题日益受到关注。大量证据表明，学术人员普遍面临显著的心理健康挑战，其中博士研究生和早期职业研究人员承受的心理负担最为沉重。近期大规模调查反复记录了博士研究生在抑郁、焦虑和压力方面的水平显著高于普通人群，甚至高于资深学者。一项多国综述研究发现，全球相当比例的博士生存在临床相关症状，包括自杀意念，其发生率往往超过同等教育水平的非博士群体。纵向登记研究进一步提供了因果层面的证据：一项追踪博士候选人的群体研究将攻读博士学位与心理健康可测量的恶化联系起来。
传统基于问卷调查的方法在捕捉学术困扰的复杂性、时间性和情境特异性方面存在明显局限。大语言模型（LLM）因其能够承担特定人格角色、采用情境化角色并模拟情境化场景的能力，为心理健康研究提供了新的方法论契机。然而，现有研究表明，在严格的心理学测量分析下，许多模型无法复现人类问卷数据背后的稳定潜在结构：从LLM回答中提取的因子解往往与人类数据不一致，对提示词措辞高度敏感，并可能因细微设计变更而崩溃。
关键问题在于，安全调优和指令遵循目标可能压缩或扭曲心理学测量所依赖的响应分布，尤其是在心理健康等敏感领域。安全机制可能抑制极端困扰的表达，或将临床相关内容改写为通用福祉语言，形成一种"软审查"效应。本研究正是基于这一背景，系统检验不同LLM在学术情境下模拟心理健康时，其心理测量学与心理语言学结构是否与人类数据一致，以及模型对齐状态是否影响这种一致性。
二、研究设计与方法
研究人员构建了PhDGPT合成数据集，通过OpenAI API查询GPT-3.5 Turbo-0125，并在本地机器上运行GPT-OSS-20b（后文简称GPT-OSS）模型。为增强稳健性，还纳入了三个额外开源模型：Mistral Small 24b Instruct、Dolphin Mistral 24b Venice Edition和Anita Next 24b Dolphin Mistral Uncensored，这些模型覆盖了从指令调优到刻意未审查的多种对齐策略。
数据集采用2×2×5×3的因子设计：学术身份（博士研究生/终身教授）×性别（男性/女性）×学术事件（考试/研究/发表/工作生活平衡/人际关系）×效价（积极/消极/中性）。每个条件组合收集300次响应，每个模型共产生18,000次模拟响应，并与39,000条人类DASS-42响应进行比较。所有42个DASS-42条目在单次提示中施测，模型需为每个条目生成1-4分的数值评分及相应的文字解释。
主要分析方法包括三方面：基于评分差异的初步分析；探索性因子分析（EFA）和验证性因子分析（CFA）评估心理测量结构；基于格拉斯哥规范（Glasgow Norms）提取心理语言学维度。因子分析以模型调用为分析单元，心理语言学分析在句子层面评分后按子量表聚合。
三、研究结果
RQ1——情境差异分析：不同学术情境和效价条件显著影响DASS-42各子量表的得分。模型模拟的博士研究生在抑郁、焦虑和压力三个维度上的得分均显著高于模拟的终身教授，这一模式与人类数据中观察到的趋势一致。消极效价情境下得分最高，积极效价情境下得分最低，中性情境介于两者之间。性别角色对得分的影响在不同模型间表现不一致。
RQ2——心理测量学分析：GPT-3.5的响应在EFA中能够复现与人类数据相似的抑郁、焦虑、压力三因子结构，因子载荷模式和因子间相关性与人类参考数据高度吻合。相比之下，GPT-OSS的响应未能复现这一三因子结构，其因子解出现严重偏差，各因子间区分度下降。CFA进一步量化了这一差异：GPT-3.5的模型拟合指数（CFI、TLI、RMSEA、SRMR）明显优于GPT-OSS。GPT-3.5的平均标准化因子载荷也显著高于GPT-OSS，表明前者对DASS-42理论结构的复现能力更强。
RQ3——心理语言学分析：在文本解释层面，GPT-3.5生成的解释文本在效价（valence）、唤醒度（arousal）和支配性（dominance）等心理语言学维度上与评分呈现更一致的关联模式。GPT-OSS的解释文本则表现出心理语言学维度与评分之间的关联弱化或异常，其语言表达在情绪维度上呈现"钝化"特征。额外开源模型的稳健性分析进一步表明，未审查模型（如Anita Next）在心理语言学丰富度上有所提升，但在心理测量结构复现上并未改善，提示量化、架构与对齐的交互作用共同塑造了模拟心理困扰的语言模式。
四、讨论与结论
研究人员指出，安全对齐可能通过压缩响应分布尾部、抑制极端情绪表达来削弱模型作为"心理社会镜像"的效用，但模型架构、训练语料和量化方式同样可能是影响因素。研究强调，这些比较属于模型系统层面的观察性证据，不能将安全对齐单独确认为因果机制。PhDGPT数据集将心理测量评分与自然语言解释相结合，为检测LLM在心理健康模拟中的偏差提供了诊断工具。研究结论认为，LLM不应被视为合成人类，而是需要自身心理测量学框架的测量工具；在心理健康研究中使用LLM时，必须明确考虑对齐、安全策略和潜在审查如何重塑从提示到响应的映射关系。
