工作中AI的缺失环节：迈向以组织为中心的大型语言模型可解释性方法

《TECHNOLOGY IN SOCIETY》：The Missing Link for AI at Work: Towards an Organization-Centered Approach to Large Language Models’ Explainability

　　

大型语言模型（Large Language Models，LLMs）为组织带来了机遇与挑战。尽管这些模型有望提高效率，但其缺乏可解释性（explainability）引发了担忧。当前关于人工智能（AI）可解释性的研究主要采用技术视角，这与组织决策者的期望和专业知识常不匹配。本研究通过组织视角探索了一种新颖的AI可解释性方法，借鉴了人力资源管理（Human Resource Management，HRM）和组织行为学（Organizational Behavior，OB）的见解。以人格测试（personality tests）作为选拔工具和行为模式信息来源的例子，研究人员在两种条件（固定顺序或随机顺序）、同一工具的两种版本（原始条目或改写条目）以及两种不同提示（强调诚实与否）下评估了若干LLMs。研究人员还评估了LLMs在工作行为（work behaviors）和任务绩效（task performance）方面的表现。结果表明，LLMs表现出不同的特质和行为特征，且其答案受评估情境影响。这些结果提供了一种新型的通过简化的后验模型无关解释（post-hoc model-agnostic explanations by simplification），该解释与组织行动者的期望一致，从而有助于发展以组织为中心的LLMs可解释性方法。这呼吁更多研究探讨如何调整和采用选拔与整合工具，以便从组织视角更稳健地处理LLMs的可解释性问题。

**论文解读：以组织为中心的大型语言模型可解释性方法**

**研究背景与问题**

近年来，大型语言模型（Large Language Models，LLMs）在组织中的部署迅速增加，带来效率提升的潜力，但也引发了对其可解释性（explainability）的担忧。当前的可解释性研究主要采用技术视角，聚焦于模型架构、数据或算法透明度。然而，这种解释往往与组织决策者的期望和专业知识脱节，导致他们难以理解并信任模型输出。在关键决策场景中（如人力资源管理），缺乏对模型行为逻辑的清晰认知会阻碍AI的有效采用。为此，研究者呼吁发展面向受众和具体情境的解释方法。本研究旨在填补这一空白，通过组织视角重新审视可解释性问题，利用人力资源管理（Human Resource Management，HRM）和组织行为学（Organizational Behavior，OB）中的成熟工具——选拔流程，为LLMs提供后验模型无关解释（post-hoc model-agnostic explanations），从而开发一种以组织为中心的可解释性方法。

**研究开展与结论**

研究人员以人格测试作为选拔工具的例子，对五个LLMs（GPT-4o、GPT-3.5 turbo、Gemini 2.0 Flash Lite、Gemini 1.5 Pro和DeepSeek-R1）进行HEXACO六维度人格评估（Honesty-Humility、Emotionality、eXtraversion、Agreeableness、Conscientiousness、Openness）。实验在两种条件（固定顺序或随机顺序）、两种版本（原始条目或改写条目）以及两种提示（强调诚实与否）下进行。此外，研究人员还评估了四个LLMs（GPT-4o、GPT-3.5 turbo、Gemini 2.0 Flash Lite和DeepSeek-R1）在工作行为（Counterproductive Work Behavior，CWB；Organizational Citizenship Behavior，OCB）和任务绩效（Task Performance，TP）上的表现。数据收集共分三波：第一波（约400次独立会话）在固定或随机顺序下测试原始人格量表；第二波（约400次）使用改写后的条目；第三波（约500次）增加工作行为测量并额外测试替代提示。结果表明，LLMs展现出显著不同的合成人格特质和工作行为特征，且答案受条件、条目措辞、提示和时间等因素影响。这些结果提供了一种新型的通过组织评估简化的后验模型无关解释，与组织决策者的期望一致，有助于发展以组织为中心的LLMs可解释性方法。该研究发表在《TECHNOLOGY IN SOCIETY》。

**关键技术方法（不超过250字）**

研究人员使用了HEXACO-60人格测试（Ashton & Lee, 2009）评估五个LLMs（GPT-4o、GPT-3.5 turbo、Gemini 2.0 Flash Lite、Gemini 1.5 Pro和DeepSeek-R1）的人格特质，以及任务绩效量表（Williams & Anderson, 1991）、组织公民行为量表（Lee & Allen, 2002）和反生产工作行为量表（Bennett & Robinson, 2000）评估工作行为。数据通过API请求收集，每模型进行400至500次独立会话，控制条件（固定/随机顺序）、版本（原始/改写条目）和提示（强调诚实与否）。改写条目由GPT-5生成并经语义相似度验证（平均余弦相似度0.9）。分析方法包括多层模型（multilevel models）和方差分析（ANOVA），计算部分η²值。

**研究结果**

**4.1 LLMs的合成人格及其答案影响因素**

通过多层模型分析，研究人员发现模型（model）对所有人格维度均有显著主效应（部分η²值在0.24至0.67之间，以Honesty-Humility和Emotionality最大）。条件（condition）对大部分特质有显著影响，但效应量较小（部分η² < 0.10），其中Openness和Extraversion受影响较大。版本（version）对Agreeableness和Conscientiousness影响显著（部分η²约0.04-0.05）。模型与条件的交互作用对所有特质显著，表明不同模型对顺序变化的敏感度不同。模型与版本的交互作用同样显著，例如DeepSeek-R1在Emotionality上原始版本得分更高，而Gemini 1.5 Pro在Conscientiousness上改写版本得分更高。条件与版本的交互作用较弱，仅Emotionality、Extraversion和Openness显著。三向交互作用（模型×条件×版本）显著但效应量很小。总体而言，人格测试得分在情境间并非恒定，条件、版本和模型本身共同影响结果。时间因素也带来变化：对比不同波次数据，多数模型在多次收集间有显著差异（如DeepSeek-R1在dc1-dc3间6个特质均不同），而GPT-4o相对稳定（dc1-dc3间4个特质不同）。提示变化（第三波 vs 重提示）对GPT-4o影响较大（3个特质显著不同），但对DeepSeek-R1和GPT-3.5 turbo无影响。

**4.2 LLMs的合成人格与组织结果的关系**

通过ANOVA比较三个工作结果（CWB、OCB、任务绩效）在不同模型间的差异，研究人员发现所有结果均有显著模型效应（p < 0.001），部分η²值分别为：CWB 0.66、OCB 0.47、任务绩效 0.47。事后检验显示模型间差异显著。进一步相关分析表明，人格特质与工作结果间存在预期方向的关系：正相关于OCB和任务绩效，负相关于CWB。例如，Honesty-Humility与CWB负相关，Extraversion与OCB正相关。

**讨论总结与结论翻译**

讨论部分总结了三点主要发现：LLMs表现出不同的人格特质得分；这些得分受条件、措辞、提示和时间影响；模型间在工作行为上存在显著差异。研究者强调这些结果不是基准测试，而是提供了一种组织中心的后验模型无关解释，通过组织评估简化版本，使组织决策者能更易理解。贡献包括：理论上，引入组织视角补充了可解释性文献，回应了面向受众重新思考可解释性的呼吁；方法上，重新设计了AI心理测量学方法，强调了情境化的重要性；实践上，提出了LLM选择与实施的四个步骤（任务分析、选项识别、选拔、整合）。局限性包括仅测试了少数模型（通过API，未包含本地模型）、改写条目由LLM完成可能存在循环性问题、未测试温度等其他因素。未来研究方向包括验证人格结果与实际行为（如谄媚、幻觉）的关联、整合更多选拔工具（如诚信测试、情境判断测试）、以及开发完整的组织选拔流程。

**研究结论部分翻译**：尽管组织正越来越多地部署生成式AI功能，但LLMs缺乏可解释性仍引发担忧。研究已呼吁采用更加以人为本和细致的方法来处理AI可解释性，超越当前盛行的技术视角。以人为本的方法在文献中逐渐受到关注，但仍存在一个缺失环节，即针对组织行动者专业知识和期望的组织中心方法。在本研究中，我们设计了一种通过组织评估简化的后验模型无关方法，基于成熟的HRM选拔流程。虽然完整的选拔过程需要结合多种选拔工具，但我们测试了人格评估方法，评估了五个LLMs（GPT-4o、GPT-3.5 turbo、Gemini 2.0 Flash Lite、Gemini 1.5 Pro和DeepSeek-R1）的HEXACO人格维度。我们还评估了四个LLMs（GPT-4o、GPT-3.5 turbo、Gemini 2.0 Flash Lite和DeepSeek-R1）的工作行为和任务绩效。结果表明，LLMs展现出显著不同的合成人格和工作行为。这具有多方面意义：首先，它是一种对组织行动者有意义的解释，他们易于理解并在处理LLMs时加以考虑；其次，它强调了LLMs的多样性，迫使决策者超越对技术的单一化表述；第三，结果提供了通过组织评估简化的后验模型无关解释，同时也引导决策者对LLMs保持一定怀疑和监督，从而有效限制自动化偏差。结果进一步表明，LLMs的答案不同程度地受评估情境影响。对条件、措辞和提示的实验性操纵显示，LLM评估并非直接了当，而是需要嵌入特定情境才能对组织行动者有效且有用。这进一步强化了在构建组织中心可解释性方法时进行组织特定设计的需求。通过突出组织层面的可解释性缺失环节并提出受HRM启发的途径，本研究重新思考了LLM可解释性，并发展了一种符合组织受众的方法，以促进对LLMs的理解和最终采用。