《Proceedings of the Design Society》:Designing a knowledge audit for human-AI knowledge augmentation: a study in a consulting firm
编辑推荐:
本研究提出了一种新的知识审计设计,重点关注咨询公司环境中的人机(AI)知识增强。它采用了一种混合方法范式,包括访谈、定量调查和社会网络分析(Social Network Analysis, SNA),以识别实践社区(Community of Practice,
本研究提出了一种新的知识审计设计,重点关注咨询公司环境中的人机(AI)知识增强。它采用了一种混合方法范式,包括访谈、定量调查和社会网络分析(Social Network Analysis, SNA),以识别实践社区(Community of Practice, CoP)内的障碍、促进因素和人工智能(AI)介导的流程。研究结果表明,强烈的动机和人工智能准备度与糟糕的文档记录和编码化并存。本文重新将审计定位为一种面向设计的工具,用于映射人机协作如何塑造组织知识成熟度。
### **面向人机知识增强的知识审计设计:论文解读**
#### **研究背景与问题**
在知识密集型行业中,咨询组织高度依赖持续的知识交流来维持专业能力并交付一致的项目成果。然而,大量知识以隐性形式嵌入经验中,难以有效捕获、检索或重用。传统的知识管理(Knowledge Management, KM)系统侧重于存储库和显性文档,未能捕捉咨询工作动态和人际互动的本质。隐性知识(Tacit Knowledge)是依赖于经验和情境、难以清晰表达或完全编码的知识,主要通过密切互动分享。因此,作为隐性知识非正式流通的宝贵见解,很少成为组织结构化记忆的一部分。
近年来,人工智能(Artificial Intelligence, AI)的进步通过引入机器生成知识的新形式,改变了组织的知识环境。在咨询实践中,人工智能元素的引入扩展了组织内可被视为知识的边界。人工智能辅助工具可以帮助自动化报告撰写、提取模式并提供交付成果,这些活动是对人类专业知识的补充而非替代。由此产生了一个核心问题:由人类与人工智能协作产生的“混合知识产品”应如何被编码、验证和共享?从这一视角出发,本研究将人工智能视为影响组织内知识生产、流通和重用方式的情境因素。
为了应对这些转变,本研究重新审视了知识审计,旨在探索如何设计并运用一种能够适应最新技术发展(特别是人工智能元素的纳入)的知识审计,以理解和改善组织的知识流。基于利博维茨(Liebowitz)关于“协作是知识管理核心”的观点,本研究将审计焦点放在内部实践社区(CoP)上,该社区由来自咨询集团内三个实体的七位知识专家和内部知识贡献者组成。研究旨在:(1)审计跨人类与技术系统的现有知识流;(2)揭示制约隐性知识交流的协作瓶颈;(3)为更具包容性和适应性的知识共享(包括将人工智能生成物视为合法知识来源)识别设计启示。研究围绕三个指导性问题展开:知识流如何在咨询组织的实践社区内外显现?影响隐性和编码化知识共享的障碍与促进因素是什么?如何设计知识审计以纳入新兴知识源(如人工智能生成物),同时支持协作和组织学习?
#### **关键研究方法**
为探究咨询团队内的知识流,本研究遵循了面向设计的混合方法路径。研究所指的“人工智能”特指生成式人工智能(Gen AI)系统,这些系统能产生与知识相关的输出(即“人工智能生成物”),如用于知识管理工作的摘要、草稿、建议和结构化笔记。研究聚焦于知识密集型实践社区,并将人工智能生成物作为知识源整合到审计设计中。
研究采用了社会网络分析(SNA)来可视化隐藏的知识关系,通过“最常用知识来源与渠道”问卷调查收集数据,并使用Gephi软件分析节点(个体或知识源)和边(知识流的存在与强度),以识别互动模式和跨项目团队的知识流通。
此外,研究还设计了一套混合方法审计工具,结合开放式问题和五点李克特量表(5-point Likert scale)调查,以捕捉知识流的结构和文化维度。开放式问题用于获取情景、瓶颈和流失风险等定性信息,而李克特量表则用于量化协作成熟度和知识共享文化。问题分为五个主题模块,人工智能相关问题被有意安排在最后,以减少技术启动效应,确保对人工智能机遇与风险的理解是基于观察到的知识交换缺口,而非脱离背景的意见。访谈数据经过文本预处理、语义嵌入和聚类分析,定量数据则通过统计分析(如斯皮尔曼等级相关)来揭示各维度间的关联模式。为确保分析严谨性,编码过程由两位独立的知识管理研究人员进行了同行验证。
#### **研究结果与发现**
**4.1. 开放式回答的见解**
从开放式回答中归纳出六个主导主题,反映了参与者在内部实践社区中知识创造与交换的经验。主题T1至T3捕捉了组织知识生态系统中的结构性瓶颈:跨实体的碎片化沟通、不一致的文档实践以及限制系统性重用的时间压力,这回应了研究问题一(RQ1)。主题T4至T5描述了知识共享的文化和动机促进因素(回应RQ2),揭示了知识传递仍依赖于个人主动性而非嵌入式的常规流程。主题T6将人工智能识别为影响文档和检索实践的情境因素(回应RQ3),参与者认为人工智能工具在总结项目成果、组织过往经验教训和提升知识可及性方面具有潜在价值。主成分分析(Principal Component Analysis)可视化结果从结构上验证了这六个主题。
**4.2. 李克特量表调查的定量结果**
调整后的平均得分揭示了李克特陈述项间不同的响应模式。陈述项S12、S13和S15得分最高,表明团队对协作文化有强烈信心,并对人工智能辅助知识工作持积极态度。受访者普遍认同其文化鼓励开放性(S12),认为人工智能能改善检索和总结(S13),并对个性化人工智能支持(S15)持正面看法。
相比之下,涉及文档一致性、知识编码化以及当前工具充分性的项目(如S3至S6和S8)得分显著较低,突显了在知识结构化和获取方面持续存在的挑战。S14项显示出最大的意见分歧,表明在人工智能支持的知识管理方面,对保密性的信任和担忧程度不一。
总体来看,五个模块(M1-M5)的均值和标准差(Standard Deviation, SD)反映了组织知识管理成熟度概况的不均衡发展:虽然文化和技术准备度(M4-M5)得分相对较高,但结构和文档相关方面(M1-M2)的一致性较差。这表明,对人工智能支持知识管理的动机和开放态度,强于组织编码化和检索知识的正式机制。
斯皮尔曼等级相关分析揭示了知识管理成熟度感知间的协同演化关系,并识别出四个强关联集群。集群一代表了专业知识可见性、支持性工具和社会认可之间的社会技术耦合。集群二反映了通过文档和协作惯例将隐性知识转化为编码化知识的过程。集群三结合了工具、信任和对人工智能介导过程的准备度。集群四则以文化开放性和对技术采纳的乐观态度为中心,表明社会文化准备度支持技术增强。
**4.3. 社会网络分析结果**
社会网络分析提供了受访者在组织内获取和交换知识的结构性概览。生成了两种类型的网络:人-源关系和人-人关系。可视化结果显示,内部知识源与外部知识源之间存在明显不平衡。受访者更频繁地依赖外部和公共资源(如网络搜索引擎和大型语言模型输出),而非内部文档。与外部节点更粗的连接线表明,检索和参考活动主要发生在公司存储库之外,反映了对内部知识进行更好管理和提升可见性的需求。
进一步的渠道过滤分析表明,面对面互动仍然是知识交换的主导渠道,其次是视频会议和即时通讯。这些同步渠道显示出更紧密的联系,证实了在寻求或分享知识时对直接、实时沟通的偏好。在内部,结果显示受访者更依赖同事而非静态文档,揭示了知识生产型实践社区内知识交换的社会嵌入性。这种对非正式沟通的依赖进一步凸显了人工智能辅助工具在捕获和形式化对话见解方面的机遇。
#### **讨论与结论**
本研究揭示了结构性不一致、文化因素和人工智能相关认知如何相互作用,共同塑造组织知识成熟度。鉴于样本量较小,研究结果应被视为针对所研究单位的特定情境。其可转移性在于这种针对知识密集型组织中类似实践社区的知识审计过程本身。
**针对研究问题的讨论**
针对研究问题一(RQ1),审计揭示知识交换主要是人际性的和社会嵌入的,而内部文档作用有限。该实践社区在检索知识时常常依赖外部来源,表明内部知识管理不善、可见性低。在社区内部,对话、即时通讯和面对面交流占主导,形成了强大但碎片化的社交网络。这些模式表明,知识审计必须超越清单式方法,去诊断互动依赖性,揭示关系交换如何维系但也制约知识的连续性。
针对研究问题二(RQ2),结果显示协作态度与一致的共享实践之间存在差距。尽管受访者表达了对同事的信任和帮助意愿,但知识传递仍是情境性的,受时间压力和缺乏结构化流程限制。这种高动机与弱程序嵌入的二元性意味着,文化成熟度不能仅通过感知来评估。因此,审计提供了一个跨三个层面评估知识共享成熟度的框架:态度层面(信任与开放)、行为层面(共享频率)和程序层面(标准化与文档化)。
针对研究问题三(RQ3),参与者认识到人工智能在改善知识检索和总结方面的潜力,但也对其可靠性、保密性以及机器生成内容的解释质量表示担忧。研究并未将人工智能定位为自主协作者,而是将其概念化为影响知识生产、流通和验证方式的环境条件。知识审计的成果可用于探索基于所揭示用户需求的功能性知识管理规范。
**贡献、局限与结论**
本研究重新构建了面向混合人机环境的知识审计。与传统知识审计相比,本研究的创新主要体现在三个方面:1)将知识审计重新概念化为一种面向设计的工具;2)引入了“人工智能作为情境因素”的概念,将传统审计从纯人类系统扩展到将人工智能生成物视为合法但需治理的知识来源;3)聚焦于知识生产型实践社区,而非一般的项目团队,为其他以专业知识创造为主导的研究驱动型场景提供了可应用的模型。
研究存在若干局限性。研究范围是探索性的,仅限于单一组织环境下的一个小型实践社区。对人工智能维度的考察停留在认知层面,而非通过原型实施。未来研究应将审计扩展到更大的数据集、跨行业背景,并对人工智能支持的知识工具进行实时评估,以验证其可扩展性。
**结论部分**,本研究重新构建了面向混合人机环境的知识审计。它表明,组织知识成熟度是系统性的,从隐性知识到显性知识的转化仍然是最薄弱的环节,而人工智能准备度可作为适应能力的指标。在实践层面,研究结果为设计混合方法审计提供了方法论基础,该审计能同时评估正式存储库和社会交换动态。在概念层面,研究将知识审计定位为人类协作与技术增强之间的反思性桥梁,为寻求审计知识演化方式的组织提供了一个蓝图。
未来研究将涉及通过原型设计优化人机协作。通过识别人工智能干预现有知识流的切入点,未来工作旨在将审计结果转化为社会技术系统的设计指南,以更好地支持组织内部的知识增强。