《Frontiers in Psychology》:New knowledge source pipelines for sociocultural representations in a cognitive architecture
编辑推荐:
引言:随着大语言模型(LLM)及相关规模化知识系统日益普及,理解这些系统无处不在的下游影响十分重要。LLM(按当前实例化方式)主要利用预训练识别的偏斜训练数据与模式输出文本。此类系统的数据集主要采集自WEIRD(西方、受教育、工业化、富裕、民主)社会,且常成问
引言:随着大语言模型(LLM)及相关规模化知识系统日益普及,理解这些系统无处不在的下游影响十分重要。LLM(按当前实例化方式)主要利用预训练识别的偏斜训练数据与模式输出文本。此类系统的数据集主要采集自WEIRD(西方、受教育、工业化、富裕、民主)社会,且常成问题地再现了WEIRD社会中被边缘化、被剥削群体的表征。该数据处理过程导致表征不均,使潜在文化洞见偏斜,而LLM复杂结构又模糊了阐明模型内部问题性社会文化结构表征全貌的任务。方法:将LLM与基于过程的计算认知模型及架构(如ACT-R)结合,为理解这些系统对人类认知过程的影响提供了潜在途径。研究人员提出两个系统,将ACT-R架构与可扩展性更强的全息(向量符号)记忆表征结合——一个使用LLM,另一个使用ConceptNet语义网络——并借助内隐联想测验(IAT)的认知模型比较两系统。结果:两系统均有用,但研究发现基于ConceptNet的系统通过记忆对社会文化结构表征影响行为的路径更接近IAT人类数据。尽管如此,两系统都代表了以更具认知相关性、更合理且更可泛化至真实人类行为的方法,探查和评估此类知识系统(本例中为ConceptNet与Llama3.2)的机会。讨论:尽管此处以IAT这一相对简单任务建模,结果指向一个独特而有力的机会,可深化理解这些(及相关)系统的 ubiquitous 对现存社会文化知识与结构(尤其是那些支撑问题性、种族化人类表征的结构)传播与自举意味着什么。
研究背景与动机
随着大语言模型(LLM)及规模化知识系统在日常决策与信息获取中的深度嵌入,其输出并非中性,而是复现并强化既有社会文化结构(如反黑人种族结构)。现有LLM训练语料多源自WEIRD社会,对边缘群体表征存在系统性偏斜,而其黑箱特性又阻碍了对内部社会文化知识结构的澄清。与此同时,LLM正成为人类传输记忆(transactive memory)的延伸,进一步放大了问题性结构向认知层面的渗透风险。为在认知时间尺度上评估这种渗透,研究人员指出需超越“偏差”叙事,转而将LLM视为可提取的社会文化关联源,并将其置于计算认知架构中考察其对陈述性记忆及决策的影响。本文发表于《Frontiers in Psychology》,正是为回应上述需求,提出将大规模信息表征系统作为ACT-R陈述性记忆主源的新型流水线。
关键技术方法
研究采用ACT-R(Adaptive Control of Thought–Rational,混合符号—亚符号认知架构)为主干,将其原生陈述性记忆模块替换为全息陈述性记忆(HDM,基于向量符号架构VSA的BEAGLE变体),以实现大规模语料的可扩展检索。知识源方面并行接入ConceptNet(含Numberbatch语义向量)与Llama3.2两类系统,以IAT(种族版,五块设计、congruent/incongruent条件)为行为范式,种子词分All/Black/White三套,经停用词预处理后以整语料或三元组_chunk形式注入HDM。认知模型在LISP版ACT-R中实现,通过视觉模块编码刺激、陈述性检索映射按键、运动模块输出,以d-score(反应时差/合并标准差)为指标,对比两知识源下模型与人类IAT数据的拟合度。
研究结果
2 背景
2.1 ACT-R:界定其为混合架构,符号chunk存于陈述性记忆,亚符号激活方程控检索;模块含目标、意象、时间、陈述性及程序记忆,程序记忆以产生式规则串行瓶颈运作。
2.2 向量符号整合:HDM以高维向量替代离散chunk,环境向量evalue与记忆向量mvalue经置换绑定与循环卷积叠加,检索由余弦相似度阈控,激活A=ln(C2/(1-C2)),提取时间T=F·e-Ai,噪声以高斯项ηΔt n直接加于记忆向量。
2.3 ConceptNet:常识知识图谱,以加权三元组断言连接概念,Numberbatch向量融合word2vec与GloVe,便于与向量系统对接。
2.4 Transformer架构:自注意力消除序列递归,LLM由大规模语料习得上下文语义关联,可作为社会群体—属性隐含关联的可控抽取源。
2.5 社会文化视角:语言模型关联非单纯误差,而是底层社会文化结构的信号;WEAT已证词嵌入含类人联想,LLM在生成层仍保此结构。
3 方法
3.1 架构流水线:Python端种子词→外部知识源(ConceptNet本地实例或Llama3.2)→HDM编码→LISP ACT-R IAT模型,反馈环至种子词。
3.2 IAT任务:采用Peirce等种族IAT,pleasant(joy, pleasure, happy, love, good)与非pleasant(bad, agony, evil, hurt, nasty)属性分别映射Black/White人脸,block1/2/4训练、block3/5测试,d-score正为偏好congruent(白—愉快),负为黑—愉快隐含联想。
3.3 ACT-R模型:陈述性chunk含probe/race/valence槽,:lf=0.2,检索失败击哑键;HDM接Ray & Dancy 2025的LISP适配,默认Kelly等2020噪声与阈值。
3.4 文本语料作HDM输入:停用词清洗后整行左到右存储关联;ConceptNet取surfaceText句(限英语、权≥2.0、每概念≤100邻),LLM以Llama3.2生成句,表1显示LLM句数更匀、余弦互似度0.56–1.0,ConceptNet稀疏(如black_person无返回)。
结果(续)
运行IAT模型后,ConceptNet为源的HDM在congruent与incongruent块反应时差模式上更接近已发表人类IAT数据;LLM为源虽亦产生可解释偏向,但匹配度弱于ConceptNet。两源均成功驱动ACT-R完成按键决策,证明外部知识系统可作陈述性记忆主源,且HDM检索机制能承载社会文化结构向认知行为层传递。
讨论与结论翻译
讨论部分指出,尽管本研究仅以相对简单的IAT建模,结果仍揭示了一个独特而有力的契机,可深化理解这些(及关联)系统的普遍存在,对既有社会文化知识与结构——尤其是那些维系问题性、种族化人类表征的结构——之传播与自举意味着什么。结论重申:两系统皆有用,但基于ConceptNet的系统经记忆中介的社会文化结构对行为之影响更贴近IAT人类数据;二者共同提供了以更具认知相关性、合理且可泛化至真实人类行为之方法,评估ConceptNet与Llama3.2等知识系统的路径,推动对LLM复现社会文化结构如何影响用户世界观与中介认知过程之探究。