《Frontiers in Artificial Intelligence》:Corpus-level behavioral intensity in human–AI conversations
编辑推荐:
对话生成模型越来越多地用于通过多轮交互生成、转换和修订信息。然而,大型人类–AI数据集仍通常从性能、偏好或内容视角进行分析,导致对话级行为结构的可操作化不足。本研究提出一个透明的基于规则的框架,用于估计持久性、任务委托相关词汇模式,以及精炼相关词汇标记,而不推
对话生成模型越来越多地用于通过多轮交互生成、转换和修订信息。然而,大型人类–AI数据集仍通常从性能、偏好或内容视角进行分析,导致对话级行为结构的可操作化不足。本研究提出一个透明的基于规则的框架,用于估计持久性、任务委托相关词汇模式,以及精炼相关词汇标记,而不推断心理依赖。研究人员以LMSYS-Chat-1M和WildChat作为主要对话语料库进行分析,同时将Chatbot Arena作为结构上有条件的A/B比较器。在1,879,085条有效分析记录中,研究人员计算了交互持久性因子(IPF)、对话委托比率(CDR)、自我精炼得分(SRS)和对话行为强度指数(CBII),以及一个等权控制版本。WildChat显示最高的平均CBII(0.2463),其次是LMSYS-Chat-1M(0.2123)和Chatbot Arena(0.1762)。这一排序在语言控制、IPF阈值5、10和20个用户轮次,以及Chatbot Arena的问题级分析下保持稳定。两两效应量小到中等,最大对比出现在WildChat和Chatbot Arena之间(Cohen's d = 0.363)。
对话生成模型已使人类与AI之间的交互成为日常的信息搜寻、生成与修订活动。然而,现有评估多集中于模型性能、用户偏好或内容主题,较少涉及对话本身的行为结构。大型开放对话语料库虽规模庞大,但缺乏可直接从结构化和文本痕迹中计算、可审核且无需推断用户心理状态的描述层。已有研究多基于调查、实验或定性分析,难以应用于大规模语料库。因此,需要一种轻量、透明且可复核的指标框架,用于描述对话层面的可观察行为特征。本研究旨在填补这一方法论空白,提出并验证了一套基于规则的行为指标系统。
研究人员使用了LMSYS-Chat-1M、WildChat和Chatbot Arena三个公开数据集,其中前两者作为主要对话语料库,后者作为结构上有条件的A/B比较器。在过滤后共获得1,879,085条有效分析记录。研究人员计算了三个核心成分:交互持久性因子(IPF,反映用户连续参与对话的轮次强度)、对话委托比率(CDR,反映用户消息中显式任务请求词汇的比例)和自我精炼得分(SRS,反映用户消息中修正或精炼词汇标记的比例)。三者的加权组合构成对话行为强度指数(CBII),并设置等权版本CBII_equal作为敏感性对照。结果表明,WildChat的平均CBII最高(0.2463),LMSYS-Chat-1M居中(0.2123),Chatbot Arena最低(0.1762)。该排序在仅英语、英语+西班牙语子集以及IPF阈值5、10、20下均保持稳定,两两效应量显示差异为小到中等。这一框架的意义在于提供了一种可审计的语料库级描述层,可在更复杂的语义分析或人工编码之前快速刻画对话行为模式,且不将行为痕迹等同于心理依赖。
研究人员用到的关键技术方法主要包括:对三个数据集分别进行规范化与有效性过滤,保留满足最少轮数(总轮数≥2)、有用户和助手回复、文本长度≥20字符且无重复标识的对话,形成最终分析样本;使用预先定义的英语和西班牙语词典,通过正则表达式仅对用户消息进行匹配,计算任务委托标记(如write、generate、create等)和精炼标记(如improve、change、rewrite等)的出现比例;构建加权复合指数CBII(0.40IPF+0.35CDR+0.25SRS)及等权版本CBII_equal;实施语言控制(全局、英语、英语+西班牙语)、IPF饱和度阈值(5、10、20)敏感性分析、基于自助法(bootstrap)的95%置信区间和效应量(Cohen's d、Cliff's delta)估计、Chatbot Arena问题级控制、第一提示的SHA-256哈希重叠检测,以及单轮结构控制。
结果部分的详细发现如下:
4.1 数据集有效性和分析覆盖度
过滤后各数据集保留率均超过98%,但分析单位并不等价。LMSYS-Chat-1M保留990,758条有效对话,WildChat保留822,408条,Chatbot Arena保留65,919条A/B候选记录。由于Chatbot Arena原生为配对比较设计,同一用户提示可对应两个模型响应,因此被视作条件比较器而非完全等效的对话语料库。主要排除原因在各数据集中不同:LMSYS多为短对话和无助手回应,WildChat多为重复标识,Arena过滤损失极小但需问题级控制。
4.2 行为指标描述性矩阵
描述性统计显示,WildChat在IPF(0.2210)、CDR(0.3773)、SRS(0.1035)和CBII(0.2463)上均取得最高均值,LMSYS-Chat-1M居中,Chatbot Arena最低。其中CDR在所有数据集中均为最高成分,SRS最低,表明任务委托词汇标记比精炼词汇标记更为常见。IPF因数据集而异,但并非唯一决定因素。
4.3 CBII的分布与成分结构
平滑密度曲线和经验累积分布显示,WildChat整体向高CBII方向移动,Chatbot Arena集中于低分区,LMSYS-Chat-1M介于两者之间,表明存在语料库级别的系统性位移而非仅均值差异。特别地,Chatbot Arena的较低CBII主要源自IPF(0.1190)和SRS(0.0709)较低,而CDR(0.3168)仍与其余数据集接近。整个分布内部重叠较大,说明指数总结的是异质性结构,而非平台固定特征。
4.4 语言控制与两两效应量
在全局、仅英语和英语+西班牙语子集中,CBII排序均不变,说明词典覆盖并非排序的决定因素。WildChat在英语子集中均值上升更明显,但所有数据集顺序保持不变。两两比较中,WildChat与Chatbot Arena的均值差最大(0.0701,95% bootstrap CI [0.0676, 0.0725]),Cohen's d=0.363,Cliff's delta=0.253,属于小到中等效应;涉及LMSYS的对比效应更小,说明差异稳定但不极端。
4.5 健壮性与方法控制
使用等权CBII_equal后排序仍为WildChat最高、LMSYS居中、Arena最低,且两种指数高度相关(Pearson=0.9914,Spearman=0.9876)。IPF阈值在5、10、20之间变化时,绝对水平改变但排序不变。Chatbot Arena在问题级分析中获得32,980条记录,平均CBII为0.1763,与A/B结果几乎相同,但分析单位更适用于用户侧解释。单轮用户结构在Arena中占88.27%,明显高于LMSYS(66.29%)和WildChat(60.16%),与其最低CBII一致。第一提示的哈希重叠检测显示数据集间精确重合极低,证明比较并非基于相同提示。
讨论部分指出,CBII不诊断心理依赖、