表情符号词汇化进程的眼动追踪研究：频率与句法功能对认知加工机制的调控作用及其在数字健康沟通中的意义

本综述基于眼动追踪技术，系统探讨了表情符号（Emoji）在句子加工中的词汇化进程。研究发现高频表情符号在首次注视时间（FFD）和总注视时间（TFD）上表现出与文字相似的加工优势，而前文表情符号（Pro-text emojis）因需图像-语言转换导致整合时间延长。研究揭示了表情符号频率与句法功能对认知神经机制的协同调控作用，为数字健康沟通中的多模态信息设计提供了实证依据。

　　

引言：数字时代语言符号系统的动态演进

表情符号在在线聊天文本中的插入已成为数字时代普遍的表达形式，其通过复制书面交流中的面部表情，使使用者能够将非语言情感线索注入在线文本，从而更生动准确地传递信息。这些符号不仅捕捉发送者情感的细微差别，还提供关键语境线索，使接收者能够准确解读发送者意图。

在"文本-表情符号"交互中，两种信息传输模式通过共享概念框架进行整合，有效传递综合意义。多模态整合研究表明，手势、动画和图像可促使观察者从图片或手势中提取与标准词语同样可靠的语义和语用推论。表情符号作为数字交流中的手势功能，可增强对间接言语的理解，并在语义、语用及句法层面与书面文本产生交互作用。

研究方法论：实验设计与技术路径

本研究采用G*power 3.1软件进行功率分析，设定重复测量中等效应量为0.25，α值固定为0.05。计算表明要达到0.95的统计功率至少需要66名参与者，最终招募98名四川大学汉语母语者（26名男性，72名女性），平均年龄20.78±2.29岁。所有参与者视力正常或矫正至正常，无色盲或散光，无神经或精神疾病史。

实验使用Tobii Spectrum眼动仪（采样频率1200 Hz，精度0.5°）进行，在四川大学中华文化传承与全球传播数字集成实验室完成。实验材料选自Emojipedia.org的10个高频和10个低频表情符号，均不含文本或表情元素，每个表情符号代表名词类实体且具有明确含义。目标句子采用"这/那+量词+目标词+很+形容词"的句法结构，确保目标词不位于句末以避免句子末端处理产生的额外阅读时间。

结果分析：眼动指标的深度解析

总注视时间（TFD）分析显示，高频表情符号在"共文表情符号"（Co-text emojis）条件下的TFD显著短于低频表情符号在"前文表情符号"（Pro-text emojis）条件（p<0.0001）。简单效应分析表明，在高表情符号频率下，"共文表情符号"的因变量比"双词"条件平均低54.77（t=-9.273，p<0.0001）；在低频率下，"共文表情符号"和"前文表情符号"之间的估计差异为-263.57（t=-44.626，p<0.0001）。

首次注视时间（FFD）数据显示，在低频率下，"共文表情符号"条件的FFD显著长于"双词"条件（t=4.292，p=0.0004）。简单效应分析显示，当目标为共文表情符号时，"高-低"差异估计为-13.443（t=-2.368，p=0.0210）；当前文表情符号时，"高-低"差异为-29.584（t=-5.212，p<0.0001），表明表情符号频率水平对因变量影响极显著。

兴趣区内眼跳次数（NSA）结果表明，文本通常引发较少的眼跳，但不同功能条件下的眼跳行为比例存在差异。前文表情符号条件下眼跳数比例分别达到15%和25%；纯文本条件下眼跳行为比例分别为32%和31%。线性模型未揭示任何交互效应，频率主效应不显著，仅使用方式主效应显著。

讨论：认知加工机制的多维阐释

频率对表情符号处理的影响

使用频率对FFD和TFD均产生显著影响，但不影响眼跳次数。较高使用频率对应较短FFD和TFD值，这一结果印证了E-Z Reader模型关于词频是词汇识别关键因素的假设。高频表情符号的视觉特征可能更典型、更具代表性，视觉系统更容易快速捕获和处理。由于频繁接触，读者对高频表情符号的视觉模式形成特定记忆和感知习惯，能更有效地进行视觉编码和识别。

低频前文表情符号的总注视时间比高频长200ms，表明其处理阶段耗时更长。另一个导致低频表情符号TFD较长的因素是语义标准化不足：当参与者遇到此类表情符号时，其心理词典中可能没有明确、社会共识的含义可供直接获取，仅从视觉特征推导含义具有挑战性。相比之下，前文表情符号通过长期使用实现词汇化，形成固定的语义导向。

句法功能对处理机制的调节作用

三种眼动指标在不同实验条件下的差异结果为我们探索高频前文表情符号是词汇化表情符号提供了实证支持。当前文表情符号出现在汉语句子中时，它通常比相同语义语境中的词引发更长的注视时间；相反，共文表情符号的总注视时间短于词语。这种差异源于使用模式不同导致表情符号在文本中的作用不一致，进而产生不同的处理机制。

在句子理解的早期识别处理阶段，参与者对前文表情符号表现出相对较长的首次注视时间，但对共文表情符号的识别速度与词语相同。这可能是因为非面部表情符号在文本中的出现不可预测，这种稀有性可能吸引参与者注意。此外，表情符号的图片性质 inherently 使它们比纯文本更引人注目。

高频前文表情符号的FFD比汉字稍长（18ms），这可能与本研究以汉语为刺激的特殊实验材料有关。由于在日常交流中频繁出现，人们对常用前文表情符号的含义和功能非常熟悉，就像熟悉常用词语一样，这种高度熟悉性使大脑在处理时能快速识别和理解，无需花费额外时间解读其含义。

在整合阶段，高频前文表情符号需要比汉字更长的总注视时间（50ms），而共文表情符号的总注视时间短于汉字。为确定阅读时间差异是否仅源于读者遇到表情符号时的惊讶，我们进行了额外分析，比较实验开始和结束时的刺激材料阅读时间。与预期相反，实验结果模式（前文表情符号阅读时间最长，其次是共文表情符号，词语最短）始终保持一致。

Roman Jakobson（1960）提出，当表意符号出现时，发送者通过特定代码将其转换为文本（即语言形式），然后通过媒介传输给接收者。前文表情符号处理时间较长正是因为它首先需要转换为相应的语言概念，而文本可以直接被大脑处理，这个额外的转换步骤增加了前文表情符号的整体处理时间。

共文表情符号的总注视时间短于汉字正好解释了为什么表情符号如今在互联网上如此流行。一方面，阅读习惯起作用：汉语母语者随着时间的推移形成了以文本为中心的阅读策略，高度精通文本信息的处理和整合，这已成为自动化过程。当表情符号与文本混合时，读者本能地优先处理文本，将表情符号视为视觉辅助工具，可以快速扫描其含义，从而减少长时间注视的需要。其次，伴有文本的共文表情符号处理时间较短是因为受到直接出现在其前的正字法词语的启动效应的影响。

实验中，低频表情符号检测到的NSA极少。这可能是因为对受试者而言，处理这些用作替代的前文表情符号时，必须首先将它们转换为相应的语言概念，然后将此信息与文本整合。由于这些表情符号使用频率低，受试者对它们不太熟悉，因而无法快速掌握其含义。因此，受试者难以跳过这些表情符号，需要仔细处理这些符号以确保句子语义内容的完整性。

结论与研究展望

本研究聚焦表情符号的处理，特别是高频前文表情符号。以汉语句子为刺激，通过眼动实验探索了表情符号的处理路径及使用频率和句法功能对该过程的影響机制。实验结果揭示了表情符号处理的三个核心模式：

使用频率对早期和晚期处理阶段均产生显著影响，高频表情符号表现出较短的首次注视时间（FFD）和总注视时间（TFD），能够像词语一样快速识别和高效整合。相比之下，低频表情符号因语义标准化不足需要更长的处理时间。表情符号的语言学功能调节处理机制：对于前文表情符号，其低使用频率导致注视时间延长，增加注意力需求和整合难度；对于共文表情符号，早期处理阶段的FFD与词语相当，整合阶段的TFD更短——这一特点与读者的阅读习惯和整体认知模式一致。兴趣区内眼跳次数（NSA）不受频率影响，表情符号与该指标中的文本无显著差异，这种稳定性源于汉语读者对图形符号的固定整体处理模式和以文本为中心的阅读策略，反映了表情符号与文本在视觉语义处理方面的内在相似性。

本研究证实表情符号正逐渐融入日常交流，高频前文表情符号的处理与标准词语相似，更重要的是验证了汉语语境中的高频前文表情符号已实现词汇化，从而验证了Storment（2024）提出的表情符号词汇化理论。使用频率和表情符号在句子中的功能共同影响表情符号处理：高频表情符号在识别和整合中获得优势，而前文表情符号和共文表情符号通过功能位置差异改变其在文本中的作用。

方法论上，使用汉语作为实验材料为相关研究提供了新视角：汉语具有显著的语义预览优势，并与表情符号共享紧凑的空间语义特征，为符号处理研究提供了独特切入点。同时，应用眼动追踪技术对早期FFD和晚期TFD处理阶段进行精细化分析，丰富了表情符号词汇访问的实证数据。

本研究存在一定局限性：首先，视觉特征（如复杂度和饱和度）未标准化，da Silva等（2024）发现颜色显著影响表情符号情感解码，凸显未标准化的视觉特征（如颜色）可能给表情符号处理研究带来混淆变量。其次，实验材料仅限于汉语，限制结论的普适性——表意文字的唯一处理模式可能不同于依赖线性字母排序的字母语言。第三，静态实验室阅读范式与真实社交媒体的动态多模态环境不一致，导致生态效度有限。

未来研究可在以下方面改进：使用EMO-DB等工具标准化视觉特征，从而分离频率效应和语义效应；扩展至字母语言和其他语言的跨语言比较，以阐明表情符号处理的普遍符号机制和语言特定特征；采用移动眼动追踪技术构建生态范式，捕捉自然数字交流中的实时处理，揭示语境变异性和多感官整合规律。解决上述局限将进一步提升结论的有效性和普适性，促进深入探索表情符号在语言交流中不断演变的角色。