参与度能否预测学龄前儿童从屏幕互动中学习的效果？行为参与度与整体参与度测量方法的比较

《Frontiers in Developmental Psychology》：Does engagement predict preschoolers' learning from on-screen interactions? A comparison of behavioral and holistic engagement measures

　　摘要
引言：幼儿使用屏幕的频率很高，尽管关于从屏幕上学习的证据并不一致。参与度（包括努力和坚持）可以通过可观察的行为或整体评价来衡量，这可以预测在真实情境中的学习情况。那么，参与度的衡量标准能否预测儿童在屏幕情境下的词汇学习呢？

方法：36名平均年龄为38个月的儿童被展示了四个新物体（及其新功能），其中两个物体被赋予了新的标签（“教学”）。在三项选择词汇识别测试中，儿童听到这些新标签后需要指出被标记的（目标）物体。我们通过以下方式评估参与度：(1) 由两名独立编码者通过网络摄像头视频进行编码；(2) 通过家长和实验者的整体评价（六个问题）。

结果：尽管三种参与度衡量标准之间存在显著相关性，但只有实验者的整体评价能够显著预测词汇学习（即正确指出目标物体）。我们的三种衡量标准似乎都在评估参与度的核心概念，但涉及了参与度的不同方面。

讨论：令人惊讶的是，只有实验者的整体评价（这种评估方式耗时较少）能够预测词汇学习。如果参与度能够预测幼儿在屏幕任务中的词汇学习，这可能对儿童屏幕媒体的设计具有重要意义。

1 引言
儿童使用屏幕的频率很高，并且这一趋势正在急剧增加（Barr等人，2019；Mann等人，2025；Neophytou等人，2021），2至4岁的儿童每天使用屏幕媒体的时间超过2小时，到4岁时，超过一半的儿童拥有自己的平板电脑（Mann等人，2025）。大部分屏幕时间用于观看视频（Mann等人，2025），尤其是为他们制作的内容，有时这也是家长用来让他们保持忙碌的一种策略（Anderson和Pempek，2005）。令人惊讶的是，尽管许多教育类屏幕媒体都是针对幼儿设计的（Heintz和Wartella，2012），但他们可能难以从屏幕上学到那些通过面对面互动可以轻松学到的知识（例如，Anderson和Pempek，2005；Barr，2010；Kirkorian，2018；Krcmar，2010；Troseth，2010；Tsuji等人，2021）。然而，在某些条件下，屏幕学习的效果可以与面对面学习相当（Gaudreau等人，2020；Myers等人，2017；Roseberry等人，2014；Sommer等人，2023；Strouse和Samson，2021），因此了解儿童何时可以从屏幕上学习非常重要。在这里，我们具体探讨了参与度水平是否可以预测新词汇的学习情况，以及不同的参与度评估方法是否具有相同的预测能力。

学习者的参与度可能预测学习效果（例如，Duval等人，2017；Egbert等人，2021b；Russo-Johnson等人，2017；Smogorzewska等人，2022），并且可能是学习所必需的（Aguiar和McWilliam，2013）。对于处于面对面（即非屏幕）互动情境中的儿童，行为参与度（学习者的参与度、注意力、努力和坚持）可以预测计算机编程的成绩（Egbert等人，2021a），而教师报告的参与度可以预测语言学习（Smogorzewska等人，2022）。同样，当屏幕使用由儿童控制且具有互动性时（例如，当儿童控制触摸屏上的操作时），与儿童无法控制的情况相比，儿童的动机和学习效果会更好（Courage等人，2021；Duval等人，2017；Myers等人，2019）。例如，在语言治疗练习中，儿童使用平板电脑重复或产生单词和句子的积极性比在面对面互动时更高（Duval等人，2017）；在另一项任务中，2至4岁的儿童在能够点击和拖动平板电脑时表现出更好的词汇学习能力（Russo-Johnson等人，2017），这表明与平板电脑的互动和参与度对学习很重要。这些发现与研究表明，在学习过程中增加控制权和激励措施（例如，通过游戏化来教授思维/阅读策略）可以增强学习效果（Nand等人，2019）一致。因此，参与度在面对面和屏幕互动情境中都显得至关重要，尽管两者之间存在差异。

可能影响参与度在学习中作用的因素包括，屏幕视频或视频聊天可能缺乏面对面互动情境中的某些特征。在面对面互动中，有四个关键特征可以向儿童表明正在呈现重要信息：针对儿童的社会线索、对儿童物理环境的意识、实时提示以及条件性互动（Myers等人，2017；Roseberry等人，2014）。儿童控制的屏幕互动（例如，平板电脑应用程序）通常缺乏前两个特征，但保留了实时提示和条件性响应。非互动视频通常缺乏所有四个特征，因为它们涉及预先录制的内容，其中角色之间相互互动（而非针对儿童）或对着摄像头说话（不依赖于儿童）。即使是视频聊天互动，这些特征也存在退化版本——由于摄像头位置的原因，伙伴之间的社会线索可能不一致，对儿童环境的了解可能不完整，或者响应可能会延迟（Barr等人，2019；Myers等人，2017；Roseberry等人，2014）。实证研究表明，在COVID-19期间，通过远程学习与面对面学习相比，儿童的参与度较低（Tao和Gao，2022），这表明虽然在线教学具有互动性（但不是儿童控制的），但其吸引力可能较低。

虽然参与度在某些情境下对学习至关重要（例如，Duval等人，2017；Egbert等人，2021a；Russo-Johnson等人，2017；Smogorzewska等人，2022），但关于参与度是否能够预测非完全由儿童控制的互动（例如，视频聊天）或非互动性活动（例如，观看视频）中的学习效果，直接证据很少。参与度通常通过行为编码或整体评价来衡量（Appleton等人，2008；Busselle和Bilandzic，2009；Richardson等人，2020；Yazzie-Mintz，2007）。行为测量通常需要独立编码者对视频录像中的每个行为进行标记（Finn和Vandermaas-Peeler，2013；Lussier等人，1994；Roskos等人，2014；但参见McCormick等人，1998关于实时编码的研究或Fraile等人，2022关于自动化的潜力）。编码的行为参与度已经预测了学术技能（Halliday等人，2018；Ponitz等人，2009）、读写技能（Williford等人，2013）、故事理解能力（Xu等人，2021）和词汇学习（例如，Fender等人，2010；Strouse等人，2018）。例如，Strouse等人（2018）通过预先录制的视频或视频聊天展示了3D物体并提供了新标签；儿童可以独立观看教学演示，或者与模仿屏幕行为的家长一起观看。根据行为编码，30个月大的儿童在条件性（视频聊天 vs. 预先录制的视频）和响应性（有响应的家长）情境下参与度更高；然而，只有家长的响应性增强了词汇学习。

另一个使研究难以比较的因素是参与度的测量方式不同。行为编码提供了关于参与度的详细信息，可能包括会话内的变化，但获取这些信息耗时较长（Hospel等人，2016）。相比之下，整体参与度测量使用参与者、观察者在会话期间的评价（Egbert等人，2021a；Hospel等人，2016；Norling等人，2015），或来自视频的评价（de Haas等人，2020；Doctoroff和Arnold，2017）。在一项关于计算机编程课程的研究中，来自实验者、教师和学生的整体评价似乎与更好的学习效果相关（Egbert等人，2021a）。整体测量比行为编码更简单，但通常缺乏详细的细节（Hospel等人，2016）。此外，对于整体评价，目前尚不清楚评价者（例如，实验者或参与者）是否对预测学习效果有影响。

无论是行为测量还是整体测量，都尚未被广泛用于评估视频或视频聊天情境中的参与度。我们将参与度定义为保持任务专注或不受干扰的能力（Hirsh-Pasek等人，2015），包括持续的努力和参与体验的意愿（Lauricella等人，2017），并从行为和整体两个方面评估参与度，以确定它是否能够预测学习效果。在一项屏幕研究中，我们教2至4岁的儿童两个新物体的新标签，然后通过让他们在听到标签后指出物体来测试他们的学习情况。参与度通过行为编码（通过网络摄像头录像）和整体评价（由实验者和家长独立完成的儿童参与度问卷）来衡量，因为家长对孩子行为的熟悉程度与实验者对任务的熟悉程度可能不同。我们将词汇学习视为这个年龄段儿童可以通过屏幕完成的任务（例如，Strouse等人，2018），这可能对设计教育类屏幕媒体有影响，这类媒体通常针对词汇教学（Danielson等人，2019；Hirsh-Pasek等人，2015）。我们通过行为和整体评价来衡量参与度，以探讨这两种类型的测量方法是否都能预测学习效果。

2 材料与方法
2.1 参与者
参与者为36名健康的儿童（平均年龄38个月4天，范围21个月0天至51个月0天；16名女性），根据家长报告，他们没有听力问题或认知迟缓的诊断。一名被诊断为语言迟缓的儿童的数据被保留下来，因为这种诊断不是处理迟缓，且该儿童能够参与研究。参与者通过当地托儿所、Facebook家长群组和国际在线招募网站招募。研究完全在线进行，要求家长能够使用电脑和互联网完成研究。参与者至少有33%的时间接触英语或法语（研究可以使用的语言），并根据家长对儿童语言能力的评估，用英语（31名）或法语（5名）进行测试。

在MacArthur-Bates沟通发展量表（MCDI；Boudreault等人，2007；Fenson等人，2000）中，参与者在测试语言中产生的平均词汇数量为75个（范围32-100个）。如果互联网/设备参数不允许进行研究，则排除潜在参与者。另有24名儿童因以下原因被排除：技术故障（7名）、参与者意外终止研究（3名）、烦躁不安（3名）、之前接触过类似研究（1名）、未能在第二天返回（1名）以及明显不理解词汇识别任务（9名；见第3.1节）。我们收集了一名或两名家长的教育水平信息。在最终纳入分析的36名参与者中，完成研究表格的家长中，最高教育水平为博士学位/医学博士/专业学位（31%，n=11）、硕士学位（50%，n=18）、四年制高等教育学位（17%，n=6）或职业/高中学位（3%，n=1）。该研究获得了相关大学伦理委员会的批准。家长被告知研究旨在探讨幼儿如何在线学习。家长提供了书面同意书，儿童在整个研究过程中也表示同意。参与本研究完全是自愿的，家长和儿童都被告知可以在任何时候撤回同意或同意书。

2.2 设计
数据收集是一项实验的一部分，该实验研究了屏幕教学过程中社会互动和社会注意力的导向性对词汇学习的影响。由于我们主要关注参与度是否能够预测后续学习，且参与度测量可能存在变异性，同时每种教学条件下的参与者数量较少，因此我们在合并教学方法的同时关注参与度。我们使用词汇学习任务，因为儿童在17.5个月大时就能表现出物体-标签映射能力（例如，Mervis和Bertrand，1994），并在24个月大时能够通过屏幕学习词汇（例如，Courage和Troseth，2016）。

完整的实验设计包括教师与她的对话者（儿童参与者或屏幕上的成人）互动，或在无反应的无生命物体（椅子）存在的情况下提供类似的口头提示。此外，教师的提示可以针对儿童参与者，也可以不针对（成人、椅子）。这两个因素导致了三种条件，参与者被随机分配到这些条件中：(a) 参与者导向（n=12）：教师通过视频聊天与参与者互动；(b) 其他导向（n=11）：教师通过预先录制的视频与屏幕上的另一个成人互动；或 (c) 椅子导向（n=13）：教师通过预先录制的视频向屏幕上的无生命实体发出提示，但不与其互动。在所有条件下，教师为两个新物体教授了两个新的标签。所有参与者都接受了两种不同的测试：(a) 四次物体命名试验，展示一个新物体（加上三次使用熟悉物体的填充试验），并询问“这是什么？”或“这个叫什么？”；(b) 六次单词识别试验，展示两个新物体（在教学过程中被命名）以及第三个新物体（在教学过程中出现但从未被命名），并要求参与者“指向[物体标签]！”或“给我看[物体标签]！”（加上四次每次使用三个熟悉物体的填充试验）。对于单词识别，统计了指向被命名（目标）物体的指示（点头/手势）。虽然测量了注视目标的行为，但这里没有报告。然后，参与者完成了四次使用功能相似但感知上不同的物体的泛化试验。同样，在当前研究中，为了探讨参与度是否预测学习效果（无论教学情况如何），我们将不同教学条件合并，并专注于单词识别结果。虽然这里没有进行分析，但提到了其他测试试验，因为它们可能会影响整体参与度的判断。

2.3 刺激物
我们创建了4个新物体（见图1）。两个目标物体被设计为新颖但相对不吸引人，而两个干扰物被设计为更显眼，要求儿童克服注意力偏差来学习目标标签（Brand, 2000）。对于每个物体，我们创建了一个具有相同功能/动作但外观不同（颜色、大小、质地）的泛化物体，用于泛化试验（此处未分析）。每个目标物体都与一个新标签配对（圆柱体-物体：fopam，漏斗-物体：mimole）。标签可以是两种测试语言中的非单词。这两个5音节的标签在英语和法语中都经过了合理性评估，并在之前的研究中使用过，研究对象包括说英语和法语的参与者（Bang和Nadig, 2020；Bani Hani等人, 2012）。

2.4 程序
由于数据收集时的COVID-19限制，整个研究都是远程进行的。第一天，实验者与家长（孩子不在场）进行了30分钟的Webex通话（Cisco Systems, 2021），讨论了研究同意书，解释了问卷，并验证了实验设置。第二天，实验者通过家长的浏览器（Chrome或Firefox）使用jsPsych（版本6.1.0；de Leeuw, 2015）进行了实验。招募链接、访问和测试数据通过位于魁北克蒙特利尔的国际大脑、音乐和声音研究在线测试平台（BRAMS-OTP）服务器上的基于JATOS（版本3.6.1；Lange等人, 2015）的版本进行管理。
在参与者主导的教学条件下，使用Webex与之前未见过的教师进行互动。在其他条件下，教学是通过jsPsych播放的预录视频。实验设计在两种测试语言中是相似的。要求家长在整个实验过程中尽量少与孩子互动。只有当实验者认为孩子对情况感到舒适时，才会开始教学部分。
在校准阶段，参与者被要求指向依次出现在目标位置（左上角、右上角、中间底部）的图像，以便我们验证他们的网络摄像头方向。
教学大约持续3分钟，分为两个部分：热身和物体演示。在热身阶段，教师进行了猜谜游戏（与其他成人一起）或模仿游戏（其他方式），并等待最多2秒孩子的反应后再继续。在物体演示阶段，教师展示了新物体的功能，并四次引起孩子的注意。她给目标物体命名（例如，“看这个[fopam/mimole]！”、“[fopam/mimole]有趣吗？”、“你看到[fopam/mimole]的作用了吗？”），并引导注意力到未命名的干扰物（例如，“哇！让我们看看这个！”、“你看到这个的作用了吗？”）。
物体命名测试试验中，每个新物体显示750毫秒，然后询问“这个叫什么？”，等待7秒让孩子给出答案。随后按固定顺序进行了七次试验：两次熟悉物体、两次新物体、一次熟悉物体、两次重复的新物体。使用熟悉物体（填充物）的试验（汽车、帽子、钥匙）来验证任务理解。
单词识别测试试验中，展示了三个物体（左上角、右上角、中间底部）。新单词试验包括两个被命名的物体和一个干扰物；填充物试验展示了三个熟悉物体（从：瓶子、蝴蝶结、汽车、娃娃、叉子、钥匙）。物体显示1000毫秒后，会提示“[Fopam/Mimole]！指向[fopam/mimole]！”，然后等待10秒孩子的反应。随后按固定顺序进行了十四次试验：两次填充物、三次新物体、一次填充物、三次新物体、一次填充物、四次泛化。新物体的命名顺序在参与者之间进行了平衡。在实验进行过程中，实验者不知道正确答案；实验者无法看到参与者的屏幕，因此不知道测试物体的名称（物体命名）和位置（单词识别）。
测试后，重复了校准（使用不同的图像），然后家长和实验者分别通过在线调查对参与度进行了评分。向家长解释了研究内容，随后他们收到了孩子参与的短视频和一张10加元的CAD或10美元的礼品券。

2.5 测量方法
单词学习通过六次新单词识别试验中的指示（点头/手势）来评估。行为参与度是从教学的网络摄像头视频中离线编码的。整体参与度评分在测试后立即进行（由家长和实验者独立完成）；评分者不知道孩子是否准确学会了标签（通过测试中的正确回答来判断）。
如果网络摄像头方向是镜像的，在QuickTime Player（版本10.5；Apple, Inc.）中翻转视频，使左右两侧对齐。使用开源事件记录软件BORIS（版本7.10.2；Friard和Gamba, 2016），通过音频轨道的波形标记特定的实验事件：(a) 教学过程中的每次互动尝试，(b) 每次试验开始时提示图像可见的音调，以及(c) 每次测试提示的结束。
参与度通过三个指标进行评估（详见表1）：(a) 教学过程中的行为编码，计算特定的参与相关行为（McClure等人, 2020；Striano和Stahl, 2005），(b) 家长的整体评分，以及(c) 实验者的整体评分。

表1 参与度测量方法
行为编码类别
- 言语
(1) 立即重复
(2) 对屏幕上问题的直接言语回答
(3) 对教师或活动的言语评论
(4) 对家长的言语评论
(5) 针对物体的言语评论
(6) 其他发声
手势
(1) 对屏幕上问题的直接手势回答
(2) 指向、伸手或其他手部动作
(3) 交流性或常规手势
(4) 面部表情的变化
(5) 身体方向的变化

家长（和实验者）
a) 整体评分问题
参与度方面
孩子在研究过程中是否参与？
与教师的互动
孩子尝试与教师互动的频率
对提示的响应
孩子对提示的响应频率
享受程度
孩子似乎有多享受研究过程？
对活动的兴趣
孩子是否对学习新名称和物体感兴趣？
任务专注度（反向编码）
孩子在实验过程中分心的频率

对于实验者来说，你的孩子被替换成了参与者。

2.5.1 参与度-行为编码
视频以半速播放，并伴有音频。一名经过培训的编码者根据标准将言语反应分类到6个言语类别中（表1）。多次快速重复（“fopam, fopam”）或对屏幕上关于物体标签的问题的发声和直接回答（“嗯，呃...这是一辆汽车！”）被视为一次反应。长时间的停顿或显著的主题变化被单独计数。反映孩子认知或情绪状态的手势被编码为51个手势类别中的一个（表1）。与言语编码类似，连续的动作（例如，指向所有物体或挥手）被编码为一个手势，而离散的动作（分别指向每个物体）则被计为单独的手势。
十三个视频（36%）由第二名独立编码者进行编码。对于分析中保留的九个编码类别，我们记录了编码者是否同意在该编码间隔内（教师互动之间的时间）发生了该行为类型。在所有参与者中，九个编码类别的κ值范围从0.60到0.73。这些值低于通常认为的0.75的完美一致性阈值，反映了在间隔级别实现精确时间对齐的难度。然而，当在类别总数层面评估可靠性时（即，两位编码者在教学过程中是否编码了相同数量的行为），参与者之间的同意率为95%。任何分歧通过共同观看视频和共识编码解决，最终提交给分析的数据是共识数据。编码的参与度总数是在教学过程中编码的言语（类别1-6）和手势（类别1-3）行为的数量。

2.5.2 家长的整体参与度评分
实验结束时进行了整体参与度评分，使用4点量表（从不、很少、有时、总是；编码0-32）来评估六个问题（表1），这些问题评估了参与度的不同方面。由于行为、情感和认知参与度对学习至关重要（Appleton等人, 2008；Egbert等人, 2021a,b；Hirsh-Pasek等人, 2015），我们纳入了每个类别的指标。总体参与度评分-家长，是六个问题的总和（范围0-18）。

2.5.3 实验者的整体参与度评分
实验者独立回答了相同的问题（将“你的孩子”改为“参与者”），得到了总体参与度评分-实验者得分（范围也是0-18）。

2.5.4 通过单词识别测试评估单词学习
为了评估单词学习，3个视频逐帧播放但不带音频。一名对参与者屏幕/音频不知情的编码者记录了每个手臂/身体手势的位置[左上角（TL）；右上角（TR）；中间底部（BC）]或其他（不在屏幕上）的位置（参见Allen和Scofield, 2010；Matthews等人, 2012；McGillion等人, 2017）。计算每个新单词试验中目标指示的比例（目标区域指示除以总屏幕指示），然后取平均值以得出每个参与者的单词学习得分（0.33 = 偶然）。十二个视频（33%）由第二名独立编码者进行编码。对于四个编码类别（TL、TR、BC、其他），κ值范围从0.66到0.83，总体一致性为95%。在存在分歧的情况下，我们采用了更有经验的编码者的判断。熟悉单词（填充物）的试验被相同编码，仅用于验证参与者的任务理解。

3 结果
3.1 描述性统计
统计分析使用了R（版本4.0.4；R Core Team, 2020）。我们使用三个指标研究了在能够用熟悉单词进行单词识别的儿童中参与度在单词学习中的作用。排除了在≥1次（共4次）填充试验中未能正确指示熟悉物体的9名参与者（≥0.33的指示）的数据。
剩余的36名儿童满足了任务要求：在填充试验中，他们正确指示熟悉物体的频率远高于偶然水平[0.69；t(35) = 8.598, p < 0.001]。然而，在新单词试验中，儿童未能以高于偶然水平的频率指示目标[0.31, t(35) = ?0.413, p = 0.682]。由于我们的整体评分量表旨在评估参与度的不同方面，因此不期望每个组的评分内部一致性很高，实际上也不高（家长，α = 0.69；实验者，α = 0.66）。McDonald's omega更适合于非严格单维的复合分数，发现家长（ωt = 0.81）和实验者评分（ωt = 0.83）的总omega值都很高，表明综合得分是一个可靠的测量方法。层次化的omega（家长，ωh = 0.54；实验者，ωh = 0.61）进一步支持了参与度的不同方面共享一个有意义共同因素的观点，即参与度，这证明了它们作为后续分析中的复合分数的合理性。表2展示了参与度和单词学习测量的描述性统计。

表2 测量方法
- 收集阶段
NMSD
最小值
最大值
行为编码（总分）
教学期间
36
9.86
10.96
家长的整体评分（总分/18）
实验后立即
34
12.79
2.99
实验者的整体评分（总分/18）
实验后立即
36
12.94
2.39
单词学习
目标指示（比例）
填充物试验（n = 4）
36
0.69
0.25
0.25
1.00
新单词试验（n = 6）
36
0.31
0.29
0.00
参与度和单词学习测量的描述性统计（按参与者）

3.2 参与度指标之间的相关性
我们有三个独立的参与度测量方法：行为编码、家长的整体评分和实验者的整体评分。为了探讨这些衡量方法是否以类似的方式评估参与度，我们检查了这三种衡量方法之间的相关性（见表3）。

表3
衡量方法 | 行为编码 | 整体评分-家长 | 行为编码 | 整体评分-实验者 |
|--------------|-------------|--------------|-------------|-------------|
| 行为编码 | 0.456 | 0.007 | 0.531 | < 0.001 |
| 整体评分-家长 | 0.559 | < 0.001 | | |
| 整体评分-实验者 | | 0.559 | < 0.001 |

参与度衡量方法之间的相关性（按参与者划分）。这三种独立的衡量方法显示出中等程度的相关性，表明它们捕捉到了相似的核心参与度概念，同时关注了不同的方面。我们预期整体评分之间的相关性会高于与行为编码的相关性，因为：（1）行为编码仅在教学过程中评估行为，而整体评分考虑了整个实验；（2）行为编码计算具体的行为，而评分反映了整体印象，这些印象不一定与特定的可观察行为相关。证据总体上支持这一预期；两种整体评分之间的相关性最高（0.559），而行为编码与家长评分的相关性低于其他衡量方法。

为了理解家长和实验者的评分关系，我们检查了每个问题的相关性（图2）。对于两个问题（e-任务期间的专注度；f-学习参与度），相关性较低（rs < 0.15），这可能是由于使用量表的变化性有限（实验者有时使用，有时始终使用）。对于其余四个问题，两组评分者大多使用了量表，相关性从高到低依次为：a-教师互动（r = 0.64）；b-对提示的反应性（r = 0.48）；c-享受度（r = 0.33）；尽管一个问题（d-对活动的兴趣，r = 0.15）的相关性较低。对于直接可观察的行为，相关性最高（a-教师互动，b-对提示的反应性）。

图2
按参与者划分的每个问题之间的整体评分-家长和整体评分-实验者的相关性，按相关性强度从高到低排序（a）到低（f）。
(a) 教师互动。
(b) 对提示的反应性。
(c) 享受度。
(d) 对活动的兴趣。
(e) 任务期间的专注度。
(f) 学习参与度。

3.3 哪些参与度衡量方法可以预测词汇学习？
我们的一个核心问题是每种参与度衡量方法与儿童词汇学习之间的关系，通过词汇识别过程中的目标指示比例来衡量。图3显示了词汇学习（词汇学习得分）与每种参与度衡量方法之间的相关性。

图3
每种参与度衡量方法与词汇学习（词汇学习得分；每次试验，n = 204）之间的相关性。

为了研究这些关系，我们使用线性混合效应模型对34名具有完整数据的参与者进行了分析（即排除了两名没有家长整体评分的参与者），使用试验级数据来最大化功效，同时控制试验的非独立性。比较了三种模型：（i）仅包含年龄和参与度衡量方法的简单线性模型（AIC = 354.78，R2 = 0.096，logLik = ?171.39）；（ii）包含年龄和参与度衡量方法并控制参与者随机效应的混合模型（AIC = 357.31，R2 = 0.092，logLik = ?171.65）；以及（iii）包含年龄、参与度衡量方法和交互项并控制参与者随机效应的混合模型（AIC = 351.28，R2 = 0.179，logLik = ?161.64）。虽然模型（iii）的拟合度略好，但其通用性较低。根据原则性的模型选择过程（Sonderegger, 2023；另见Burnham和Anderson, 2002），我们结合使用了AIC、AICc、BIC和似然比测试来比较模型。我们注意到AICc略微倾向于模型（i），并指出所有三个模型的结果基本相同，表明结论对模型选择具有鲁棒性。最终，选择了模型（ii）以控制参与者差异并避免对小样本过度拟合。

表4显示，在三种独立的参与度得分和年龄中，只有实验者的整体评分显著预测了词汇学习（β = 0.30，p = 0.049）。家长的整体评分（β = 0.06，p = 0.707）、参与度的行为编码（β = ?0.03，p = 0.832）和年龄（β = 0.18，p = 0.141）作为预测因子的效果较小且不显著。参与者随机截距（0.075，残差 = 0.257）与模型预测因子相比较小。因此，尽管参与度得分之间存在相关性（表3），但它们对词汇学习的预测能力并不相同。

表4
预测因子 | 估计值（β） | 标准误（SE） | t值 | p值 |
|--------------|--------------|--------------|------------|--------------|
| 截距 | 0.13 | 0.06 | 2.12 | 0.035 |
| 年龄（天） | 0.18 | 0.12 | 1.48 | 0.141 |
| 行为编码 | ?0.03 | 0.16 | ?0.21 | 0.832 |
| 家长的整体评分 | 0.06 | 0.15 | 0.38 | 0.707 |
| 实验者的整体评分 | 0.30 | 0.15 | 1.98 | 0.049 |
| 随机效应 | σ2 | 0.26 | τ0 | 0.08 |
| ICC | 0.23 | N参与者 | 34 |
| 观测值 | 204 | 边际R2/条件R2 | 0.092 | 0.298 |
| 偏差 | 330.766 | AIC | 357.31 |

年龄和三种参与度衡量方法预测词汇学习的混合效应线性回归。p < 0.05时显著的效应被加粗。

自助法置信区间（2000次迭代，百分位数方法）表明词汇学习（朝向目标的指示百分比）与实验者的整体评分[β = 0.30，95% CI(0.130, 0.459)]和年龄[β = 0.18，95% CI(0.034, 0.316)]之间存在显著的正相关。家长的整体评分[β = 0.056，95% CI (?0.139, 0.242)]和参与度的行为编码[β = ?0.035，95% CI (?0.221, 0.138)]作为预测因子的效果不显著。作为补充分析，将参与度评分视为有序预测因子（四分位数分组），并将词汇学习视为有序结果，累积链接混合模型得出了相同的结论：实验者的整体参与度评分与词汇学习之间存在显著的正线性趋势（z = 2.31，p = 0.021），而家长的评分和行为编码则没有（详见补充附录A）。

本研究考察了行为测量方法、家长的整体评分或实验者的整体评分是否能预测屏幕上的词汇学习，以及所有参与度衡量方法是否具有相同的预测能力。我们发现只有实验者的整体评分（而非家长的评分）预测了词汇学习，这可能是因为实验者和家长具有不同的背景信息。

4. 讨论
当前的屏幕词汇学习研究评估了参与度是否预测学习，并比较了参与度测量方法（来自视频的行为编码、家长和实验者的整体评分），并评估了词汇学习（词汇识别过程中的目标指示比例），以确定这些参与度衡量方法之间是否存在关联，以及哪些方法能够预测词汇学习。当前的工作通过证明参与度可以在在线词汇学习任务中预测学习，以及通过展示我们的三种参与度衡量方法虽然相关，但只有实验者的整体评分能够预测学习，从而增加了我们对参与度在学习中作用的理解。

首先，尽管之前的研究已经表明通过整体评分（de Haas等人，2020；Doctoroff和Arnold，2017；Egbert等人，2021a；Hospel等人，2016；Norling等人，2015）或行为编码（例如，Fender等人，2010；Halliday等人，2018；Ponitz等人，2009；Strouse等人，2018；Williford等人，2013；Xu等人，2021）可以预测学习，但我们发现在我们的屏幕研究中只有实验者的整体评分预测了词汇学习（该研究包括通过视频聊天或预录视频的教学）。由于之前的研究没有使用相同的参与者和任务同时测量整体评分和行为编码，因此在同一研究中实验者的整体评分预测了词汇学习而行为编码没有预测，这是新颖的。这些发现表明整体评分在在线学习环境中更好地捕捉了参与度，实验者的评分比家长的评分更具预测性。我们将易于收集的Likert量表评分与耗时的手工行为观察进行直接比较，有助于理解参与度衡量方法。不同的衡量方法可能根据所评估的学习类型而预测学习结果不同。之前的研究将整体评分与编程技能（Egbert等人，2021a）和读写能力（Norling等人，2015）联系起来，而行为编码与学术技能（Halliday等人，2018；Ponitz等人，2009）、字母知识（Williford等人，2013）和故事理解（Xu等人，2021）联系起来。此外，远程环境可能不太适合行为编码。虽然在实时环境中行为参与度可以预测学习（Duval等人，2017；Egbert等人，2021a；Russo-Johnson等人，2017；Smogorzewska等人，2022），但视频情境缺乏实时环境中存在的特征，可能影响行为编码的有效性。需要更多的研究来确定行为编码是否通常更适合实时环境，而整体评分更适合远程环境。

其次，与之前的研究（Egbert等人，2021a；Hospel等人，2016；Norling等人，2015）一致，我们的整体评分是相关的。我们预期相关的参与度评分会同样预测学习，正如在计算机编程课程的研究中所发现的那样，学生、实验者和教师的评分都预测了学习（Egbert等人，2021a）。出乎意料的是，只有实验者评分的参与度预测了学习，而不是家长评分的参与度。这种差异性预测性可能反映了实验者观察了多名参与者并发展出了更好的任务直觉，而家长只看到了自己孩子的参与情况。这与家长和实验者在可观察行为（与教师的互动、对提示的反应性）上的更高相关性一致，而不是整体印象（感知的享受度、活动兴趣、专注度、学习兴趣）。

第三，尽管行为编码经常预测学习（例如，Duval等人，2017；Egbert等人，2021a；Russo-Johnson等人，2017；Smogorzewska等人，2022），但我们的行为编码并没有强烈预测新词汇的学习。这一意外发现被三种参与度衡量方法之间的中等相关性所缓解，表明它们捕捉到了相似的核心参与度概念，同时关注了不同的方面。

当前的结果与参与度作为学习的预测因子是一致的（Duval等人，2017；Egbert等人，2021b；Russo-Johnson等人，2017；Smogorzewska等人，2022），甚至可能是学习的必要条件（Aguiar和McWilliam，2013）。之前的研究表明，参与度在互动情境（实时或屏幕上）中对学习很重要（Egbert等人，2021a；Smogorzewska等人，2022）；但尚不清楚这种关系是否适用于非互动视频或视频聊天（Myers等人，2017；Roseberry等人，2014；Tao和Gao，2022）。我们发现实验者的整体参与度评分预测了屏幕上的词汇学习。

我们的研究像所有研究一样也有其局限性。由于数据主要是在COVID-19限制期间收集的，我们只能选择具备所需技术条件的参与者（而不是像最初计划的那样将参与者带到实验室使用我们的技术）。样本大小也受到招募和运行速度较慢的时间限制的影响。可能对程序不同部分的行为编码（例如，在测试期间以及教学期间，因为教学和测试期间的参与度都可能与任务表现相关，尽管教学对于理解学习过程中的参与度作用更为重要）或在不同时间点收集整体测量数据（例如，在教学和测试之间，而不仅仅是测试之后）会导致我们的行为编码和整体测量方法之间的关系不同，这些问题留待未来的研究来解决。此外，由于我们依赖于参与者家长的技术设置，我们选择了那些即使在次优的网络摄像头设置下也能捕捉到的行为进行编码，避免了可能受网络摄像头质量或角度影响的测量方法。

我们的发现对测量参与度具有重要意义。我们首先证明了即使在完全在线的情境中，参与度（最好通过实验者的整体评分来捕捉）也与词汇学习相关；其次，行为编码和整体评分（由家长或实验者进行）的参与度衡量方法之间存在中等程度的相关性，表明这三种独立的衡量方法捕捉到了一个核心概念，同时从不同的角度进行了评估。实验者的整体评分似乎是预测学习的最佳指标，因此这种相对不那么费力且易于实施的测量方法（与通常需要以降低播放速度手动编码视频记录的行为编码相比）可以在其他教学情境中用于衡量参与度并预测学习，特别是在不需要详细参与度行为信息或资源有限的情况下。我们建议进行更多使用多种参与度衡量方法的研究，以确定最适合每种结果测量的参数。

年幼的儿童花费在观看屏幕上的时间越来越多，其中大部分时间用于观看视频（Rideout和Robb，2020）。词汇学习通常是教育屏幕媒体的目标（Danielson等人，2019），参与度可能是学习的必要条件（Aguiar和McWilliam，2013）。我们的发现提供了关于如何在在线情境中（包括来自视频的情境）测量参与度的初步见解。需要进一步的工作来更一般地理解参与度在学习中的作用，以及更具体地理解词汇学习，这可能对设计教育材料有影响（Hirsh-Pasek等人，2015）。