目光的转变，表现的变动：个体注视行为与共同注意在技术辅助课堂中的协作学习中的作用

《The Internet and Higher Education》：Shifting gaze, shifting performance: The role of individual gaze behavior and joint attention in collaborative learning in tech-enhanced classrooms

　　摘要：随着数字工具在课堂中的日益普及，有必要更深入地了解学生如何与同伴、教师以及周围技术进行互动。从具身认知的角度来看，学生的注视行为是其在协作学习中注意力与参与度的关键指标，而这一研究领域目前仍不够充分。本研究旨在探讨在技术密集型课堂中学生的注视行为，分析他们对不同对象的注视方式以及共同注意力如何影响协作学习效果。共有68名来自新加坡的大学生参与了这项研究，他们完成了为期一小时的协作学习任务。通过深度学习模型，对他们的注视对象进行了逐时刻分析，这些对象包括他们自己的屏幕、同伴的屏幕、同伴的脸部、作业纸、手机以及与任务无关的区域。研究还采用了认知网络分析方法来揭示注视对象之间的关联，并通过定量分析比较了表现较好与较差的学生群体在共同注意力水平上的差异。研究结果表明，表现较好的学生主要注视自己的屏幕，偶尔才会看向同伴的屏幕；而表现较差的学生则表现出更为分散的注视模式，频繁地在多个对象之间切换。表现较好的学生群体在共同注意力方面明显高于表现较差的群体，他们能够同时专注于自己屏幕上的共享任务。这些发现表明，在技术密集型课堂中实现有效协作可能依赖于与任务相关的、有策略分配的视觉注意力，而非大量的面向同伴的注视行为。本研究通过将注视分析拓展到非屏幕环境，为不断发展的共同注意力研究领域做出了贡献，展现了无创人工智能方法在课堂研究中的实用性，并建立了视觉注意力模式与协作学习表现之间的联系。

引言：协作学习被视为21世纪重要的教育实践，有助于提升学生的认知能力和社会技能（Chalkiadaki, 2018）。这种基于社会文化视角的学习方法强调协调一致的团队努力，以促进知识的共同构建（Roschelle & Teasley, 1995）。在协作学习中，学生通过集体解决问题，交流知识并协商以达成共同理解（Johnson & Johnson, 1991）。计算机支持的协作学习利用数字工具和平台创建出互动的共享环境，使学生能够跨越物理和时间障碍共同构建知识（Cress, 2020）。CSCL有助于同步团队工作，使参与者能够以多种方式与同伴、数字资源及实物互动，从而促进协作式问题解决（Stahl, 2006; Stahl et al., 2006）。

在CSCL环境中，沟通是多模态的，包括语言交流以及手势、面部表情和注视等非语言信号（Chen et al., 2010; Nguyen et al., 2022; Schneider et al., 2022）。具身认知研究指出，认知过程与身体动作及环境互动紧密相连（Wilson, 2002）。在技术辅助的协作学习中，学生需要与各种数字元素（如屏幕、在线工具）和非数字元素（如同伴、实物材料）进行互动。这两种类型的元素都被认为对塑造协作过程和学习成果至关重要（Cress, 2008; Dillenbourg et al., 2009），因此需要进一步研究，以了解学生在真实课堂环境中如何与这些元素互动和协调。从这一视角来看，注视行为尤为重要，因为它能反映认知和社会参与度，帮助研究者了解学习者在协作过程中如何分配注意力、同步焦点以及与同伴协调（L?ms? et al., 2022）。

已有研究指出，在CSCL中，学生的注视焦点包括同伴、数字设备（如笔记本电脑）以及其他共享资源，这些都有助于了解学生的视觉注意力模式（Whitehead et al., 2024）。例如，将注视转向同伴有助于促进社会情感互动和协作氛围，而注视笔记本电脑则更多与任务相关及调控性活动有关（Zhou et al., 2022）。根据群体认知理论，成功的协作学习取决于学生能否将注意力分配到相关资源上，如数字工具、实物及同伴互动。因此，注视行为成为理解知识如何通过学习者与其环境之间的动态互动而形成的重要视角。在CSCL环境中，由于数字元素与非数字元素共存并相互互动，视觉注意力与环境要素之间的互动尤为关键。

虽然注视行为能体现个体的参与度和注意力分配情况，但共同视觉注意力则提供了更侧重于群体的视角，有助于揭示协作学习的机制（Tomasello, 2014）。共同视觉注意力指的是个体之间对同一对象或兴趣点的视觉焦点同步，它长期以来一直被视为人类社会认知的核心要素（Bakeman & Adamson, 1984; Bruner, 1985）。在协作学习环境中，共同视觉注意力通常被理解为团队成员在处理共享资源、任务或想法时视觉注意力的一致化（Bruner, 1985）。这一现象与诸多积极结果相关，如协作质量提升、学习成果改善以及共同理解的形成（Schneider, 2026; Schneider et al., 2016, Schneider et al., 2018）。例如，Schneider等人（2018）运用眼动追踪技术研究了同处一室的两人组中共同视觉注意力与协作质量之间的关系，发现较高的共同视觉注意力水平与更好的学习成果相关。类似地，Proctor和Muller（2022）在虚拟环境中分析了共同视觉注意力模式，发现了表现较好与较差的群体之间的差异。Salminen-Saari等人（2021）则在普通课堂环境中探讨了协作解决数学问题时的共同视觉注意力作用，利用移动眼动追踪器识别任务不同阶段共同注意力的出现时间和方式。

现有文献中对共同视觉注意力的分析大多采用二元视角，即判断某次互动中是否存在共同注意力。例如，Butterworth（1995）将共同注意力定义为“看着别人正在看的地方”（第29页），而Leavens和Racine（2009）则将其描述为“两个或多个生物有意地将视线指向同一位置”（第241页）。这些定义侧重于可观察的行为，对实证研究起到了重要作用。然而，将共同视觉注意力视为二元事件可能会简化其复杂性，因为它没有考虑到协作活动中存在的不同程度的一致性和互动性。因此，有必要超越二元分类，以更细致地理解协作环境中的共同视觉注意力特征。

在近二十年来，具身认知和多模态学习分析领域的快速发展为CSCL研究带来了新视角，强调了除语言交流之外还需重视多种学习模式，如大脑激活、注视行为、手势、肢体语言和面部表情等（P?ys?-Tarhonen et al., 2025; Sharma & Giannakos, 2020）。其中，共同注意力被认为对实现群体层面的共同理解有着直接影响，因为学生能够将视觉注意力集中在共同感兴趣的知识上，并就存在分歧的观点积极寻求共识（Battich, 2021）。Siposova和Carpenter（2019）提出了另一种对共同视觉注意力的概念化方式，将其视为一个连续谱而非二元现象。这种社会认知视角将共同视觉注意力视为一种涉及自我、社交伙伴以及共同关注对象的三元关系。他们的框架引入了社交注意力的类型学，涵盖了不同层次的“共同性”，反映了个体之间协调的深度和质量。

Siposova和Carpenter（2019）的类型学描述了共同视觉注意力的逐步发展过程，体现了越来越复杂的社交协调形式。在最基本的层面，个体注意力指的是每个学习者独立地注视某个对象，而不了解或与他人的注意力状态互动。在此基础上，监控注意力是指一个学习者在注视共享对象的同时观察同伴的注意力行为，属于被动感知而非主动参与。当两个学习者都注视同一个对象，并且合理认为对方也在做同样的事情时，就会出现共同注意力，这通常是为了实现共同目标。互惠注意力则增加了人际因素，即双方不仅关注共享对象，还关注彼此，通过直接互动共同构建意义。在最高层次上，共享注意力表现为有意且同步的协调，此时两个学习者都意识到并将注意力有意识地集中在同一对象上，同时还能互相了解对方的注意力状态。这种基于谱系的方法有助于更细致地理解协作学习过程中共同视觉注意力的发展机制，强调了学习者的视觉注意力与他们与同伴及资源互动之间的动态关系。

超越二元定义，考虑共同视觉注意力的不同程度，有助于研究人员更准确地把握协作环境中的视觉互动复杂性。尽管Siposova和Carpenter（2019）的类型学在理论上有所贡献，但探讨这些不同程度共同视觉注意力作用的实证研究仍然较少。尤其是关于不同水平的共同视觉注意力如何影响真实技术强化课堂环境中的学习过程和成果，目前了解甚少。这一差距凸显出有必要进一步研究，以了解如何设计教学策略来支持学生在协作活动中的视觉协调。本研究采用这一细致的框架，旨在为CSCL中共同视觉注意力的研究贡献力量，填补其在促进有效协作方面的实证研究空白。

基于计算机视觉的注视估计技术通过仅从视频记录或眼睛和面部的图像中就能估算注视方向，无需专用的眼动追踪硬件，从而彻底改变了注视行为分析领域（Pathirana et al., 2022）。在教育环境中，这些技术便于记录学生的注视模式和注意力所在区域，捕捉他们自然的学习行为（例如Chen et al., 2021）。随着注视估计技术的进步，该领域出现了多种分析方法（Liu et al., 2022）。传统方法从机械和电磁系统发展到基于特征和模型的技术，如利用角膜反射或3D眼睛模型来提高精度，但这些方法往往需要校准和高分辨率图像（Kar & Corcoran, 2017）。基于图像特征的外观分析方法以及利用红外光和角膜反射的交叉比率法虽然降低了计算复杂度，但在应对光线变化和头部姿态变化时存在困难（Murthy & Biswas, 2021; Sasaki et al., 2018）。目前，深度学习模型，尤其是卷积神经网络，已成为该领域的领先技术，它们擅长处理低分辨率图像并能适应现实环境，非常适合用于课堂场景（Pathirana et al., 2022）。本研究采用基于深度学习的注视估计技术，因其能够在分析学生同伴互动时的注视行为方面具有较强稳定性。此外，Valtakari等人（2024）还使用基于计算机视觉的模型，如OpenFace和OpenGaze，对心理学研究中的亲子互动进行了实地测试。他们的研究表明，这些模型能够分析面对面对话等稀疏、水平分隔的兴趣区域中的人类注视行为。这些发现进一步证明了基于计算机视觉的注视估计技术在研究社会互动，包括协作学习环境中的应用潜力。

基于计算机视觉的注视估计技术因其易用性、灵活性和可扩展性，已被应用于医学诊断、驾驶员监测、消费者行为分析以及社会互动研究等多个领域（Kar & Corcoran, 2017; Pathirana et al., 2022）。近年来，这些技术也被引入教育和心理学研究，有助于更详细地分析非语言交流和社会动态（例如Chen et al., 2021; Zhou et al., 2023）。例如，Chen等人（2021）发现，同伴之间的眼神接触频率能够反映彼此的兴趣或冷漠程度，进而影响积极的人际反应可能性。Zhou等人（2023）则结合头部追踪和物体检测模型，测量了协作学生将注意力集中在同伴和数字设备上的程度。最近，Abdelhadi等人（2025）开发了一种名为TeacherEye的AI系统，利用计算机视觉模型检测和监控学生在上课和考试期间的行为。这些实证研究证明了在真实课堂环境中运用深度学习模型分析学生注视行为及共同视觉注意力模式的可行性。

对现有研究成果的回顾显示，无论是CSCL研究还是共同视觉注意力研究，都存在显著的研究缺口。目前用于测量视觉注意力分配的多数方法都依赖于诸如可穿戴眼动追踪器之类的侵入式工具，这就凸显出需要开发出既具备可扩展性又无侵入性的替代方法，以便仍能可靠且准确地了解学生的视觉协调能力（Schneider，2026）。尤其值得关注的是，目前尚不清楚学生对数字元素（如同伴的屏幕、自己的屏幕）以及非数字元素（如工作表、注意力分散的物体）的视觉注意力如何影响协作学习的过程与结果。这一不足之处表明，有必要进一步研究在技术密集型的面对面学习环境中的多模态互动机制。此外，目前针对学生注视对象的分析主要集中于他们注视了什么，只有少数研究关注学生注视行为的时间特征，即随时间变化的视觉注意力动态（Zhou等人，2023）。还有一个尚未得到充分探讨的重要问题是：当学生周围存在多个物体时，他们在完成任务的过程中是如何同时将视觉注意力分配给不同物体的。认知网络分析方法（ENA）（Shaffer等人，2016）有助于更细致地分析学生所关注的各类注视对象之间的共现模式，不仅能考察整体出现频率，还能分析学生在协作学习过程中注视对象的时间特性。在共同注意力的研究领域，目前的实证研究大多将屏幕视为关注焦点，往往忽视了学生在数字空间与物理空间之间对视觉注意力的协调运用（如Schneider等人，2021）。至于学生如何不仅与彼此实现共同注意力，还能与多种设备及学习资源实现共同注意力，这一问题也尚未得到充分研究。了解表现较好组与表现较差组在视觉协调方面的差异，有助于揭示有效协作学习的行为特征——但这一关联在自然化的、技术密集型的课堂环境中尤其缺乏相关研究（Schneider，2026）。而且，大多数研究采用二元方式来衡量共同注意力，将其简单地归为存在或不存在。这种做法无法捕捉到社会注意力的复杂性与动态性，而通过考虑不同程度“共同性”的社会认知视角，或许能更好地理解这一问题（Siposova & Carpenter，2019）。为弥补这些不足，本研究旨在探讨计算机支持协作学习环境中的学生注视行为与共同注意力模式，重点分析不同表现水平组之间的差异。具体而言，本研究将解决以下问题：1. 在技术密集型、真实的课堂环境中，表现较好组与表现较差组的视觉注意力模式有何不同？这些模式如何体现在注视对象的转换上？2. 在协作过程中，当学生与数字元素及非数字元素互动时，不同表现水平组之间会出现怎样的共同注意力模式？第一个研究问题旨在探究学生如何随着时间推移在多种数字与非数字元素之间切换注意力，从而超越静态的注视度量方式，深入分析动态的、逐时刻的注意力变化。第二个研究问题则致力于了解学生如何与同伴协调注意力，不再将共同注意力视为简单的二元事件，而是看作一个受环境中的社会因素与空间因素共同影响的复杂、分布式的过程。借鉴人工智能教育领域现有的注视行为研究成果，本研究计划将深度学习模型应用于日常课堂场景，实现自动化的逐时刻注视对象分析。此外，还将运用先进的学习分析技术（如ENA、行为可视化）进行精细的过程挖掘，从而揭示不同表现水平组在协作学习任务中如何分配视觉注意力或实现共同注意力。通过对注视对象与共同注意力的深入分析，本研究期望找到优化视觉注意力、提升技术增强型课堂中的学习参与度与学习效果的策略。

研究对象与学习环境
本研究在新加坡某大学机械工程学院的机电工程设计课程中进行。共有68名四年级学生参与（9名女性，平均年龄23.5岁），他们被分成34对，在两周内完成两项各持续一小时的协作任务（每周一项）。所有参与者在研究开始前均签署了知情同意书。每对学生面对面合作，设计一种能够检测特定物体的自动化机器人车辆。

不同表现水平组学生的注视对象分析
为了解不同表现水平组在协作学习过程中关注哪些注视对象（研究问题1），我们运用深度学习模型生成了逐时刻的注视对象数据。描述性统计分析显示，两组学生的注视行为存在显著差异（见表2）。为判断两组之间的差异是否具有统计学意义，我们对每个注视对象都进行了Mann–Whitney U检验。选择这种非参数检验方法……

讨论
随着越来越多的数字工具进入真实课堂，学生如何与同伴、教师以及环境中的各种技术互动，这一问题亟需教育研究者进一步关注（Dillenbourg & Jermann，2010）。对学生成长过程的研究不应仅局限于他们与同伴的互动（如口头讨论、在线协同创作），而应采取整体视角，将复杂的教学环境中各种数字或非数字元素纳入考量。

作者贡献
第一作者负责研究设计、实施、数据收集、数据分析以及论文撰写。第二作者负责监督与方法论指导。第三作者协助进行数据分析和模型训练。第四作者负责筹集研究资源与资金。

注视行为的转变与学习表现的差异：技术增强型课堂中个体注视行为与共同注意力在协作学习中的作用

CRediT作者贡献说明
Qianru Lyu：撰写——初稿、可视化、软件使用、项目管理、方法论、正式分析、数据整理、概念构建。Wenli Chen：撰写——审稿与编辑、监督、资源协调、项目管理、方法论、调查研究、概念构建。Xinyi Cheng：软件使用、正式分析。Kok Hui Heng：资金筹集。

未引用参考文献
Baltru?aitis, Ahuja and Morency, 2018；Yang et al., 2018

利益冲突声明
本研究不存在任何利益冲突。

致谢
本研究得到了新加坡南洋理工大学资助的EdeX教学与学习项目基金（编号#021799-00001）的支持。该研究已获得南洋理工大学伦理委员会批准（IRB-2022-141）。第一作者还获得了南洋理工大学的研究奖学金（NTU-RSS）。

Qianru Lyu | Wenli Chen | Xinyi Cheng | Kok Hui Heng
新加坡南洋理工大学国家教育研究院