《Journal of Intelligence》:Auditory Statistical Learning Deficits in Children with Autism Spectrum Disorder: A Comparison of Visual and Auditory Segmentation Paradigms
培养情绪能力已被确定为儿童和青少年时期个人幸福、学校共处和有意义学习的关键组成部分。本研究旨在绘制并分类2019年至2024年间关于将人工智能(AI)技术与算法应用于学龄人群情绪教育的定量科学证据。本范围综述遵循PRISMA范围综述扩展版(PRISMA-ScR),检索了七个数据库(Web of Science、Scopus、PubMed、PsycNet、ERIC、IEEE Xplore和ACM数字图书馆)。所纳入的研究发表于2019年至2024年之间。最终有18项研究符合纳入标准。结果表明,训练最多的能力是基于卷积神经网络(CNN)的机器情绪识别。使用这些模型的目标是为教师提供支持,特别是在学生能力的初步或诊断性评估期间。然而,将其整合到复杂人类技能(如共情)的教学与训练中仍存在空白。需要更多的纵向研究,以及超越基本情绪模型的更稳健的实验设计。
1. Introduction
本文献综述旨在系统梳理2019至2024年间人工智能(AI)在学龄人群情绪教育中的定量研究,并依据Bisquerra Alzina的情绪教育模型,从情绪觉察、表达、调节与共情四个领域对证据进行分类。AI技术,包括机器学习(ML)和深度学习(DL),已用于通过面部表情、语音特征、生理信号和文本等数据识别或预测情感状态。然而,现有研究多集中于机器端的情绪识别,缺乏对学生情绪能力发展的直接证据。本综述通过三个维度分析:人口与背景特征、概念映射与情绪证据、技术架构与教育功能,以区分机器计算过程、人类情感变量及教育应用之间的差异。
2. Materials and Methods
本综述遵循PRISMA范围综述扩展版(PRISMA-ScR)进行,方案已在INPLASY注册(注册号:INPLASY2025100064)。检索覆盖Web of Science、Scopus、PubMed、PsycNet、ERIC、ACM数字图书馆和IEEE Xplore七个数据库,检索时间限定为2019至2024年。纳入标准包括量化实证研究、受试者年龄不超过17岁、使用AI技术干预或评估情绪能力,且发表于同行评议期刊。排除非教育情境、非实证研究以及临床或非典型发展人群的研究。最终共纳入18项研究,其中17项来自数据库检索,1项来自引文追溯。筛选过程采用双人独立盲审,并通过Rayyan平台记录决策,一致性检验显示百分比一致性为89%(Fleiss's kappa = 0.32,PABAK = 0.79,Gwet's AC1 = 0.87),表明评审间信度良好。
2.1. Search Strategy
检索策略由四组术语块构成,均以AND连接:AI相关术语(artificial intelligence, machine learning, deep learning, AI techniques, AI)、情绪相关术语(emotion*, affective computing, simulation, empathy)、技术相关术语(serious games, technology, virtual reality, VR, biofeedback, neurofeedback, avatar)以及儿童青少年人群限制(child*, preschool, teenager*, adolescent*, kid*)。除主要数据库外,还对补充数据库应用了可重复的检索式(见表S1)。检索词以UNESCO叙词表为主要来源,对于无法匹配的术语保留原始关键词。
2.2. Inclusion/Exclusion Criteria
依据PRISMA-ScR推荐的人群-概念-情境(PCC)框架制定资格标准。纳入标准包括:量化实证研究、2019至2024年间发表、样本为17岁及以下的典型发育儿童青少年、使用AI技术处理情绪能力(如情感计算、情绪识别、生理反馈、虚拟现实等)、以英文发表。排除非教育研究、非实证文献(综述、理论文章、社论)以及临床或非典型人群研究。
2.3. Search and Selection Process
通过数据库检索共获得3731条记录(WoS:790,Scopus:188,PubMed:279,PsycNet:212,ERIC:9,ACM DL:2253,IEEE:0),去除重复记录后剩余3298条。经过标题/摘要筛选,排除3256条,剩余42篇全文评估。全文阅读后排除25篇,最终数据库纳入17项研究。此外,使用引文追溯工具(citation chaser)对17项研究的DOI进行引文检索,识别出1664条记录,其中1篇符合纳入标准。故最终综述包括18项研究。PRISMA流程图详见图1(见原文)。
2.4. Inter-Rater Reliability
评审员在标题/摘要阶段的独立一致性为89%,Fleiss's kappa为0.32(95% CI: 0.27–0.37),该值较低可能因纳入率低(约8.6%)和评审员学科背景差异所致。采用对患病率稳健的指标后,PABAK为0.79,Gwet's AC1为0.87,表明一致性接近完全可靠。分歧通过共识解决,残余争议由资深研究员裁定。
2.5. Strategy for Data Synthesis
使用预先试用的标准化数据提取表,收集纳入研究的基本信息(作者、国家、年份)、样本特征(规模、年龄、类型)、实验设置(工具、教育环境、报告结果)以及主要发现。这些信息汇总于表1(见原文),用于后续的分组和比较分析。
2.6. Units of Analysis and Counting Rules
以研究为单位(N=18),每个百分比均标明分母。对于互斥类别(训练焦点、分析目的、AI技术、预期用户、有效性评估),百分比基于18项研究计算,总和为100%。对于非互斥类别,以“编码单元”而非“研究”为单位,例如21个能力实例(3项研究各涉及两个领域)、24个能力-学段计数(2项研究横跨两个发展阶段)和26个干预赋值(8项研究各报告两种干预类型)。
3. Results
结果按三个维度呈现。
3.1. Geographical Distribution
18项研究分布于9个国家:中国7项(38.9%),印度、葡萄牙和韩国各2项(11.1%),卡塔尔、美国、西班牙、法国和俄罗斯各1项(5.6%)。研究集中在亚洲(12项,66.7%)和欧洲(5项,27.8%),北美洲1项(5.6%)。所有研究均来自北半球国家,未发现来自南美洲、非洲或大洋洲的研究。该分布反映了检索结果,而非地理限制。
3.2. Sample and Participants
纳入研究的样本量范围广泛,人类参与者样本从6到1328人不等,非人类单元(如绘画、图像、视频帧)从81到291,651不等。10项研究(55.6%)报告人类参与者,6项(33.3%)使用非人类单元,2项(11.1%)未报告样本量。按年龄阶段,儿童研究最多(11项,61.1%),其次为青少年(6项,33.3%)和学龄前儿童(3项,16.7%)。两项研究跨越多个年龄段(Kory-Westlund & Breazeal, 2019; Xie et al., 2022)。四项研究未具体说明儿童年龄。
在情绪能力编码中,四个领域共被编码21次(因一项研究可能涉及多个能力)。情绪识别占17次(81.0%),出现在17项研究中(94.4%);情绪调节占3次(14.3%),涉及3项研究(16.7%);共情仅1次(4.8%),涉及1项研究(5.6%)。没有研究涉及情绪表达(0%)。分类不互斥,例如Han等(2021)和Veiga Sim?o等(2021)同时涉及识别与调节,Xie等(2022)同时涉及调节与共情。
根据训练焦点,14项研究(77.8%)属于“机器训练”,即教AI识别情绪;4项研究(22.2%)属于“人类训练”(Calvo-Barajas等,2021;Han等,2021;Kory-Westlund & Breazeal,2019;Veiga Sim?o等,2021)。在有效性方面,16项研究(88.9%)报告了积极效果,但只有4项(22.2%)报告了效应量或统计功效。
在分析目的方面,情绪分类最常见(10项,55.6%),随后是投入度预测(3项,16.7%)、心理社会风险分类(2项,11.1%)、压力分类(1项,5.6%)、青少年社会适应性预测(1项,5.6%)和智能辅导系统实施(1项,5.6%)。技术方面,卷积神经网络(CNN)使用最多(11项,61.1%),主要用于图像和视频的情绪分类;经典机器学习模型(树模型、支持向量机(SVM)、线性/自然语言处理(NLP)模型)用于5项研究(27.8%);基于Transformer的深度学习架构用于1项(5.6%);智能辅导系统(1项,5.6%)采用人工情绪编码。
按发展水平分析,学龄前仅有情绪识别(3/24,12.5%);小学阶段情绪识别最多(6/24,25.0%),情绪调节和共情各1项(4.2%);中学阶段情绪识别仍最常见(5/24,20.8%),情绪调节3项(12.5%),共情1项(4.2%)。另外4项研究未指明年龄。所有研究中均无情绪表达。
关于教育功能,教师支持类占多数(12项,66.7%),通过视觉或多模态信号提供课堂情绪反馈、差异化教学或预警;学生自主学习和支持类占5项(27.8%),包括社交机器人、智能辅导系统和游戏化应用;同时支持教师和学生的混合系统仅1项(5.6%),结合CNN和可解释人工智能(XAI)。干预类型上,初始评估最多(14/26,53.8%),个性化反馈7项(26.9%),特定情绪能力训练仅2项(7.7%),家长支持与跨学科合作3项(11.5%)。
3.3. Effectiveness of Tools (Human–Machine)
工具的技术性能普遍较高:Rathod等(2022)报告儿童情绪检测准确率达90.98%,Kim等(2021)通过声音和心率数据识别压力状态准确率达88.53%,Xu等(2024)使用有序强度估计方法对情绪刺激的表情反应检测准确率达95.56%。这些结果反映了模型的算法精度,但不等于学生情绪能力的变化。
3.4. Effectiveness on Training People
仅两项研究(Han等,2021;Veiga Sim?o等,2021)主动训练情绪能力(如情绪调节),而非仅检测情绪。Han等发现可教学式代理智能辅导系统(Betty's Brain)能促进学生有效的情绪调节策略;Veiga Sim?o等基于自我调节策略的移动应用减少了青少年的攻击性在线交流。其余研究大多限于监测或分类,且只有22.2%的研究报告了效应量或实际显著性指标。
4. Discussion
本综述表明,自动情绪识别(AER)在教育领域日益重要,且研究多集中于可模式化的能力(如情绪识别),而人类干预则更关注复杂能力(如调节和共情)。CNN是最常用的技术,因其能处理高维数据(图像、视频、语音),但基于Transformer和强化学习(如Q-learning)的应用较少。教育功能上,AI工具主要作为教师支持工具用于初步评估(53.8%),而非直接促进学生自主学习。尽管技术精度高,但普遍缺乏统计功效,影响了结果的泛化性。
4.1. Theoretical Implications
需要区分机器的计算功能(检测、分类、预测)与人类内在心理构念及情感行为。现有研究多从计算机科学视角出发,忽视情绪教育的教学价值。此外,工具设计呈现发展模式,优先在儿童期训练情绪识别,在青少年期侧重情绪调节,但未涵盖全部能力领域(如情绪表达未被涉及)。这与Bisquerra模型和联合国教科文组织(UNESCO)倡导的渐进、整体发展观存在差距。
4.2. Practical Implications
教育机构可基于CNN系统进行学生投入度的自动诊断评估,帮助管理个体差异并设计更包容的课堂。多模态信号处理软件能够产生风险预警,支持及时干预。界面和交互设计应匹配学生的发展阶段和文化差异,以全面培养情绪能力。
4.3. Limitations and Future Research
证据全部来自北半球(以中国为主),存在地理偏差;多模态数据中生理传感器(皮肤电导、心率)使用不足,缺乏神经影像数据(fMRI、EEG、fNIRS)。此外,大多数研究将AI作为教师支持工具,缺乏师生双向交互的混合系统。方法学上,样本量小、缺乏控制组、缺少纵向研究,导致内部效度受限。未来需增加纵向追踪、混合方法研究,并整合神经科学数据,以探讨AI干预的长期效果。
5. Conclusions
人工智能在情绪教育领域技术成熟,但整合程度仍处于萌芽阶段。算法在情绪分类方面精度高(尤其是CNN和SVM),但主要服务于机器识别,情绪调节和复杂社会互动仍处于次要位置。本综述发现,AI主要作为教师诊断支持工具,缺少能够加强师生互动的混合系统,共情是最少被关注的领域。主要局限包括地理偏差、生理和神经影像数据稀缺、方法学严谨性不足以及普遍缺乏纵向设计。未来研究应超越基本情绪模型和简单维度,整合综合理论框架,并推动纵向研究,以评估能力迁移的实际效果。只有将深度学习的潜力与典型发展人群复杂的社会情感需求相结合,才能设计出不仅识别情绪、而且增强学生自主性和幸福感的教育工具。