综述：基于神经网络的动态适配与多模态融合在类别不平衡教育数据处理中的应用：一项系统综述

《Neurocomputing》：Neural network-based dynamic adaptation and multimodal fusion for class-imbalanced educational data processing: A systematic review

　　孟格芳|王丽娥|胡海泽
中国广西桂林市七星路541004，广西师范大学计算机科学与技术学院

摘要
教育的数字化转型推动了神经网络技术（如Transformer、Vision Transformer、轻量级BERT）与教育人工智能的深度整合，使得诸如Transformer这样的先进神经网络架构得以应用于学生辍学预测、学习投入度识别以及教育文本分类等核心场景中的时间动态建模。然而，教育数据固有的类别不平衡问题——表现为少数类样本的比例极低——严重制约了模式识别模型的可靠性、稳定性与公平性，成为教育人工智能实际应用的关键障碍。为弥补这一缺陷，本系统综述全面整合了2023年至2025年间发表的98项核心实证研究，这些研究来自Web of Science、IEEE Xplore、Scopus和ScienceDirect等6大学术数据库。这些研究均来自顶级期刊和重要会议，确保了综述的学术严谨性与时效性。综述的核心内容围绕解决教育数据类别不平衡问题的三种前沿神经网络驱动技术方向展开：基于Transformer的动态时间建模、通过Vision Transformer与时间卷积网络混合架构实现的多模态融合，以及兼顾公平性的神经网络优化方法。首先，分析类别不平衡教育数据的独特特征——时间动态性、多模态异质性以及伦理敏感性——及其带来的技术挑战；其次，系统评估各类前沿技术的原理、实证效果与应用局限；最后，明确“技术-场景”适配规则，根据不同教育场景的典型特征提出针对性的技术组合。本综述的最大价值在于构建了一个涵盖“数据预处理—算法优化—部署实施”全流程的集成框架，通过将抽象的神经网络进展与具体的教育需求相衔接，弥合了“技术-实践”之间的差距，为各级教育机构——尤其是资源有限的基层机构——提供了可操作的技术路线图。通过引导将具有学术可行性的模式识别技术转化为实际可行的教育解决方案，本综述有助于推动教育人工智能的可靠、公平与可持续发展。

引言
随着教育数字化转型的加速，大规模开放在线课程、智能教室以及学习管理系统得到了广泛应用，从而产生了海量教育数据[1]。这种数据爆炸不仅为在教育人工智能中应用模式识别技术奠定了坚实基础，还为数据驱动的个性化教学和教学优化带来了新可能[2]。作为模式识别的核心支撑技术，神经网络被越来越多地应用于学生辍学预测、学业表现预警以及实时学习投入度检测等关键教育任务中，展现出解决传统教育难题的巨大潜力[3]。

然而，教育数据固有的且难以解决的类别不平衡问题，已成为限制教育场景中神经网络模型可靠性与公平性的核心瓶颈[4]。在典型的教育场景中，类别不平衡现象极为普遍：在大型开放在线课程中，辍学生占比不到总参与者的5%[5]，课堂数据中学习投入度低的样本占比不足10%[6]，而研究生群体的晚期辍学样本则更为稀少[7]。这种不平衡导致模型在训练过程中优先考虑多数类的表现，进而使得少数类样本（如处于风险中的学生）的漏检率显著升高，预测结果也出现偏差[8]。这些问题不仅错失了早期教育干预的关键机会，还会通过加剧学生群体间的现有差异，进一步恶化教育不公平状况[9]。

值得注意的是，现有的系统综述在将前沿技术进展与教育场景的独特需求相结合方面存在明显局限性[10]。大多数以往的综述要么仅聚焦于单一技术，要么未能系统整合2023年之后发展的前沿模式识别方法[11]。它们忽视了教育数据所具有的时间动态性、多模态异质性以及伦理敏感性，从而导致“技术-实践”之间存在显著差距[12]。具体而言，很少有综述整合针对时变不平衡的动态适配技术、针对多模态数据匮乏的多模态融合策略，或是针对教育伦理需求的公平性增强方法[13]。因此，先进的学术技术难以转化为基层教育机构可实际应用的解决方案。在此背景下，迫切需要一项系统综述，将2023年之后的模式识别突破与教育数据类别不平衡问题相结合，明确技术适配原则，推动教育人工智能的公平发展。

近年来，学术界和工业界在利用模式识别技术解决教育数据类别不平衡问题上取得了显著进展[14]。基于神经网络的动态流处理技术——如漂移-不平衡协同处理、在线主动学习以及基于Transformer的时间神经网络建模——逐渐被用于应对教育数据的时变特性，标志着从静态到动态的不平衡缓解方法的转变[15]。与此同时，包括跨模态注意力机制以及Vision Transformer与时间卷积网络混合架构在内的多模态融合方法也应运而生，旨在利用文本、视频和日志等多模态数据之间的互补信息，弥补单一数据源中少数类样本的不足[16]。此外，还提出了兼顾公平性的算法[17]以及考虑人口统计特征的采样策略，以减少偏见，反映出人们对教育人工智能应用中伦理问题的日益重视。

尽管取得了这些进展，仍有三个关键问题尚未得到解决，制约了模式识别技术在教育场景中的实际应用与公平效应：
(1)现有研究往往忽视教育数据固有的时间动态性，许多研究仍依赖静态的不平衡处理方法，无法适应不平衡比例和数据分布的动态变化[18]。这类静态方法无法捕捉少数类模式的演变趋势，也无法实时调整策略，从而导致长期教育任务中的性能显著下降[19]。
(2)大多数现有工作侧重于单模态数据处理，而多模态融合机制在应对“模态特定不平衡”方面缺乏足够的适应性——在教育数据中，少数类样本在不同模态之间的分布往往不均衡[20]。虽然有一些研究探讨了多模态整合问题[21]，但很少有研究系统分析如何动态调整不同特征的重要性或权重，以增强少数类的表现，从而导致那些数据量虽少但价值较高的弱模态未能得到充分利用[22]。
(3)现有研究主要关注整体分类性能，忽视了两个关键的现实需求：伦理公平性和轻量化部署。传统方法往往会放大社会弱势群体（如低收入学生）与多数群体之间的差距，因为它们未能融入教育领域的特定公平性约束[23]。此外，复杂模型计算成本高昂，不适合资源有限的基层教育机构（如设备有限的农村学校）[24]。公平性增强与轻量化优化之间缺乏协同，进一步加剧了“技术-实践”脱节的问题[25]。

为确保本综述的针对性、深度与实用价值，其研究范围从应用场景、技术领域以及文献纳入标准三个维度进行了明确界定，以避免范围扩散。本研究聚焦于三个存在明显类别不平衡问题且具有较高实用价值的典型教育场景，这些场景也是模式识别在教育人工智能中应用的主要方向：
学生辍学/学业表现预测：核心任务包括对大型开放在线课程中的辍学风险、研究生晚期辍学以及学业表现趋势的预警，其特点为少数类样本比例极低（辍学率低于5%）且存在强烈的时间依赖性[26]；
学习投入度识别：侧重于实时检测在线及线下课堂中的学习投入情况，具有多模态异质性（整合视频、行为日志和文本数据），并且对低延迟部署有严格要求[27]；
教育文本分类：涵盖作业质量评估、大型开放在线课程讨论区情感分析以及问题分类等任务，其特点是少数类在语义层面存在不平衡，同时需要对语义进行高效增强[28]。

本综述优先考虑与解决上述问题密切相关的四类前沿模式识别技术，同时排除在当代教育环境中实用性有限的过时静态方法[29]：
动态流处理：主要包括漂移-不平衡协同处理技术（如自适应加权核密度估计[30]）、在线主动学习[31]以及基于Transformer的时间神经网络建模[32]，旨在应对教育数据的动态演变；
多模态融合：包括跨模态注意力机制[33]、Vision Transformer与时间卷积网络混合架构[34]以及动态模态加权融合技术[35]，旨在利用多模态数据的互补性来增强少数类的表现；
公平性增强：涉及考虑人口统计特征的采样方法[36]、兼顾公平性的算法（如整合人口统计平等损失函数的Transformer模型[37]）以及针对教育领域的特定公平性评估指标（如组间F1一致性指标[38]）；
轻量化部署：注重模型压缩技术（如知识蒸馏[39]、量化技术[40]）、低资源环境下的算法（如在线序列极端学习机[41]、轻量级代价敏感支持向量机[42]）以及用于保护隐私的联邦学习技术[43]。

为保证综述的学术严谨性与时效性，所纳入的文献需符合严格的筛选标准[44]：
发表时间：2023年至2025年间发表的研究，涵盖该领域的最新技术进展；
研究焦点：明确针对教育数据中的类别不平衡问题，不限制地理区域或教育层级；
实证严谨性：具备清晰的实验设计、数据集以及性能指标（如少数类F1分数、各群体公平性指标）；
来源权威性：发表于顶级期刊（如《模式识别》《IEEE学习技术汇刊》）、重要会议（如IEEE国际教育人工智能会议）或教育人工智能领域的权威期刊，且来自Web of Science、Scopus、IEEE Xplore、ACM数字图书馆、ScienceDirect和SpringerLink这6大核心数据库。

最终共有98项符合上述标准的实证研究被纳入本综述，构成了该系统综述的核心证据基础。

本系统综述遵循“特征分析—技术分解—瓶颈识别—框架构建—未来展望”的逻辑递进式研究框架，旨在解决现有研究中的核心缺陷，弥合“技术-实践”之间的差距[45]。在这一逻辑指导下，首先分析类别不平衡教育数据的固有特征（时间动态性、多模态异质性及伦理敏感性），为后续的技术分析奠定理论基础；然后通过整合98项纳入的实证研究，系统分解并评估四类前沿模式识别技术（动态流处理、多模态融合、公平性增强及轻量化部署）；在此基础上，识别尚未解决的技术瓶颈（如动态漂移与不平衡的协同处理、多模态语义对齐问题），并构建一个能够根据不同教育场景进行适配的集成框架，将各项技术与核心教育任务相连接；最后提出未来的研究方向，以推动教育领域中实用且公平的模式识别技术的不断发展。

为确保综述的清晰性与连贯性，全文共分为六个相互关联的章节，逐层深入分析，形成完整的研究链条：第一章（引言）阐明研究的背景、意义、当前研究现状、存在的缺口、研究范围及技术边界，明确开展系统综述的必要性与方向；第二章（类别不平衡教育数据的核心特征与挑战）详细阐述教育数据的三大核心特征及其带来的技术挑战，为技术评估提供场景特定的依据；第三章（针对类别不平衡教育数据处理的前沿技术分解）系统分析四类前沿技术，包括它们的核心原理、实证效果及相关文献支持；第四章（技术-场景适配规则与实证验证）针对三个核心教育场景提出针对性的技术组合，并通过综合实证结果验证其有效性；第五章（现有瓶颈与未来研究方向）识别关键的技术瓶颈，提出符合教育实践需求的可行未来研究方向；第六章（结论）总结综述的核心发现、理论贡献与实践意义，强调将前沿技术与教育场景需求相结合的价值。

这样的结构设计确保了综述能够实现理论分析、技术整合与实践指导的全面结合，有效达成研究目标。与传统循环神经网络（如LSTM）存在梯度消失问题不同，Transformer架构通过多头自注意力机制来捕捉序列数据中的长距离依赖关系。场景1：利用Transformer神经网络进行学生辍学/学业表现预测（以时间序列为主）。学生辍学和学业表现预测属于典型的以时间序列为主的任务，其特点在于学习行为具有强烈的序列依赖性、不平衡比率会动态波动，且具有较高的伦理敏感性（因为处于风险中的少数学生往往与弱势群体重叠）[97]。为应对这些特定于场景的特点，需要采用针对性的技术组合——基于神经网络的Transformer时间序列建模+偏差-不平衡协同处理。尽管在处理类别不平衡的教育数据方面，模式识别技术取得了显著进展（2023–2025年），但对98项相关研究的综合分析表明，仍有三个核心瓶颈持续阻碍着这些技术在现实教育场景中的大规模、公平应用[45]。(1)动态协同瓶颈源于缺乏一种统一的适应机制来同时处理数据偏差和不平衡比率问题。目前关于偏差-不平衡处理的解决方案仍存在不足。结论：本系统综述全面整合了2023年至2025年间发表的98项实证研究，重点探讨了模式识别技术在解决教育数据类别不平衡问题中的应用。研究结果表明，包括基于Transformer的时间序列建模、视觉Transformer（ViT）+时间卷积网络（TCN）的多模态融合技术以及具有公平性约束的算法在内的前沿技术，已逐渐成为减轻负面影响的核心解决方案。CRediT作者贡献说明：方梦格：撰写——初稿。王丽娥：撰写——审阅与编辑、方法论部分。胡海泽：撰写——初稿。利益冲突声明：作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。方梦格分别于2020年和2017年在长沙理工大学获得硕士和学士学位，目前正在广西师范大学攻读计算机科学博士学位，她的研究兴趣集中在代码搜索领域。