MultiSense-L2Net:人工智能在第二语言写作中调节情绪与动机的协同作用
《Acta Psychologica》:MultiSense-L2Net: AI-mediated co-regulation of emotion and motivation in second language writing
【字体:
大
中
小
】
时间:2026年05月03日
来源:Acta Psychologica 2.7
编辑推荐:
**Qaisar Abbas|Zeyad Alshaikh|Riyad Almakki|Mubarak Albathan|Waeal J. Obidallah**
**沙特阿拉伯利雅得,伊玛目穆罕默德·本·沙特伊斯兰大学(IMSIU)计算机与信息科学学院,邮编11432**
**Qaisar Abbas|Zeyad Alshaikh|Riyad Almakki|Mubarak Albathan|Waeal J. Obidallah**
**沙特阿拉伯利雅得,伊玛目穆罕默德·本·沙特伊斯兰大学(IMSIU)计算机与信息科学学院,邮编11432**
**摘要**
在第二语言(L2)写作中,语言习得要求学习者在计划、起草和修改文本时不断调节自己的情绪和动机。尽管先前的研究已经确认了这些情感过程的重要性,但大多数研究基于回顾性的自我报告,这掩盖了它们在时间上的动态变化。本文提出了MultiSense-L2Net,这是一种新型的人工智能中介的多模态架构,能够利用生理信号、按键动态和反思性文本来捕捉L2写作过程中的情绪和动机轨迹。该框架将生理、行为和文本模式与深度神经编码器相结合,并通过跨模态注意力进行交织,然后输入到时间图神经网络(TGNN)中,以模拟计划、起草和修改过程中的情绪和动机转换。通过公开可用的情绪数据集(WESAD和DEAP)进行迁移学习,可以在适应L2写作目标数据集之前进行强大的预训练。实验结果表明,MultiSense-L2Net能够以高精度模拟与任务相关的情绪状态(宏观F1值=0.89)并预测任务内的动机变化(RMSE=0.07),其性能优于单模态和静态融合基线。此外,通过对10名L2学习者的初步多模态研究进一步验证了该框架,在独立于受试者的评估下表现出稳定的情绪分类和动机建模能力。值得注意的是,该框架被构建为一种过程分析建模技术,而不是潜在特征的心理学指标。通过提供一个多模态AI如何高时间粒度监控情绪-动机波动的例子,这项工作为未来研究人工智能支持的、具有情绪意识的写作工具和共同调节学习过程提供了方法论上的支持。
**1. 引言**
用第二语言(L2)写作是一项多方面且策略性的任务,要求学习者在监控写作过程、调节焦虑和负面情绪以及保持写作相关努力的同时,整合他们的认知、情绪和动机(Dong, 2025a; Zhou et al., 2022)。写作中的情感成分,包括自我效能感、焦虑、愉悦感和沉浸感,对于决定写作参与度、写作熟练度和写作持久性至关重要,而负面情绪如无聊或挫败感则被视为集中注意力和调节努力/坚持的障碍(Dewaele et al., 2025; Zhang et al., 2023; Zhou & Wang, 2024)。
尽管越来越多的人认识到情感是L2写作的重要元素,但大多数先前的研究基于调查或访谈,这些方法只能捕捉学习者经历的回顾性快照,因此无法捕捉写作过程中情绪和动机的即时变化(Larradet et al., 2020; Tribushinina et al., 2024; Zhou & Wang, 2024)。实际上,在计划、起草和修改过程中,情感状态不断波动,并在每个阶段影响注意力、努力和坚持(Dewaele et al., 2025; Papi & Hiver, 2020)。为了理解这些动态变化,需要分析框架,将情绪和动机视为在任务过程中随时间展开的过程,而不是稳定的特征或任务后的反思。随着情感计算和人工智能中介学习分析的最新发展,这一限制可以得到解决(Chen et al., 2024; Li et al., 2024)。生理信号(如皮肤电活动或心率变异性)被用来推断唤醒状态、压力或注意力状态,而从反思性写作中提取的行为模式(如按键动态或语言模式)提供了关于文本生成过程中认知或情感过程的额外信息(Conijn et al., 2022; Kang et al., 2021; Kumar & Kumar, 2025; Liu, 2022)。通过同步这些数据流实现的多模态技术在模拟真实世界学习环境中的学习者参与度和情感方面也显示出巨大潜力(Hyland, 2010; Li et al., 2024)。
类似地,利用WESAD和DEAP等大规模情感数据集,已经构建了通用的情感识别模型(Koelstra et al., 2012; Schmidt et al., 2018)。通过在这些数据集上进行迁移学习,情感模型可以保持通用的情绪感知能力,同时更加适应特定领域(如L2写作),从而弥合了基于实验室的情感研究与真实世界教育环境之间的差距(Larradet et al., 2020; Li et al., 2022)。基于这些进展,本文提出了MultiSense-L2Net,这是一种旨在捕捉L2写作中情绪和动机轨迹的多模态人工智能架构。该框架结合了生理、行为和基于文本的模式,并通过使用跨模态注意力和时间图建模来检查它们之间的时间相关性(Conijn et al., 2022; Kang et al., 2021; Wierciński et al., 2022; Xu et al., 2024)。从过程分析的角度来看,情绪和动机是从多模态线索中推断出的动态任务级状态,而不是稳定的心理特征或经过临床验证的构造。因此,当前框架被引入作为一种计算建模方法,有助于分析与特定写作任务相关的情感-动机动态,并为自适应的、具有情绪意识的写作支持系统的技术发展提供信息(Liu, 2022; Papi & Hiver, 2020)。
本研究对L2写作和具有情绪意识的教育系统研究做出了三个主要贡献。首先,它将情绪和动机重新概念化为L2写作过程中的动态演变过程,超越了传统的静态和任务后自我报告方法,转向基于多模态证据的过程导向视角。其次,它提出了MultiSense-L2Net,这是一种新颖的多模态和具有时间意识的人工智能深度学习框架,利用跨模态注意力和时间图神经网络整合生理信号、按键动态和反思性文本,以模拟阶段依赖的情绪-动机动态。第三,通过实证评估表明,与单模态和静态融合基线相比,阶段感知的多模态建模能够提供更稳定、可解释和准确的情绪和动机表示,从而为开发自适应的、具有情绪意识的写作支持系统奠定了基础。
**2. L2写作中情绪和动机的背景**
在第二语言(L2)写作中,情绪和动机越来越被理解为在整个写作任务中不断发展的、依赖于上下文的动态过程,而不是静态的学习者特征。当代研究强调,如焦虑、挫败感和愉悦感等情感状态在计划、起草和修改阶段会波动,从而影响认知参与度和写作表现(Dewaele et al., 2025; Papi & Hiver, 2020; Zhou et al., 2022)。
从理论角度来看,L2写作中的动机基于自我调节学习框架,学习者积极监控和控制他们的认知、情感和行为过程(Teng & Zhang, 2016)。这些过程受到任务条件、反馈和学习者信念的影响,导致参与度和持久性的时间变化(Dong, 2025a, Dong, 2025b)。实证研究进一步表明,动机调节策略和情感体验之间存在强烈的相互依赖性,共同影响写作质量和学习者的自主性(Namaziandost & Rezai, 2024; Zhang et al., 2023)。
最近的多模态学习分析进展通过行为和生理信号捕捉情感状态,扩展了这一理解。按键动态已被证明可以反映认知负荷和写作流畅性(Conijn et al., 2022),而生理信号(如皮肤电活动和心率变异性)提供了持续的唤醒和压力指标(Abdelfattah et al., 2025; Kang et al., 2021)。结合这些信号的多模态方法比传统的自我报告方法能够更细致地建模情感动态(Cheng et al., 2023; Li et al., 2024)。此外,多模态情感识别研究强调了整合异构数据源以提高鲁棒性和可解释性的重要性。基于图的建模和注意力驱动的融合等技术在捕捉跨模态的复杂情感互动方面显示出有效性(Chen et al., 2024; Wierciński et al., 2022; Zhao et al., 2025a; Zhao et al., 2025b)。这些发展表明,L2写作中的情绪和动机可以更好地理解为嵌入在写作过程中的时间演变的多模态构造。
**3. 文献综述**
现在普遍认为,用L2语言写作是一项复杂的活动,同时涉及学习者的认知、情感和动机方面(Dewaele et al., 2025)。写作流畅性、写作自我效能感和任务持久性直接受到情绪状态的影响,包括焦虑、愉悦感和无聊感(Zhou & Wang, 2024)。虽然先前的研究已经确定了这些情感影响,但情绪通常被概念化为在执行任务后通过工具评估的稳定、内在体验的感觉(Namaziandost & Rezai, 2024; Zhang et al., 2023)。这些方法限制了对学生情绪如何塑造写作过程以及他们如何参与实时行为/模式的分析。
关于L2写作中自我调节的研究奠定了重要和关键的知识基础。在他们的研究中,作者(Teng & Zhang, 2016)通过实证验证了多维的自我调节学习策略模型,证实了高效的写作者会调节认知和动机,并采用行为策略来管理任务需求。这些工作重申了情绪和动机不是写作的次要问题,而是战略写作的关键要素。尽管如此,大多数自我调节研究仍然基于自我报告工具,对于调节活动在写作过程中何时以及如何形成提供的洞察有限。
较新的纵向和过程导向的研究开始解决这些限制。作者(Dong, 2025b)使用时间序列分析表明,动机调节和战略参与随着时间的推移而演变,并显著影响在线L2写作环境中的写作表现。同样,自我效能感和写作焦虑动态相互作用,影响学习者在写作任务中的参与度和持久性(Zhou et al., 2022)。然而,尽管有这些进展,这些研究往往缺乏细粒度的时间分辨率,也没有结合生理证据,限制了它们捕捉写作过程中实时情感动态的能力。
多模态情感建模的出现解决了这一限制。学习过程中的唤醒、压力和注意力状态也可以通过生理信号(如皮肤电活动(EDA)、心率变异性(HRV)和EEG)准确反映(Abdelfattah et al., 2025; Kang et al., 2021)。对这些生物信号的机器学习技术在情感分类方面取得了有希望的结果,进一步强调了这些信号对于情绪感知系统的相关性(Kumar & Kumar, 2025)。然而,当与学习者和任务的行为分离时,生理数据在解释或情境化方面可能存在不足。
为了克服这一限制,越来越多的研究将生物信号与行为和文本输入相结合。按键动态测量写作节奏和修订的暂停和爆发(写作、休息和编辑会话),这些与认知负荷和流畅性有关(Conijn et al., 2022),而反思性和创造性写作表现出动机的言语迹象、自我意识和情感价值(Liu, 2022)。这些渠道的多模态组合提供了对学习者有效和动机调节的更完整理解。这种融合促进了多模态系统向时间建模的方法论演变。跨模态注意力机制使系统能够根据不同写作阶段的情感显著性变化动态调整各模式的权重(Cheng et al., 2023; Praveen & Alam, 2024)。时间图神经网络(TGNNs)也被用于捕捉随时间变化的情感状态转换(Wierciński et al., 2022; Xu et al., 2024),表明基于轨迹的解决方案在教育情感领域受到关注。
我们特别感谢以下多模态数据集的组织者:WESAD(Schmidt et al., 2018)和DEAP(Koelstra et al., 2012),它们使得从大规模情感数据中进行迁移学习成为可能。将这些数据集上训练的模型转移到教育领域已被证明可以提高模型的鲁棒性和可解释性(Li et al., 2022; Zhou & Wang, 2024),尤其是在特定领域数据稀缺的情况下。然而,许多情感系统仍然与教学实践松散结合,因为它们倾向于强调临床监督或实验室环境,而不是学习促进(Chen et al., 2024; Tanwar et al., 2024)。
作为回应,最近的框架强调了需要既具有教育基础又能在真实学习环境中部署的情感意识模型;表1总结了这些维度的代表性先前研究(Gong et al., 2025)。基于这一方向,并基于自我调节理论(Teng & Zhang, 2016)和动机动态的纵向证据(Dong, 2025a),MultiSense-L2Net结合了生理、行为和文本信号,使用多模态深度学习和时间图建模来分析L2写作过程中的情绪和动机动态。该框架并不声称验证了教学成果,而是作为一种过程分析建模方法,使观察和分析情绪-动机轨迹成为可能,并为设计自适应的、具有情绪意识的写作支持系统提供信息(Namaziandost & Rezai, 2024; Papi & Hiver, 2020)。
**表1.****先前研究的比较总结以及MultiSense-L2Net的进步**
| 研究 | 方法论 | 关键发现 | MultiSense-L2Net的进步 |
|------|-------|---------|-------------------|
| Dong (2025a) | 纵向中介分析动机和社会行为策略 | 动机和策略的使用显著预测第二语言写作能力 | 超出相关性,使用多模态数据建模实时策略调整 |
| Zhou and Wang (2024) | 大规模EFL样本中的潜在调节结构方程建模(SEM) | 愉悦感和职业倦怠影响成就,但数据缺乏时间深度 | 捕捉写作阶段的实时情绪波动,而不仅仅是最终结果 |
| Dewaele et al. (2025) | 在线和面对面课堂中流动和情绪的混合方法 | 流动受社会生物特征和情绪因素的影响 | 将这项工作扩展到个人写作会话中的实时生理和行为感知 |
| Conijn et al. (2022) | 基于规则的击键记录用于写作阶段预测 | 准确划分草稿和修订阶段 | 使用基于Transformer的建模为行为信号添加情绪解释 |
| Kumar and Kumar (2025) | 机器学习在生理信号上进行情绪分类 | EDA、ECG和皮肤信号可靠地预测情绪状态 | 结合生理输入和文本及行为线索进行整体建模 |
| Tanwar et al. (2024) | 基于注意力的CNN-LSTM用于可穿戴设备压力识别 | 提高从生物信号中检测情绪的时间敏感性 | 将该架构整合到具有自适应反馈的协同调节框架中 |
| Chen et al. (2024) | 在EEG数据上的双注意力GCNs用于情绪识别 | 实现可解释的神经模式,但硬件需求高 | 使用适合课堂使用的轻量级生理模式,并结合TGNN进行推理 |
| Li et al. (2022) | 对EEG基情绪识别的迁移学习回顾 | 强调跨情境的领域适应需求 | 将迁移学习从WESAD/DEAP应用于特定于教育的L2-WED数据集 |
| Liu (2022) | 第二语言习得中的多模态话语分析 | 显示情绪嵌入语言模式 | 通过自动BERT基情绪推断增强这一点 |
| Gong et al. (2025) | 基于Transformer的学生表现预测,具有理论驱动的特征 | 提高教育中深度学习的可解释性 | 通过情绪-动机反馈将AI建模与教学理论对齐 |
**4. 情绪和动机的操作化**
**4.1 情绪的操作化**
在本研究中,情绪被概念化为在第二语言写作过程中动态出现的、与任务接近的、依赖于情境的状态,而不是稳定的特质或临床构建(Dewaele et al., 2025; Papi & Hiver, 2020)。这种观点与教育情境中情感过程导向的观点一致,其中情感体验是根据任务需求、反馈和认知负荷而发展的。基于第二语言写作和多模态情感识别的先前研究,操作化了四种离散的情绪类别:快乐、沮丧、焦虑和中性。这些类别反映了在认知要求高的学术任务中常见的情绪反应,并已在教育和计算情感建模研究中得到广泛采用(Kumar & Kumar, 2025; Liu, 2022)。选择离散类别而不是连续的效价-唤醒维度,是因为它们在教育环境中具有可解释性,并且适合于阶段级别的注释。重要的是,这些标签代表在特定写作阶段(如计划、草稿和修订)期间出现的时间局部化情感状态,而不是泛化的情感倾向。这种设计与强调情感体验时间变异性的过程导向方法一致(Dong, 2025a; Larradet et al., 2020)。
**4.2 动机的操作化**
动机被定义为一种动态的、特定于任务的构建,反映了学习者在写作过程中的持久性、努力调节和保持参与的意愿。这种表述基于自我调节学习的观点,其中动机在与认知和情感过程的互动中不断演变(Papi & Hiver, 2020; Teng & Zhang, 2016)。本研究不是测量稳定的动机取向,而是将动机建模为捕捉写作阶段中参与度波动的时间信号。这一方法得到了近期纵向研究的支持,这些研究表明第二语言写作中的动机不是静态的,而是与情感体验和任务条件动态互动(Dong, 2025a; Zhou & Wang, 2024)。因此,动机分数被解释为任务内参与的相对指标,而不是绝对或特质级别的测量,从而能够细粒度地分析随时间变化的参与轨迹。
**4.3 范围和解释边界**
本研究采用的操作定义强调了情绪和动机的过程导向和计算视角。虽然生理反应、击键动态和文本特征等多模态信号提供了情感状态的可观察代理,但它们并不构成对潜在心理结构的直接测量(Chen et al., 2024; Li et al., 2022)。因此,MultiSense-L2Net的输出应被视为基于模型的任务相关情感和动机动态的近似值,而不是经过验证的心理测量评估。这种区分对于避免过度概括至关重要,并且与当前关于从行为和生理数据中进行推断的局限性的情感计算和教育AI讨论一致(Tanwar et al., 2024)。
**4.4 从构建到标签**
情绪和动机注释来源于写作会话期间收集的时间对齐的自我报告和同步的多模态信号。遵循过程导向的标注实践,情感状态在对应于写作阶段的短时间段内进行分配,确保与构建的动态性质一致(Dong, 2025a; Larradet et al., 2020)。情绪标签代表每个段落内的主导情感状态,通过结合生理、行为和语言线索推断得出。动机被建模为反映随时间变化的参与度的连续轨迹。这种设计使得能够将情绪-动机互动建模为演变的过程,同时减少与瞬时或孤立测量相关的噪声。重要的是,这些注释旨在支持轨迹建模,而不是作为潜在心理状态的真实指标。注释过程、时间对齐和防泄漏程序在第5节中描述。
**5. 研究方法论**
**5.1 概述**
根据第4节中对情绪和动机的定义,以下方法描述了如何使用多模态数据流来操作化这些构建。本文介绍了MultiSense-L2Net,这是一种多模态深度学习架构,能够在学习者和系统之间的AI中介协调中识别和建模第二语言学习者写作时的情绪。该模型整合了三种数据流:生理信号、击键动态和反思性写作文本,以一致地表示学习者的有效和动机状态。目的是通过可穿戴生理数据和行为数据,调查任务内的自我调节变异性(Abdelfattah et al., 2025; Kang et al., 2021)。该方法基于先前的研究,这些研究表明生理指标EDA和HRV是有效的参与度、唤醒和压力测量(Kumar & Kumar, 2025; Tanwar et al., 2024)。然后将这些数据输入到CNN-BiLSTM PhysioEncoder中,以捕捉情绪唤醒序列的局部和时间依赖性。同时,基于Transformer的KeyStrokeEncoder通过分析暂停、修订行为和打字流畅性的灵活特征来提取写作动作,这些特征与认知负荷和自我调节努力相关(Conijn et al., 2022; Li et al., 2024)。基于BERT的TextEmotionEncoder利用学习者的反思性写作输入来捕捉语义和情感信息,这一方法受到了语言模型成功推断情绪的经验的启发(Liu, 2022)。为了将这些模态结合起来,MultiSense-L2Net采用了一种跨模态注意力机制,在不同的写作阶段动态地加权最具信息量的通道(Cheng et al., 2023; Praveen & Alam, 2024)(图1)。例如,在高唤醒状态下,生理信号可能更为重要,而在元认知监控期间,反思性文本可能更为重要。然后将输出融合输入到Temporal Graph Neural Network(TGNN)中,以捕捉随时间连接的潜在情绪和动机对应关系(Wierciński et al., 2022; Xu et al., 2024)。通过这种方式,该架构不仅能够作为情感状态的分类器,还能够分析它们的流动并推荐支持适应的干预措施。
**图1. MultiSense-L2Net,一种多模态深度学习框架。**
总的来说,该协议反映了从静态的、基于自我报告的模型向动态的、AI辅助的协同调节学习观察的转变。多模态输入的结合允许详细检查第二语言写作者在真实写作情境中如何感受、表达和管理情感和动机障碍。
**5.2 使用公共多模态情感数据集进行预训练**
用于训练MultiSense-L2Net模型的是WESAD和DEAP两个公共多模态情感数据集。这些语料库被用来初始化PhysioEncoder,其中包含可泛化的情绪唤醒和调节模式的表示。这两个数据集都包含高质量、带有注释的人类对情绪刺激的生理反应记录,允许对压力、放松和参与状态进行预训练,然后使用特定领域的第二语言写作数据进行进一步训练。这种迁移学习范式受到结果的启发,即跨领域生理建模能够增强现实生活中的情绪分类(Li et al., 2022; Zhou & Wang, 2024)。因此,它有助于将情绪和动机理解为协同调节的状态,而不是静态特质。WESAD(Wearable Stress and Affect Detection)数据集(Schmidt et al., 2018)提供了通过可穿戴设备从15名成人受试者那里收集的同步多模态生理数据。每个参与者参与了三种诱发条件:中性基线、压力任务(心理和阅读压力段落)(与心理算术和公开演讲相关的压力任务)以及观看搞笑视频片段的娱乐期。手腕带测量了皮肤电活动(EDA)、血容量脉搏(BVP)、皮肤温度和三轴加速度。RespiBAN记录了高分辨率的ECG、EMG、呼吸和胸部传感器的温度。数据以高达700 Hz的频率采样,并根据参与者自我报告进行对齐。在这项工作中,生理流被划分为10秒的片段,用于训练基于CNN-BiLSTM的PhysioEncoder,以学习与第二语言写作中的注意力转变相对应的唤醒状态之间的转换(Abdelfattah et al., 2025; Kang et al., 2021)。DEAP数据集(Koelstra et al., 2012)补充了WESAD,因为它提供了更受控制的刺激环境和更广泛的情感范围。三十二名受试者观看了40个1分钟的音乐视频片段,旨在引发多种情感状态。每次会话产生了EEG、外围生理记录(即EDA、EMG、ECG、呼吸幅度和皮肤温度)以及沿着效价、唤醒、支配性和喜好量表进行的自我评估。只有外围通道被用于训练,以与第二语言-WED的可穿戴设置保持一致。DEAP数据以512 Hz的频率采样,然后降采样到128 Hz以保持一致性。在预训练阶段添加DEAP有助于提高模型的泛化能力,因为它遇到了来自跨模态的结构性变化(Chen et al., 2024)。总之,WESAD和DEAP提供了情感状态的全面视图。WESAD体现了未经提示的、与压力相关的、基于可穿戴设备的波动,适用于逐时刻的情绪调节建模,而DEAP提供了基于效价-唤醒量表的有组织的情感多样性。它们一致的报告、公共访问和生理基础促进了可重复的预处理和融合。这些数据集共同使用,使得MultiSense-L2Net能够进行强大的迁移学习,以学习通用的情感表示,这些表示可以进一步针对特定领域进行微调(图2)。这种跨语料库的适应增强了对细微情感变化的敏感性,并服务于框架将情绪和动机概念化为在真实第二语言写作过程中共同演变过程的愿望。
**图2. 用于预训练的选定数据集中的特征分布。**
**5.3 MultiSense-L2Net模型框架**
MultiSense-L2Net框架整合了深度多模态组件,以解释第二语言写作者的情感和动机模式作为人类和AI之间的协同调节学习过程。它统一了生理、行为和语言数据,以识别学习者和系统如何共同调节情感并维持参与度。该模型包括CNN-BiLSTM PhysioEncoder、基于Transformer的KeyStrokeEncoder、BERT TextEmotionEncoder、跨模态注意力融合层、Temporal Graph Neural Network(TGNN)和自适应迁移学习模块。这些元素共同将多模态数据流转换为可解释的情感状态,为实时动机反馈提供信息。该架构包括六个核心组件,下面进行了总结并在后续小节中详细说明。
**5.3.1 用于任务接近情感动态的生理编码器**
生理编码器旨在建模学习者在第二语言写作过程中生理传感器输出的任务接近情感动态。在这些信号中,EDA、HRV等是唤醒、压力、注意力需求和认知负荷的连续指标,它们在学习者进行计划、草稿和修订写作阶段时动态演变。编码器不是将这些信号表示为一系列短暂的情绪状态,而是建模它们在这些持续写作会话中的时间模式,从而可以检查写作过程中的连续情感和动机过程。生理信号被分割成固定大小的时间窗口,并应用CNN提取短期时间特征,以捕捉唤醒的局部变化。生成的特征随后被输入到一个双向长短期记忆(BiLSTM)网络中,以学习更长期的时间依赖性,例如更长期的应激-放松振荡和参与轨迹(图3)。所提出的分层设计允许编码器表示即时的生理反应和逐渐的情感变化,而无需依赖明确的情感注释。下载:下载高分辨率图像(110KB)下载:下载全尺寸图像图3. 用于所提出框架中的信号的CNN-BiLSTM编码器。正式地,给定一个生理信号段xpt,卷积特征提取定义为:(1)hpc=fconvxptWc,其中Wc表示卷积参数。然后使用BiLSTM对提取的特征进行时间编码:(2)Hp=BiLSTMhpcWl,其中Wl表示循环参数,Hp捕获双向时间上下文。最后,应用时间池化操作以获得固定长度的生理嵌入:(3)zp=AvgPoolHp这种表示编码了唤醒和注意力的波动,这些波动表明了与任务相关的应激和参与度,当与行为和文本模态结合时,有助于建模情感-动机动态。重要的是,生理编码器支持过程级的情感建模,而不是临床情感诊断或稳定特质推断。详细的架构规范和训练参数在附录A中提供。5.3.2. KeyStrokeEncoder用于捕获行为动态接下来,KeyStrokeEncoder分析学习者类型如何揭示参与和调节的行为迹象。它处理按键事件,如打字速度、暂停和修订爆发。这些模式通常反映了思维努力和情感状态。Transformer编码器捕获序列中的长期依赖性,如图4所示,将早期的犹豫与后来的流畅性或修正联系起来。其注意力机制突出显示了重要的时间步骤,例如在计划时打字速度减慢或在自信起草时加快。该模块将按键节奏转换为行为表示,表明写作过程中的专注度、认知负荷和自我调节。这一步骤在下面数学上进行了定义。下载:下载高分辨率图像(132KB)下载:下载全尺寸图像图4. 基于Transformer的按键编码器,用于时间写作行为。按键事件xk=t1t2…tn(持续时间、暂停、爆发)被输入到Transformer编码器中,该编码器建模长期时间关系:(4)Q=XkWQ,K=XkWK,V=XkWV(5)Ak=softmaxQK?dkV,其中dk是注意力维度。层归一化的输出被汇总为:(6)zk=TransformerEncoderAk嵌入zk反映了基于频繁修订或长时间暂停的参与节奏,这对应于认知努力和调节。5.3.3. TextEmotionEncoder用于解释反思性情感语言此外,TextEmotionEncoder还接收学习者的反思性写作及其表达的动机和感受作为输入。它通过对每个单词进行分词,并将它们通过BERT模型进行处理,该模型能够理解意义和上下文。可以检测到微妙的情感细微差别,例如语言中的挫败感、信心或乐观情绪。结果嵌入描绘了学习者如何表现自己的状态,将语言表达与整个写作过程中的潜在情感和动机状态联系起来,并定义为:反思性文本段xt=w1…wm被分词并用BERT处理以生成上下文化嵌入:(7)ht=BERTxtθb(8)zt=MeanPoolht文本向量zt捕获自我效能、乐观或挫败的语义指标。5.3.4. 跨模态注意力融合如图5所示,引入了跨模态注意力融合层,以整合来自所有模态(例如生理、行为和文本)的信息,并调节它们对上下文的影响。它更重视包含当前更清晰情感信号的模态。例如,在早期计划阶段,生理压力可能占主导地位,而在修订阶段,反思性语言或按键节奏可能最具信息量。这种动态加权允许模型在写作的每个阶段关注最相关的特征,从而获得学习者情感和动机状态的更平衡和上下文感知的表示。下载:下载高分辨率图像(129KB)下载:下载全尺寸图像图5. BERT文本情感编码器,用于反思性情感语言。每种模态都提供不同的情感证据。跨模态注意力融合层动态地重新加权它们的贡献:(9)αi=expWf?zi∑j∈pktexpWf?zj(10)zf=∑i∈pktαizi这里,zf是融合的多模态表示;较高的αi表示模态i的更高上下文相关性。5.3.5. 时间图神经网络(TGNN)用于学习情感轨迹时间图神经网络(TGNN)用于展示情感和动机的动态。这是图6中机制的视觉类比。每个写作阶段(计划、起草和修订)的时间被组织成图中的节点,边反映了情感状态在各个阶段之间的关联。图注意力机制识别出更重要的转换,例如,在计划后焦虑减少,或在成功修订后动机增加。通过利用这种时间相关性,TGNN可以重建情感和参与度在整个写作过程中如何建立、波动或稳定的平滑情感轨迹。下载:下载高分辨率图像(102KB)下载:下载全尺寸图像图6. 时间图神经网络(TGNN)层被添加以测量写作阶段。写作通过连续的阶段展开,如计划、起草和修订,每个阶段都表示为时间图G=VE中的节点vt。边以wt,t+1的权重连接时间上相邻的段,编码情感连续性。TGNN使用图注意力更新每个节点嵌入(Li等人,2024;Xu等人,2024):(11)ht′=σ∑t′∈Ntβt,t′Wght′(12)βt,t′=expLeakyReLUa?Wht∥Wht′∑j∈NtexpLeakyReLUa?Wht∥Whj该机制模拟了阶段感知的情感流动,捕捉了写作阶段之间的平滑或突然的情感变化。5.3.6. 双任务输出和联合损失双任务输出TF层使用TGNN嵌入输出两个互补的预测。一个头部输出有限离散情绪(快乐、挫败、焦虑或中性)的分类,另一个头部输出连续的动机分数。联合训练是有益的,并且共享学习,其中情感提示有助于细化动机的估计。模型的损失函数是分类损失和回归损失的加权和,以及对齐和一致性惩罚,确保优化过程是平衡的。这种联合学习使系统能够了解学习者在特定时间的情感(以及当时影响学习者的动机和阻碍因素类型),以及学习者在写作各个阶段的长期动机水平(情感和其他方面)。两个预测头部作用于最终的TGNN嵌入zTGNN:一个分类情感分类器和一个连续动机回归器。(13)y?e=softmaxWezTGNN+be(14)y?m=WmzTGNN+bm训练最小化结合交叉熵、回归、一致性和对齐项的联合损失:(15)L=λ1LCEy?eye+λ2LMSEy?mym+λ3LalignZsrcZtgt+λ4Lconsistency这里Zsrc和Ztgt表示来自源域(WESAD/DEAP)和目标域(L2-WED)的嵌入。这种迁移学习目标允许在一般情感背景下学习的情感表示适应教育L2写作环境。5.3.7. 自适应反馈生成自适应反馈生成器将预测的情感和动机状态转换为简短、上下文感知的消息,以指导学习者在写作过程中的表现。使用函数Ft=gy?ey?mCt,它根据检测到的情感状态和当前的写作阶段从预定义的库中选择提示。例如,如果挫败感上升,系统可以建议短暂休息;如果动机增加,它可以提供安慰或提醒专注。这一步骤关闭了感知和干预之间的循环,将模型从被动观察者转变为积极的共同调节器,有助于情感平衡、持久性和自我意识。预测的状态y?ey?m由自适应反馈生成器解释,形成简短的支持性提示:(16)Ft=gy?ey?mCt其中Ct代表当前的任务上下文。函数g·从设计用于在挫败感上升时鼓励持久性或在动机增强时增强信心的教育信息库中选择。这关闭了AI中介的共同调节循环,将被动感知转化为交互式策略支持。5.4. 训练计划训练计划遵循一个渐进的优化过程,将一般情感知识从大型生理数据集转移到L2写作情感和动机建模的具体上下文中。训练从在WESAD和DEAP上的源域预训练开始,以初始化具有强大情感表示的生理编码器。通过最小化源数据上的分类交叉熵损失LCE来优化模型参数Θsrc:(17)Θsrc?=argminΘEXphysy~srcLCE这一步使PhysioEncoder能够学习生物信号波动与情感状态(如压力、平静和愉悦)之间的稳定映射。在目标微调阶段,所有编码器(如生理、行为和文本)都在L2-Writing Emotion Dataset(L2-WED)上共同更新。完整的优化目标L整合了交叉熵、回归、对齐和一致性项,以适应教育领域:(18)Θtgt?=argminΘEXym~L2?WEDL这确保模型学习了与L2写作行为一致的分类情感和连续动机水平。最后,应用温度缩放来校准验证期间的情绪概率。这种技术通过将logits除以一个正标量T来平滑softmax输出,提高情绪预测的信心估计:(19)p?tT=softmaxWeht+beT,T>0这三个阶段:预训练、微调和校准确保MultiSense-L2Net能够从受限的情感数据集泛化到真实的写作场景,同时保持跨模态预测的可解释性和稳定性。6. 实验结果6.1. 实验设置实验设置确保了所提出的MultiSense-L2Net的稳定训练、可重复性和无偏评估。所有模型都在配备了NVIDIA A100 GPU(80 GB VRAM)、AMD 7543 CPU和128 GB RAM的高端工作站上训练,这对于MS2S学习来说绰绰有余。该框架是用PyTorch 2.1和CUDA加速编写的,使用AdamW作为优化器来调整权重衰减并保持收敛的稳定性。两个公开可访问的情感数据集WESAD和DEAP被用于预训练模型,以赋予PhysioEncoder对情感唤醒的通用表示。原始数据用于在L2-Writing Emotion Dataset(L2-WED)上进行训练、验证和测试,该数据集包含80秒语言(L2)写作者的同步多模态数据,包括生理信号、按键日志和反思性文本。每个记录被划分为10秒长的窗口,步长为5秒,从而产生可以直接输入到TGNN模块中的重叠时间序列。数据被随机分为64%用于训练,16%用于验证,20%用于测试,确保每个参与者的样本都在一个折叠中,以避免受试者泄露。生理通道被z分数标准化,使其均值为零且方差为单位,每个参与者的按键特征也被标准化,以适应他们之间的打字速度差异。由于这些处理,特征空间是均匀的且与用户无关的,这对于可靠地测试模型在情感和动机空间中的性能至关重要。防止信息泄露和对齐伪影:为了在管道早期进行干预并减少意外信息泄露的风险,在数据准备和建模过程中采取了若干保护措施。写作阶段标签(计划、起草、修订)仅从预定义的静态任务协议和会话时间推断得出,而不是从用于预测情感和动机的任何生理或按键或文本信号中得出。因此,来自相同模态的阶段信息对于我们从中得出分类或回归是无效的。对生理数据、按键日志和反思性文本单元在时间戳级别进行了多模态同步。阶段分割、特征提取和预测是顺序进行的,没有任何特征明确编码未来的情感状态。此外,进行了与受试者无关的数据划分,每个受试者的数据不能同时位于多个分区(训练、验证和/或测试)中,以防止信息在受试者之间泄露。这样的设计保证了情感和动机的预测依赖于多模态情感模式,而不是与阶段结构或任务分割伪影的虚假相关性。6.2. 超参数优化为了保证稳定的收敛性和所有模态的和谐学习,我们在验证集上对一些重要的超参数进行了网格搜索。CNN-BiLSTM PhysioEncoder使用大小为[3,5,7]的卷积核,具有64–128个滤波器,LSTM隐藏大小为128,以实现局部特征提取和长期生理趋势建模。基于Transformer的KeyStrokeEncoder具有4个注意力头、2个编码器层、256的嵌入维度和0.2的丢弃率,以防止过拟合并保持按键数据中的序列依赖性。BERT TextEmotionEncoder在反思性文本样本上进行了三个时代的微调。BERT TextEmotionEncoder基于BERT-base-uncased检查点,其中较低的六层被冻结,用于编码一般语言表示,上层在反思性文本样本上进行了三个时代的微调,以适应情感的特定含义。跨模态融合层将所有模态嵌入投影到一个维度为df=256的统一特征空间,并应用了阶段条件化的注意力系数αphys、αkey、αtext∈01,使用softmax函数进行标准化,以确保在写作阶段期间动态和可解释的加权。时间图神经网络(TGNN)组件包括两个图层,隐藏维度为128,并使用GRU基于的门控来调节信息在时间节点之间的传播。联合目标函数结合了多个加权损失,系数设置为λ1=1.0、λ2=0.6、λ3=0.3、λ4=0.1和正则化项λ5=10?4。这些设置在情感分类准确性、动机回归稳定性和跨域对齐之间提供了平衡的权衡,确保了跨多模态输入的稳健性能和可解释性。6.3.模型训练
模型训练遵循了一个两阶段程序,旨在实现从一般情感语料库到特定第二语言(L2)写作环境的稳定迁移。在预训练阶段,PhysioEncoder在WESAD和DEAP数据集上进行了50个周期的训练,批量大小为32,学习率为1×10^-4。这一阶段建立了来自生理信号的稳健情感特征表示,为后续适应基于写作的数据奠定了基础。
在微调阶段,包括所有编码器、融合层和TGNN层在内的完整MultiSense-L2Net架构在L2-WED数据集上进行了优化,采用基于验证F1分数和RMSE稳定性的提前停止策略(如果5个周期内没有改进Δ<0.001,则停止训练)。整体训练目标结合了分类情感预测的交叉熵损失、连续动机回归的Huber损失以及MMD(最大均值差异)对齐项,以最小化预训练(源)和微调(目标)特征分布之间的差距。
为了提高置信度校准,在验证集上的SoftMax logits应用了温度缩放,T值为1.6,从而细化了情感分类的后验概率估计。模型在40个周期内收敛,训练损失和验证损失均表现出平滑且单调的下降趋势,证实了学习的稳定性以及跨模态的一致性。
6.4. 性能指标
为了确保实验之间的一致性和可比性,所有模型都使用相同的统一性能指标和数据划分进行评估。情感识别性能通过宏观F1分数、准确率、精确率、召回率、AUC和预期校准误差(ECE)来报告,而动机预测性能则通过均方根误差(RMSE)、平均绝对误差(MAE)和Spearman等级相关性(ρ)来评估。这些指标在基线比较、消融研究和最先进评估中均得到了一致的报告。
校准质量进一步通过计算20个均匀区间上的预期校准误差(ECE)来验证,以量化预测概率置信度与观察到的准确度之间的差异。为了确认结果的稳健性,对CNN-LSTM、仅Transformer模型和Early-Fusion模型等基线架构进行了配对t检验,显著性水平为p<0.05。这些比较表明MultiSense-L2Net在跨模态学习和泛化能力上显著优于其他模型。
6.5. 结果分析
训练结果表明,MultiSense-L2Net能够稳定收敛,并在不同写作阶段表现出良好的泛化能力。如图7(a)所示,训练损失和验证损失均平滑下降,两者之间的差距也很小,这表明没有过度拟合现象,多模态学习效果良好。图7(b)显示,训练和验证的准确率分别达到了约95%和89%,证明了模型对未见数据的泛化能力。这些结果表明,混合损失函数、自适应学习率和融合-TGNN方案实现了情感状态和动机状态的平衡收敛和准确预测。
情感分类的宏观F1分数正式定义为:
(20) F1macro = 1 / (Ce ∑ c = 1) [Precc + Recc]
动机预测误差通过RMSE和相关性来衡量:
(21) RMSE = 1 / (T ∑ t? - mt) ^ 2, ρ = Spearman(m?, m)
支持参数包括:Cp(生理通道数)、Lk、Ls(序列长度)、Ck(按键特征大小)、d?(相位嵌入维度)、We、Wc、bc、Wk、bk(投影权重和偏置)、Wc、WQ、WK、WV(注意力矩阵)、d(注意力宽度)以及TGNN节点t的邻域N(t)。损失系数λ1…λ5分别对应于情感、动机、对齐、一致性和正则化项,T表示用于校准的温度。
统计显著性通过配对t检验进行评估,显著性阈值为p < 0.05,并将效应大小与性能指标一起报告,以支持结果的稳健解释。
6.6. 结果分析
训练结果表明,MultiSense-L2Net在不同写作阶段表现出稳定的收敛性和良好的泛化能力。如图7(a)所示,训练损失和验证损失均平滑下降,两者之间的差距很小,表明没有过度拟合现象,多模态学习效果良好。图7(b)显示,训练和验证的准确率分别达到了约95%和89%,证明了模型对未见数据的泛化能力。这些结果表明,混合损失函数、自适应学习率和融合-TGNN方案实现了情感状态和动机状态的平衡收敛和准确预测。
随后,我们进行了多项实验来展示所提出系统的性能。这些实验的步骤在后续段落中有详细说明。
实验1评估了仅基于生理数据训练的CNN-LSTM架构,分析其模拟唤醒和压力变化的能力。表2中的结果表明,该基线模型的表现中等,宏观F1分数在0.76–0.80之间,具体取决于配置。添加额外层或Dropout的模型在泛化能力上略有提升,但由于缺乏语言或行为信息,可解释性受到限制。虽然调整后的CNN-BiLSTM变体在时间平滑性上表现更好,但其准确率趋于平稳,因为写作中的情感转换很少能仅通过生理信号来解释。较低的相关性(ρ ≈ 0.74)表明,仅凭皮肤电活动或心率等信号推断出的动机变化在没有上下文或语义线索的情况下是不充分的。相比之下,提出的MultiSense-L2Net将这些生理特征与按键和文本编码器集成在一起,通过学习跨模态情感依赖性并采用自适应的相位感知融合,克服了这一限制,从而保持了较低的错误率。
表2. 基于生理模态的CNN-LSTM基线架构,用于MultiSense-L2Net的开发。
实验2研究了仅使用按键动态作为输入的基于Transformer的模型。表3显示,Transformer基线模型的精确率和召回率(宏观F1 ≈ 0.82)略优于CNN-LSTM,表明注意力层能够有效捕捉暂停、打字爆发和修订模式,这些模式与参与度和认知负荷相关。
实验3专注于使用BERT编码器的基于文本的情感识别。表4表明,该基线模型在两种语言中的表现均优于时间单模态模型,宏观F1分数在0.84–0.86之间。其优势在于能够检测到学习者提供的书面反馈中的情感信号和自我反思词汇,这是一种明确的情感自我披露。经过微调和词典增强的模型在准确率和校准方面都有所提升,增强了语义空间的可靠性。持续或停止的动机与生理变化密切相关,但仅通过文本动机或生理唤醒的变化无法完全解释。BERT基线的计算负担较大且推理速度慢,不适合实时教育反馈。MultiSense-L2Net通过将BERT融入多模态融合方案中,通过注意力加权减轻噪声,并通过相位特定的时间学习提高实时可解释性。
实验4研究了仅使用按键动态的Transformer模型。表5显示,基于Transformer的模型的性能有显著提升,宏观F1分数在0.84–0.86之间。其优势在于能够检测到书面反馈中的情感信号和自我反思词汇。经过微调和词典增强的模型在准确率和校准方面都有所提升。
实验5专门研究了基于BERT的模型。表6表明,该模型在情感识别方面表现优异,宏观F1分数在0.84–0.86之间。其优势在于能够检测到学习者提供的书面反馈中的情感信号和自我反思词汇。这确保了模型在跨学习者进行泛化能力上的测试,而不仅仅是记忆个体的独特生理或行为特征。基线比较包括单模态生理CNN-BiLSTM模型、基于按键的Transformer模型、基于文本的BERT分类器以及早期融合的多模态模型。我们报告了所提出的全多模态模型的结果,该模型包括跨模态注意力和时间图推理,以及这些基线模型。我们的LOSO结果、典型情绪在模态间的情绪传播,以及在这个数据集上的非运动特定Leave One Participant Out(LOPO)评估表明,尽管参与者数量较少,所提出的多模态框架在所有LOSO折叠中都取得了有竞争力的结果。情绪分类的平均宏观F1值约为0.87,整体分类准确率接近90%,这表明可以有效地整合生理、行为和语言信号来识别与任务相关的情感状态。从混淆矩阵可以看出,所有情绪类别的对角线元素都很强,进一步支持了高类别可分性和坚实的跨阶段情绪检测。快乐类别在所有类别中获得了最高的精确度,其分类准确率超过了92%,这可能归因于积极的语言反映、稳定的打字节奏和较低的生理唤醒之间的强多模态一致性。沮丧类别的分类准确率也表现相似,约为88-90%,而在修订后期阶段,行为和生理信号表现出较少的唤醒对比时,对中性状态的混淆略有增加。焦虑状态也表现出中等的模糊性,这与情感计算领域之前的研究结果一致,即与压力相关的情感状态的生理唤醒特征具有相似的属性。另一方面,单模态生理基线之间的差异通过多模态融合减少了46.2%。中性类别的召回率在所有折叠中都相当平衡,显示出在低认知负荷时期能够稳定检测情感状态的能力。多模态模型在检测焦虑的假阴性方面表现更好,并且与单模态基线相比,能够更好地区分轻微的沮丧状态和中性参与状态。这些结果表明,时间图建模能够很好地捕捉写作阶段情感状态之间的转换,而跨模态注意力根据任务上下文自适应地加权最具信息量的模态。
动机预测的平均RMSE小于0.09,预测和观察到的动机趋势之间有预期的强单调相关性(Spearman ρ ≈ 0.80),如图9所示。研究结果表明,即使受限于较少的受试者数量,多模态时间融合也能够对任务内的动机动态进行稳健建模。下载:下载高分辨率图像(370KB)下载:下载全尺寸图像图9. 使用混淆矩阵分析和聚合的F1及RMSE评估指标的端到端多模态实验流程和分类性能可视化。
6.7. 最先进技术的比较所有基线都重新实现或配置为使用与MultiSense-L2Net相同的训练-测试分割、情感标签空间、窗口方法和评估指标,以保证公平和可重复的比较。为了进行公平的比较,我们针对最近提出的多模态情感识别模型进行了我们的分布实验,详细实验信息如图10所示。基准包括一些代表性的SOTA解决方案,即Li等人(2022年)、Chen等人(2024年)、Praveen和Alam(2024年)以及我们提出的MultiSense-L2Net。我们在L2-WED数据集上使用相同的数据分割和统一的情感标签方案评估了所有模型,目标类别包括快乐、沮丧、焦虑和中性。下载:下载高分辨率图像(441KB)下载:下载全尺寸图像图10. 多个模型的最先进混淆矩阵和指标。这种共同的实验设置使我们能够以可比较的方式研究模型的行为,特别是关于多模态融合的准确性、情感轨迹的检测以及跨阶段泛化的性能。Li等人(2022年)提出了一个用于EEG情感识别的迁移学习框架,Chen等人(2024年)提出了双注意力图卷积网络(DAGCN)来捕捉时空特征以改进情感识别。Praveen和Alam(2024年)的模型利用了不协调感知的跨模态注意力进行音视频融合,揭示了模态之间的注意力门控。上述每种方法都在生理建模、注意力(机制)或时间分辨率方面增加了优势。通过应用相同的评估协议,我们评估了每个模型对L2-WED中捕获的写作特定情感动态的泛化能力。MultiSense-L2Net在识别写作阶段共调节的情感状态方面表现出了优越的性能,这归功于其阶段条件化的注意力融合和TGNN建模。这种比较突出了将AI架构与情感和动机在真实教育环境中的教学需求对齐的好处。
6.8. 计算分析计算考虑了MultiSense-L2Net在教室和电子学习中的效率、可扩展性和资源消耗的适用性。所有实验都在配备了一个NVIDIA A100 GPU和一个AMD EPYC 7543 CPU以及128 GB RAM的工作站上进行。模型平均每个折叠的训练时间为42分钟,批量大小为64,单个写作样本的推理时间为74毫秒,证实了模型的近乎实时的响应能力。如表6所示,自适应注意力和TGNN大约占总计算的18%,特征编码器(CNN-BiLSTM、Transformer、BERT)约占70%,额外的12%包括反馈生成器和损失。我们方法的GPU最大内存使用量为14.3 GB,显著低于其他基于Transformer的融合模型(例如,Zhou & Wang, 2024在类似的批量大小下使用了超过20 GB)。参数调整是通过在微调时冻结BERT的较低六层来完成的,这有助于减少梯度更新的冗余计算,而不牺牲表示深度。TGNN使用稀疏邻接矩阵来编码时间和阶段级别的连接,并保持了0.21的图密度,确保其几乎与写作会话长度成线性扩展。能量测量显示,MultiSense-L2Net的功耗为每个样本2.64 W,低于仅TGNN(2.71 W)和早期融合(2.66 W)的基线。这种改进可以归因于自适应注意力机制,它只在每个写作阶段激活最具信息量的模态,从而减少了不必要的计算。训练过程顺利进行,测试损失在35个周期后收敛,AdamW优化器的平均梯度范数低于0.9,为跨模态提供了数值稳定性。总体而言,这种复杂性分析表明MultiSense-L2Net在多模态深度、可解释的表示和实时推理之间提供了良好的平衡。它已被证明适用于情感感知辅导系统和L2写作分析,因为它具有活跃的内存使用、低能耗和稳定的收敛性。从上面的图11可以看出,混合模型的训练时间略有增加,但与模型的复杂性相比,推理仍然高效。第二个图表展示了功率和内存消耗的比较,其中MultiSense-L2Net使用的功率比TGNN和早期融合技术少,且比BERT依赖的系统使用的GPU内存少得多,这验证了其在现实世界教育环境中的可扩展性和适用性。
7. 讨论、局限性和未来工作7.1. 关键发现总结本研究通过提出一个多模态、时间自适应的框架来解决L2写作研究中的一个核心局限性,该框架用于在真实写作任务中建模情感和动机。结果表明,整合生理、行为和文本模态能够比单模态或静态方法实现更稳定和敏感的情感-动机动态建模。重要的是,该框架表明L2写作中的情感和动机最好被理解为过程层面的、随时间演变的状态,而不是静态属性。在本研究中,共调节在系统能力层面得到了操作化,并在交互中进行了建模,而不是作为学习者调节、动机持久性或写作结果的经验证改进。因此,这些发现应被解释为有效动机状态建模的证据,而不是教学影响的证明。7.2. 与先前研究的关联这些发现与强调L2写作中情感和动机动态性质的先前研究一致(Dong, 2025a; Teng & Zhang, 2016)。虽然早期的研究主要依赖于自我报告工具或粗略的纵向总结,但目前的工作展示了如何使用多模态数据流在更细的时间分辨率下对情感波动进行建模。这支持了在写作中采用过程导向的自调节和动机研究的方法(Papi & Hiver, 2020)。多模态和阶段感知建模的改进进一步支持了将写作中的情感调节视为具体化和行为基础的理论观点。生理唤醒模式、写作节奏和语言反映共同促进了情感调节,这与行为和情感学习分析的发现一致(Conijn等人,2022年;Liu, 2022年)。时间图建模通过明确捕捉写作阶段中情感和动机状态的转换扩展了这项工作。7.3. 理论贡献从理论角度来看,这项研究通过将情感和动机操作化为与任务接近的、动态推断的状态,为L2写作研究做出了贡献。这种框架通过提供计算视角,展示了情感和动机过程在写作期间是如何展开的,从而扩展了自我调节学习模型(Teng & Zhang, 2016)。它并没有取代既定的心理学构建,而是通过提供一种观察情感轨迹发生的方式来补充它们。至关重要的是,该框架并不声称进行心理测量或因果调节。相反,它提供了一种过程分析建模方法,将应用语言学和人工智能联系起来,使得对写作中情感动态的新形式进行实证探究成为可能。7.4. 教育和教学意义尽管没有直接评估教学成果,但这些发现对设计情感感知写作支持系统具有重要意义。对情感和动机的阶段敏感建模表明,当教学支持与学习者的情感需求相匹配时,可能会最有效。例如,在计划期间增加的焦虑可能受益于安慰或目标澄清,而在修订期间动机下降可能需要鼓励或策略提示。对于教育者来说,这样的系统可以提供细粒度的诊断洞察,补充传统的评估并减少对回顾性自我报告的依赖。对于学习者来说,由情感建模提供的自适应反馈可能在没有强加严格控制的情况下支持自我调节和持久性,促进技术中介写作环境中的自主性。7.5. 局限性有几个局限性需要讨论。尽管该系统确实产生了考虑预测效应和动机状态的适应性反馈,但这项研究并没有实验性地调查这种反馈对学生自我调节、动机、写作持久性或写作质量的直接影响。因此,它被概念化为一个共同构建的交互过程,而不是一个经过验证的教学策略。其次,情感/动机的先驱是基于多模态证据估计的任务接近的、时间平滑的潜在状态,而不是通过心理测量学验证的评估工具。尽管适合过程导向的建模,但这限制了对情感精确度和普遍性的细粒度陈述。7.6. 未来研究方向后续研究需要使用人类因素和实验研究方法在真实的课堂和在线教育环境中评估AI中介情感反馈的教学效果。在未来的工作中,对比适应性与非适应性反馈条件,将提供关于情感感知支持、动机调节和写作发展之间因果关系的更清晰的理解。在方法方面,未来的研究可以涉及其他感知模态(例如,眼动追踪和面部表情分析)和增量学习算法,以捕捉长期写作作品集中的认知-情感状态轨迹。在设计和实施情感感知教育技术时,应继续关注算法的透明度、学习者能动性和数据隐私等伦理问题。8. 结论在本文中,我们提出了MultiSense-L2Net,这是一种用于L2写作中情感和动机建模的新型深度多模态架构。该系统结合了CNN-BiLSTM、Transformer和BERT编码器以及TGNN(时间图神经网络),共同建模写作阶段的生理、行为和语言交互。结果显示,MultiSense-L2Net在宏观F1和相关性方面优于单模态和最近的多模态基线,并减少了相似情绪的混淆。它使用较少的资源就能保持准确性,表明它可以实时运行。总之,L2写作情感研究框架表明,L2写作中的情感表达通过多模态协同作用得到最佳呈现,并为开发具有情感敏感性的适应性写作支持系统提供了方向。
CRediT作者贡献声明:
Qaisar Abbas:撰写原始稿件、数据可视化、验证、监督、软件开发、方法论设计、研究实施、资金筹集、数据分析、概念化。
Zeyad Alshaikh:撰写原始稿件、数据可视化、验证、监督、软件开发、资源提供、项目管理工作、方法论设计、研究实施、资金筹集。
Riyad Almakki:参与稿件审阅与编辑、撰写原始稿件、软件开发、资源提供、方法论设计。
Mubarak Albathan:撰写原始稿件、数据可视化、监督、软件开发、资源提供、项目管理工作、方法论设计、研究实施、数据分析。
Waeal J. Obidallah:撰写原始稿件、数据可视化、监督、项目管理工作、方法论设计、研究实施、资金筹集、数据 curated、概念化。
关于写作过程中生成式AI和AI辅助技术的声明:
仅使用AI工具(Grammarly)进行语言润色。