提升学习者的学术写作能力:传统教学方法与人工智能辅助教学方法的比较分析
《Applied Corpus Linguistics》:Enhancing learners’ academic writing skills: a comparative analysis of traditional and AI-assisted instruction approaches
【字体:
大
中
小
】
时间:2026年02月20日
来源:Applied Corpus Linguistics 4.3
编辑推荐:
霍利达·贝格马托娃|伊罗达·赛达齐莫娃
乌兹别克斯坦塔什干西敏斯特国际大学全球教育系,伊斯蒂克博尔街12号,邮编100047
摘要
本研究旨在探讨在乌兹别克斯坦一所英语作为第二语言的大学中,传统教学方法与人工智能辅助教学方法在教授大一英语学术写作课程时的效果差异。对
霍利达·贝格马托娃|伊罗达·赛达齐莫娃
乌兹别克斯坦塔什干西敏斯特国际大学全球教育系,伊斯蒂克博尔街12号,邮编100047
摘要
本研究旨在探讨在乌兹别克斯坦一所英语作为第二语言的大学中,传统教学方法与人工智能辅助教学方法在教授大一英语学术写作课程时的效果差异。对照组学生(n=75)采用传统教学方法学习撰写文献综述,通过构建资料矩阵来整理和综合研究结果,并获得教师的建设性反馈。而实验组学生(n=78)则采用归纳式教学方法,他们在从确定主题范围到运用人工智能工具处理教师对草稿的语言反馈,再到独立修改文章的多个阶段都借助人工智能聊天机器人。研究使用了两种教学方法产生的文本构成的学习语料库,每个子集包含两篇文本,共计306篇文献综述。这些文本通过Coh-Metrix工具进行分析,评估了两种教学方法下学生论文的语言特征及整体写作质量。此外,还进行了主题语言分析,以评估文本的学术特征(n=20)。研究结果表明,学生在可读性、句法/语法多样性、写作复杂度以及观点连贯性方面表现相当。采用人工智能辅助方法撰写的论文在语义复杂性、指代连贯性和词汇多样性方面更为突出。主题语言分析明确了学生论文学术特征的三个关键方面:参考文献的使用、衔接手段的运用,以及论证与批判性分析能力的体现。
1. 引言
在高等教育中,学术写作传统上采用演绎式教学方法,即教师先讲解概念和规则,再通过示例和练习进行巩固(Maharani等人,2022)。虽然这种基于固定规则的教法有助于学生模仿文本模式,但其以教师为中心的特点也受到了质疑(Campbell,2019)。因此,写作教学的重点逐渐转向以学生为中心的归纳式教学方法,强调学生的主体地位及其自主责任感(Prince和Felder,2006)。教师的指导能够帮助学生在独立完成任务时理解事实、规则和原理(Prince和Felder,2006),或帮助他们发现语言使用规律(Gurzynski-Weiss和Kim,2022)。引导式发现学习是一种具有目的性指导的归纳式学习形式。在这种背景下,归纳式学习指的是一种普遍的学习过程,而引导式发现学习则是该范式下的课堂教学策略,教师和人工智能等工具通过支架式教学为学生的学习提供支持,同时要求学生主动掌握所需知识(Spencer和Jordan,1999,第1282页)。多项研究表明,引导式发现学习能有效提升学生的写作能力,尤其是在文本连贯性、内容质量、结构安排和词汇运用方面(Khatri,2015;Wendimu和Gebremariam,2024;Widiasari等人,2024)。
人工智能工具的引入为支持归纳式学习创造了条件。尤其是通过人工智能工具的灵活性,可以创建个性化的学习环境(Chen,2024),让学生在引导式发现过程中探索并掌握规则与模式。人工智能技术已被证明能够支持以学生为中心的合作式学习(Singh等人,2022;Song和Song,2023),而这正是归纳式学习的重要要素。研究人工智能在支持归纳式学习中的作用至关重要,因为它会影响学生发展学术写作能力的信心。随着人工智能的广泛应用,人们开始探讨其对学习过程的潜在影响。近期研究显示,人工智能可通过提供反馈、辅助构思、提升语法与连贯性及文体水平,以及增强论证能力,从而帮助提高学生的写作质量和技能(Aljuaid,2024;Hemachandran等人,2022;Marghany,2023;Song和Song,2023;Widiati等人,2023;Asadi等人,2025)。在本研究中,传统教学方法以教师主导的结构性流程为主,同时融入基于人际互动的归纳式元素;而人工智能辅助教学方法则通过教师的引导性输入和人工智能工具,支持学生开展引导式发现学习。
为探究人工智能辅助学习在引导式发现学习中对写作技能的提升作用,有必要通过学习语料库对比“传统教学方法”与“人工智能辅助教学方法”,以此追踪学生的语言发展情况。Granger(2009)将学习语料库定义为系统收集的语言学习者文本,强调了其在评估“真实”写作样本中的重要性(Granger,2013)。在高等教育中,学生应掌握的各项核心学术技能中,文献综述尤为基础。这一过程不仅能培养学生的批判性思维、决策能力,以及从多源资料中分析和综合概念的方法论能力,还能通过撰写逻辑清晰的综述来提升他们的学术写作能力。鉴于这项任务对提升写作能力的重要性,本研究比较了两种教学方法的成效。黄和谭(2023)也指出,使用ChatGPT时需要人工监督,因为该工具可能生成语法正确但缺乏深度理解的文本,或提供虚假参考文献。
因此,本研究旨在比较传统教学方法与人工智能辅助教学方法对学生语言知识及学术写作能力的影响,进而确定哪种方法更有利于提升学生的学术写作水平。研究结果可为现有研究增添新的见解,明确这两种教学方法在教育过程中的教学意义,以及它们对学生和教师的优缺点。
2. 文献综述
多年来,高等教育中的主流教学模式是演绎式教学,学生处于被动接受知识的地位,教师则是传授新概念和规则的主导者。随着归纳式教学方法的引入,这种情况发生了变化,学生在结构化的课堂体验中主动探索知识(Prince和Felder,2006)。归纳式教学方法与维果茨基(1984)的社会建构主义理论相契合,该理论强调主动学习体验和知识建构。维果茨基认为,学习体验是在社会文化环境中形成的,学生通过与能力更强的同伴互动来获取知识。在学术写作领域,社会建构主义原则有助于学生掌握语言和修辞结构。维果茨基社会建构主义理论中的一个重要概念——最近发展区(ZPD),解释了学生在教师引导下如何从依赖他人解决问题逐步走向独立解决问题(Vygotsky和Cole,1978)。ZPD与归纳式学习密切相关,因为它体现了学生如何在课堂支架式的支持下识别学术写作中的语言模式并提炼出一般规律。学生的ZPD是指他们当前的知识水平与在教师指导下可能达到的发展水平之间的差距。Palincsar(1998)指出,在教师指导或与同伴合作的情况下,ZPD更具动态性,因为它成为衡量认知发展的相对指标。在学术写作语境中,人工智能工具使学生能够以自己的节奏完成写作任务,并获得个性化反馈,从而自主继续学习进程(Song和Song,2023)。
2.1 归纳式学习与引导式发现学习
归纳式学习是一种有效的教学方法,有助于培养学生的责任意识并促进其积极参与学习。Prince和Felder(2006)强调了归纳式学习在培养认知能力和迁移能力方面的作用,包括批判性思维和问题解决能力。这些能力可通过引导式发现学习得到进一步强化,这是一种属于归纳式教学方法的策略,但具有更为结构化的教师支持。基于建构主义的学习观,引导式发现学习描述了这样的学习过程:教师引导学生主动参与,形成自己对主题的正确理解(Bamiro,2015)。先前的研究表明,归纳式教学方法能够提升文本的结构、连贯性及修辞意识(Bell,2017;Gollin,1998;Maharani等人,2022)。在语言形式和准确性方面,归纳式教学方法也有助于学生运用语法、提升句法多样性和复杂性,以及树立正确的学术立场(Fordyce,2014;Fleming,2018)。因此,教师可以利用这种方法营造深入的学习环境(Fordyce,2014;Spencer和Jordan,1999),引导学生进行实验、探究和分析,从而发现并构建新的语言模式(Balim,2009)。
2.2 人工智能在学术写作中的作用
人工智能是指利用算法生成输出的计算系统(Moorhouse和Wong,2025)。诸如聊天机器人之类的人工智能工具已在语言教育领域得到广泛应用,改变了语言学习的模式(Lee等人,2020;Zhang等人,2023),尤其在协作学习方面发挥了重要作用(Chapelle,2024;Kern,2024)。正如Benzon(2023)所指出的,人工智能语言模型能够调整自身的“复杂话语能力”,以满足具体需求,因而有望成为提升学术写作能力的有效辅助工具。写作能力的提升尤为明显(Utami和Winarni,2023),这得益于即时且个性化的反馈,使得文章的组织结构、连贯性、语法、流畅度和词汇水平都能得到改善(Song和Song,2023)。Barrot(2023)和黄与谭(2023)也强调了人工智能在编辑语言形式和文体方面的优势。不过,认为人工智能能够完成所有写作任务则过于夸大其词(Yan,2023)。人工智能工具在理解复杂的科学写作概念、背景和细微差别方面可能存在不足(Huang和Tan,2023)。
随着人工智能技术的进步,人工智能驱动的写作工具和机器人提供了新的支架式支持,能够在写作过程的各个阶段为学生提供指导。Handley(2024)和Thorne(2024)认为,人工智能为提升学生的学术能力提供了创新解决方案。Handley(2024)指出,人工智能带来的创新可以辅助教师处理重复性工作,使他们能够专注于教学、创造力和与学生的互动。在语言形式和准确性方面,研究表明人工智能能够提升写作能力(Hemachandran等人,2022;Song和Song,2023),而Wale和Kassahun(2023)以及Widiati等人(2023)则认为它能够提高文本在语法和词汇方面的质量。这一结论与Weber等人(2024)的研究结果一致,他们指出人工智能工具能够提供个性化反馈,为学生写作过程提供支持。综上所述,人工智能在提升学术写作能力方面的作用很可能源于其即时纠正反馈的功能。Asadi等人(2025)发现,那些同时获得ChatGPT反馈和教师评述的学生,其论证性文章的进步幅度明显大于仅接受教师反馈的学生。这可以归因于人工智能在确保基本语言准确性方面的高效性,再加上教师的反馈能够激发学生的高阶思维能力。Wang(2024)也提出了类似观点,强调了整合人工智能技术以提升写作水平的益处。研究表明,学生在收到人工智能生成的反馈和教师提供的反馈后,其写作准确性、流畅性和复杂性都会得到提升。
2.3 本研究的动机
有研究表明,为避免学生过度依赖人工智能驱动的写作工具,教师和学生在使用这些资源时都应遵循特定的指导原则(Barrot,2023;Yan,2023)。例如,Barrot建议探索如何利用ChatGPT来强调写作的重要性。教师可以教导学生编辑写作中的语言形式和文体,并记录撰写最终文稿的步骤。这一例子表明,当人工智能作为教师反馈的补充而非替代品时,才能真正惠及学生。根据Yan的研究结果,学生认为只有在自主学习情境下且适度使用ChatGPT时,它才有效,这意味着人工智能很快就会成为“新常态”(第13,958页)。随着人工智能在写作课堂中加强协作学习氛围,这种变化将进一步提升学生的参与度(Song和Song,2023)。此外,Chapelle(2024)和Kern(2024)认为,在教师监督下对生成式人工智能工具进行批判性使用,有助于促进学习并支持学生之间的协作。例如,Karata?等人(2024)指出,为了满足学生多样化的需求,教育工作者可以通过设计包含人工智能工具的创意写作活动,使学习更加有趣且富有针对性。同样,Rey和Moorhouse(2023)指出ChatGPT具有教学优势,包括帮助开发学习材料与任务型活动、作为参考工具使用、为语言学习者提供个性化学习环境或反馈,以及协助写作过程。Teng(2024)进一步认为,在教师引导下,人工智能辅助的归纳式学习环境能够促进学生的互动学习,因为学生不仅能获得评价性反馈,还能得到用于分析自己写作作品的具体建议。现有研究强调了归纳式教学方法的重要性以及人工智能工具在提升学术写作能力方面的作用。然而,目前缺乏比较性的实证研究,来探讨在传统教学环境与人工智能辅助教学环境中,学生在语言形式与准确性、文本连贯性及结构组织等方面的提升程度有何差异。以往的研究要么单独研究人工智能的潜力,要么仅分析传统的归纳式教学策略,未能考虑教育领域日益变化的数字化趋势。随着人工智能的发展,需要持续开展研究,以充分了解其在高等教育中的应用潜力,以及这些工具如何最大程度提升学生的学习积极性或学术写作能力。尽管一些专家认为人工智能能够提高学生的学习积极性和写作准确性,但这些优势与教师反馈相比如何,仍需进一步探究。本研究正是为填补这一空白而展开,通过比较学生在传统教学环境与人工智能辅助教学环境下的学术写作成果,旨在探究人工智能辅助的教学方式是否能够提升学习者的学术写作能力,尤其是在语言知识与学术写作特征方面。研究结果有望为英语学术写作教学领域的专家提供实用建议,帮助他们改善学生的学术写作体验。为实现上述研究目标,本研究提出了以下问题:1. 传统教学方法与人工智能辅助教学方法对学生语言知识的影响各为何种?2. 在传统教学方法与人工智能辅助教学方法指导下,学生的学术写作成果存在何种差异?3. 哪种教学方法更能有效提升学生的语言能力与学术写作能力?
3. 研究方法
本研究探讨了传统教学方法与人工智能辅助教学方法对EAP课程中文献综述写作方面学生语言能力与学术技能的影响。
3.1 研究设计
本研究采用混合方法,结合定量研究、定性研究与准实验研究方法。通过准实验设计,对比两种教学方法在提升学生学术写作能力方面的效果,将这两种方法分别应用于对照组与实验组。研究人员利用Coh-Metrix 3.0工具从定量角度分析学生论文的语言特征,同时通过主题语言分析方法识别文本中的学术写作特点。此外,数据收集还包括整理参与实验的两组学生的论文样本,构建学习者语料库。
3.2 参与者与抽样
本研究共有153名乌兹别克斯坦塔什干一所国际大学EAP课程第二学期的新生参与,这些学生来自该国不同地区。他们均为乌兹别克语母语者,多数还具备卡拉卡尔帕克语、俄语和塔吉克语的双语能力。他们的年龄在17至20岁之间,正在修读国际基础研究证书课程,该课程是他们在第二年开始深入学习相关专业领域的必修前置课程。根据该校的入学要求,这些学生必须提交英语水平证明——国际英语语言测试系统学术类成绩,整体分数至少达到6.0分,写作部分至少达到5.5分,相当于剑桥大学出版社与评估机构制定的CEFR标准中的B2级别(2025年)。这表明参与者的英语水平处于较为扎实的中级阶段。在抽样过程中,参与者被随机分配到实验组与对照组。
3.3 研究背景
该EAP课程在第二学期包含两次评估,中期任务要求学生进行二次研究,期末任务则要求学生进行一次性研究,其成果需以简报形式提交。本研究聚焦于第一次评估——文献综述写作。示例学生论文可在https://www.iris-database.org/details/YGyP2-CBzBT查看,任务要求详见附录A。研究在常规的EAP课堂上进行,每周安排两次时长为120分钟的课程,共持续6周。这些课程在设施与环境上完全一致,均配备教室电脑、无线网络和投影屏幕。实验组与对照组的学生均由本研究的两位研究者担任授课教师,每位教师分别负责两个对照组小组和两个实验组小组,共计八个子组。在学生最终成绩的评定上,遵循学校规定,论文由两位评分教师共同评分。评分教师中,第二位即为课堂上的实际授课教师,第一位则为使用相同教材教授同一课程的另一位EAP教师。这样的安排有助于最大限度减少最终评分中的偏见与主观性。
3.4 研究流程
在第二学期EAP任务的框架下,学生需要开展基础研究,这一过程分为两个阶段:首先进行二次研究并提交文献综述;随后在学期后半段收集一手数据,并将其成果以简报形式提交。本研究主要关注第一阶段的任务。课程所使用的教学内容与材料,以及评估标准,对所有EAP教师及该校一年级学生都是统一的。唯一的区别在于,实验组将人工智能工具作为教学元素纳入教学过程,这些学生会获得使用人工智能的指导与辅助。参与者是根据研究人员的机构伦理准则自愿参与的。在研究开始之前,研究人员获得了学生的书面同意,向他们说明了研究的目的与流程,确保其作品的匿名性与保密性,同时解释了研究结果可能带来的风险与益处。
3.4.1 实验组
教师们致力于为学生创建引导式发现学习环境,将人工智能生成的提示所支持的任务与要求学生独立完成的任务相结合。他们重点设计那些能够促进以学生为中心的学习、培养自主性以及提供自我探索机会的活动。例如,教师们设计了多种活动,包括通过与生成式人工智能的对话来探索主题与问题、解决问题场景、案例分析、样本文献综述分析,以及通过拼图式阅读来练习综述写作的不同要素。另一个与制定研究问题相关的例子是,要求学生根据幻灯片中的提示来制定研究问题,随后再利用人工智能根据相同提示生成研究问题。通过这一任务,学生可以比较人工生成的内容与人工智能生成的内容(详见附录B)。简而言之,通过这些练习,学生在自我导向学习的过程中逐渐学会主动承担起探索所需内容的责任(Spencer和Jordan,1999)。
为促进写作能力的提升,教师鼓励学生进行尝试,以培养他们的独立决策能力并实现个性化学习,同时指导他们根据自身需求使用人工智能工具,包括常见的生成式人工智能平台,如ChatGPT、Poe和Copilot;用于文献检索的人工智能驱动语料库,如Scite.ai;以及用于研究相关任务的特定机器人,如嵌入在Poe中的AsstResAI。在为期六周的干预期内,人工智能工具被应用于文献综述写作的关键环节,这些环节包括以两人组、小组或个人形式进行的广泛主题探索、缩小研究范围、制定研究问题、总结来源资料中的发现以及提炼主题。此外,学生还利用人工智能工具获取其写作在内容、结构、语言和标点等方面的语言与学术特征反馈,这些反馈有助于完成多阶段的写作任务。这些任务包括初稿撰写、教师与人工智能提供的反馈,以及为优化最终写作成果而进行的分析与修改(Coyle等人,2023)。在引导式发现教学法的基础上,教师仅对学生初稿中的语言问题提供指导性反馈,这类反馈具有明确的方向性,但指导内容相对有限。学生则根据这些反馈对自己的初稿进行修改,同时利用人工智能平台查询相关语言规则并独立进行修正。为提高学生对人工智能伦理使用的意识,教师们强调,人工智能仅可用于处理机械性且耗时的任务,以及帮助解答与内容与语言相关的问题。虽然学生在初稿阶段会接受人工智能反馈,但实际的写作与修改工作仍需由学生自行完成。
3.4.2 对照组
对照组的学生(n=75)采用传统教学方法学习撰写文献综述,即通过构建资料矩阵来整理和综合研究结果,同时获得教师的建设性反馈,包括对写作优点、改进空间的分析,以及进一步提升写作水平的指导。这种方法结合了归纳式与演绎式的教学理念。为明确概念,所谓传统教学方法是指遵循Li和Wang(2018)所描述的步骤,包括:(a)明确研究主题并制定研究问题;(b)搜索相关文献;(c)选择要纳入的资料来源;(d)阅读文献;(e)以矩阵形式对数据进行离散化处理,同时通过提取主题与模式实现综合分析;(f)撰写综述。该方法中的演绎元素体现在教师明确的逐步指导中,而归纳元素则体现在学生参与资料筛选与主题发展过程中。这些阶段都得到了课堂讲解、实践活动以及教师反馈的支持。在同一时期,教师们使用的教学材料与内容与实验组类似,主要包括互动讨论、历年试题分析,以及利用学校内部数据库与通用数据库构建资料矩阵。教学重点在于语言教学与练习,包括语法结构训练、词汇扩展,以及旨在帮助学生理解主题段落结构与组织的各种活动。课堂写作是在教师的语言与内容指导基础上进行的,学生随后在课堂上立即获得同伴与教师的反馈。除了课堂上的教师反馈外,学生还在第三周提交初稿的电子版本,并收到建设性反馈。总之,学生被明确要求不得在课堂相关活动中使用人工智能。对照组学生从教师与同伴那里获得反馈,而实验组学生则同时从教师与人工智能工具那里获得反馈。两组学生在课堂上也都会在教师讲解后立即收到反馈,反馈内容主要涉及学术写作的相似方面,包括内容、结构与语言运用。总体而言,两种教学环境与流程都在两组中形成了以学生为中心的反馈循环。
3.5 学习者语料库与数据分析
学习者语料库共包含306篇文献综述,这些文献综述被分为两个子集:对照组(n=150)与实验组(n=156)。每个子集包含两篇文档,分别是学生的初稿与最终论文(见表1)。作为中期评估的一部分,学生被要求在第三周提交初稿,在第六周提交最终版本。
表1. 学习者语料库
| 教师 | 组别 | 子组 | 初稿数量(n) | 最终论文数量(n) | 总计(n) |
|------|------|------|--------------|------------------|----------|
| A | 对照组 | 子组1 | 37 | 37 | 74 |
| | | 子组2 | 38 | 38 | 76 |
| 对照组总计 | | | | | 150 |
| A | 实验组 | 子组1 | 39 | 39 | 78 |
| | | 子组2 | 39 | 39 | 78 |
| 实验组总计 | | | | | 156 |
| 总计 | | | | | 306 |
3.5.1 Coh-Metrix工具
研究人员使用Coh-Metrix 3.0这一计算工具来分析学生撰写文本的语言特征,从而揭示并比较他们在传统教学环境与人工智能辅助教学环境下的写作表现发展趋势。Coh-Metrix是少数能够对第二语言写作中的文本层面连贯性及词汇网络密度进行深入定量分析的综合工具之一(Green,2012)。研究人员选择了若干关键指标,用以衡量一篇优秀的学术作品——即文献综述——的质量。在本研究中,尤其值得关注的Coh-Metrix指标包括:Flesh-Kincaid年级水平值、指称连贯性、连接词使用情况、句法复杂性、潜在语义分析以及词汇多样性。
3.5.2 指标的选择
在研究学生写作的语言特征时,一个重要的考量因素是写作任务的类型与体裁,因为不同的任务可能需要不同的语言技能(Crossley,2020)。因此,本研究选择了若干特定的语言测量指标来评估文献综述的质量。Flesh-Kincaid年级水平值是一项重要的指标,它能够反映文本的复杂程度,而文本的复杂程度则是理解文章内容的关键因素。FKGL能够估算文本的单词和句子长度(Kincaid等人,1975年),以及文本中的词汇类型,这些指标可作为衡量作者词汇知识水平(McNamara等人,2015年)和句法复杂度(McNamara等人,2014年)的依据。在回顾、总结和整合资料时,参照性衔接与连接词被视为重要的文本特征,因为学习者需要将来自不同来源的观点、发现、理论和概念组织成逻辑清晰的文本(Kim和Crossley,2018年)。参照性衔接指的是相邻句子中实词内容的重叠,表明作者如何通过共享的参照物,如名词和实词,来提升文本的连贯性与可理解性(McNamara等人,2014年)。高衔接度的文本具有在各个句子乃至整篇文本中重复出现的词汇与概念(Dowell等人,2016年),这是学习者在写作中应努力达到的标准。连接词在建立观点之间的联系方面起着关键作用(Crismore等人,1993年;Crossley等人,2007年),它体现了“分句与句子之间的关系”(McNamara等人,2015年,第40页)。对于第二语言写作者而言,写出具有良好衔接性的文本是取得学术成功的重要技能(Mirzapour和Ahmadi,2011年),因为若学习者无法通过恰当的语言运用来实现文本的衔接,文本就会变得难以理解(Halliday和Hasan,1976年),也就是无法为读者建立起将各种观点串联起来的联系(McNamara等人,2014年)。潜在语义分析是一种对词汇及世界知识的统计表征方法(McNamara等人,2014年),它能衡量相邻单词、句子和段落之间的语义关系(Landauer等人,2007年)。较高的潜在语义分析得分意味着文本的衔接性更好,即各种观点在语义上相互关联,更易于理解。如果所写的文本得分较低,可能反映出观点零散或主题转换过于突然。句法复杂度是指在文本构成中,从分句、短语到单词层面上的语法资源范围及其复杂程度。McNamara等人(2010年)指出,高质量的书面作品往往包含复杂的句法结构。先前的研究表明,具备较高水平的第二语言写作者倾向于使用更长的分句和句子(Ortega,2003年),而那些拥有更丰富语法知识的人能更清晰准确地表达自己的想法(Schoonen等人,2011年)。Biber等人(2016年)提到,文献综述需要运用复杂的语法结构。不过,虽然较高的句法水平可能预示着较高的写作水平(Crossley,2020年),但若不加以控制,这样的句法也可能增加理解的难度。Coh-Metrix则用于衡量左嵌程度以及每个名词短语的修饰语数量。具有复杂句法结构的句子通常包含较多的嵌入成分,可能在结构上较为密集、存在句法歧义或不合语法(Graesser等人,2004年),因此也更难被读者理解(Perfetti等人,2005年)。最后,词汇多样性对文献综述而言至关重要,因为这类文本需简洁 yet 内容丰富,要使用恰当的术语并减少重复。词汇多样性是指文本中独特词汇的数量除以总词汇数所得的比率。例如,若词汇种类数与总词汇数相等,那么所有词汇都是唯一的,此时文本的词汇多样性达到最大值,因为其衔接性要么较差,要么文本篇幅过短。在写作方面,Read(2000年)认为,优秀的写作者应拥有丰富的词汇量,这一点可通过类型-词元比率来衡量。他强调,优秀的写作应具备广泛的词汇范围、适合主题的少量低频词汇、超过40%的实词比例以及较少的词汇错误。
3.5.3 主题语言分析本研究采用了Cutting(2019年)提出的主题语言分析框架,该框架通过分析文本中体现学术写作实践的语言形式,对这类实践进行主题编码。选择这一框架是因为,正如Cutting(2019年)所说,它“将主题分析与语言特征相结合,前者用来确定哪些价值被采纳,后者则用于识别其中所涉及的认知与态度倾向标志”。研究人员采用了分层随机抽样方法,从两个组别中的每个年级段按比例选取论文,以确保样本能代表这两个组别的全部学生数据。总共分析了20篇论文,分别来自对照组(n = 10)和实验组(n = 10)。起初,两名评估者分别独立审阅样本论文,以便了解论文的整体质量,之后再对论文的学术特征、共有的模式以及独特之处进行更细致的分析、编码和标注(见附录C)。研究人员找出了包含学术特征的有趣段落,如引用方式、衔接手段等其他特征,然后对这些段落进行分析,并将其归类到相关的代码下(见附录D)。接着,另有两名研究人员对两组评审结果中所产生的代码的有效性进行了评估。研究人员从分析过的文本中挑选出那些可能有助于提升学术写作能力的核心语言功能。最后,研究人员讨论了这些主题,对相关代码进行归类并重新命名,以便于记忆。
3.5.4 语言特征的选择所选择的语言形式是基于它们对提升学术写作能力的重要性。这类重要的语言形式包括那些有助于参考引用、内容整合以及思路阐明的元素(Asadi等人,2025年;Chen和Wang,2022年;Sun和Soden,2022年),还有用于凸显作者观点的陈述动词的使用(Sun和Soden,2022年)。Hyland(2010年)认为,对观点进行比较和对比有助于强化作者的论点。其他重要的学术写作特征还包括文本衔接能力以及学术风格方面的素养,比如委婉表达、被动语态的运用(Asadi等人,2025年;Barrot,2023年;Hyland,2010年),此外还有文本的组织结构,例如主题句和主题的安排。最后,通过论证和批判性分析来展现更高层次的思维能力,也包括识别问题与研究空白(Asadi等人,2025年;Chen和Wang,2022年)。
4. 结果与讨论通过定量和定性分析方法,我们了解了传统教学方法与人工智能辅助教学方法之间的差异。Coh-Metrix分析结果有助于揭示两组——对照组和实验组——论文在语言特性方面的差异,而主题语言分析则确定了三个主要主题。
4.1 Coh-Metrix分析结果表2展示了对照组和实验组各Coh-Metrix指标的描述性统计数据。考虑到研究参与者的学术水平以及文献综述这一体裁的说明性特点,研究人员选择了适用于11年级至大学预备阶段社会学科文本的基准标准(BNs)。此外,还进行了独立样本t检验,以判断两组之间Coh-Metrix指标的差异是否具有统计学意义。由于本研究旨在确定哪种教学方法更为有效,因此仅分析了最终提交的论文,而草稿则用于反馈和练习。表2. Coh-Metrix生成的语言分析结果。指数BN MBN SD组别NMSDFlesh Kincaid年级水平11.4302.240对照组7515.0081.912实验组7815.3041.834参照性衔接:整体名词重叠度0.2890.146对照组750.5120.190实验组780.5700.171参照性衔接:整体实词重叠度0.0640.028对照组750.0900.036实验组780.0970.031句法复杂度:左嵌程度5.6082.259对照组755.7481.361实验组785.5471.233句法复杂度:修饰语数量0.9600.153对照组750.9590.140实验组780.9450.127连接词90.99318.121对照组7595.84015.974实验组7895.16018.181潜在语义分析:已知信息/新信息比率0.3820.053对照组750.3510.037实验组780.3720.035潜在语义分析:相邻句子之间的相似度0.3820.107对照组750.2910.072实验组780.3230.071潜在语义分析:相邻段落之间的相似度0.0000.000对照组750.5190.145实验组780.5920.122词汇多样性:类型-词元比率(所有单词)0.5580.048对照组750.4950.051实验组780.6400.054注:BN = 适用于11-CCR阶段社会学科文本的基准标准。在显著结果方面,参照性衔接(整体名词重叠度)、潜在语义分析(已知信息/新信息比率以及相邻句子和段落之间的相似度)以及词汇多样性(类型-词元比率)都呈现出类似的规律。在参照性衔接(整体名词重叠度)方面,实验组学生的论文平均得分更高(M = 0.570,SD = 0.171),而对照组的相应数值为M = 0.512,SD = 0.190。表3所示的t检验结果显示,两组之间存在显著差异,t(151) = –1.994,p = .048,这说明使用人工智能辅助工具的学习者在名词重复的使用上有可能表现得更好。效应大小较小(Cohen’s d = –0.323),表明两组之间的差异并不显著,但这有助于提升文本的参照性衔接程度,使主题连贯性更加明显。这一结果与Song和Song(2023年)的类似实验研究结果一致,他们的研究发现,通过人工智能辅助写作干预,参与者的学术写作连贯性得到了提升。表3. 独立样本t检验。空单元格tdfpCohen’s dFlesh Kincade年级水平?0.9771510.330?0.158参照性衔接:整体名词重叠度?1.9941510.048*?0.323参照性衔接:整体实词重叠度?1.4071510.161?0.228句法复杂度:左嵌程度0.9601510.3390.155句法复杂度:修饰语数量0.6351510.5260.103连接词0.2451510.8060.040潜在语义分析:已知信息/新信息比率?3.606151< 0.001**?0.583潜在语义分析:相邻句子之间的相似度?2.7111510.007**?0.438潜在语义分析:相邻段落之间的相似度?3.397151< 0.001**?0.549词汇多样性:类型-词元比率(所有单词)?16.986151< 0.001**?2.747注:p < .05(*),p < .01(**)。在潜在语义分析方面,本研究着眼于文本内单词、句子和段落之间含义的关联。所使用的三个衡量指标分别是已知信息/新信息比率——“用来表示每句话中已有信息与新信息的比例,相较于之前文本内容而言”的一个指标(McNamara等人,2014年,第66页)、相邻句子之间的相似度以及相邻段落之间的相似度。分析结果表明,两组所写的文献综述在语义衔接方面存在显著差异。在已知信息/新信息比率方面,实验组的平均数值更高,且变化幅度更小,分别为M = 0.372,SD = 0.035,而对照组的相应数值为M = 0.351,SD = 0.037,t(151) = –3.606,p < .001,Cohen’s d = –0.583,效应大小属于中等水平。这些结果表明,在人工智能辅助教学环境中的学习者,在文本的论述结构构建以及新旧信息的整合与平衡方面表现更为出色。他们能够更好地处理已知信息与新信息的关系,这一表现可能与Benzon(2023年)的观点相符,即人工智能语言模型能够根据用户的提示调整自身的复杂论述能力,而学生在人工智能的辅助下也有可能掌握这种能力。在相邻句子之间的相似度方面,实验组的平均值更高(M = 0.323,而对照组为M = 0.291)。同样,相邻段落之间的语义相似度在实验组也更高(M = 0.592,SD = 0.122,而对照组为M = 0.519,SD = 0.145)。实际上,相邻句子之间的相似度t(151) = –2.711,p = .007,相邻段落之间的相似度t(151) = –3.397,p < .001,实验组的这些数值都要显著更高。句子层面的差异属于小到中等程度(Cohen’s d = –0.438),而段落层面的差异则属于中等程度(Cohen’s d = –0.549)。这些发现表明,实验组的学生在句子之间建立了更强的语义与语法联系,从而在局部和整体的句子衔接上都更具一致性,而Biber等人(2016年)也指出,这一点对文献综述而言极为重要。这一现象的一个解释是,在人工智能辅助教学环境中,教师会针对具体的语言问题给出反馈,学生则可以利用人工智能从不同角度深入探讨这些问题。这一结果也支持了Asadi等人(2025年)的研究结论,即那些同时获得人工智能辅助建议和教师反馈的学习者,其写作进步程度要高于仅接受教师反馈的学习者。最后,对词汇多样性指标的统计分析得出的关键发现是,两组之间存在显著差异。文本是通过类型-词元比率这一指标来进行分析的,该指标定义为“独特词汇的数量除以总词汇数”(McNamara等人,2014年,第67页)。Coh-Metrix分析显示,实验组的表现优于对照组,t(151) = –16.986,p < .001,说明实验组的词汇多样性更高(M = 0.640,SD = 0.054,而对照组为M = 0.495,SD = 0.051),这意味着在人工智能辅助教学条件下,学生的词汇运用更加多样化。这一效应十分显著(Cohen’s d = –2.747),表明其重要性很高(Plonsky,2015年)。这一显著的效应意味着,与对照组相比,实验组的学生能够在人工智能辅助条件下运用更广泛的词汇,展现出更高的词汇丰富度。我们的研究结果与Song和Song(2023年)的发现一致,他们观察到在经过ChatGPT辅助语言学习的学员中,其词汇水平有所提升。一种解释在于人工智能聊天机器人的特性,它们能够提供个性化的反馈,直接帮助用户改进写作(Weber等人,2024年),同时给出多种词汇建议以供重新表述。总体而言,根据研究结果,人工智能辅助教学提升了学生评论文章的连贯性及词汇多样性。用Plonsky(2015年)的话来说,这些效果不仅在统计上具有可靠性,而且具有明显的实际意义。这些结果表明,人工智能的介入有助于学生更有效地组织并表达学术写作中的观点。相比之下,在文本可读性、句法复杂性以及连接词和实词的使用方面并未发现显著差异。例如,文本可读性指数(FKGL)方面,实验组的平均值为15.304(标准差为1.834),略高于对照组(平均值15.008,标准差1.912)。独立样本t检验未发现显著差异,t值为-0.977,p值为0.330(见表3)。效应量也很小(Cohen’s d值为-0.158),根据Plonsky(2015年)的观点,“这一数值可以用来估计两者之间关系的实际强度或所讨论效应的大小”(第36页)。这些结果表明,两组之间的文本复杂度存在差异,但所需的理解难度大致相同。研究还显示,两组学生撰写的文章都超过了基础水平,这说明他们的写作在语言层面更为复杂。从数据中得出的一个值得注意的结果与参照性连贯性有关。在整体实词重叠程度方面,也观察到了类似的趋势,实验组的平均值更高,为0.097(标准差0.031),略高于对照组(平均值0.090,标准差0.036),但均高于基础水平(平均值0.064)。不过,独立样本t检验分析也未发现显著差异(t值为-1.407,p值为0.161),效应量也较小(Cohen’s d值为-0.228)。这些结果可能是因为学生评论的主题多样,因此需要不同数量和程度的实词重复使用。另一个被选作分析文本特征的指标是句法复杂性,用以衡量文章的结构复杂度和密度。在各项指标中,两组文章在左嵌入程度(实验组平均值5.547,标准差1.233;对照组平均值5.748,标准差1.361)以及修饰语数量(实验组平均值0.945,标准差0.127;对照组平均值0.959,标准差0.140)方面几乎没有差异(见表2)。无论是左嵌入程度还是修饰语数量,这些差异在统计上都不显著(左嵌入程度:t值为0.960,p值为0.339,Cohen’s d值为0.155;修饰语数量:t值为0.635,p值为0.526,Cohen’s d值为0.103)(见表3)。因此,实验组的学生在结构复杂性或连贯性方面似乎并未受到人工智能辅助教学干预的影响。在连接词的使用方面,实验组的平均值为95.160(标准差18.181),略低于对照组,后者的平均值为95.840(标准差15.974)。t检验显示两组之间没有显著差异,t值为0.245,p值为0.806,Cohen’s d值为0.040。评论得分上的微小差异可能表明,人工智能在通过连接词提升文章连贯性方面的作用尚不明确。简而言之,尽管两组学生都能在学术写作中展现出一定的水平,但人工智能辅助教学方法似乎提升了他们的语法和词汇能力(Hemachandran等人,2022年;Song和Song,2023年;Wale和Kassahun,2023年;Widiati等人,2023年),尤其在对语义连贯性和词汇多样性方面产生了显著的积极影响(Wale和Kassahun,2023年;Widiati等人,2023年)。同时,学生在收到人工智能生成的反馈后,其写作的准确性、流畅性和复杂性也得到了提升(Utami和Winarni,2023年;Wang,2024年)。4.2 主题语言分析结果通过对传统教学和人工智能辅助教学下所选评论文章的分析,确定了与文本学术特征相关的三个主要主题:引用与综合能力、文本连贯性与风格,以及论证与批判性思维。4.2.1 引用与综合能力第一个主题涉及学生将现有文献有效整合并运用到评论文章中的能力。这一主题源于对学生批判性综合各种观点的能力的观察,包括比较不同观点,以及在改写句子时使用不同的报告动词和多种形式的文内引用。分析显示,两组学生采用了不同的引用风格。例如,在对照组中,所有选定的评论都包含了体现其文献引用能力的例子,每篇作品的引用来源数量在3到12个之间。而实验组则显示出更多引用文献的例子,每篇作品的相关引用数量在11到18个之间。此外,分析还发现,不同作品中将多个来源的观点整合到单个句子中的方式也存在细微差异。在对照组中,有6个例子使用了文内引用,例如:(Jennings & Greenberg, 2009; Lisonbee, Mize, Payne, & Granger, 2008)这类用括号标注的群体引用形式。而在对照组10篇文章中,只有4篇至少包含了一个将多个参考文献进行句法整合的例子。而在总共24篇案例中,有9篇评论包含了此类引用方式:这种观点得到了Hysing等人(2020年)以及?ak?c?, ?neri和Güldal(2020年)的支持,且都集中在同一个句子中。对照组中的引用实践表明,学生们已经学会了如何整合单个引用和群体引用;不过,他们更多是基于单一来源总结观点,而非综合多个来源的内容。另一个值得注意的现象是,学生在引用文献时使用的报告动词在两组作品中呈现出明显差异。具体而言,实验组使用了更广泛的报告动词,如recommended、undermine、reveal、mention、underline、assert、claiming、illustrate、support、showed、elucidated、reported和propose,每篇作品中使用这些动词的频率在7到13次之间;而对照组中则只有2到7个报告动词(如found、discovered、suggest、reported、have shown、says、talks about)。这些结果表明,两组学生都使用了报告动词,但实验组的种类和频率更高。在两组中,学生们不仅展示了他们在引用实践和观点改写方面的能力,还体现了他们对文献进行客观、批判性解读的能力。例如,在实验组的一个句子中,学生不仅引用了文献,还对相关观点进行了评价。示例(1)中加下划线的部分就体现了学生对文献的解读,这不仅是对原文的改写,更是对核心内容的主动思考。(1)尽管聊天机器人能提供有效的答案,但许多研究指出,由于人工智能获取数据源的能力有限,它无法为问题提供自然的解答(Albayati,2024年;Imran和Almusharraf,2023年;Chan和Hu,2023年)。在对照组中也发现了类似的例子,学生们在其中加入了对自己观点的评价:(2)然而,有学者认为,拥有数字技能并不一定意味着更高的就业潜力(Study Work Grow,2022年)。总体来看,在接受人工智能辅助写作教学的环境中,学生们似乎能更有效地提升自己的学术写作能力。因此可以得出结论,将人工智能工具融入教学有助于提高学生对自己写作中学术特征的意识。Handley(2024年)和Thorne(2024年)也支持这一观点,他们认为创新的方法是培养学习者学术技能的有效途径。这些研究结果表明,英语作为第二语言的教学教师应当尝试将人工智能技术引入写作教学,重点培养学生的引用、改写和综合能力。这种方法有助于提升学生的批判性思维、论证能力(Asadi等人,2025年)、正式语气表达能力(Barrot,2023年),以及他们对学术写作特征的关注度(Huang和Tan,2023年;Song和Song,2023年;Widiati等人,2023年)。4.2.2 文本连贯手段、风格与结构第二个主题涉及学生组织以主题为基础的文献综述的写作能力,这类文章应当通过恰当的连贯手段做到逻辑清晰。该主题下的分析结果显示,学生们能够通过论点陈述和主题句来呈现评论文章的核心思想。此外,通过分析文本数据中模糊表达和被动句式的使用情况,还可以看出学生在学术写作中保持客观正式语气方面的能力。两组的研究结果表明,学生们具备出色的能力,能够通过连贯手段将相关思想围绕一个主题进行逻辑清晰的呈现。不过,两组在连贯手段的质量和复杂性方面存在差异。例如,在对照组中,连贯手段通常较为简单且非正式,多为yet、also、but、what’s more和still等词语。而实验组则展现了更高水平的复杂性,其连贯手段更为多样,如moreover、nonetheless、to this day、thus far、in conclusion、similarly和meanwhile等。另一个明显趋势是,两组学生在撰写文献综述开头段的论点陈述以及每段的主题句方面都表现出相似的水平。例如,对照组的某些论点陈述如下:(3)本报告探讨了通过移动应用学习英语词汇的利弊。(4)该文献综述研究了55岁以上人群如何应对技术障碍的最新研究成果。而实验组的论点陈述则为:(5)本文献综述揭示了当前的研究成果……(6)本文献综述总结了武汉工业学院一年级学生关于利用人工智能检索数据的观点。对照组中的一些主题句示例包括:(7)技术或许能为老年人带来巨大帮助,但同时也可能带来诸多障碍……(8)数字素养是一个被广泛研究的领域……实验组文章中的更多主题句示例包括:(9)许多研究已经阐明了……(10)游戏化是指利用游戏平台……至于体现正式学术语气的被动句式和模糊表达,所有文章都包含这类元素,实验组和对照组分别有两个示例,如下所示:(11)有研究表明,由于缺乏社交关系,一些学生会感到孤独,进而产生负面情绪压力(Benoit和Ditommaso,2020年;Gerino等人,2017年)。(12)作者指出,即便使用了大量纸质卡片,还是建议使用专门的抽认卡程序,因为它们在记忆单词表或词汇方面更为实用。这两段示例表明,学生们能够运用这类表达方式对所提供的观点进行批判性评价。研究结果显示,无论是在人工智能辅助教学环境还是传统教学环境中,学生们都能在评论文章中发展出相应的学术写作特征。他们能够在相似的水平上写出论点陈述和主题句,同时两组都大量使用了被动句式和模糊表达。不过,实验组的学生在运用更为复杂且恰当的连贯手段方面明显优于对照组,比如moreover、nonetheless、in conclusion和thus far这类需要较高学术水准的表达,相比but和what’s more这类简单连接词而言。这些发现表明,让学生接触人工智能生成的反馈可能有助于他们更熟练地在写作中运用更多样的连贯手段。Barrot(2023年)以及Huang和Tan(2023年)建议将人工智能技术作为语言编辑的辅助工具,从而提升写作质量。因此,教师们应当采用这种方式,因为人工智能可以在引导式课堂教学中起到辅助支撑的作用。4.2.3 论证与批判性分析有趣的是,研究发现对照组中有半数文章(共5篇)未能在文中指出研究空白并阐述未来的研究方向。与此同时,在实验组中,所有综述(n = 10)都包含了这两个概念,如下例所示:(13) 然而,在我们研究范围内的学生群体中,即乌兹别克斯坦的高等教育专业学生,对于这一问题的理解存在明显差距。在后续报告中,我们将探讨大学生应对孤独感的策略,同时了解他们对孤独感及其对学业表现影响的看法和见解。研究显示,两组学生都能通过一致地定义所选概念/理念来明确自己的研究主题。以下分别是实验组和对照组的示例,清晰地说明了所选主题:(14) 游戏化是指在非游戏活动中运用游戏设计元素、游戏机制和游戏思维的做法。(15) 还有包含多媒体、音频文件、文本或图片的数字抽认卡,能够记录学生的学习进度。总体而言,虽然对照组中有一些学生(n = 5)展现了较高阶的技能,但研究空白和未来研究方向仅出现在实验组的论文中。这说明人工智能辅助教学为学生提供了提升学术写作能力的机会(Wang, 2024),使他们能够批判性地评估和综合各种来源的观点,并在综述中加以阐述,而这正是英语学术写作课程中的重要技能。4.3 本研究的局限性首先,研究人员无法确保对照组的学生在课外没有使用任何人工智能工具。尽管课堂材料和任务都受到了监控,但仍有部分学生可能借助生成式人工智能工具或其他资源。这一变量可能会影响学生的写作表现,包括语言选择。不过,就第二语言教学环境而言,这项研究已尽可能具备生态有效性(Gurzynski-Weiss和Kim, 2022),因为学习者可能的外部活动反映了现实世界中的自然学习环境。其次,本研究仅分析了草稿,属于以成果为导向的评估;然而,对比草稿和最终提交稿可以展现学生的进步过程。因此,未来的研究可以采用重复测量设计来观察这些变化。最后,学习者语料库仅包含实验组和对照组各自的草稿及最终提交稿两份材料,这可能限制了对学生学习者学术写作技能发展轨迹的深入观察。不过,当前的研究结果仍不容忽视。为提高结果的外在有效性,未来的研究者应扩大样本规模,并增加更多材料,以便从学术写作过程的起始阶段就研究语言和技能的发展情况。来自学习者语料库的更丰富的样本可用于未来的写作课程中,作为文献综述质量的范例。5. 结论本研究旨在探究传统教学方法与人工智能辅助教学方法对学生语言知识及学术写作技能的影响。通过Coh-Metrix进行的语言分析表明,两组学生的可读性水平以及句法/语法复杂度和精细度相当,且都能在各个观点之间建立恰当的衔接。而借助人工智能辅助完成的文本则表现出更强的参照性衔接,以及思路流畅、易于理解、语义清晰等特点,从而提升了整体连贯性。此外,实验组完成的综述词汇量更为丰富。主题语言分析还显示,两组学生都掌握了核心的学术写作技能,包括文章组织、衔接手段的运用以及主题展开。两组学生都能正确引用资料、改写内容并综合分析和论证观点。实验组的学生在引用方式和表述动词的多样性方面表现更佳。不过,实验组的学生使用了更复杂的衔接结构,论证更为有力,且体现了批判性思维。基于研究结果,对于第一个研究问题的回答是,这两种教学方法都对提升学生的学术写作语言技能起到了重要作用。虽然在帮助学生写出具有适当词汇和句子复杂度、结构连贯性及句法知识的文本方面,两种方法的效果几乎相当,但人工智能辅助教学方法在提升学生的语义复杂性、参照性衔接能力以及词汇知识方面效果更为显著。第二个研究问题旨在比较两种教学方法下学生的学术写作成果差异。教师可以在学术写作课程中运用人工智能工具,帮助学生培养诸如解读和评估资料、在讨论话题时保持客观语气以及组织主题式文献综述等学术技能。在传统教学方法中,学生也能培养出一些有助于改善写作风格的学术特征;但随着技术的发展,教育工作者可以进一步简化学习过程。从语言学角度来看,研究结果有力支持了人工智能辅助教学方法,这也回应了第三个研究问题。只要教师能在学生的整个写作过程中提供充分的系统指导,人工智能辅助教学方法就可以作为一种有效的辅助教学手段,尤其有助于提升学习者的学术写作中的语义和词汇方面的能力。作者贡献声明Kholida:写作——审阅与编辑、写作——初稿撰写、资源整理、项目管理、方法设计、调查研究、正式分析、数据整理、概念构建。Iroda Saydazimova:写作——审阅与编辑、写作——初稿撰写、软件使用、资源整理、项目管理、方法设计、调查研究、正式分析、数据整理、概念构建。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号