增强桌面交互作为辅助工具:Tidd 在自闭症儿童日常生活技能训练中的作用

【字体: 时间:2025年05月27日 来源:International Journal of Human-Computer Studies 5.3

编辑推荐:

  自闭症儿童掌握日常生活技能(DLS)存在挑战,研究人员开发 “Tidd” 增强桌面交互系统,结合 AR 与实体道具,在康复中心和幼儿园对 17 名 3-5 岁患儿开展床具整理和穿衣训练。结果显示系统提升参与度与技能表现,为自闭症干预提供新方向。

  自闭症(Autism Spectrum Disorder, ASD)是一种神经发育障碍,患者在社交沟通、行为模式和感官处理等方面存在显著差异。对于自闭症儿童而言,掌握日常生活技能(Daily Living Skills, DLS)如穿衣、整理床铺等尤为困难,这些技能的缺失严重影响其独立性与生活质量。传统干预方法虽能提供结构化学习环境,但常因缺乏互动性和个性化支持,难以持续吸引儿童注意力,导致学习效果有限。随着科技发展,增强现实(Augmented Reality, AR)技术因其能融合虚拟与现实场景、提供实时反馈的特性,逐渐成为特殊教育领域的研究热点。如何利用 AR 技术打造更具吸引力和实效性的干预工具,成为改善自闭症儿童生活技能训练的关键课题。
为探索 AR 技术在自闭症儿童日常生活技能训练中的应用潜力,北京大学等机构的研究人员开发了名为 “Tidd” 的增强桌面交互系统,并开展了相关研究。该研究旨在评估 Tidd 系统在教授自闭症儿童床具整理和穿衣技能方面的效果,以及 AR 技术在这类干预中的价值。研究成果发表在《International Journal of Human-Computer Studies》。

研究人员主要采用了以下关键技术方法:基于 Unity 平台开发软件系统,结合 OpenCV 和 Halcon 库函数实现实体道具的特征点识别与匹配;使用 LOGITECH 高清摄像头实时捕捉参与者行为;通过桌面投影呈现用户界面;将任务分解为学习、验证和实践阶段,结合 Applied Behaviour Analysis(ABA)原理设计内容,利用故事叙述、AR 动画和实体道具(如迷你被子、衣物卡片)构建多感官学习环境。研究在北京市的一家儿童康复中心和一所融合教育幼儿园开展,17 名 3-5 岁自闭症儿童(15 男 2 女)参与,其中 12 人低需求、4 人中等需求、1 人高需求,另邀请 4 名 therapists 进行半结构化访谈。

5.1 观察数据:参与度与挫败感


  • AR 叙事激发主动学习:视频分析显示,儿童对系统的故事环节表现出浓厚兴趣。部分儿童能主动描述动画元素(如 “下雪”“雪人”),甚至通过故事情节自主完成任务(如听到 “夜幕降临” 音效时主动为玩偶盖被子),表明 AR 叙事有效提升了儿童的观察力和任务参与度。
  • 动画与音效增强动机:12 名儿童被桌面动画吸引,出现欢笑、鼓掌等积极反应。完成床具整理任务时,烟花动画能显著激发儿童喜悦感(如 3 名儿童兴奋呼喊 “烟花”)。在穿衣任务中,错误放置卡片时动画角色的 “不开心” 表情促使儿童重新选择,显示视觉反馈对学习的引导作用。
  • 实体道具促进探索性学习:3 名儿童在床具整理任务中主动触摸、亲吻迷你被子,5 名儿童在穿衣任务中未等指导便自行尝试匹配卡片,体现了实体交互对自闭症儿童探索性学习的促进作用。
  • 系统局限性引发的挫败:部分儿童因沉迷投影光线拒绝使用被子,注意力障碍儿童对烟花反馈兴趣不足,双面卡片设计导致选择困惑,空间交互逻辑不明晰等问题,反映了系统在适应不同需求儿童时的不足。

5.2 治疗师定性反馈


  • 交互设备的吸引力:治疗师指出,Tidd 的新颖性对 3-5 岁自闭症儿童具有显著吸引力,尤其受光影效果吸引的儿童能迅速投入互动,系统提供的即时视觉反馈(如光线亮起)能增强儿童的成就感,符合其感官偏好。
  • 对传统训练的补充:传统教学材料难以满足个性化需求,而 AR 设备可模拟真实场景(如医院就诊流程)供儿童反复练习,弥补了传统方法缺乏实际体验的不足,为特殊教育提供了更灵活的工具。
  • 未来设计建议:治疗师建议增加任务示范环节,根据儿童年龄、能力和兴趣设计分级任务,扩展教学内容覆盖更多生活技能,并采用更直观的语言和即时反馈增强儿童自信心。

6 讨论与设计启示


  • 交互技术对干预的提升:分阶段学习模型(学习、验证、实践)显示,随着阶段推进,儿童完成任务所需的语言和手势提示显著减少,表明结构化方法能有效促进技能掌握,提升自主性。但后期干预率趋于稳定,提示需进一步优化系统适应性以满足个体差异。
  • AR 与实体交互的协同价值:AR 叙事、动画音效与实体道具的结合,通过多感官刺激成功提升了儿童的学习动机和参与度,证实了 AR 技术在创造沉浸式学习环境中的优势,为自闭症干预提供了新范式。
  • 个性化设计与实践启示:系统需进一步融入个性化元素,如动态调整任务难度、提供定制化反馈,以适应不同支持需求的儿童。同时,应加强家庭场景的技能迁移验证,确保训练效果在日常生活中得以延续。

7 结论


本研究证实,Tidd 增强桌面交互系统通过 AR 技术与实体交互的结合,能有效提升自闭症儿童在床具整理和穿衣等日常生活技能训练中的参与度与表现。治疗师反馈与观察数据均表明,该系统为自闭症干预提供了一种富有吸引力和潜力的新工具。尽管存在样本量小、干预周期短等局限,研究结果仍为 AR 技术在特殊教育中的应用奠定了基础,未来需进一步扩大样本、延长随访,以验证系统在更广泛技能训练和长期效果中的价值。该研究不仅为自闭症儿童的康复提供了创新思路,也为开发更具包容性和实效性的辅助技术指明了方向。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号