针对有特殊教育需求学生的精细课堂行为监测：一种结合音频与视频的姿势分析方法

《Scientific Reports》：Fine-grained classroom behavior monitoring for students with special education needs: an audiovisual fusion approach to posture analysis

　　

摘要

包容性教育面临的一个核心挑战是教师在主流课堂中难以有效识别和应对有特殊教育需求（SEN）学生的多样化行为表现。传统的观察方法耗时、劳动强度大且具有高度主观性。本文探讨了计算机视觉（CV）技术在这一领域的应用潜力，旨在构建一个客观、自动化的课堂行为分析框架。我们提出了一种基于姿态估计和时空建模的多模态融合方法，利用RGB相机捕捉学生在课堂上的非语言行为（如身体姿势、头部方向和活动水平），并结合简单的音频特征（声音活动）进行综合分析。我们收集了一个包含典型SEN学生（如自闭症谱系障碍（ASD）和注意力缺陷多动障碍（ADHD））行为模式的数据集，并验证了所提出的方法。实验结果表明，该系统在识别关键行为指标（如“注意力”、“社交互动”和“非典型运动模式”）方面的准确率高达85.2%，显著优于仅依赖人工观察的基线方法。这项研究证明了计算机视觉技术作为教师专业支持工具的有效性，为实现精准和个性化的包容性教育干预提供了新的技术途径。