《Behaviour & Information Technology》：Assessing computational thinking through integrated approaches: the case of ModeLLer
编辑推荐：
数字技术和人工智能日益塑造工作环境，使得计算思维（Computational Thinking, CT）与传统教育环境之外也息息相关。本文通过评估ModeLLer（一个基于Web的建模工具，旨在支持最终用户（即没有半形式化建模语言先验知识的用户）形式化领域知识
数字技术和人工智能日益塑造工作环境，使得计算思维（Computational Thinking, CT）与传统教育环境之外也息息相关。本文通过评估ModeLLer（一个基于Web的建模工具，旨在支持最终用户（即没有半形式化建模语言先验知识的用户）形式化领域知识）来解决CT评估的挑战。基于最终用户开发（End-User Development, EUD）原则，ModeLLer具有一个块式编辑器来表示领域实体和关系，并自动将用户生成的块转换为UML（统一建模语言）、BPMN（业务流程建模与标注）和iStar中的标准图。为了评估该工具，研究人员进行了一项涉及30名参与者的用户研究，基于农业数字化场景。使用多方法策略评估结果，该策略结合了工具的专家检查、用户生成模型的基于人工制品的分析、CT档案（CT profiles）、工作量测量（workload measures）以及用户交互的基于日志的分析（log-based analysis）。综合分析突出了工具能力、用户技能和人工制品之间的相互关系，并为自适应功能的设计提供了信息。总体而言，该研究为EUD中的CT评估提供了实证见解，有助于评估实践和AI驱动的EUD工具的设计。
**论文解读：基于集成方法的计算思维评估——以ModeLLer为例**
**研究背景与问题**
在数字技术与人工智能（Artificial Intelligence, AI）深刻重塑工作环境的背景下，计算思维（Computational Thinking, CT）的重要性已超越传统教育领域，成为职业场景中应对复杂问题的关键能力。然而，现有CT研究多聚焦于教育场景（如编程学习），对工作场所中终端用户开发（End-User Development, EUD）环境下的CT评估关注不足。EUD工具旨在赋能无编程背景的领域专家创建和定制数字制品，但如何有效评估这些工具对用户CT的支持程度，并据此设计自适应辅助机制，仍是一个亟待解决的问题。ModeLLer是一款基于块的网络建模工具，帮助用户（无半形式化建模语言知识）构建领域知识模型，并自动生成UML、BPMN和iStar标准图。本研究旨在通过多角度集成评估策略，揭示CT在EUD环境中的表现，为设计AI驱动的智能支持系统提供依据。论文发表在《Behaviour》。
**研究内容与结论**
研究人员开展了一项用户研究，招募30名终端用户（无半形式化建模经验）和6名专家（人机交互（Human-Computer Interaction, HCI）和软件工程（Software Engineering, SE）领域）。用户基于农业数字化场景，使用ModeLLer完成两项建模任务。评估采用五种方法组合：工具质量检查（基于EUDability清单）、CT技能自评（CTS问卷）、模型质量分析（SE专家使用自定义清单评估UML图）、认知工作量测量（NASA-TLX问卷）以及交互日志分析。研究得出以下主要结论：
- 综合评估揭示了工具能力、用户技能与生成制品之间的复杂关系，且不同CT技能水平的用户表现出不同的交互模式和工作量感知。
- 用户CT自评与专家评估之间存在差异，表明单一评估视角不足，集成方法能提供更全面理解。
- 交互日志中的时间模式、空间分布和事件序列可指导自适应提示的设计。
该研究为EUD环境中的CT评估提供了实证基础，推动了评估实践和AI驱动EUD工具的设计。
**关键技术方法**
本研究采用五维度集成评估策略：
1. **工具质量检查**：由4名HCI专家使用EUDability清单（含15个二值项，覆盖具体性、模块性、结构性、可复用性、可测试性），独立评估后通过远程会议达成共识。
2. **CT技能自评**：30名用户填写CTS问卷（Tsai等人，19项，6点李克特量表），评估抽象、分解、算法设计、泛化、评价五个维度，并基于K-means聚类（k=2）识别出自信组和谨慎组。
3. **模型质量分析**：5名SE专家使用自定义检查表（15项，映射至CT维度）评估用户生成的UML类图，每份模型由两名专家独立评分，取平均分。
4. **工作量测量**：用户完成建模后填写NASA-TLX问卷（21点量表），计算原始平均分及各子量表分数。
5. **交互日志分析**：自动收集超70,000条时间戳交互事件（创建、移动、删除等），分析时间间隔、空间分布（热力图）和事件序列。
样本来源：30名终端用户，通过雪球抽样招募，多数为本科生/硕士生（17/30），背景涵盖计算机科学、工程、心理学等，无先验建模知识。
**研究结果**
**Approach #1: 工具质量（ModeLLer的EUDability）**
通过专家评估，ModeLLer在具体性（Concreteness）和结构性（Structuredness）维度被评为中等，在模块性（Modularity）、可复用性（Reusability）和可测试性（Testability）维度被评为高。这表明工具在概念表示和步骤引导上存在改进空间，但整体支持EUD良好。
**Approach #2: CT档案（CT Profiles）**
CTS问卷显示，用户在分解和算法设计维度自评得分较高（中位数≈5），泛化维度较低（中位数≈4.4）。K-means聚类（k=2）将用户分为两组：Cluster 0（自信组，自评较高）和Cluster 1（谨慎组，自评较低）。
**Approach #3: 模型分析（Model Analysis）**
SE专家对用户生成的UML模型进行评估，各CT维度得分分布不均。抽象和算法设计的中位数较高（约2~2.5/3），泛化和评价得分较低（中位数约1.5/3）。专家间一致性分析显示，近一致率为82%，加权Cohen’s kappa约0.20（公平一致性）。综合Approach 1~3发现，自评与专家评估存在差异，且工具对抽象和算法设计的支持门槛较高。
**Approach #4: 建模工作量（Modelling Workload）**
NASA-TLX原始平均分为9.6（中位数9.8），心理需求（Mental Demand）和努力（Effort）子量表得分最高。合并Approach 2和4发现，谨慎组（Cluster 1）报告更高的工作量，尤其在时间需求、努力和挫败感方面，而自信组（Cluster 0）工作量较低。
**Approach #5: 日志分析（Log Analysis）**
交互日志显示，98.2%的相邻事件间隔小于5秒，以此作为分组阈值。用户根据平均间隔时间分为快速组（≤5秒）和慢速组（>5秒），两组存在显著差异（t=2.48, p=0.0133）。空间热力图显示，自信组交互更分散（覆盖工具盒和画布），谨慎组更集中（主画布）。事件序列分析表明，谨慎组更多进行“修改”事件，自信组早期更多“创建”和“选择”事件。
**讨论与结论**
讨论部分总结了三个研究问题的发现：
- RQ1（基于制品的评估）表明，自评与专家评估存在差异，多维度评估策略必要，且工具在抽象和算法设计维度支持不足。
- RQ2（CT档案与工作量）显示，自信组工作量较低，心理需求普遍最高，需要差异化支持策略。
- RQ3（日志分析指导智能提示）确认，时间、空间和事件模式可用于设计自适应提示的时机、位置和内容。
研究结论部分翻译如下：
**结论与未来工作**：本研究通过评估ModeLLer（一款面向领域专家的块式建模工具）探讨了EUD环境中的CT评估。通过将焦点从教育场景转向EUD环境，填补了CT文献在专业背景下的空白。评估策略结合了基于制品和基于过程的分析，揭示了用户交互行为、建模实践、工作量感知和CT档案的差异。不同用户集群的交互风格和工作量感知差异表明，自适应AI机制具有巨大潜力。本研究为EUD中的CT评估提供了实证见解，有助于改进EUD工具的评估与设计。未来工作将集中于增强工具的自适应支持，利用交互数据提供针对性辅助，并扩展评估策略以包含更多方法和三角验证。
