面向智能手机应用的AI驱动UI过渡直观性检测新方法

本文推荐一款创新工具——UI过渡预测器（UTP），它利用人工智能（AI）驱动用户模拟，辅助设计师在移动应用开发早期（从低保真草图到高保真原型）进行形成性评估。UTP能预测并解释用户导航时的不确定性（Uncertainty Prediction）及最可能选择的链接UI元素（Link UI Prediction），其模型基于人工标注数据集构建，在预测用户不确定性方面优于GPT-4o，在预测链接UI元素方面与GPT-4o性能相当但模型更轻量。研究表明，UTP能显著提升设计师检测非直观UI过渡的准确率并节省时间，为UI/UX设计评估提供了高效新范式。

　　

亮点 (Highlights)

• •
  1. 1.
     一个支持对UI过渡进行用户模拟的人工标注基准数据集及相关人因洞察。
• •
  1. 2.
     基于人工标注数据集构建的AI模型及提示策略，用于预测和解释用户对链接UI元素的选择。

AI驱动的用户模拟模型 (AI-driven user simulation models)

基于第3节收集的数据集和人因洞察，我们开发了AI驱动的用户模拟模型，以辅助UI/UX设计师进行UI过渡的形成性评估。具体来说，我们专注于两项任务：

• •
  1. 1.
     不确定性预测 (Uncertainty prediction)：预测并解释用户在选择当前屏幕上的UI元素以到达目标屏幕时感到多么不确定。
• •
  1. 2.
     链接UI预测 (Link UI prediction)：预测用户最可能选择哪个UI元素在屏幕间过渡，并解释其背后的原因。

用于UI过渡检测的AI驱动用户模拟工具设计 (Design of the AI-driven user simulation tool for UI transition inspection)

我们将第4节开发的用户模拟功能集成到一个名为UTP（UI Transition Predictor）的交互式工具中。UTP通过用AI模拟用户决策，帮助快速识别非直观的UI过渡，从而促进形成性的UI过渡检测。

评估性用户研究：评估UTP中AI驱动用户模拟在检测UI过渡方面的有效性 (Evaluation user study: Evaluating the effectiveness of AI-driven user simulation in UTP for inspecting UI transitions)

我们进行了一项用户研究，以评估UTP在帮助设计师检测UI过渡方面的有效性。该评估旨在解决以下研究问题：

• •
  1. 1.
     使用UTP进行用户模拟是否能帮助设计师准确检测非直观的UI过渡并确认直观的UI过渡？
• •
  1. 2.
     用户模拟是否能减少检测UI过渡所需的时间？
• •
  1. 3.
     设计师认为将用户模拟应用于UI过渡检测有何价值和局限性？
     我们进行了一项受试者内研究。

讨论 (Discussion)

本节阐述了将AI驱动用户模拟用于UI评估的伦理考量、从我们用户研究中获得的见解，以及关于模拟用户在移动UI间导航时决策的新方法学发现。我们还指出了当前研究的局限性并展望了未来的工作方向。

结论 (Conclusion)

这项工作凸显了应用AI模拟的用户决策和行为来支持UI过渡形成性评估的巨大潜力。我们的贡献包括一个新颖的数据集和能推进AI驱动用户模拟的有效方法。值得注意的是，我们的不确定性预测模型性能优于GPT-4o，而微调后的LLaMa-3.1-8B模型在预测用户预期的链接UI元素方面取得了可比的结果。技术评估表明，当前大语言模型...