可用性、技术性、互操作性——数字平台的综合评估框架

《IEEE Access》：Usability, Technicality, Interoperability (UTI), a Comprehensive Assessment Framework for Digital Platforms

　　

摘要：

跨组织的数字平台在各个领域中被越来越多地用于连接多个系统与利益相关方，以实现数据共享和协同作业。然而，现有的先进平台评估框架在分析的全面性和深度方面存在不足。我们提出了可用性、技术性、互操作性（UTI）评估框架，将该些维度整合为一个全面的模型。每个维度都通过一系列关键绩效指标（KPI）来进行评估，这些指标结合了定性和定量指标（共计13个）。通过与专家设定的数值阈值进行比较，可以识别出所分析平台的优势与劣势，这对于平台的选型、使用和维护至关重要。为便于结果的可追溯性和重用，UTI采用了轻量级的RESTful系统架构，能够从不同来源接收KPI数据，将其存储在非关系型数据库中，并回应查询。我们对4个先进的开源数字平台（Measurify、Arduino Cloud、ThingsBoard、NextCloud）应用了UTI评估方法。评估过程包括30名最终用户的可用性测试、用户问卷调查、自动化工具分析以及开发者的反馈。结果显示，UTI能够识别出各种数字平台的能力与局限性，无论是在物联网领域内还是之外，都展现了其在不同领域和应用场景中的适应性。与另外两种先进的评估框架相比，UTI在可用性和技术性这两个维度上取得了显著优势，因为它使用了更多且更针对性的KPI。总体而言，实验结果证明了UTI在实现全面评估、为决策提供有力支持以及帮助利益相关方确保平台的可靠性、功能性并推动持续改进方面的有效性。