《Computers》:Exploratory Study of Administrators’ Perceptions and Usability Evaluation Practices in Open Data Visualization Systems
编辑推荐:
开放数据可视化系统的有效性取决于其可用性和可访问性,这两项属性很少被深入检验。本研究考察了哥伦比亚12个此类系统的管理人员如何感知和评估这两个属性,以及他们所报告的实践与独立评估的可访问性特征之间的比较情况。采用混合方法设计,结合了管理人员调查、启发式走查以及
开放数据可视化系统的有效性取决于其可用性和可访问性,这两项属性很少被深入检验。本研究考察了哥伦比亚12个此类系统的管理人员如何感知和评估这两个属性,以及他们所报告的实践与独立评估的可访问性特征之间的比较情况。采用混合方法设计,结合了管理人员调查、启发式走查以及使用AEL可访问性检查器(ACC)、Google Lighthouse、EqualWeb和TAW进行的自动化审计。半数管理人员(6/12)报告称其系统的可用性已被评估;这六位管理人员中无人报告评估频率超过每半年一次,其中两位报告使用了基于测试的方法。六位中的五位报告评估了可访问性。TAW在每个被审计页面上报告了11至685项违规,EqualWeb报告了9至202项(这些工具特定的计数不具有直接可比性)。所有五个报告进行了可访问性评估的机构在其被审计页面上都存在工具报告的违规。专用可访问性控件——WCAG在AA级别未作此要求——在一个系统中被观察到,该系统所属机构报告未进行评估。这一模式初步表明,可访问性更多地被视为一项合规事务,而非核心设计要求。研究人员提出了一些低成本、聚焦可访问性的评估流程供考虑;其有效性未经测试,且需要进行涉及最终用户的研究。
论文解读:开放数据可视化系统中的可用性与可访问性评估实践
研究背景与问题
开放数据已成为全球政府促进公民参与、提升透明度和加强公众监督的战略举措。国际开放数据宪章等倡议确立了数据发布与使用的基本原则,然而,尽管数据在技术上可获取,其可视化系统的实际效用却高度依赖于系统的可用性(usability)和可访问性(accessibility)。现有研究表明,虽然可用性与用户体验(UX)的重要性已得到广泛认可,但在实践中并未得到充分采纳。特别是在拉丁美洲背景下,法规采纳往往快于评估实践的推进,导致系统设计与用户需求之间存在显著差距。针对开放数据可视化系统的研究此前多集中于数据门户本身,而缺乏对可视化工具内部评估实践的深入探讨,更鲜有研究将系统运营者自我报告的实践与独立的实证审计结果进行对比。因此,本研究旨在填补这一空白,聚焦于哥伦比亚公共部门的开放数据可视化系统,探究其管理人员如何评估可用性与可访问性,以及这些自我报告实践与系统实际特征之间的差异。
研究内容与结论
研究人员开展了一项探索性研究,选取了哥伦比亚12个符合标准的公共机构开放数据可视化系统作为样本。通过混合方法设计,研究人员收集了管理人员关于系统易用性、用户画像、评估实践及障碍的自我报告数据,同时运用自动化审计工具和专家启发式走查(heuristic walkthrough)对系统进行了独立评估。研究发现,仅有半数管理人员报告对其系统进行了可用性评估,且评估频率低、方法单一,主要依赖问卷调查。可访问性虽被多数进行评估的机构列为评估维度之一,但所有被审计页面均存在违反WCAG成功准则的工具报告违规,表明可访问性更多被视为合规事项而非核心设计要求。此外,未进行评估的机构普遍面临缺乏训练有素人员和成本高昂两大障碍,且用户投诉不频繁,主要集中在服务质量方面。研究的重要意义在于首次系统性地揭示了哥伦比亚公共部门开放数据可视化系统中评估实践的局限性,指出了自我报告实践与客观系统特征之间的脱节,并为资源有限的公共机构提出了低成本、聚焦可访问性的混合评估方法建议,为未来改进提供了实证基础。
关键技术与方法
本研究采用了四阶段方法论流程。首先,通过表征工具记录系统的基本属性。其次,向12个系统的管理人员发放结构化问卷,收集关于系统使用概况、可用性评估实践、评估障碍及用户反馈的自我报告数据。随后,对每个系统的主页进行自动化可访问性审计,使用四种独立工具:AEL可访问性检查器(ACC)、Google Lighthouse(版本12.6)、EqualWeb和TAW,以WCAG 2.2 AA级为参考标准。最后,由一位具有六年用户体验评估经验的专家进行结构化启发式走查,依据Nielsen的十项可用性启发式和WCAG成功准则,对系统的导航、交互、可视化呈现及键盘可操作性等进行系统评估。所有审计和走查均在相同浏览器和视口设置下完成,以确保一致性。
研究结果
3.1 信息系统特征
表征结果显示,12个系统中66.7%(8/12)属于环境部门,91.7%(11/12)由公共实体管理,75%(9/12)覆盖全国范围。
3.2 管理人员报告的感知与系统概况
在易用性评价上,33.3%(4/12)的管理人员选择“容易”,58.3%(7/12)选择“中性”,8.3%(1/12)选择“困难”。83.3%(10/12)的管理人员认为其用户的数字技能处于中等水平。仅有一位管理人员报告系统包含支持残障人士交互的功能。半数管理人员(6/12)报告其系统可用性已被评估。
3.3 可用性评估
在报告进行评估的六个系统中,83.3%(5/6)依赖基于询问的方法,66.7%(4/6)采用检查方法,基于测试和基于模型或标准的方法各占33.3%(2/6)。问卷调查是最常用的具体技术(4/6)。评估频率方面,无人报告超过每半年一次,三人无固定时间表。
3.4 开展可用性评估的困难
在未进行评估的六个系统中,最常被引用的障碍是缺乏训练有素人员(4/6)和成本(3/6)。
3.5 未评估机构中管理人员报告的用户投诉
所有六位未进行评估的管理人员均表示收到的用户投诉不频繁。投诉主要涉及服务质量(系统可用性、中断和加载时间)(3/6),其次是“努力”类别(涵盖可访问性、易用性等)(2/6)。
3.6 自动化可访问性审计与启发式走查
自动化审计显示,所有被审计页面均存在工具报告的WCAG违规。TAW报告的违规数从11到685不等,EqualWeb从9到202不等。启发式走查发现,仅有一个系统具备专用可访问性控件,四个系统的报告访问路径被评估为不直观,多个系统存在图表标签缺失、依赖悬停提示等问题。
讨论与结论
讨论部分指出,管理人员对易用性的中等评价与专家走查发现的导航不直观等问题部分吻合,且系统普遍缺乏可访问性功能。评估实践方面,即使报告进行评估的机构,其评估也呈现出低频、狭窄的特点,未能有效防止可访问性问题。研究特别强调了自我报告实践与独立评估特征之间的三处显著不一致:唯一拥有专用控件的系统未进行评估;一个获得相对较好自动化指标的系统同样未进行评估;而一个报告评估可访问性的系统仍存在工具报告违规。这暗示可访问性可能被当作合规任务而非核心设计需求。研究人员提出,鉴于缺乏人员和成本的障碍,公共机构可考虑采用低成本混合方法,即结合自动化可访问性审计与基于Nielsen原则的启发式走查,并在条件允许时补充用户参与技术。
结论部分翻译如下:
在所研究的12个系统中,可用性评估仍然有限,尽管它对于确保有效、包容和有意义的公共信息访问至关重要。这种限制似乎并非哥伦比亚独有:全球数据晴雨表覆盖了拉丁美洲、加勒比和非洲的43个国家,发现公众访问仍未很好地融入开放数据计划,在分析的案例中仅有11%明确了具体要求。缺乏训练有素的人员和成本是未进行评估的机构最常报告的障碍。在报告进行评估的地方,评估并未与可访问性问题的消失相吻合:那些报告评估了可访问性的系统仍显示出工具报告的WCAP成功准则违规。这些系统也缺乏专用可访问性控件;由于此类控件并非AA级合规所必需,它们的缺失仅作为设计特征报告,而非可访问性不足的证据。在未进行评估的机构中,投诉不频繁,但当发生时,主要涉及服务质量(3/6)。加载和等待时间反过来又是进行评估的机构中最少评估的维度之一(2/6)。综合来看,这两项结果表明,服务质量在这些机构进行的评估中很少被审查。