OPTIMAL-EM：基于复杂性的聚类方法，用于优化网页无障碍性评估

《ACM Transactions on the Web》：OPTIMAL-EM: Complexity-Driven Clustering for Optimised Web Accessibility Evaluation

　　摘要AI 摘要要查看此由AI生成的摘要，您必须具有高级访问权限。了解更多信息请登录。

摘要
网站无障碍一致性评估方法（WCAG-EM）指导审核员选择网页样本进行无障碍评估。然而，WCAG-EM的抽样方法无法从统计上证明所选样本之外的页面也具有代表性。为了生成一个最佳的代表性样本，我们之前提出了OPTIMAL-EM。在本文中，我们应用该框架来探讨框架内的两个指标之间的关系：网页复杂性和无障碍性。我们首先使用t分布随机邻域嵌入（t-SNE）和基于密度的带噪声空间聚类（DBSCAN）根据结构对页面进行聚类，通过两种方法表示页面：一种包括所有HTML元素，另一种专注于块级HTML元素。然后，我们比较每个簇的平均复杂性和该簇的复杂性方差与平均无障碍性。为了衡量它们的相关性，我们进行了两阶段评估：首先是包含388个页面的网站实验，其次是包含500个页面的三个随机网站的验证研究。我们的实验表明，复杂性变化较小的簇往往表现出较少的无障碍障碍，这表明标准化和模板化的网页设计可能比更复杂的页面更有助于无障碍性。此外，本文的主要贡献在于显示，通过识别和关注复杂性方差较高的簇，审核员可以更有效地集中精力，优先处理可能出现无障碍挑战的区域。通过提供一种更系统且可扩展的抽样方法，我们的方法可以通过减少人力来优化大型网站的一致性评估，专注于更具代表性的页面的评估。

AI 摘要 由AI生成的摘要（实验性）此摘要是使用自动化工具生成的，并非由文章作者编写或审核。它旨在支持发现、帮助读者评估相关性，并帮助相关研究领域的读者理解这项工作。它旨在补充作者提供的摘要，后者仍然是论文的主要摘要。完整文章仍是权威版本。点击这里了解更多信息。点击这里对摘要的准确性、清晰度和实用性发表评论。这样做将有助于改进和未来的重新生成版本。要查看此由AI生成的简单语言摘要，您必须具有高级访问权限。

1 引言
技术和网络正逐渐成为日常生活不可或缺的一部分。确保网站和网络应用程序对残疾人可用性至关重要，以提供平等的信息、服务和机会。然而，尽管有明确的需求和既定的无障碍指南[46]，无障碍障碍仍然存在[48]。由于对实施无障碍软件的复杂性和所需时间的认识不足以及动力不足，这个问题更加严重，而且资源（包括资金、专业知识和时间）也非常稀缺[2]。
世界万维网联盟（W3C）发布的网站无障碍一致性评估方法（WCAG-EM）通过测量网站是否符合WCAG 2.0 [45]来指导无障碍审核员。在多个地区，WCAG已经通过立法成为法律义务。例如，在欧洲，网络无障碍指令（WAD）要求公共部门网站遵守WCAG [4]。因此，评估网站而不仅仅是单个页面是非常重要的。许多WCAG原则，如成功标准1.1.1：非文本内容[1]，需要手动评估，选择合适的样本大小对于管理进行全面的一致性评估的工作量至关重要。
我们发现了WCAG-EM的问题，包括评估范围的问题，其中适用范围可能会系统性排除网站中导航性较差的部分；非概率抽样方法，以及所选样本中可能存在偏见[12]。我们提出了OPTIMAL-EM，这是一个框架，用于促进网页的无障碍评估的代表性抽样，而代表性的关键在于网页复杂性。
复杂性和无障碍性之间存在关联：复杂性可能源于网页布局、内容和交互性，高网页复杂性会加剧无障碍障碍并影响用户与网站的互动[11]。这种关联促使我们研究复杂性、复杂性方差和网络无障碍性之间是否存在相关性。
具体来说，本文提出了一种增强网络无障碍评估的新方法。我们试图确定网页复杂性的方差是否能预测无障碍障碍。我们在参考文献[14]的基础上进行了扩展，并在网页的向量空间模型（VSM）上应用了t分布随机邻域嵌入（t-SNE）[27]和基于密度的带噪声空间聚类（DBSCAN）[6]来生成结构相似的页面组。我们采用了一种量化的复杂性度量方法，该方法受到参考文献[11, 15, 16, 45, 50]的启发，定义为丰富内容HTML元素（如嵌入媒体和交互组件）与页面上总HTML元素数量的比例，并计算每个簇的复杂性方差。先前的研究强调了块级HTML元素在网页抽样中的作用[16]。因此，我们使用两种方法表示网页：一种包括所有HTML元素，另一种仅关注块级HTML元素。
我们如下研究结构复杂性和无障碍性之间的关系：
- RQ1：簇内网页复杂性的方差（第8页的方程2，基于第8页的方程1定义的复杂性）是否与无障碍障碍的普遍性（第3页的方程3）相关？
- RQ2：复杂性方差是否比平均复杂性（第8页的方程1）更强的无障碍障碍预测因子？
- RQ3：基于复杂性的页面聚类如何指导更具代表性的抽样？
关于RQ1，我们的发现表明，复杂性变化较小的簇与较少的无障碍障碍相关。我们的初步实验集中在StudentNet上，这是一个来自曼彻斯特大学的页面集合。我们观察到复杂性方差与无障碍障碍总数之间存在强烈的正相关，这意味着簇内网页复杂性的不一致性与无障碍障碍的增加有关。关于RQ2，我们的分析显示平均复杂性和复杂性方差之间存在中等到强的负相关，而平均复杂性与障碍总数之间的负相关较弱，这表明平均复杂性较高的簇可能由模板化设计组成，从而导致较低的方差。我们的评估还表明，块级HTML标签决定了复杂性，这种效应在整个网站上是一致的，这归因于模板化网页设计实践。我们通过在随机选择的额外网站（包括剑桥大学、Goodreads和Eclipse基金会）上复制我们的方法来验证我们的发现。结果总体支持了我们的初步结论，尽管在Eclipse基金会上观察到了一些变化，这突出了网站特定因素的影响，例如共享组件在页面间引入了一致的障碍。
基于我们的研究，关于RQ3，我们建议利用复杂性方差作为预测无障碍障碍的启发式方法，并指导抽样。通过关注复杂性变化较大的簇，无障碍评估可以针对可能呈现障碍的区域进行定向。这种有针对性的方法可以通过减少对标准化网页的评估次数，并为审核员提供更具代表性的样本来进行更有效的抽样，从而减少资源使用。最终，这种方法旨在通过优先考虑最需要资源的领域来优化网络无障碍评估的效率和效果。

2 背景和相关工作
网络内容无障碍指南（WCAG）是一个全球公认的标准[10]：2012年，WCAG 2.0被认可为ISO标准[19]，最近的WCAG版本（包括WCAG 2.2）围绕四个基本原则构建：可感知性、可操作性、可理解性和稳健性[43]。这些原则为开发者和内容创作者提供了应实现的目标[43]。每个指南都与这些核心原则之一相关联，并包括可评估的成功标准；一些标准可以使用自动化工具进行评估，而其他标准则需要手动审核。然而，这些成功标准仅涵盖了49.6%的用户问题[33]，尽管引入了新原则，但在WCAG 1.0和WCAG 2.0之间在用户问题覆盖范围上没有显著差异。
WCAG-EM由世界万维网联盟（W3C）提供，为评估网站是否符合WCAG 2.0 [45]提供了指南。该方法包括五个主要阶段：(i) 定义评估范围，(ii) 确定网站的结构、功能和技术栈，(iii) 选择具有代表性的网页样本进行评估，(iv) 审计该样本，以及(v) 报告发现结果。然而，我们之前的工作发现了这种方法的问题：评估范围的定义可能会将网站中导航性较差的部分系统性排除在评估之外，选择样本的方法是非概率性的。这可能会在选定的审查页面中引入偏见[12, 14]。
自动化无障碍工具在网页开发中发挥着重要作用，允许审核员、开发人员等即时反馈地评估网页。作为早期干预措施，自动化工具可以有效识别并帮助开发人员在问题嵌入设计之前解决特定的无障碍问题。然而，这些工具的有效性取决于有利的发展环境的可用性以及网页开发人员和设计者的意识和动力[1, 38, 42, 51]。自动化测试在网络无障碍评估中的使用不断增加，这是由于工具的效率和报告能力[25]，但自动化测试通常只涵盖大约50%的WCAG 2.0成功标准[41]，从而导致自动化无障碍评估中可能存在重大疏漏。鉴于许多无障碍问题需要人类判断来进行评估，并且符合WCAG在许多国家是法律义务，手动检查仍然至关重要，有效的抽样对于减少全面评估所需的工作量至关重要。
量化无障碍性通常使用自动化工具进行系统评估[40]。例如，Lighthouse3基于Axe量化网页的无障碍性，并按类型（如“ARIA”或“导航”）过滤无障碍障碍。也就是说，Axe将无障碍障碍分为四个级别：严重、中等和轻微，并促进更细致的评估[18]。存在其他量化无障碍性的方法：参考文献[40]中评估了几种无障碍指标，发现不同自动化指标的质量存在显著差异。没有单一指标能够全面覆盖网络无障碍性的所有方面，但网络无障碍定量指标、页面度量和网络无障碍障碍在有效性方面表现最佳。
如上所述，现有的方法（如WCAG-EM）提供了选择要审核的页面的方法论指导，但没有统计学上的依据来声称被审核的页面能够代表整个网站。在本文中，我们通过两种方式扩展了我们的指标[12, 14]以支持代表性抽样：首先，我们在多个真实世界网站中展示了簇内结构复杂性的方差与无障碍障碍密度之间的强相关性；其次，我们将这一点转化为可操作的抽样指南：评估者应优先考虑复杂性方差较高的簇，因为这些簇更可能包含严重的或众多的障碍。

2.1 复杂性
WCAG-EM通过(i) 交互程度，(ii) 内容来源，以及(iii) 内容实现来定义网页复杂性[45]。该框架指出，网站的复杂性越高，所需的样本量越大。动态聚合来自多个来源的内容、在运行时处理内容或包含高度交互内容的网站通常需要大规模抽样，以涵盖生成内容的潜在组合或更多页面状态。网站可能会提供针对用户偏好或设备类型（如移动设备特定版本）的不同版本，这也需要更大的样本来考虑这些变化。
复杂性从心理学角度定义为“提供图像的口头描述的难度程度”[17]。这一定义在参考文献[15]中被适应于网页复杂性，其中定义了网页复杂性的布局和结构HTML，强调密集排列的“块级”HTML元素显著增加了感知复杂性。这种方法通过检查文档对象模型（DOM）中这些结构组件的排列和频率来定量评估视觉复杂性，从而与用户对复杂性的感知紧密相关。进一步来说，复杂性也可以定义为刺激中的“多样性和变化程度”[3]。在参考文献[11]中，这一定义被应用于网页设计，包括交互元素的各种性、媒体类型的多样性（如文本、视频和图像）以及导航结构的变化。这些媒体可以表现为嵌入的或交互式的HTML[44]。[11]发现，这种复杂性会影响网页设计的美学和功能方面，并影响用户交互和可访问性。网站视觉美学库存（VisAWI）提出了一个通过四个指标来评估网站视觉美学的框架：简洁性、多样性、色彩丰富度和工艺性[29]。简洁性衡量网站设计的清晰度和无杂乱程度，而多样性则评估视觉设计元素的丰富性和变化性。色彩丰富度评估颜色的有效使用和组合，工艺性则关注设计的明显质量和精确度。尽管VisAWI没有客观地测量网页的结构或功能属性，但它提供了一种系统且量化的方法来评估感知的视觉美学。过去的研究强调了网页的视觉特征与其可访问性之间的关联[26]：设计上被认为“简洁”的页面通常具有较少的可访问性障碍；然而，被认为“富有表现力”或“复杂”的页面并不一定包含更多的可访问性障碍。一个网站被认为的可用性不仅仅基于其功能。美学在感知可用性中起着重要作用[22]，并且存在明显的可用性（用户基于美学的初步感知）与内在可用性（交互后网站的功能方面）之间的区别。美学-可用性效应将网站美学定义为多维的，包括经典美学和表现主义美学[22, 23]。复杂性在这里是一个因素，因为视觉上更复杂的页面更吸引用户[23]。在参考文献[50]中采取了一种结合方法来测量视觉复杂性，其中应用了网络挖掘技术和机器学习。该方法提取结构特征、视觉特征和交互特征来计算一个分布，以量化视觉复杂性。结构特征包括各种HTML元素的排列和数量，类似于参考文献[14, 15, 16]中应用的方法。此外，从功能角度也可以考虑复杂性，使用关注页面视觉结构的指标，例如空白空间的数量以及图形和文字的数量[37]。最后，在[52]中更广泛地定义了网站复杂性，通过网站内的链接密度和数量来衡量，更高的互联程度表明网站结构更为复杂。

2.2 聚类
聚类涉及将相似的对象分组在一起。OPTIMAL-EM框架采用聚类方法将“相似”的网页分组，以便进行代表性抽样。在本文中，我们应用聚类来辅助我们对集群内复杂性和可访问性的分析。我们将网页表示为VSM（视觉语义模型）。VSM是高维向量，每个维度代表一个HTML标签、属性或其他文本内容[14]。使用VSM进行聚类得到了现有文献的有力支持[8, 20, 47, 49]。我们在之前的工作中说明了使用VSM的具体理由[14]，其中强调了在网页表示中包含结构化HTML的重要性。DBSCAN是一种聚类算法，专注于数据点在数据区域内的集中程度。如果数据点不属于密集邻域，则被视为噪声[5]。在参考文献[36]中，DBSCAN被应用于网络使用数据以识别用户行为，在参考文献[39]中，DBSCAN与期望最大化（EM）算法一起被用来分析网络用户会话。在参考文献[7]中，根据用户访问模式的相似性，这些网络用户会话通过DBSCAN进行聚类。HTML页面是文档，DBSCAN是文档聚类的一个成熟方法。在参考文献[5]中，证明DBSCAN是一种适合根据内容相似性对文档进行聚类的算法。

3 实验工作
我们在参考文献[12]中介绍了OPTIMAL-EM方法论。该框架旨在优化网络可访问性评估过程，该方法论提出了一套旨在评估网络可访问性各个方面的一系列评估指标。该框架由一个软件工具[13]支持（图1），包括六个指标。这些方法论的核心是用于测量复杂性和可访问性的指标。通过理解复杂性、复杂性方差和可访问性之间的关系，我们旨在更好地指导网页的手动评估抽样：
图1. 该工具包括三个阶段。左侧是人口来源和聚类的初始步骤，其中网页根据它们的相似性进行分组[14]。右上角是计算内部集群复杂性和方差的阶段。输出阶段位于右下角，其中选择具有代表性的网页进行可访问性审查。

(1) 复杂性。我们在第3.1节中定义了复杂性，并采取了客观和定量的方法来衡量网页组件，特别是丰富的和交互式内容，如表1所示。
(2) 可访问性。自动化工具可以提供对人群可访问性的指示。具体来说，我们可以利用自动化工具来了解存在哪些障碍，并提供一种方法来优先处理需要手动评估的页面。这种方法结合代表性页面和聚类，使得可以从每个集群中选择更具代表性的页面进行手动评估。通过从集群中抽样一部分页面（称为代表性页面），我们可以节省资源，从而减少总体手动测试的工作量。

表1. HTML元素包含了我们丰富内容集中的元素。
我们设计了这些指标以支持多种使用场景。因此，并非所有的OPTIMAL-EM指标都适用于每个情境。例如，本文关注的是复杂性和可访问性指标。我们的方法论目标是可扩展的：其他指标可能适用于不同的评估：
(1) 覆盖范围。这个指标在考虑人口来源和抽样时相关。我们通过选择策略[31]和异质性[21]来定义这个指标。
(2) 代表性。该指标与覆盖范围相关；它们共同通过抽样“尽可能多的群体部分”来定义异质性[21]。我们在参考文献[14]中进一步阐述了覆盖范围和代表性作为指标的意义。
(3) 流行度。这可以用来优先处理需要评估的页面。有些网页被用户访问的频率高于其他网页：这就是网页的点击率。这可以通过一些人口来源方法获得，例如服务器日志文件。
(4) 新鲜度。这是目标群体、集群或选定页面的更新程度。

3.1 复杂性
复杂性是多维的，可以有多种定义和评估方法，既有客观的也有主观的。虽然网站复杂性的客观和主观感知是相关的，但用户的感知受到网站熟悉度的影响[11]。WCAG-EM确定了几个影响网站复杂性的因素。这些因素包括网页上的交互程度、内容生成、聚合和传递的方法，以及网页内容呈现的多样性，例如不同的呈现格式[45]。

3.1.1 作为指标的复杂性
我们采用了一种与WCAG-EM中概述的原则密切一致的客观复杂性度量方法。客观度量方法至关重要，因为不同人群的视觉偏好和感知复杂性可能会有显著差异[34]。我们对复杂性的定义集中在Rich Content上，如W3C所定义的[44]。具体来说，我们关注嵌入内容和交互式内容。嵌入式内容指的是将其他资源导入网页的材料，从而可能通过增加用户需要导航的信息层次来增加页面的复杂性。例如，包含嵌入视频或动态更新图表的网页。交互式元素是指能够根据用户交互改变状态或行为的元素，例如点击时会改变视觉效果的按钮。这为网页的复杂性引入了动态方面[44]。我们在表1中列出了我们评估中包含的交互式和嵌入式元素。这些元素是指那些（i）引入交互行为的元素（例如...）。