OPTIMAL-EM：基于复杂度驱动的优化网页无障碍评估聚类方法

《ACM Transactions on the Web》：OPTIMAL-EM: Complexity-Driven Clustering for Optimised Web Accessibility Evaluation

　　摘要
AI总结：要查看此由AI生成的摘要，您需要拥有高级访问权限。了解更多信息并登录。

摘要
《网站无障碍符合性评估方法论》（WCAG-EM）指导审核人员选择网页样本进行无障碍评估。然而，WCAG-EM的抽样方法无法从统计学上证明所选样本之外的页面也能代表整体情况。为生成最优的代表性样本，我们此前提出了OPTIMAL-EM框架。在本文中，我们应用该框架来探究框架中的两个指标——网页复杂度与无障碍性——之间的关系。首先，我们通过t分布随机邻域嵌入算法和基于密度的空间聚类算法，采用两种方式对网页进行结构分类：一种包含所有HTML元素，另一种则聚焦于块级HTML元素。接着，我们比较各簇的平均复杂度及其复杂度方差与 ??簇的无障碍性水平。为衡量二者之间的相关性，我们进行了两阶段评估：第一阶段在包含388个页面的网站上进行实验，第二阶段则在另外三个各含500个页面的随机网站上进行验证。实验结果表明，复杂度变化较小的网页群通常存在的无障碍障碍较少，这表明标准化的模板化网页设计可能比复杂网页更有助于提升无障碍性。此外，本文的主要贡献在于指出，通过识别并重点关注复杂度方差较高的网页群，审核人员可以更有效地集中精力，优先处理那些更可能存在无障碍问题的区域。通过提供一种更为系统且可扩展的抽样方法，我们的方法能够减少人工工作量，从而优化大型网站的符合性评估，让评估更针对具有代表性的页面。

AI总结

AI生成的总结（实验版）：此总结是通过自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助读者发现相关内容、评估文章的相关性，以及便于相关领域的读者理解本文内容。它是对作者提供的摘要的补充，而作者提供的摘要仍是论文的核心总结。全文仍是权威版本。点击此处了解更多信息。点击此处对该总结的准确性、清晰度和实用性发表意见，您的反馈将有助于改进未来的生成版本。要查看此由AI生成的通俗语言总结，您需要拥有高级访问权限。

1 引言
技术和网络正日益融入人们的日常生活。确保网站和网络应用对残障人士友好，对于实现信息、服务及机会的平等获取至关重要。然而，尽管存在明确的需求以及完善的无障碍指南[46]，无障碍障碍依然存在，阻碍着人们的使用[48]。由于开发人员和设计师对无障碍设计的认知不足且积极性不高，再加上实现无障碍功能被认为较为复杂且耗时，这一问题愈发严重，同时资金、专业知识和时间等资源也极为匮乏[2]。

世界万维网联盟发布的《网站无障碍符合性评估方法论》（WCAG-EM）为无障碍审核人员提供了指导，帮助他们衡量网站对WCAG 2.0标准的符合程度[45]。在多个地区，WCAG已通过立法成为具有法律约束力的标准。例如，在欧洲，《网络无障碍指令》要求公共部门网站必须符合WCAG标准[4]。因此，对整个网站而非单个页面进行评估至关重要。由于许多WCAG原则，如成功标准1.1.1“非文本内容”等，都需要人工评估，因此选择合适的样本大小对于完成全面的符合性评估至关重要。

我们发现了WCAG-EM存在的一些问题，包括评估范围的问题——适用范围的设定可能会使网站中较难导航的部分被系统性地排除在评估之外；以及非概率性的抽样方法，这可能导致所选样本存在偏差[12]。我们提出了OPTIMAL-EM框架，用于为无障碍评估选择具有代表性的网页样本，而网页复杂度则是决定代表性的关键因素。

网页复杂度与无障碍性之间存在关联：网页的布局、内容及交互性都会影响其复杂度，而较高的复杂度会加剧无障碍障碍，进而影响用户与网站的互动方式[11]。这一关联促使我们探讨复杂度、复杂度方差与网页无障碍性之间是否存在相关性。具体而言，本文提出了一种改进网页无障碍评估的新方法。我们旨在确定网页复杂度的方差是否能够预测无障碍障碍的存在。我们在参考文献[14]的基础上进一步研究，运用t分布随机邻域嵌入算法和基于密度的空间聚类算法，对网页的向量空间模型进行处理，从而将结构相似的网页分组成群。我们采用了参考文献[11、15、16、45、50]中提出的定量复杂度指标，即页面上丰富的内容HTML元素（如嵌入的媒体和交互组件）与总HTML元素数量的比值，然后计算每个簇的复杂度方差。先前的研究已经指出，块级HTML元素在网页抽样中起着重要作用[16]，因此我们采用了两种表示网页的方法：一种包含所有HTML元素，另一种则仅关注块级HTML元素。

我们从以下方面研究结构复杂度与无障碍性之间的关系：
—研究问题1：网页复杂度在簇内的方差（见第8页公式2，复杂度定义见第8页公式1）是否与无障碍障碍的出现频率（见第3页公式3）存在关联？
—研究问题2：复杂度方差作为无障碍障碍的预测因子，其效力是否高于平均复杂度（见第8页公式1）？
—研究问题3：基于复杂度驱动的网页分组如何帮助实现更具代表性的抽样？

针对研究问题1，我们的研究发现，复杂度变化较小的网页群对应的无障碍障碍较少。我们的初步实验是在来自曼彻斯特大学的StudentNet网站上的页面群进行的，我们发现复杂度方差与无障碍障碍的总数之间存在较强的正相关关系，这说明网页群内部复杂度的不一致性会导致更多的无障碍障碍。至于研究问题2，我们的分析显示，平均复杂度与复杂度方差之间存在中度到较强的负相关关系，而平均复杂度与无障碍障碍总数之间的负相关关系则较弱，这表明平均复杂度较高的网页群可能采用模板化设计，因而复杂度方差较低。我们的评估还表明，块级HTML标签是影响复杂度的关键因素，而且由于模板化网页设计的一致性，这种效应在整个网站中都存在。我们在剑桥大学、Goodreads和The Eclipse Foundation等随机选择的网站上重复了我们的方法，以验证研究结果。总体而言，这些结果支持了我们的初步结论，不过在The Eclipse Foundation上我们观察到了差异，这反映出网站特定因素的影响，比如共享组件会在不同页面间引入一致的障碍。

基于我们的研究，针对研究问题3，我们建议可以利用复杂度方差作为预测无障碍障碍的启发式方法，从而指导抽样工作。通过重点关注复杂度方差较大的网页群，无障碍评估可以集中在那些更可能存在障碍的区域。这种有针对性的方法可以通过减少对标准化网页的评估数量，为审核人员提供更具代表性的样本，从而降低资源消耗。最终，该方法旨在通过将资源集中在最需要的地方，提高网页无障碍评估的效率和效果。

2 背景与相关研究
《网络内容无障碍指南》（WCAG）是一项全球公认的标准[10]：2012年，WCAG 2.0被认定为ISO标准[19]，而最新的WCAG版本，包括WCAG 2.2，都是围绕四个核心原则构建的：可感知、可操作、可理解、坚固可靠[43]。这些原则为开发人员和内容创建者提供了应遵循的目标[43]。每项指南都与其中一个核心原则相对应，同时包含可评估的成功标准；其中一些标准可以通过自动化工具进行评估，而另一些则需要人工审查。然而，这些成功标准仅能覆盖49.6%的用户问题[33]，而且尽管有了这些原则，WCAG 1.0与WCAG 2.0在用户问题覆盖范围上并未出现显著差异。

世界万维网联盟制定的WCAG-EM为评估网站对WCAG 2.0标准的遵守情况提供了指导[45]。该方法论包括五个主要步骤：(i)确定评估范围，(ii)了解网站的结构、功能和技术架构，(iii)选择具有代表性的网页样本进行评估，(iv)对样本进行审核，(v)报告评估结果。不过，我们之前的研究发现了这种方法存在的问题：评估范围的界定可能会导致网站中较难导航的部分被排除在评估之外，而且样本选择方法是非概率性的，这可能会在待审核的页面中引入偏差[12、14]。

自动化无障碍工具在网页开发中发挥着重要作用，它能让审核人员、开发人员等快速获得网页评估的反馈，从而在问题深入设计之前及时发现并解决。不过，这些工具的效能取决于是否有良好的开发环境，以及开发人员和设计师的认知程度和积极性[1、38、42、51]。随着自动化测试在网页无障碍评估中的日益广泛应用，其高效性和便捷性也推动了它的普及[25]，但自动化测试通常只能覆盖WCAG 2.0标准中约50%的成功标准[41]，因此自动化无障碍评估很可能存在重大遗漏。鉴于许多无障碍问题需要人工判断，而且在一些国家，遵守WCAG标准具有法律约束力，因此人工检查仍然十分重要，而有效的抽样对于减少全面评估所需的工作量而言至关重要。

量化无障碍性通常会借助自动化工具来进行系统性评估[40]。例如，Lighthouse工具基于Axe工具来量化网页的无障碍性，并按类型对无障碍障碍进行分类，如“ARIA”或“导航”等。Axe工具还将无障碍障碍分为四个等级：严重、较严重、中等和轻微，从而实现更细致的评估[18]。

还有其他量化无障碍性的方法：参考文献[40]中对多种无障碍指标进行了评估，发现不同自动化指标的质量存在较大差异。没有一种单一指标能够全面涵盖网页无障碍性的所有方面，但在有效性方面，“网络无障碍量化指标”“页面度量”和“网络无障碍障碍”表现最为出色。

如前所述，现有的方法如WCAG-EM虽然为选择待审核页面提供了方法指导，但并未从统计学角度证明所审核的页面能够代表整个网站。在本文中，我们从两个方面扩展了我们的指标体系[12、14]，以支持更具代表性的抽样：首先，我们在多个真实网站中证明了结构复杂度在簇内的方差与无障碍障碍的密集程度之间存在密切关联；其次，我们将这一发现转化为具体的抽样指导原则：审核人员应优先处理复杂度方差较高的网页群，因为这类群体更可能存在严重或大量的无障碍障碍。

2.1 复杂度
WCAG-EM通过以下三个方面来定义网页复杂度：(i)交互性水平，(ii)内容生成来源，(iii)内容的实现方式[45]。该框架认为，网站的复杂度越高，所需的样本规模就越大。那些从多个来源动态聚合内容、在运行时处理内容或包含高度交互性内容的网站，通常需要大量样本才能覆盖所有可能的内容组合或不断增加的页面状态。此外，网站还可能根据用户偏好或设备类型提供不同版本的内容（如针对移动设备的专用版本），这些版本也需要更大的样本量来体现其中的差异。

从心理学角度来看，复杂度被定义为“用语言描述一幅图像的难度程度”[17]。参考文献[15]将这一定义应用于网页复杂度，从布局和结构化的HTML元素出发，指出密集排列的块级HTML元素会显著提升网页的感知复杂度。该方法通过分析文档对象模型中这些结构组件的排列和出现频率来定量评估视觉复杂性，从而与用户对复杂性的感知紧密相关。进一步而言，复杂性也可定义为刺激物中的“多样性或变化程度”[3]。在参考文献[11]中，这一定义被应用于网页设计，包括交互元素的多样性、文本、视频和图像等媒体类型的多样性以及导航结构的差异性。这类媒体可以表现为嵌入式或交互式的HTML[44]。[11]的研究表明，这种复杂性会影响网页设计的美观性和功能性，并进而影响用户交互和可访问性。网站视觉美学评估框架（VisAWI）提出了通过四个指标来评估网站视觉美学的框架：简洁性、多样性、色彩丰富度以及工艺水平[29]。简洁性衡量的是网页设计的清晰度与简洁程度，而多样性则评估视觉设计元素的丰富程度。色彩丰富度着眼于颜色的有效运用与搭配，工艺水平则关注设计的整体质量与精确度。尽管VisAWI无法客观衡量网页的结构或功能属性，但它为评估感知到的视觉美学提供了系统且可量化的指标。以往的研究指出网页的视觉特征与其可访问性之间存在关联[26]：设计上被称为“简洁”的网页所存在的可访问性障碍较少；然而，被称为“富有表现力”或“复杂”的网页并不一定就存在更多可访问性障碍。人们对一个网页的可用性评价并不仅仅基于其功能，美学在感知可用性方面也起着重要作用[22]，而且表面可用性（用户基于美学对网页的初步印象）与内在可用性（交互后的实际功能表现）之间存在区别。美学-可用性效应将网站美学定义为多维的，包含传统美学与表现性美学[22, 23]。复杂性也是其中的一个因素，因为视觉上更为复杂的网页更受用户青睐[23]。在参考文献[50]中采用了一种综合方法来衡量视觉复杂性，该方法运用了网络挖掘技术与机器学习。该途径通过提取结构、视觉和交互特征来计算分布值，从而量化视觉复杂性。结构特征包括各类HTML元素的排列方式及数量，这与参考文献[14, 15, 16]中所采用的方法类似。此外，在网页设计中还可以从功能角度来考量复杂性，通过关注页面的视觉结构来设定指标，比如空白空间的大小以及图形和文字的数量[37]。最后，在参考文献[52]中，网站复杂性被更广泛地定义为由站点内超链接的密度和数量来衡量，更高的互联程度意味着更为复杂的网站结构。2.2 聚类聚类是指将相似的对象归为一组的处理方式。OPTIMAL-EM框架利用聚类技术将“相似”的网页分组，以便进行有代表性的抽样。在本文中，我们运用聚类技术来辅助分析各组内的复杂性与可访问性。我们将网页表示为VSM。VSM是高维向量，每个维度对应一个HTML标签、属性或其他文本内容[14]。通过对VSM进行聚类，可以根据网页的结构相似性将其分组。现有文献也充分支持利用VSM来辅助聚类工作[8, 20, 47, 49]。我们在之前的研究[14]中已经论证了使用VSM的合理性，当时我们强调了在网页表示中纳入结构化HTML的重要性。DBSCAN是一种专注于数据区域内数据点集中程度的聚类算法。如果数据点不属于某个密集邻域，则会被视为噪声[5]。在参考文献[36]中，DBSCAN被用于分析网页使用数据以识别用户行为；在参考文献[39]中，DBSCAN与期望最大化（EM）算法一起被用来分析网页用户会话。在参考文献[7]中，这些网页用户会话是根据其网页访问模式的相似性通过DBSCAN进行分组的。HTML页面属于文档类别，而DBSCAN是文档聚类领域中的一种成熟算法。在参考文献[5]中，DBSCAN被证明是一种适合根据内容相似性对文档进行聚类的算法。3 实验部分我们在参考文献[12]中介绍了OPTIMAL-EM方法论。该框架旨在优化网页可访问性评估流程，同时提出了一组用于评估网页可访问性各个方面的指标。该框架由一款软件工具[13]（见图1）提供支持，共计包含六项指标。其中核心的是用于衡量复杂性与可访问性的指标。通过理解复杂性、复杂性变化程度与可访问性之间的关系，我们旨在更好地指导对网页进行人工评估时的抽样工作：图1。该工具分为三个阶段。左侧是初始的群体来源获取与聚类阶段，此时网页会根据其相似性被分组[14]。右上角是专门用于计算内部集群复杂度与变化程度的阶段。最右侧则是输出阶段，此处会选出具有代表性的网页以便进行可访问性审查。(1)复杂性。我们在3.1节中对复杂性进行了定义，采用了客观且量化的方法来衡量网页组件，尤其关注如表1所示的丰富型与交互型内容。(2)可访问性。自动化工具能够提供关于整个群体可访问性的大致情况。具体而言，我们可以利用自动化工具来确定存在哪些障碍，并为人工评估确定页面的优先级。这种方法结合代表性页面与聚类技术，能够帮助我们从每个集群中选出更具代表性的页面进行人工评估。通过从各个集群中抽取一部分页面（即代表性页面），我们可以节省资源，从而减轻整体的人工测试负担。表1. 元素（??）内容类型条件交互式音频嵌入型交互式如果存在controls属性按钮交互式画布嵌入型通常用于位图内容embed嵌入型通常不是HTML内容iframe嵌入型img嵌入型交互式如果存在usemap属性input交互式keygen交互式label交互式math嵌入型object嵌入型交互式如果存在usemap属性select交互式svg嵌入型textarea交互式视频嵌入型交互式如果存在controls属性改编自参考文献[44]，列出了我们用于丰富内容集的HTML元素。我们设计这些指标是为了适应多种应用场景，因此并非所有的OPTIMAL-EM指标在所有情况下都适用。例如，本文主要关注复杂性与可访问性指标。我们的方法论具备扩展性：其他指标可能在不同的评估场景中发挥作用：(1)覆盖率。在考虑群体来源获取与抽样时，这一指标十分重要。我们通过选择策略[31]和异质性[21]来定义这一指标。(2)代表性。这一指标与覆盖率相关，二者共同通过“尽可能覆盖群体的更多部分”来定义异质性[21]。我们在参考文献[14]中进一步阐述了覆盖率与代表性作为指标的意义。(3)流行度。这一指标可用于为评估确定页面的优先级。有些网页被用户访问的频率高于其他网页，这就是网页的点击率。某些群体来源获取方法，如服务器日志文件，就能提供这一数据。(4)新鲜度。这一指标反映目标群体、集群或选定页面的更新程度。3.1 复杂性复杂性是多维的，其定义和评估方法既有客观的也有主观的。虽然人们对网站复杂性的客观感知与主观感知存在关联，但用户的复杂性感知还会受到其对网站熟悉程度的影晌[11]。WCAG-EM指出了影响网站复杂性的若干因素，这些因素包括网页的交互程度、内容生成、聚合与传递的方式，以及网页内容呈现的多样性，比如不同的呈现格式[45]。3.1.1 作为指标的复杂性。我们采用了与WCAG-EM原则相一致的客观复杂性衡量标准。由于不同人群的视觉偏好和感知复杂性可能存在很大差异[34]，因此客观衡量标准至关重要。我们所定义的复杂性以W3C所规定的丰富内容为核心[44]。具体而言，我们关注嵌入型与交互型内容。嵌入型内容指的是那些将其他资源引入网页的材料，这类内容会为用户增加更多需要浏览的信息层次，从而可能提升网页的复杂性。例如，包含嵌入视频或动态更新图表的网页。交互型元素则是指那些能够根据用户操作改变自身状态或行为的元素，比如点击后会发生视觉变化的按钮。这类元素为网页的复杂性增添了动态元素[44]。我们在表1中列出了评估中涉及的交互型与嵌入型元素，这些元素都属于那些会（i）引入交互行为的元素。