超越DOM：基于视觉-语言模型与语义化报告的网络无障碍视觉优先审计

《Journal of Web Semantics》：Beyond the DOM: Visual-first web accessibility auditing using vision–language models and semantically-grounded reports

　　

专业摘要翻译 研究人员提出了一种用于网络无障碍审计的语义化报告模型，该模型以RDF词汇表的形式发布，并附带SHACL验证配置文件、JSON-LD上下文以及SPARQL能力查询，从而能够构建可互操作、可查询且包含完整溯源信息的审计知识图谱。该词汇表包含八个核心类（AuditRun, Finding, Criterion, Target, Evidence, Recommendation, ModelInvocation, PageState）及超过40个属性，其构建基础为PROV-O、Web Annotation、Dublin Core和SKOS标准。十二个声明式SHACL形状用于强制执行结构完整性、语义一致性及溯源完整性。该模型支持证据的双重锚定（DOM选择器与视觉边界框坐标），以此桥接基于代码和基于感知评估两种范式。研究人员以视觉-语言模型（VLM）（LLaVA-1.5）实例化了该框架，在270个WebSight样本上针对WCAG准则1.1.1、1.4.3、2.4.2和2.4.4展示了视觉优先检测能力。对于准则1.1.1和1.4.3，该流水线实现了84%的人工验证精确率（Cohen's κ = 0.74, N=50金标准标注）。一项针对50个公共网站中42个的真实世界试点显示，相同准则的标志率为38.1%和31.0%，证明了部署可行性。与axe-core 4.9的对比评估表明，大约52%的VLM标志是特定axe-core 4.9配置未检测到的候选发现，其中包括DOM属性分析无法触及的违规。语义工件能够实现跨运行回归分析、证据过滤以及在无障碍工作流中的可复现性，将无障碍审计定位为与语义网生态系统兼容的基础设施。

论文解读文章

一、研究背景与问题

过去三十年，万维网从静态文档中心型超文本演变为动态应用中心型界面，客户端渲染技术（如React、Vue、Angular）和复杂CSS布局极大地丰富了用户体验，但也使自动化无障碍验证措施的效果不彰。尽管《网页内容无障碍指南》（WCAG）为包容性提供了强有力的规范性框架，但网页技术实现与其感知视觉效用之间的脱节日益加剧。

当前工业界标准的审计工具，如Axe-core、WAVE和Google Lighthouse，均运行在确定性范式之上：它们遍历文档对象模型（DOM）来识别语法违规。例如，验证标签上是否存在alt属性是一个简单的操作，但验证该属性的语义正确性——即“image123.jpg”是否准确地描述了一个复杂的数据可视化——对基于规则的系统而言仍然是计算上难以处理的。研究表明，自动化工具只能检测到30%至50%的WCAG违规，其余错误被归类为“需要人工验证”。这种对人工审计的依赖在软件开发生命周期（SDLC）中造成了瓶颈，使得持续的无障碍合规对大多数组织来说成本过高。

除了检测能力的局限，当前工具还存在报告缺陷：审计输出通常是没有语义基础的、缺乏标准化词汇表或溯源元数据的工具特定JSON或HTML报告。这阻碍了将其集成到知识驱动的工作流、跨工具比较、跨开发周期的回归跟踪以及自动修复流水线中。缺乏机器可操作和可查询的表示限制了审计结果在即时人工消费之外的效用。

研究人员认为当前工具的失败源于两个相互关联但又截然不同的挑战。第一个是感知鸿沟：无障碍不仅仅是源代码（DOM）的属性，它是用户所感知的界面像素级表现——渲染树——的一种涌现特性。第二个是表征鸿沟：即使检测到了违规，由于缺乏标准化、语义化的报告，审计结果的实用性和互操作性也受到限制。

二、研究内容与结论

为了解决上述双重语义鸿沟，研究人员提出了一个集成的神经符号框架，称为WCAG-VLM。该框架的核心贡献在于两个方面：一是作为主要贡献的语义报告模型——包含RDF词汇表、SHACL约束配置文件和JSON-LD上下文，该模型独立于任何特定的检测技术；二是基于LLaVA-1.5的视觉审计流水线，作为概念验证的实例化，证明该模型可以容纳真实的VLM输出。该词汇表并非绑定于此流水线；任何产生结构化无障碍发现（基于规则的、神经网络的或混合的）的工具都可以生成符合规范的输出。

为了弥合表征鸿沟，研究人员发布了带有SHACL约束验证的形式化RDF词汇表作为机器可操作的工件。为了弥合感知鸿沟，研究人员采用了视觉-语言模型（VLM），特别是LLaVA-1.5，作为视觉感知模块的一个实例化。

研究的主要结论包括：

1. 1.
   提出了一个由8个核心类和超过40个属性组成的正式RDF词汇表，构建在PROV-O、Web Annotation、Dublin Core和SKOS标准之上，支持双模态证据锚定和全面的溯源追踪。
2. 2.
   定义了十二个声明式SHACL形状，强制执行涵盖结构完整性、语义一致性和溯源完整性的约束。
3. 3.
   设计了五个SPARQL能力查询，展示了可查询性，包括跨运行回归检测、证据类型过滤、溯源追踪、按视觉区域的空间聚类以及推荐检索。
4. 4.
   形式化了“符号防火墙”作为一组声明式约束，管理报告结构、一致性（例如，失败的结果必须引用证据）和完整性，将随机的VLM输出转化为合规、机器可操作的工件，评估中实现了15.9%的加权平均拒绝率。
5. 5.
   每个审计运行都嵌入了溯源元数据（模型版本、提示模板、推理参数、截图哈希值、时间戳），遵循既定的可追溯性原则，这对于监管合规和持续集成至关重要。
6. 6.
   实施了“数字视网膜”流水线，结合高保真视口捕获和隐式思维链（ICoT）提示，将VLM推理锚定在特定视觉元素上，解决了感知鸿沟。
7. 7.
   在受控和真实世界数据集上进行了实证验证：在N=270个WebSight样本上针对WCAG准则{1.1.1, 1.4.3, 2.4.2, 2.4.4}进行评估。对于准则1.1.1和1.4.3，流水线达到了84%的人工验证精确率（Cohen's κ = 0.74, N=50金标准标注）。在50个公共网站中的42个上进行的真实世界试点（84%抓取成功率）证实了31%-38%的标志率，提供了在生产条件下部署可行性的证据。与axe-core 4.9的对比评估显示，大约52%的VLM标志未被该axe-core配置检测到，涵盖了仅靠DOM属性分析无法触及的违规。

三、关键技术方法

研究人员采用的关键技术方法包括：

1. 1.
   高保真视口（HFV）获取：利用分布式无头浏览器集群（由Pyppeteer驱动的Chromium）进行同构渲染，确保提供给VLM的输入呈现与有视力用户相同的布局和视觉结构。
2. 2.
   视觉-语言模型（VLM）推理：使用LLaVA-1.5作为核心感知模块，结合隐式思维链（ICoT）提示策略，将VLM的推理过程锚定在具体的视觉元素上，使其能够像人类专家一样评估渲染后的界面。
3. 3.
   符号防火墙：一套声明式约束（正则表达式修复与SHACL验证），用于清洗和规范化VLM的不稳定输出，确保生成的审计报告在结构、语义和溯源上的完整性与一致性。
4. 4.
   语义报告层：基于RDF词汇表、SHACL约束配置文件和JSON-LD上下文构建，将结构化的审计发现转化为可互操作、可查询的知识图谱，支持证据的双重锚定（DOM选择器和视觉边界框）。

四、研究结果

Criterion-specific scope and limitations. 并非所有WCAG准则都能从视觉检查中获得同等置信度。对于准则1.4.3（对比度），截图足以评估前景和背景颜色是否可区分。对于准则1.1.1（非文本内容），确定图像是否为装饰性需要理解作者的意图，因此流水线输出状态为NeedsReview，结果应视为需要专家确认的候选问题。对于准则2.4.2（页面标题）和2.4.4（链接目的），确切的合规性评估需要DOM访问或元数据，因此仅作为探索性处理，产生未经确认的标志。

Phase 1: Input phase (high-fidelity acquisition). 数字视网膜实施了一个严格的配置协议，包括动态视口计算和功能等效渲染，以确保VLM“看到”的内容与用户一致。同时承认了ViT-L/14编码器的分辨率限制（336×336像素），这可能导致对小尺寸文本或细微颜色差异的假阴性偏差。

Phase 2: Neuro-Symbolic Core (VLM Inference & Stabilization). 该阶段的核心是将截图和结构化的WCAG提示输入LLaVA-1.5，并通过符号防火墙对输出进行稳定化处理。

Phase 3: Output & Evaluation. 该阶段将稳定的VLM输出通过语义报告层转化为符合RDF/SHACL规范的审计知识图谱，并进行评估。

Experimental Results. 在WebSight数据集上，针对准则1.1.1和1.4.3，流水线达到了84%的人工验证精确率和0.74的Cohen's Kappa系数。在真实世界网站的试点中，观察到31%-38%的标志率。与axe-core 4.9的比较显示，约52%的VLM标志是DOM分析无法发现的。

五、讨论与结论

研究人员讨论了计算成本、偏差缓解以及约束在确保互操作性中的作用。研究结论指出，该语义模型是一项持久的贡献，而VLM只是视觉感知模块的一种实例化。通过提供一个与检测技术无关的、机器可操作的审计知识图谱框架，该研究将无障碍审计定位为可与语义网生态系统兼容的基础设施，为实现持续集成、回归分析和跨工具协作铺平了道路。