大学网站上欺诈性设计模式的自动检测：基于浏览器的工具与基于大型语言模型（LLM）的方法的比较分析 卡罗尔·克罗尔（Karol Król）

《Applied Sciences》：Automated Detection of Deceptive Design Patterns on University Websites: A Comparative Analysis of Browser-Based Tools and LLM-Based Approaches Karol Król

　　**特色应用**
所提出的方法通过分析前端界面的结构特征，对网站上潜在的欺骗性设计模式进行了初步识别。该方法还可以将网站作为数字环境进行比较，而无需确定它们对用户行为的实际影响。

**摘要**
尽管近年来出现了一些用于自动识别网站欺骗性设计模式的工具，但这些工具的范围和可靠性仍然研究不足。机构网站是一个特别有趣的研究领域，因为它们具有丰富的信息结构，并影响了用户互动的条件。本文旨在通过实证评估波兰大学网站上的欺骗性设计模式迹象，并分析如何使用自动化分析工具来识别这些模式。研究涵盖了波兰所有的公立大学（N = 65所）。分析过程中使用了基于不同方法论基础的自动化工具，包括浏览器扩展程序和基于GPT语言模型的分析程序。研究发现，这两种方法提供的结果背后存在显著差异：浏览器扩展程序仅提供了潜在问题的定性提示，并未为所有调查网站生成完整且可比较的定量结果。启发式实时欺骗性模式审计器（RTDPA）的结果高度集中（平均分90.03，中位数90，标准差1.55，区间80–95），这可能表明其在识别这些网站时具有有限的区分能力。相比之下，基于规则的结构性界面风险筛查（SIRS）的结果差异要大得多（平均分89.23，中位数90，标准差11.50，区间50–100）。两种程序的结果之间的关联性非常弱（r = 0.089，p ≈ 0.48），表明它们的定量可比性有限。这些发现表明，当前的自动化工具仅能片段化地检测某些欺骗性设计模式，而无法进行全面系统的诊断。虽然这些工具被定义为测量工具，但它们只能提供初步的筛查，标记出潜在的风险领域。未能区分风险信号与实际测量结果可能会导致人们产生自动化工具具有高精确度的错觉。

**1. 引言**
网站质量评估是数字环境研究的重要组成部分，涉及分析界面特征、信息结构以及影响可用性、透明度和信息可获取性的功能[1]。在文献中，这类分析通常以案例研究或对有限、有目的选择的网站集合的调查形式出现，而不是对市场上最常见的单个网站进行深入的多标准评估。后者有助于详细诊断界面和功能解决方案。然而，由于其工作强度高且可扩展性低，这种方法在比较大型、统一网站集合的研究中的应用仍然有限[2]。当研究目标是在机构、行业或系统层面评估数字环境的特定特征时，这种局限性带来了重大的方法论和操作挑战[2]。这些限制尤其适用于那些不仅与网站功能相关，还与界面配置有关的现象，因为界面配置会影响用户决策方式。在这种情况下，识别被认为是欺骗性的设计模式非常重要，因为它们不仅是一个偶然的界面质量问题，而且可能是影响选择架构、认知负担和信息获取平等性的潜在系统性特征[3]。欺骗性设计模式指的是通过信息、努力或感知不对称性影响用户选择架构的界面配置，从而可能降低决策的透明度。因此，越来越采用能够部分自动化分析的工具来大规模筛查网站并识别选定的界面特征，同时保持对结果范围和意义的方法论控制。鉴于基于AI的工具（包括大型语言模型LLM）的迅速发展，人们开始思考是否有可能且合理地利用这些技术来自动化识别大量网站上的欺骗性设计模式[4]。考虑到数字服务的可持续发展，这类工具生成的结果的有效性、可靠性、透明度和可解释性成为了非常重要的问题[5]。因此，使用AI工具进行欺骗性设计分析不仅涉及检测性能，还涉及其负责任使用的问题，以评估公共机构数字环境的质量。尽管基于AI的工具使用日益广泛，但现有研究主要集中在检测性能或基于案例的分析上，仍缺乏系统性的比较研究来检验不同类别自动化工具生成的结果的特征、稳定性和可解释性，特别是在大型、同质的网站集合中[2]。本研究通过提供基于浏览器的工具和基于LLM的方法在欺骗性设计模式检测方面的比较评估，填补了这一空白。

作为公众信任的受益者，大学应特别注意其网站和网络应用程序的高质量。他们的责任不仅限于符合适用的技术和监管标准（如Web内容无障碍指南WCAGs[6]、万维网联盟W3C指南[7]、Web超文本应用技术工作组WHATWG规范[8]以及可持续设计原则（如绿色SEO[9]），还包括采用透明、道德、包容性和用户友好的设计实践[10]。另一个重要责任是限制可能导致信息或决策不对称性的设计解决方案，包括被认为是欺骗性的设计模式或暗模式[10]。本研究旨在评估波兰大学网站上欺骗性设计模式的出现情况，并比较各种被声明为检测工具的自动化程序生成的结果的范式和稳定性。研究采用了自动化筛查程序，这些程序用于识别所调查网站集合中的潜在风险区域。研究从三个方法论角度出发，涵盖了作为浏览器组件提供的工具以及具有不同操作配置和结果范围的原始GPT模型。文献和从业者越来越多地呼吁大幅自动化欺骗性设计模式的识别，以应对手动分析的可扩展性限制[4]。基于爬虫的欺骗性设计模式检测方法的演变[4,11]，加上基于AI和LLM的工具在在线内容分析中的日益广泛应用[5,12]，表明欺骗性设计模式的检测确实可以在很大程度上实现自动化。基于上述情况，作者提出目前可用于自动化网站分析的工具（包括浏览器扩展程序和以前端为重点的LLM）可以在大量网站集合中识别选定的欺骗性设计迹象。

**2. 概念框架和研究问题**
**2.1. 欺骗性设计模式的自动化检测作为方法论问题**
欺骗性设计模式存在于网站的技术、视觉和认知维度上。要识别这些模式，需要考虑网站的形式结构特征，如特定的界面组件和事件序列，以及这些元素如何影响用户的感知、选择架构和互动流程[13]。在这里，选择架构是指界面内决策选项的排列和呈现方式，遵循Münscher等人提出的概念框架[13]，包括它们的可见层次结构、默认设置、在选项之间做出选择所需的努力分布，以及向用户传达选项的语言。虽然选择架构并不正式限制选择自由，但它通过网站的结构指导决策过程，塑造了决策的环境[14]。在这种情况下，努力的不对称性指的是在界面中形式上平等的决策选项要求用户付出显著不同的体力或认知努力。这种差异可能涉及所需操作的数量、选择程序的复杂性、处理额外信息的必要性，或选项的视觉呈现方式，从而系统性地偏向某个特定结果，而不会正式限制选择范围[15]。因此，欺骗性设计模式不仅仅是技术或语义问题，它们是复杂的现象，很大程度上依赖于上下文和关系。这种复杂性源于界面元素、视觉呈现、语言框架和用户互动顺序之间的相互作用，共同塑造了用户的决策环境。文献将欺骗性设计定义为一系列反复出现的模式，通过信息、努力或感知不对称性影响用户选择架构，从而降低决策过程的透明度[4,12]。最常见的类别包括不对称的同意配置（例如预设选项或缺乏相应的拒绝选项）、界面干预（通过视觉或结构手段偏袒某个选项）和阻碍（即系统设计上不鼓励的行为，如取消订阅、更改设置或撤回同意）[4]。文献还指出了基于语言和语义压力的模式，这些模式利用措辞暗示紧迫性、稀缺性或社会Proof。一些模式通过分割内容或延迟披露用户决策的成本和后果来隐藏重要信息[16]。界面如何工作以及如何影响用户选择流程对于欺骗性设计研究至关重要，这使得该概念在比较研究和网站审计中特别有用[17]。本研究使用欺骗性设计模式作为分析框架，描述了增加用户选择平衡风险的界面配置问题，而不管设计者的意图如何。文献通常使用“暗模式”一词来指代其中的一些方案，无论是在研究还是设计实践中，往往带有明显的规范性强调[4,18]。本文将暗模式视为欺骗性设计模式的一个特例，属于影响用户选择架构的更广泛用户界面配置类别的子集（表1）。

**表1. 暗模式和欺骗性设计模式的概念**
尽管人们对欺骗性设计模式的关注度和自动化界面分析工具的进步日益增加，但迄今为止的研究大多集中在个别网站的案例研究、定性分析或实验性检测器上，这些检测器的适用性有限[16]。许多研究都是描述性的、概念性的和分类性的，它们探讨了方法论问题、定义以及欺骗性设计模式类别[12,17]。相关文献中系统比较各种技术有效性的研究相对较少，这些技术用于自动识别大型、同质化的机构网站集合中的欺骗性设计模式[4]。自动化工具的可扩展性与其结果的透明度和可解释性之间的关系这一问题仍鲜有研究。这对于可持续监测数字环境质量和在公共部门负责任地使用人工智能工具至关重要。文献中发现的识别欺骗性设计模式的技术主要基于深入的专家分析，包括手动界面检查、启发式分析和案例研究[18]。涉及大量系统选定网站的出版物较为罕见。Mathur等人[4]和Nouwens等人[11]的研究是这类大规模项目的少数例子之一。手动专家分析可以发现微妙的操纵机制，但其核心局限性在于可扩展性较差或根本没有。在实际应用中，这意味着手动识别欺骗性设计模式主要适用于单个网站或小规模集合，这限制了其在比较研究和数字环境质量系统监测中的实用性[18]。这些局限性促使研究人员转向自动化网站分析工具，包括基于规则的解决方案、HTML结构分析以及机器学习和大型语言模型（LLMs）[21]。这些工具能够以相对较低的操作成本支持大规模分析，并保证研究过程的高度重复性[22]。在数字服务可持续发展的背景下，自动化检测可以被视为长期监测数字环境质量的前提条件。然而，自动化检测欺骗性设计模式仍面临严重的方法论限制。许多操纵模式没有明确的、形式化定义的网站代码表示，也不表现为简单的二进制信号。它们的识别往往取决于上下文、交互顺序、内容与视觉形式之间的关联以及隐含的设计意图[18]。因此，虽然自动化分析工具可以很好地识别某些特定类别的模式（如隐蔽同意或强制交互），但在检测更微妙的操纵形式（如时间压力、信息不对称或选择清晰度扭曲）时则存在困难[12]。因此，尽管这些工具是声明性的测量工具，但它们只能提供初步筛查，标记出潜在的风险区域。另一个不可否认的挑战是自动化网站分析工具的多样性。作为浏览器组件的工具通常仅限于检测特定的界面元素并验证合规性。相比之下，生成式AI模型使用语义描述和语言模式来更全面地分析网站[23]。这些差异导致不同的检测范围、结果的详细程度以及对分类错误的敏感度不同。因此，“自动化检测欺骗性设计模式”并不是指单一的、统一的方法，而是一系列具有不同优势和局限性的方法。因此，主要的研究问题是自动化检测欺骗性设计模式的范围和可靠性，而不是检测本身的可行性。这个问题直接关系到比较研究中自动化方法的有效性评估、质量审计以及在数字环境质量评估中负责任地使用AI工具。本研究采用探索性和比较研究设计，因此不进行正式的假设检验，而是通过研究问题来探讨自动化检测方法的特征和局限性。基于以上内容，作者提出了以下研究问题：

RQ1：使用自动化网站分析工具进行欺骗性设计模式自动化检测的特征和局限性是什么？

自动化检测欺骗性设计模式的范围被定义为自动化网站分析工具的一个属性。它涵盖了识别各种设计模式类别的能力、结果的连贯性和重复性以及分析结果的详细程度。了解这一特定应用的局限性是负责任地在比较研究和质量审计中使用自动化工具的关键前提。在本研究中，通过分析结果分布、变异性指标（包括标准差和四分位数范围）以及不同工具生成输出之间的关联强度（皮尔逊相关系数）来评估自动化审计程序的可靠性。

2.2. 自动化审计程序的可靠性和区分能力

自动化网站审计程序不仅在分析的规模和速度上带来了显著变化，还在分析结果的特性上也有所改变[12]。与基于明确标准且相对稳定的评估程序的深入专家分析不同，自动化工具通过复杂的数据处理、启发式方法和概率模型间接生成结果。因此，关键问题不在于能否检测到特定模式，而在于程序结果的可靠性和可比性[21]。

欺骗性设计模式的研究越来越多地依赖于基于AI的工具，包括大型语言模型（LLMs），这些工具可以自动分析大量网站。然而，研究人员强调这些工具在很大程度上是黑箱，其生成结果的机制既不完全透明也不可控[24,25]。因此，主要的方法论问题不是是否能够自动检测到欺骗性设计模式，而是AI工具在比较分析中生成结果的可靠性。这具体涉及到生成的结果是否反映了被调查网站集合的真正多样性，或者是工具（算法）的操作伪像或其响应生成机制的结果。鉴于此，作者提出了以下研究问题：

RQ2：基于LLM的自动化审计程序生成的结果在多大程度上可以作为网站比较分析的可靠和准确的基础？

RQ2通过分析自动化审计程序生成的输出特征来解决，这些输出被视为比较数据，特别关注其分布、变异性以及跨网站的稳定性。在此背景下，准确性被操作性地解释为生成结果能否充分代表所分析网站集合内的变化，而不是基于基准的分类性能。

2.3. 大学网站上的欺骗性设计模式

迄今为止，欺骗性设计模式的研究主要集中在商业网站（如电子商务平台、订阅服务或移动应用程序）上，这些网站中的欺骗性设计模式通常在转化优化或购买行为背景下进行研究[3,4]。系统分析较少涉及公共机构网站，包括大学网站，这些网站的主要功能是确保公众信息的获取和处理教育及行政流程。大学网站具有较高的信息和功能复杂性，服务于不同的用户群体（如潜在学生、在校学生、教职工和第三方）。这些情况导致其设计需要考虑多种因素，例如复杂的导航结构、详尽的表单和多阶段交互流程[7]。这些情况容易产生引入信息不对称、阻碍比较或影响用户决策的设计。从网站质量研究的角度来看，核心问题是实证评估大学网站上作为系统性组件出现的欺骗性设计模式的程度，而非确定设计意图。该评估的重点不是判断设计意图，而是观察某些界面组件的存在及其在统一网站集合中的普遍性。确定大学网站上欺骗性设计模式的普遍性是比较研究的重要方面，对于全面评估机构网站的质量至关重要。对于大学来说尤其重要，因为它们的网站是获取公共信息和行政程序的主要渠道。任何信息不对称或选择架构中的结构障碍都可能影响访问平等性、流程透明度和用户决策质量。识别欺骗性模式的发生可以帮助确定设计风险的领域，并判断这些模式是偶然的还是普遍存在，从而需要系统性地审查高等教育中的网页设计实践。为此，作者提出了以下研究问题：

RQ3：波兰大学网站上的欺骗性设计模式发生程度如何？

“欺骗性设计模式的发生程度”被定义为在调查的网站集合中观察到的特定设计组件迹象的频率和分布，而不是基于阈值的网站分类。分析的重点是识别可能影响用户选择架构的重复界面元素和导航结构，而不使用规范性类别对单个网站进行分类。其目的是比较诊断整个网站集合中问题的规模，并识别需要进一步深入分析的潜在设计风险领域。

3. 材料与方法

研究对象是波兰所有公立大学（N = 65）的网站（截至2026年3月10日由高等教育部长公布）[26]。分析对象是网站本身，被视为一个独立的数字环境，不考虑大学的组织地位、声誉或学术背景。这种视角便于在不考虑大学作为研究和教育机构背景的情况下比较评估网站特征。分析在桌面模式下进行，因为信息架构的关键组成部分、决策结构和与行政过程相关的界面组件主要是为桌面使用设计的[7]。分析不包括更深的页面、多步骤用户交互或完整站点爬取；而是限制在主页的标准快照上，以确保所有观察结果的可比性。页面检索过程结合了基于浏览器的界面检查和静态HTML代码的提取（“查看源代码”作为主要分析输入。研究采用了三种分析上独立的数据获取方式：(1) 使用基于浏览器的工具分析渲染的界面；(2) 分析静态HTML源代码；(3) 基于URL输入的启发式评估。这些方法在输入类型、抽象层次和分析范围上有所不同，在方法论上被视为不等价的。分析仅限于网站的首页，重点关注页面折叠以上的界面区域以及可能影响用户选择架构的结构组件，如同意配置、导航和决策相关信息。这种限制是有意为之，反映了研究对可比较的、标准化网站入口点的关注。首页通常集中了选择架构的关键元素，如同意配置、导航结构和决策相关界面组件，同时确保整个数据集的方法一致性。更深层次或动态生成的页面可能会引入与用户路径和上下文相关的内容变异性，从而降低大规模横截面分析结果的可比性。作者收集了每个网站的URL并存档了静态HTML源代码作为主要分析输入。这种方法排除了动态生成的内容、客户端脚本和依赖于交互的界面状态。因此，某些依赖于视觉渲染、时间顺序或用户触发行为的欺骗性模式可能无法被捕捉到。因此，研究结果应被视为反映结构风险指标，而不是所有可能界面操纵的完整表示。

3.1. 测量工具

本研究采用了一种类似于用户体验设计师或合规专家实际进行的审计的操作视角，但不涉及后端访问。分析在客户端环境的浏览器中进行，使用普通用户访问的网站渲染版本。这种方法限制了对网站结构的技术干预，同时提高了审计程序的实际可用性和可重复性。研究使用了第三方工具进行自动化欺骗性设计模式检测（Chrome浏览器扩展程序），以及两种使用不同分析策略的原创基于LLM的工具：(1) 启发式生成评估；(2) 基于规则的结构筛查（表2）。请注意，本研究仅调查网站的可观察特征，而不涉及设计意图或实际用户行为。它不依赖于真实的基准数据集，因为其目的不是评估检测准确性，而是分析不同自动化程序生成的输出的特征和可比性。因此，结果应被视为对这一特定网站集合中结构上嵌入的设计风险潜力的评估，而不是对个别大学设计实践的规范性分类。需要指出的是，该研究没有包括对检测正确性的评估，即假阳性和假阴性的评估，因为它不依赖于真实的基准数据集或二分类框架。相反，分析的重点是不同分析程序的比较行为和输出特征。表2. 用于识别欺骗性设计模式的自动化工具的概况。在本研究中，“比较行为”指的是分析程序对同一组网站的响应方式的差异，包括输出水平的变化、观察结果的稳定性以及结果的一致性，而“输出特征”则表示生成结果的统计特性，如分布、离散度和跨方法的一致性。下面提供了研究中使用的两个自定义设计的GPT模型的详细信息。它们的方法论差异对于比较分析欺骗性设计模式检测的范围和特征至关重要。

3.1.1. 研究中使用的GPT模型的概况
本研究中使用的两个模型是由作者设计的原创分析程序，并在基于GPT的环境中实现。它们不涉及机器学习意义上的模型训练，而是通过分析规则、输入规范和响应结构来定义的。作者使用了在ChatGPT（v5.2）中构建的两个原创GPT模型，这些模型被设计为独立的分析程序来识别欺骗性设计模式。这些模型在范围、测量方法和欺骗性设计模式检测的实现上有所不同（表3）。分析使用了包含模块化分析指令的结构化提示框架来进行所有观察，模型及其分析程序的一般特征在附录A.2中描述。

3.2. SIRS和RTDPA的比较
结构界面风险筛查（SIRS）与实时欺骗模式审计器（RTDPA）之间的比较揭示了它们在实现欺骗性设计模式概念方面的根本方法论差异。这些模型在输入范围、证据评估规则、透明度水平以及结果的测量特性上存在差异。SIRS的分析仅限于静态HTML代码的明显可观察配置，它需要对每次检测进行直接的结构验证。与此同时，RTDPA基于更广泛的启发式解释，可能涉及上下文化评估。

SIRS通过分析服务器提供的静态HTML代码来检测欺骗性设计模式。它只覆盖HTML结构中发现的界面属性。每次检测都需要直接引用代码并分配一个预定义的规则，这确保了结果的可透明性和可复制性。结构风险指数（SRI）基于数学公式，仅考虑HTML代码中确认的结构配置，而不对设计意图进行猜测（1）。SRI = 100 ? (N_confirmed × 10) （1），其中N_confirmed是符合五个预定义的欺骗性设计模式结构类别之一的明确确认的HTML配置数量：预选选项、缺乏对称替代选项、隐藏元素、默认肯定配置和明确的语言压力标记。这些类别在文献中描述了在暗模式和选择架构背景下选定的界面配置。作者定义了这些类别，以便可以在静态HTML代码中明确识别它们[4,13,18]。指数值的范围是从0到100。对每个配置相同的权重有助于确保指数的透明度和可比性。相同的权重减少了任意区分各个配置影响的风险，并且在没有验证的经验基础上避免引入额外的主观性。这也帮助将指数视为确认的结构标志数量的简单度量，而不是对其影响的加权评估。

与SIRS不同，RTDPA模型代表了一种基于生成式启发式分析的方法论方法。它可以适应更广泛的语言背景和潜在的设计含义。其评估不一定要直接基于明确的结构验证，例如静态HTML代码。当仅使用URL启动分析时，RTDPA以启发式探索模式运行。基于URL的RTDPA分析是启发式的，它不涵盖界面渲染或模拟交互。这意味着在这种情况下，该工具不会在网页浏览器中渲染网站，执行任何JavaScript，或模拟用户交互。因此，其结果应被视为基于可用结构和语义输入的潜在设计风险区域的启发式警告。

SIRS将误解的风险降到最低，但其检测HTML代码中微妙、依赖于上下文的操纵形式的能力有限。与此同时，RTDPA具有更广泛的检测范围，但代价是误报的启发式过度产生的风险更大。因此，这两种方法应该被视为互补的；前者作为一种具有高水平方法学控制的测量工具，后者作为一个需要验证的假设生成系统。

3.1.2. RTDPA程序的操作原则
RTDPA基于近似用户可用信息的网页表示进行操作，而不是依赖于单一技术格式。分析输入根据配置可能包括简化的HTML（DOM结构）、可见的文本内容（例如，界面副本、按钮标签或系统消息）以及推断的交互线索（例如，用户操作（如点击或表单提交）的预期结果）。在本研究中，RTDPA以基于URL的模式应用，没有直接访问渲染的界面状态或完整的HTML输入；因此，其评估依赖于基于常见UX模式的界面逻辑的启发式评估。

截图不作为主要输入方式，仅可用作补充材料。分析主要关注界面的结构和语义属性以及用户交互流的推断逻辑。分析程序不基于单一的固定提示，而基于一个结构化的提示框架。该框架由一组连贯的指令组成，这些指令按模块化部分组织，对应于典型的界面上下文，例如cookie同意横幅、订阅机制和交易流程。虽然这些模块针对不同的功能领域，但它们在各个上下文中应用了一致的评估原则。

RTDPA生成的输出是混合型的。它包括一个0-100范围内的数值分数（欺骗性设计模式指数，DDP）、一个定性标签（例如，清洁或有问题）以及一组识别的模式。数值分数不是单独解释的，总是与定性评估结合使用，后者提供上下文并支持结果的解读。由于大型语言模型的概率性质，RTDPA在单个观察层面不产生完全确定性的输出。然而，使用一致性的提示框架和标准化的分析结构确保了在分析网站集合层面的结果可比性。

3.1.3. SIRS程序的操作原则
SIRS是一种基于规则的分析程序，仅针对通过“查看源代码”或明确提供的静态HTML进行操作。该方法不分析渲染的DOM、JavaScript驱动的变更、外部样式表或用户交互流。只考虑静态HTML结构中存在的属性（例如，选中的、隐藏的或内联样式，如display:none）。分析单位是一个完整的与决策相关的界面组件，如cookie同意横幅、订阅表单、同意表单或结账块。单独的元素（例如，输入字段或复选框）被视为证据，但如果缺少组件的关系上下文，则不会单独解释。

该程序限于五种预定义的欺骗性设计模式结构类别：（1）预选选项，（2）隐藏或遮挡的元素，（3）选择的不对称性，（4）强制或受限的选择结构，以及（5）选项的有限可用性。每个规则违规的确认实例构成一个单独的检测。单个组件中同一类别的多次独立出现分别计数（例如，对应于不同决策选项的多个预选复选框被记录为单独的检测）。分析过程遵循一个确定的顺序：检查静态HTML、识别完整的与决策相关的组件、根据预定义的结构类别进行评估、仅记录由明确HTML证据支持的检测、汇总确认的案例（N_confirmed），以及计算结构风险指数（SRI）。

SIRS的输出不仅包括数值分数，还包括确认的检测列表及其对应的HTML摘录、未评分的启发式观察结果、在采用的方法论范围内无法评估的元素、SRI的计算、明确的方法学限制，以及将确认的结构类别映射到潜在相关的欺骗性设计模式类别。这种设计确保了程序的完全透明度、确定性和可重复性，同时故意将检测限制在明确可验证的结构配置上。

图1总结了这两种程序的操作工作流程，并阐明了它们比较的基础。图表强调了SIRS和RTDPA依赖于根本不同的分析证据和处理逻辑，这直接影响了它们输出的性质。因此，这两种方法之间的比较不假设测量等效性，而关注输出行为上的差异，包括分布、变异性以及观察结果之间的一致性。这种区分对于解释结果和避免对自动化评估的过度概括非常重要。

4. 结果
4.1. 来自浏览器扩展程序的结果
五种用于检测欺骗性设计模式的工具的数据在结果的特征和定量分布上表现出显著差异。Langford Dark Pattern Detector报告了检测到的欺骗性设计模式的数量，其结果在不同网站之间存在显著差异。最常见的结果是未检测到任何迹象（29个网站）。对于某些网站，该工具报告了许多潜在的欺骗性设计模式问题，最多检测到十个迹象（见表4）。表4显示了用于检测欺骗性设计模式的网络浏览器扩展程序的结果特征。Pattern Shield扩展程序通常报告无法分析该网站，在调查的65个网站中，有45个显示了错误消息。这意味着它仅对20个网站提供了可解释的结果。它在15个网站上检测到一个欺骗性设计模式，在5个网站上检测到两个欺骗性设计模式。当工具确实生成结果时，最常见的模式类别是“预先选定的选项”，即某些选择选项被默认选中。这是网站上最常见的欺骗性设计模式类别。较少见的模式包括“强制连续性”、“悄悄加入购物车”、“确认羞辱”和“误导”。在某些情况下，这些模式特征会混合出现。最常见的组合是“预先选定的选项”与其他模式特征同时存在。

Dark Pattern Detector显示出最多样化的结果。它报告的问题数量从0到104不等。它在12个网站上没有标记任何问题。其余的观察结果数量跨度很大，存在许多高问题的记录。尽管分布范围很广，包含许多极端值，但缺乏关于个别问题严重性的信息。该工具主要报告的类别是“潜在的混合广告：样式类似于原生内容，需要审核”。这种模式是本研究中最常见的基本检测类型，表示广告组件与网站原始内容之间存在相似性。该工具将这些问题作为需要验证的迹象进行标记（“需要审核”），而不是明确确认违规行为。第二常见的问题是“预先选中的复选框（可能是暗模式）”，即某些复选框被默认选中，这被视为潜在的同意不对称性。在某些情况下，“预先选中的复选框”和“混合广告”会同时出现。第三种类别是“没有可见关闭选项的强制模态对话框”。它报告了没有关闭选项的模态对话框。这种情况虽然不如前两种常见，但在某些情况下与其他欺骗性设计同时出现。

结果表明，网络浏览器工具生成的数据具有不同的特征和分布。因此，这些数据无法提供一个统一的比较基础；相反，它们在调查的网站集合中报告的迹象数量存在显著差异。观察到的输出不一致性和分析失败的高比率表明，基于浏览器的扩展程序目前无法为大规模网站集合的比较评估提供稳定或方法上一致的基础。

4.2. GPT模型的结果
GPT模型的结果表明，基于启发式的RTDPA模型与基于规则的结构筛选SIRS得出的评估之间存在明显差异。RTDPA的DDP得分集中在90点左右（平均90.03，中位数90，标准差1.55），这表明各网站之间的得分变化较小。分布区间较窄（80–95点），大多数网站被归类为“基本干净”，表明潜在欺骗性设计模式的迹象较少。SIRS报告的结果则大不相同。它们的SRI得分差异较大（平均89.23，中位数90，标准差11.50），得分范围从50到100点不等（见表5）。表5总结了GPT模型生成的结果的统计信息。DDP（RTDPA）和SRI（SIRS）之间的相关性分析显示线性关联非常弱（皮尔逊相关系数r = 0.089，p ≈ 0.48），表明这两个指标之间没有显著关联。这表明这些工具分析的是不同的界面属性，并且生成的结果几乎无法比较。此外，RTDPA的第一、第二和第三四分位数相同（Q1 = 90，中位数 = 90，Q3 = 90），说明50%的观察结果得分完全相同，75%的结果得分未超过90点。零的四分位距表明中间区间的结果没有多样性，也没有低极端值。SIRS的结果表现出不同的特征，其四分位数显示出明显的离散性（Q1 = 80，中位数 = 90，Q3 = 100），四分位距为20点。相比之下，RTDPA的得分分布非常集中，而SIRS在网站集合中的得分变化较大。因此，结果表明，基于启发式的RTDPA评估具有高度稳定性，但在区分网站方面能力较弱，而基于规则的SIRS结构筛选能够揭示由于高风险界面配置而导致的实际差异。

图2展示了RTDPA和SIRS得分之间的关系。每个观察结果代表一个网站，而直线y = x代表这两种模型之间假设的完全一致性。得分的集中是由于RTDPA对许多网站赋予了相同的或几乎相同的得分，导致图表空间中的观察结果重叠，表明模型的结果分散度较低。相比之下，SIRS在同一RTDPA值下显示出更广泛的得分多样性，表明模型对网站结构属性的敏感度不同。

5. 讨论
与Mathur等人[4]报告的大规模研究（使用专用爬虫和定制编程工具）不同，本文采取了一种操作视角，类似于用户体验设计师、测试人员或网站质量专家进行的审计。在这种情况下使用的工具（特别是网站扩展程序和GPT模型）在浏览器环境中运行，无需构建额外的后端基础设施、开发专用软件或进行大规模网络爬取。此外，分析是在客户端（thin client）上对普通用户可访问的网站渲染版本进行的。这意味着研究程序部分模拟了实际的用户界面交互情况，而不是基于自动化处理大量HTML数据的实验室分析。这种方法提高了研究程序在实际操作条件下的可用性和可复制性。因此，应将这些结果解释为使用网络浏览器审计工具的效果，而不是复杂检测流程的结果。

5.1. 观察结果
网站集合的RTDPA（DDP）结果大多相似，集中在90点左右。零的四分位距（IQR = 0）表明分布中间部分的得分没有差异。然而，结果的解读并不明确。这可能反映了该集合的相对均匀性以及大学网站上的欺骗性设计模式水平较低。同时，DDP值的集中可能是由于RTDPA在区分不同网站方面的敏感性有限。这表明该工具主要是一种识别潜在风险区域的筛查程序，而不是一个可靠的检测机制。大学网站的特征也可能有助于RTDPA的均匀评分。这些网站主要用于信息传递，商业压力较小，采用的销售机制较少，从而自然限制了复杂操纵模式的风险。被调查的网站缺乏商业环境中典型的高风险机制，如强制订阅、自动续订（强制连续性）、隐藏费用、时间压力（虚假稀缺性）或频繁的骚扰。因此，欺骗性设计模式的评估可能在整个样本中保持一致。唯一可能成为问题的因素是cookie同意横幅的结构。这些横幅经常显示选择不对称性；接受按钮可能比拒绝按钮更显眼，拒绝可能需要额外的努力。这些障碍被归类为界面干扰和阻碍性的欺骗性设计模式。由于这种模式在许多网站上以类似的方式出现，后续分析中的得分降低也类似。

网络浏览器扩展程序与RTDPA和SIRS模型结果之间的比较显示，在问题处理方式和结果范式上存在显著差异。浏览器扩展程序（插件）生成的结果形式多样：从简单的问题报告到由于处理错误而没有任何报告。此外，没有明确的“测量单位”定义或透明的得分聚合原则，这阻碍了直接比较。因此，它们生成的值无法建立一个共同的比较基础。在这种情况下，RTDPA和SIRS代表了不同的质量范式。前者生成稳定、高度集中的结果分布，反映了生成评估的启发式性质；而后者则因HTML代码中确认的结构配置数量不同而表现出结果的多样性。值得注意的是，RTDPA值与SIRS结果之间的低相关性表明，这些工具对同一现象的处理方式不同，生成的结果几乎无法比较。因此，实证数据并不支持可以完全自动化检测欺骗性设计模式的假设。相反，这表明需要明确区分用于标记潜在风险区域的工具、基于启发式的探索性程序和基于规则的结构筛选方法。这种区分是必要的，以避免在大学网站上的欺骗性设计模式研究中自动化工具生成的结果的虚假精确性。

这些观察结果表明，目前自动化检测暗模式的能力仍然有限。此外，还需要明确区分用于标识潜在风险的工具、研究原型以及基于结构验证的方法。能够在没有访问规格文档的情况下全自动执行审计的工具生成的结果具有有限的测量准确性。这些工具应仅用于支持探索性分析，而不应用于网站设计质量的独立评估。

5.2. 对研究问题的回答
使用GPT模型作为自动检测欺骗性设计模式的工具存在显著风险，即结果看似精确，但在方法上却存在不确定性。大型语言模型既不是确定性DOM（文档对象模型）解析器，也不是规则引擎。相反，它们是优化响应连贯性的语言模型。这意味着当它们遇到缺失数据时，可能会填补解释性空白并提供没有代码支持的结论。仅基于“查看源代码”的分析只能检测到结构界面属性（如预先选中的复选框、没有替代选项或特定的语言压力表述），但无法评估视觉、动态或行为层面，而这些层面往往决定了模式的操纵性质。因此，其评分可能看起来客观，但实际上是基于模型的启发式解释的结果。因此，有必要通过“强制提供证据”（例如，要求工具显示与每个检测到的问题相关的HTML代码片段）、明确定义评分规则以及清楚地区分结构性检测和需要手动验证的假设来降低误解的风险。在这种设置中，GPT模型可以支持筛查工作，但它不能作为欺骗性设计模式的自主检测器。所有这些都将本研究中使用的自动化解决方案置于筛查范式中，而不是作为专家审计的工具。SIRS和RTDPA的对比揭示了基于规则的方法（分析代码）与生成启发式方法之间的根本方法论差异。SIRS仅考虑服务器提供的静态HTML代码，并仅识别文档结构内可以直接观察和验证的界面配置。这确保了结果的高度透明度、确定性和可重复性，同时将检测范围限制在代码中找到的属性上。因此，SIRS提供了高精度，但测量范围较窄。RTDPA代表了另一种观点。它基于对语言环境和潜在设计含义的广泛启发式解释和生成分析。通过这种方式，它可以识别出更多的潜在操纵模式，但评估过程的透明度较低。它们的差异使得这些工具具有互补性：SIRS可以作为控制测量工具，而RTDPA是一个探索性系统，提供后续需要验证的假设。

关于RQ1，即自动化分析欺骗性设计模式的概念和局限性，当前结果表明，自动化工具的主要目的是筛查并标记潜在的设计风险区域。第三方工具，如浏览器扩展（插件），生成的结果稳定性和可比性有限，不符合明确量化的标准。另一方面，GPT模型根据具体的程序（启发式或基于规则的）生成结果。只有采用基于规则的结构扫描（SIRS）的程序才能以透明和可重复的方式自动识别经过验证的界面配置。

关于RQ2，即自动化审计的可靠性，结果表明，目前的自动化工具未能提供足够的稳定性和可比性，不能被视为完全可靠的审计辅助工具。此外，SIRS结果的多样性源于其分析基于明确定义的模型配置，这提高了测量的透明度和可控性，同时将检测范围限制在界面的正式定义、指定的和技术属性上。

关于RQ3，结果并未表明在网站集合中存在任何系统性的高风险操纵模式。RTDPA的结果和SIRS的结构值都将大多数被调查的网站归类为低风险或中等风险区。它们检测到的问题都是孤立的，仅限于个别界面配置。请注意，这些结果应被解释为对结构风险潜力的评估，而不是最终诊断。

5.3 三层欺骗性设计模式检测模型
当前结果表明，可以将欺骗性设计模式的检测过程分为三个层次：
第一层次：机械性（算法化的、确定性的、基于结构的）。它涉及检测明确定义的界面伪像，如预选复选框、选项不对称性、特定表单属性、重复的措辞或特定的DOM配置。在这种情况下，可以使用确定性的规则和通用的分析程序。这一层次具有高度可控性和可重复性，但仅覆盖明确可识别的结构元素。
第二层次：启发式（使用GPT模型作为支持启发式界面分析的分析助手）。在这一层次，基于LLM的分类进行。工具会提示潜在的风险区域，并在语言和功能背景下解释这些模式。检测结果是概率性的，必须由专家进行验证，因此是一种自动化的初步筛查。该工具是分析支持工具，而不是自主的测量仪器。
第三层次：解释性（评估设计的操纵性）。最高层次涉及评估特定界面配置在设计和监管背景下是否可以被视为具有操纵性。这需要分析使用环境、认知不对称性、用户选择架构和潜在的设计意图。目前还无法完全自动化，仍然是专家审计的领域。这种三重方案有助于区分结构属性的检测和规范性评估。它还减少了将算法信号等同于完全成熟的审计的风险。

6. 结论
实证结果表明，所调查的大学网站很少使用欺骗性设计模式，即使存在也范围有限。在采用的测量程序下，没有发现典型的商业环境中的高风险模式，如强制订阅、隐藏费用或阻碍取消等。最常见的潜在问题元素是cookie同意横幅的设计，其接受和拒绝选项之间存在不对称性。
当前结果表明，在所采用的研究设计下，假设可以使用前端用户可用的工具进行可靠且完全自动化的欺骗性设计模式检测并未得到证实。浏览器扩展表现出较差的操作性能和较高的失败或未完成测试率。它们的结果不具有透明性，没有明确的检测规则，也没有明确的测量单位或结果聚合原则。因此，它们不能被视为方法上可靠的审计工具。同时，结果证实了自动化测量程序作为筛查工具的有效性，能够有效地标记大量网站中存在欺骗性设计模式的潜在风险区域。
基于生成式LLM的分析也有类似的局限性。尽管语言模型可以生成关于潜在操纵模式的连贯且令人信服的描述，但其评估大多是启发式的和概率性的，而不是基于证据的。如果没有清晰、明确的结构证据，模型可以通过生成得分来填补解释空白，但其准确性仍存疑。这种评分造成了客观、精确测量的假象，而实际上这只是模型的结构化观点，而不是确定性分析程序的结果。

欺骗性设计模式的审计需要信息架构方面的专业知识，包括选择架构、界面设计和监管背景。自动化工具可以支持对选定的、之前已识别的超文本文档属性的初步筛查，如预选复选框、选项不对称性或隐蔽的同意/拒绝配置。然而，它们无法对视觉操纵、感知不对称性、顺序取消阻碍或情境化决策压力进行可靠评估。因此，自动化审计程序不应被视为专家评估的替代品，而应作为进一步深入分析的风险区域识别步骤。

这些发现表明，当前自动化工具的能力仅能片段化地检测选定的欺骗性设计模式，而不能提供问题的完整系统诊断。这种局限性在于欺骗性设计模式的特性——它们依赖于上下文、具有相对性且通常是动态现象，而工具使用的是简化的结构或启发式表示。没有区分风险信号和全面测量会导致方法上的风险，即自动化精确度的错觉。

6.1 实际意义
自动化工具在检测欺骗性设计模式中的作用应限于基于可以从代码中提取的网站结构属性的初步风险迹象识别。为了将设计分类为具有操纵性，需要对组件的实际影响进行情境化的分析和评估。对于审计实践而言，这意味着需要在两个分析层次之间做出明确的区分：（1）初步自动化检测结构属性；（2）专家对界面是否符合道德选择标准的深入评估。如果将工具的输出（包括结果/分数）视为网站是否符合设计和监管标准的直接指标，这是一种方法上的简化。这可能导致错误的判断和比较。
文章建议采用混合评估模型来识别欺骗性设计模式，这对公共机构（包括监管机构、网站管理员、网页设计师和内部测试团队）来说非常相关。该模型结合了算法识别需要进一步验证或优化的案例（标记关键区域）与单一审计程序内的专家深入评估。随着技术的进步和审计员及测试人员的期望增加，研究人员和实践者正在寻求结合检测超文本文档的孤立属性与分析用户交互的视觉、顺序和情境化维度的自动化解决方案。尽管如此，任何欺骗性设计模式的检查仍需要人力和专家分析。

6.2 局限性和未来研究
由于采用的测量程序和分析工具的范式，本研究存在特定的方法论局限性。研究程序专注于识别界面中形式上存在的结构属性和风险迹象，而无需模拟完整的用户交互。分析涉及静态HTML记录等。这一事实排除了对动态、视觉或行为界面层的分析，而这些对于识别欺骗性设计模式往往至关重要。这意味着分析主要集中在网站界面的系统配置上，而不是在用户连续操作或动作之后才出现的全部动态行为上。研究没有包括多步骤用户交互、订阅流程或取消过程，而这些对于识别某些类型的欺骗性设计模式可能至关重要。这些方面需要依赖上下文的顺序分析，因此更适合进行深入的个案研究，而不是大规模的标准化比较研究。此外，所使用的工具在抽象层次上有所不同，缺乏共享的分析框架，限制了它们的直接可比性。对于基于GPT模型的生成式启发式配置，由于其评估并非明确基于静态HTML代码分析，结果是概率性的，这增加了误解和幻觉的风险。研究没有包括对假阳性和假阴性的定量评估，因为它不依赖于真实基准或二元分类框架。相反，分析侧重于不同自动化程序生成的结果的特征、变化性和可比性。因此，潜在的过度检测或漏检仅在定性层面上进行了讨论，特别是与启发式和基于规则的方法相比。

6.1 实际意义
自动化工具在检测欺骗性设计模式中的作用应限于基于可以从代码中提取的网站结构属性的初步风险迹象识别。为了将设计分类为具有操纵性，需要对组件对用户决策的实际影响进行情境化分析和评估。对于审计实践而言，这意味着需要在两个分析层次之间做出明确的区分：（1）结构属性的初步自动化检测；（2）专家对界面是否符合道德选择标准的深入评估。如果将工具的输出（包括结果/分数）视为网站符合设计和监管标准的直接指标，这是一种方法上的简化。这可能导致错误的判断和比较。
文章主张采用混合评估模型来识别欺骗性设计模式，这对公共机构（包括监管机构、网站管理员、网页设计师和内部测试团队）非常重要。该模型结合了算法识别需要进一步验证或优化的案例（标记关键区域）与单一审计程序内的专家深入评估。随着技术的进步和审计员及测试人员期望的提高，研究人员和实践者正在寻求将检测超文本文档的孤立属性与分析用户交互的视觉、顺序和情境化维度相结合的自动化解决方案。然而，任何欺骗性设计模式的检查仍然需要人力和专家分析。

6.2 局限性和未来研究
由于采用的测量程序和分析工具的范式，本研究存在特定的方法论局限性。研究程序侧重于识别界面的形式上存在的结构属性和风险迹象，而无需模拟完整的用户交互。分析仅涉及静态HTML记录等。这排除了对动态、视觉或行为界面层的分析，而这些对于识别欺骗性设计模式通常至关重要。这意味着分析主要关注网站界面的系统配置，而不是在多个连续用户步骤或动作之后才发生的全部动态行为。研究没有包括多步骤用户交互、订阅流程或取消过程，而这些对于识别某些类型的欺骗性设计模式可能至关重要。这些方面需要依赖上下文的顺序分析，因此更适合进行深入的个案研究，而不是大规模的标准化比较研究。此外，所使用的工具在抽象层次上有所不同，缺乏共享的分析框架，限制了它们的直接可比性。在GPT模型的生成式启发式配置中，由于其评估并非明确基于静态HTML代码分析，结果是概率性的，这增加了误解和幻觉的风险。研究没有包括对假阳性和假阴性的定量评估，因为它不依赖于真实基准或二元分类框架。相反，分析侧重于不同自动化程序生成的结果的特征、变异性和可比性。因此，潜在的过度检测或漏检仅在定性上进行讨论，特别是与启发式和基于规则的方法相比。

此外，样本由统一类别的网站（大学）组成，这确保了可比性，但限制了发现结果在受到更强商业压力领域的普遍性，在这些领域中，欺骗性设计模式可能更普遍且结构上有所不同。未来的研究应重点确定欺骗性设计模式检测的自动化潜力边界，特别是区分其结构可以容易形式化的模式和那些需要情境化解释的模式。同时，有必要开发和验证整合结构、视觉和顺序分析的工具，以捕捉用户交互的相对性和动态性质。从更广泛的研究角度来看，这涉及确定欺骗性设计是否可以通过客观的自动化检测来识别，或根据定义需要基于设计和监管背景的专家解释。

补充材料
以下支持信息可在以下链接下载：https://www.mdpi.com/article/10.3390/app16094543/s1，图S1：SIRS和RTDPA之间的分数差异分布。