《Array》：ASG-LLM: An LLM-based pipeline for automated scraping code generation in security-sensitive environments
编辑推荐：
在安全敏感网页服务中自动化交互仍然困难，原因在于动态前端、会话绑定令牌以及未文档化的参数生成逻辑。研究人员提出ASG-LLM，一种执行接地（execution-grounded）流水线，从单次成功浏览器会话轨迹生成抓取模块。ASG-LLM捕获完整HTTP(S)
在安全敏感网页服务中自动化交互仍然困难，原因在于动态前端、会话绑定令牌以及未文档化的参数生成逻辑。研究人员提出ASG-LLM，一种执行接地（execution-grounded）流水线，从单次成功浏览器会话轨迹生成抓取模块。ASG-LLM捕获完整HTTP(S)流量，通过多阶段过滤移除无关请求，并构建核心交互流的依赖感知表示。当安全关键参数无法从轨迹派生证据重建时，ASG-LLM区分组织自有内部函数与外部交付的JavaScript依赖。FUNC Retriever使用假设文档嵌入（HyDE）识别可复用内部函数，并向LLM提供抽象层文档而不暴露专有实现。若生成逻辑位于会话加载的外部脚本中，则单独分析该资源以识别相关变换行为。生成模块在受控环境中执行，并配备结构化失败反馈以支持定向修订。ASG-LLM在五个匿名化安全敏感网页服务的案例研究中评估。检索评估包含十个动态参数案例，每服务两个。HyDE引导的选择性检索在精确Top-1与Top-3参考函数匹配上优于全函数作为上下文基线。在独立约束同会话重放评估（使用捕获的动态值）中，生成模块完成15次认证工作流试验中的11次。这为捕获值条件下模块可执行性提供初步证据，但未确立新会话动态参数再生或完整检索集成执行可靠性。结果表明，结合轨迹接地、选择性检索与执行时验证是安全约束环境网页自动化的有前景方向。
研究背景方面，银行、医疗与政府等受监管领域的核心工作流仅通过网页接口交付，动态前端、会话依赖状态与分层防护机制使程序化驱动极为困难。早期静态HTML解析与XPath选择器在DOM变更下脆弱，Selenium、Puppeteer与Playwright等浏览器自动化仍紧耦合DOM。大语言模型（LLM）虽能由自然语言描述生成抓取代码，但在安全敏感环境中面临三大局限：其一，LLM无可靠途径获取重建专有安全逻辑所需的领域知识，常虚构不存在的API或依赖库，包幻觉率据报达5.2%至21.7%，且12%至65%生成片段违反安全编码规范；其二，多数流水线止步于生成语法可信模块，缺乏针对真实会话的执行时验证与失败修复；其三，常规检索增强生成（RAG）仅做一次前置检索，无法应对执行后浮现的新失败信号。现有系统无人同时具备真实交互轨迹观测、内部安全函数抽象级检索与执行驱动组件级修复三种能力。该研究发表于《Array》。
关键技术方法上，研究人员构建端到端原型：REQ Observer为Manifest V3 Chrome扩展，经Chrome DevTools Protocol（CDP）在浏览器内记录单次认证会话的完整HTTP(S)连接；REQ Transmitter以FastAPI部署于Docker，执行三阶段过滤（规则过滤、图依赖过滤、LLM辅助过滤），将609条连接压缩至36条（缩减94.1%）；FUNC Retriever在结构化内部函数知识库上用HyDE生成假设函数描述并嵌入all-mpnet-base-v2向量，存于ChromaDB做余弦相似检索（k=10）；LLM引擎采用Claude Sonnet 4.5（温度0.5）做生成与修订双模式代码合成；执行验证循环在隔离环境重放模块并回收结构化错误反馈。评估基于五服务九会话匿名轨迹，检索精度用十案例（每服务二）测Top-1/Top-3精确匹配，重放可行性用五模块各三次同会话重放测工作流完成率，开发工时由12名外部开发者经验调查对照作者记录获得。
研究结果部分，引言阐明安全敏感环境四大障碍——客户端专有JS生成加密载荷/签名/nonce/令牌、异步刷新CSRF参数、TLS指纹与行为分析、LLM幻觉与无执行验证，并列出四项研究目标。相关工作分三节综述：网页抓取从静态解析到自主智能体演进但缺安全参数重建；LLM应用引入语义理解但伴生幻觉与漏洞；RAG与HyDE综述指出静态单步检索不适应执行依赖工作流。第三章方法论给出系统架构：REQ Observer→REQ Transmitter（含FUNC Retriever增强）→LLM Engine闭环；实验设置交代Chrome CDP捕获、Docker化FastAPI后端、Claude Sonnet 4.5与all-mpnet-base-v2嵌入、ChromaDB等栈；四场景评估设计分离重放/工时/检索精度/查询构造变量。第四章核心组件展开：REQ Observer被动记序连接不滤波；REQ Transmitter三阶段滤波（规则去静态资源、图依赖剪枝、LLM推理去冗余）获94.1%压缩，FUNC Retriever以HyDE代理查询检索内部函数抽象文档不泄源码，执行验证阶段以连接级结构化反馈定位单点失败并修订；LLM Engine规定输入含有序连接与依赖、检索函数表示与错误反馈，输出须遵从组织预定义1684常量错误码集（首十六进制位示严重度，0x0成功/0x4信息/0x8错误）与内部元数据字段约束，使生成模块直接接入既有运维链；提示架构采用链式思维、少样本模板与结构化JSON Schema强制。第五章结果显示：模块重放15试中11成（同会话复用捕获动态值，非新会话再生）；开发工时AI辅助显著低于12人手动调查值；检索精度HyDE配置Top-1与Top-3精确匹配数均多于全函数上下文基线；查询构造消融中HyDE生成描述优于字段名原始上下文。第六章讨论承认局限——重放未验FUNC Retriever调用一致性、未测新会话动态再生、未量代币/费用/延迟、函数库仅抽象文档可能漏边界、五服务匿名难泛化。结论重申轨迹接地+HyDE选择性检索+执行时验证闭环是安全约束抓取可行方向。
讨论与结论翻译：研究人员讨论指出，ASG-LLM在五匿名服务案例中对同会话捕获值重放获11/15完成率，仅提供捕获条件可执行性初步证据，未确立新会话动态参数再生或检索集成端到端可靠性；HyDE引导检索在十案例中Top-1/Top-3精确匹配优于全上下文基线，证明抽象级内部函数文档可在不泄专源码下降低LLM幻觉；三阶段滤波94.1%压缩率保依赖；错误码1684常量接入使生成模块免适配并入运维链。结论为：结合轨迹接地、选择性检索与执行时验证的流水线，是安全敏感网页自动化中一个有前景的方向，但需在未来工作中补全新会话动态再生、跨模型稳定性与检索—执行联合评估。
