《Computers》：PCLLM: An Integrated LLM-Driven System for Automating Desktop Operations via Direct Mouse and Keyboard Control
编辑推荐：
个人计算机（PC）任务自动化构成了一项系统层面的挑战，该挑战融合了自然语言处理、视觉感知以及鼠标—键盘动作控制。现有方法主要聚焦于基于应用程序编程接口（API）或基于终端的自动化，但由于大多数应用程序缺乏可访问接口，这些方法与多数应用并不兼容。本文提出PCLL
个人计算机（PC）任务自动化构成了一项系统层面的挑战，该挑战融合了自然语言处理、视觉感知以及鼠标—键盘动作控制。现有方法主要聚焦于基于应用程序编程接口（API）或基于终端的自动化，但由于大多数应用程序缺乏可访问接口，这些方法与多数应用并不兼容。本文提出PCLLM，这是一种新颖的端到端系统，通过将大语言模型（LLMs）与计算机视觉技术相结合，直接控制鼠标和键盘以实现PC操作自动化。首先，研究人员开发了一种基于软件知识的提示工程方法，用于理解软件架构与操作序列。其次，系统集成模板匹配技术以实现精确元素定位，从而能够准确识别并执行交互。第三，研究人员设计了一个双LLM流程，用于自动生成测试数据，其中提问者LLM生成多样化任务指令，而PCLLM执行这些任务，并自动记录相应过程数据用于性能评估。最后，研究人员进一步在三种典型PC应用程序中验证了PCLLM，分别为Notepad、Wordpad和Calculator，结果表明该系统在智能PC自动化方面具有灵活且稳健的性能。为评估所提出系统，研究采用任务完成率作为主要指标。实验结果显示，在GPT-4o驱动下，PCLLM在Notepad的基础、中等和高级任务上分别达到98.59%、95.77%和52.11%的最高完成率，优于CogAgent基线。这些结果表明，该方法对PC任务自动化具有有效性。
该论文发表于《Computers》，聚焦于个人计算机（PC）桌面任务自动化这一兼具自然语言理解、图形用户界面（GUI，图形用户界面）感知与动作执行控制的综合性问题。随着软件系统复杂度不断提升，用户在桌面环境中面临大量重复性、程序性操作，传统依赖脚本或规则的方法虽然能够解决特定任务，但泛化能力弱，难以适应复杂多变的软件界面。随后出现的语音助手与移动端智能代理虽然在简单任务执行方面取得一定进展，但其核心仍依赖预定义意图识别与参数抽取，对新型语言表达及复杂上下文的适应性有限，而且多服务于移动端或网页环境，难以覆盖真实桌面软件生态。近年来，大语言模型（LLMs）推动了自动化研究快速发展，但现有PC自动化路径主要可分为基于终端、基于应用程序编程接口（API）以及基于GUI交互三类。前两类方法分别受限于文本交互边界与接口可用性，难以应用于大量仅提供图形界面的桌面软件；而现有开源GUI自动化系统又存在性能不足、资源消耗较大或技术细节不透明等问题。因此，如何使LLM像人类一样仅通过鼠标和键盘完成跨软件桌面任务，成为具有现实意义的研究方向。
针对上述问题，研究人员提出了PCLLM这一端到端PC自动化框架，核心目标是让LLM将自然语言任务直接转化为可执行的鼠标与键盘动作。该系统围绕两个关键能力展开构建：一是让模型具备软件知识，理解界面层级、按钮功能与任务操作顺序；二是使系统能够准确定位GUI中的目标元素，进而实施精确点击与输入。研究表明，PCLLM通过提示工程、模板匹配与自动执行工具的协同，可在Notepad、WordPad和Calculator三类典型Windows应用上实现较高任务完成率。实验还显示，不同LLM在不同任务领域存在能力差异：GPT-4o在Notepad和WordPad中的综合表现最佳，而Gemini-1.5-Pro在Calculator这类更依赖逻辑推理的任务中更具优势。与此同时，提示工程对系统性能提升具有决定性作用，完整提示可显著提高复杂任务成功率。论文的重要意义在于，它验证了纯文本LLM结合轻量视觉定位技术即可实现有效的桌面自动化，为无需API支持的通用PC任务处理提供了可行方案，也为后续构建低门槛、跨软件、类人操作的智能桌面代理奠定了方法学基础。
研究所采用的主要技术方法可概括为以下几类。首先，研究人员构建了软件知识驱动的提示工程，将软件层级结构、按钮功能说明、快捷键信息及少样本示例共同编码进提示中，以增强LLM对桌面任务的理解与动作序列生成能力。其次，系统利用基于归一化互相关（NCC，normalized cross-correlation）的模板匹配进行GUI元素定位，通过预先截取模板图像获取可点击控件坐标。再次，研究人员借助PyAutoGUI将文本化动作序列转译为真实的鼠标点击、键盘输入和快捷键操作。最后，论文设计了由“提问者”与“执行者”构成的双LLM测试数据生成流程，自动产生任务指令、执行步骤及过程记录。实验样本来源于Windows 11环境下的Notepad、WordPad和Calculator三种原生应用，每个模型在每个应用上均执行216项任务，并按基础、中等和高级复杂度分层评估。
在方法部分，论文首先给出了PCLLM的整体系统架构。系统由提示工程、LLM和终端工具包三大模块组成。提示工程模块负责向LLM注入与目标软件有关的结构化知识；LLM承担用户指令理解与动作序列生成任务；终端工具包则负责解析动作序列，并通过自动化库将其落实为实际桌面操作。研究人员强调，输出动作序列必须遵循严格语法格式，例如`click(File)`、`hotkey(Ctrl+S)`和`input(report.txt)`，不同动作之间用“-”连接，以便程序进行稳定解析与执行。该设计反映出研究不仅关注语言生成能力，也重视自动执行链路的工程可操作性。
在“3.1. Prompt Engineering”部分，研究人员系统阐述了提示工程的四类核心信息。其一为软件层级结构，用于表示某一按钮被点击后会展开何种功能或子菜单，这使LLM能够理解软件内部导航逻辑。例如，在Notepad中调用“Save As”前必须先进入“File”菜单。其二为按钮功能与快捷键描述，前者帮助模型区分语义相近控件，后者则为任务执行提供更高效的操作路径。其三为少样本示例，通过自然语言任务与动作序列配对，提升模型在相似任务上的迁移能力。其四为输出格式约束，要求模型仅生成可执行动作表达，避免夹带解释性自然语言。论文后续消融实验进一步证明，层级结构与少样本示例是提升性能的关键因素。
在“3.2. GUI Element Localization via Template Matching”部分，论文说明了界面元素定位机制。对于非文本UI组件，系统采用模板匹配策略，通过归一化互相关计算模板图像与屏幕区域之间的相似度，并依据置信度阈值判断目标是否存在。当相似度超过设定阈值时，系统返回对应坐标用于点击。这一机制虽然相对简单，但在固定分辨率与稳定界面布局下能够提供足够准确的定位能力，支撑后续自动化执行。
在“3.3. Two LLMs for Automated Test Data Generation”部分，研究人员提出双LLM自动测试数据生成架构。提问者模型负责生成自然语言任务描述，覆盖从基础操作到复杂工作流的多样化指令，并通过改变任务参数扩展测试覆盖面。执行者模型则依据任务描述生成动作序列并执行操作，系统同步记录鼠标、键盘行为以及截图序列。该闭环机制减少了人工编制测试集的成本，也为PC自动化系统建立了较高效率的评测数据生产方式。
在“3.4. Materials”部分，论文说明实验环境：系统运行于Windows 11，屏幕分辨率固定为1920 × 1080，缩放比例为100%，使用Python 3.10实现；PyAutoGUI用于鼠标键盘控制，OpenCV-Python用于模板匹配；LLM推理均通过官方云端API完成，无需本地图形处理单元（GPU）。研究对象为Windows 11原生版本的Notepad、WordPad与Calculator。
在实验部分，“4.1. Experimental Environment”指出三款软件承担不同评测角色：Notepad与WordPad主要用于评估方法的适应性与泛化性，Calculator则更侧重检验模型的逻辑推理与多步运算能力，尤其是涉及记忆功能时，需要模型正确理解中间值存储与调用方式。研究还说明，所有模板图像均由人工预先截取；若模板匹配置信度低于0.95，系统将跳过当前动作并继续执行后续步骤。
在“4.2. Baseline and Comparison”部分，论文比较了GPT-4o、GPT-4o-mini、Gemini-1.5-Pro和Gemini-2.0-flash-exp四种LLM。每个模型在每个应用上均完成216项任务，其中基础、中等和高级任务各72项。对Notepad和WordPad，基础任务通常是新建、保存、粘贴等单步动作；中等任务为两个基础动作组合；高级任务则由3至5个基础操作串联而成。对Calculator，任务复杂度则体现在表达式嵌套程度与是否需要调用记忆功能。结果显示，任务复杂度与完成率呈负相关关系，随着动作序列增长，LLM对后续操作的预测准确性下降。GPT-4o在Notepad和WordPad上整体表现最佳，而Gemini-1.5-Pro在Calculator上更具优势。这说明不同模型在日常桌面操作与逻辑计算任务上的能力侧重并不一致。论文进一步通过Kruskal–Wallis检验及Bonferroni校正后的Mann–Whitney U检验验证各模型差异具有统计学显著性。
论文还测试了Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct和Qwen2.5-32B-Instruct等开源模型在Notepad和Calculator上的表现。结果表明，闭源模型总体优于开源模型，尤其在高级任务中差距更为明显；同时，Qwen系列内部随着参数规模增加，性能也呈上升趋势。这表明在PC自动化场景下，模型能力与资源消耗之间存在明显权衡。
在“4.3. Ablation Study”部分，研究人员围绕提示工程展开消融分析，分别去除软件层级结构、少样本示例、按钮功能说明，或仅保留任务描述。实验选取在Notepad上表现较优的模型进行评估，每种配置包含72项测试任务。结果表明，当缺少补充提示信息时，任务完成率急剧下降，说明提示工程对于桌面自动化至关重要。进一步地，软件层级结构与少样本示例对性能贡献最大，而按钮功能与快捷键说明的作用相对较小。这一发现不仅支持了PCLLM的设计逻辑，也为未来桌面智能体的提示构造策略提供了经验依据。
在“4.4. Comparison with CogAgent”部分，论文将PCLLM与GUI自动化领域的重要开源基线CogAgent-9B进行比较。双方在相同的216个Notepad任务上接受评测。结果显示，PCLLM在基础任务上相对CogAgent高出53.52%，且即便将Qwen2.5-7B-Instruct嵌入PCLLM框架，其表现仍优于CogAgent。研究人员据此认为，系统架构灵活性、提示设计以及模板匹配带来的精确交互能力，是PCLLM超过视觉语言大模型基线的重要原因。
讨论部分总结了三项核心发现。其一，基于LLM的PC自动化是可行的，PCLLM已在多种桌面应用中表现出较高任务完成率。其二，模型能力显著影响自动化效果，更强的模型在复杂任务上优势更明显。其三，提示工程是系统成功的关键组成部分，删除关键提示信息将导致性能大幅下滑。论文同时指出当前局限：系统依赖人工构建提示与模板，跨软件泛化不足；基于NCC的模板匹配对分辨率变化和窗口缩放敏感，缺乏动态更新机制；LLM一次性生成完整动作序列，难以应对弹窗等突发界面变化；对于更复杂的软件和网页浏览任务，当前提示设计难度较高。围绕这些问题，研究人员提出未来将采用多尺度匹配、自适应阈值、轻量目标检测器如YOLOv8和YOLO-TCS，以及特征检索与多模态LLM，以提升GUI定位鲁棒性和逐步决策能力。
研究结论部分指出，PC自动化是具有重要价值的研究主题，能够将人力从重复性工作中释放出来，从而转向更具创新性的活动。本文提出的PCLLM由提示工程、LLM和PC自动化工具三部分构成，其中提示工程用于向模型提供软件知识，LLM负责生成正确动作序列，自动化工具负责将动作序列转化为真实的鼠标与键盘操作。研究在三种PC软件上验证了该框架的可行性。实验结果表明，在GPT-4o驱动下，PCLLM在Notepad的基础、中等和高级任务上分别达到98.6%、95.8%和52.1%的任务完成率，并优于其他LLM及CogAgent基线。未来工作将继续提升PCLLM框架的准确性与稳健性。
