企业官网建设流程全解析

Midscene 自然语言浏览器自动化完整上手指南

【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene

Midscene 是一个开源的 GUI 自动化框架：你用一句自然语言，它就看懂网页截图并动手点击、输入、抓数据，网页、Android、iOS 都能操作。

它能帮你解决什么问题

• 网页测试不再被选择器绑死。以前 UI 一改，你的click('#btn')就失效；现在你只说"点击登录按钮"，元素挪了位置它照样找得到。
• 抓数据不用写爬虫。你说"把商品列表的名称和价格抓出来"，它按结构返回，省掉翻页、解析这些脏活。
• 重复操作交出去。登录、填表、点下一步这类固定流程，一句话跑完，你去看别的事。

把它跑起来

前提一句话：装好 Node.js 20+ 和 pnpm 9，没有别的额外依赖。

git clone https://gitcode.com/GitHub_Trending/mid/midscene cd midscene && pnpm install && pnpm run build cd apps/playground && pnpm run dev

启动后浏览器会自动打开 Playground：左侧是当前页面的缩略图和指令输入框，右侧是一个真实可操作的网页窗口，你输入什么它就在右边做什么。要真正执行指令，先按 快速开始 在设置里填好一个多模态模型的配置。

完成第一个任务

打开任意网页，在右侧指令框选Action（执行）类型，输入这条可直接复制的指令，点 Run：

在搜索框输入 Midscene，并点击搜索按钮

它会先截屏理解页面、定位到搜索框、输入文字、再点击，全程在右边实时回放。同一个框还有Query（提取数据）和Assert（界面断言）两种模式，三种能力覆盖了大部分网页操作。

核心能力拆解

🖱️ 执行操作：一句话点完整个流程

登录、下单、翻页都能用一句自然语言串起来，背后是 核心执行引擎。同一套指令不挑端，网页、Android、iOS、桌面应用都能驱动。

📦 数据提取：一句话抓走整页信息

指定你要的结构（比如名称+价格），它按数组返回，直接拿去用，不用手写解析逻辑。

✅ 界面断言：自动检查"看起来对不对"

你写"页面顶部显示导航栏"，它判断当前截图是否满足，适合做验收和回归测试。

上手技巧

• 指令写成"目标元素 + 动作"。越具体越准，"点击登录按钮"比"点一下"稳；有参照物就带上，如"点击右上角的登录"。
• 失败了先改描述再重跑。别急着怀疑工具，通常把元素说清楚一点（加文字或位置）就能定位到。
• 开启缓存提速。重复跑的任务会越来越快，模型配置和缓存说明见 模型配置。

适合与不适合

它擅长"人眼能看见"的界面操作：网页、App、桌面 GUI，而且对改版不敏感。它不擅长纯后端逻辑或非视觉任务；又因为靠多模态模型理解页面，复杂页面会有延迟和一定的模型调用成本，重度批量场景要先算一下账。

一句话：Midscene 把"看懂界面再动手"这件最难的活交给 AI，你只管说人话。更多场景和 API，去 官方文档 里翻。

【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene