Cua 完整上手指南:5 分钟让 AI 自己会用电脑
【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua
Cua 是一个开源的计算机使用代理(Computer-Use Agent)框架:它把高性能虚拟化与 AI 代理结合,让大模型像人一样看屏幕、点按钮、打字,在隔离沙箱里安全完成桌面任务。适合想给 AI 装上"眼睛和双手"的开发者。
为什么需要 Cua:三个真实场景
- 让 AI 安全操作桌面:把代理直接指向宿主机风险很大。Cua 给 AI 一台专属虚拟机,隔离、可重置、可丢弃,搞坏也不影响你的主力机。
- 给编程代理配电脑:Cursor、Claude Code 写代码时还需要跑命令、看界面。Cua Driver 提供"后台计算机使用"——点击、打字、验证,全程不抢光标焦点。
- 多应用协作:一个代理同时开浏览器、VS Code 和终端,完成"搜索 → 编码 → 验证"的完整闭环。
核心能力速览
| 能力 | 说明 |
|---|---|
| 近原生虚拟化 | Lume 基于 Apple Virtualization.Framework,在 Apple Silicon 上创建 macOS/Linux 虚拟机,最高可达原生性能 90% |
| 计算机使用接口 | Cua Computer 观察屏幕、控制鼠标键盘、执行代码 |
| 代理工作流 | Cua Agent 接入 OpenAI、Anthropic 或本地模型,自主执行多步任务 |
| 跨平台沙箱 | 同一套 API 管理 Linux、macOS、Windows、Android 的 VM 或容器,本地或云端 |
三分钟装好 Cua
先装虚拟化底座,这一步解决"AI 的电脑从哪来"。
git clone https://gitcode.com/GitHub_Trending/cua/cua cd cua && bash libs/lume/scripts/install.sh再装 Python 库,这一步解决"AI 的手从哪来"。
pip install cua-computer "cua-agent[all]"配好模型 API Key 即可开跑,安装细节见 Lume 安装脚本。
第一次跑通代理任务
核心流程只有五行:建一个 Computer,建一个 Agent,执行一条任务。
import asyncio, logging from computer import Computer from cua_agent import ComputerAgent async with Computer(verbosity=logging.INFO) as vm: agent = ComputerAgent(computer=vm, model="anthropic/claude-sonnet-4-5") async for r in agent.run("打开计算器,算 128×46"): print(r)自定义工具、轨迹记录等更多选项看 示例代码,完整 API 见 docs/。
进阶玩法:可以怎么玩
- 多应用工作流:把代理接入浏览器 + VS Code + 终端,让它一次完成"查问题 → 复现 → 修复 → 验证"。
- 在 Cursor 里修 GitHub 问题:通过 Cua Driver 给 Cursor 配上计算机操作能力,边写代码边在虚拟机里跑命令、看界面。
- 评测与训练:用 Cua-Bench 跑 OSWorld、ScreenSpot、Windows Arena 等基准,并导出轨迹用于模型训练。
生态模块一张表看懂
| 模块 | 一句话作用 | 什么时候用 |
|---|---|---|
| Lume | Apple Silicon 上创建和管理 macOS/Linux 虚拟机的 CLI | 只要 macOS 虚拟机 |
| Cua Computer | 计算机使用接口(CUI):看屏、点鼠标、敲键盘 | 代理与沙箱交互时 |
| Cua Agent | 代理循环框架,接模型、跑任务 | 要自动化工作流时 |
| Cua Core | 其他 Cua 包的公共工具 | 依赖自动安装 |
| PyLume | Lume 的 Python 绑定 | 在代码里管理虚拟机 |
| Cua SOM | Set-of-Mark:给截图上的 UI 元素打标记 | 模型点不准时 |
| Cua Bench | 基准测试与强化学习环境 | 评测或训练模型 |
| Cua Driver | 本机后台计算机使用(macOS/Windows/Linux) | 给编程代理配电脑 |
常见问题与快速排查
- 只有 Apple Silicon 能用吗?macOS 虚拟机(Lume)目前限 Apple Silicon;Linux 虚拟机走 QEMU 可在更多平台跑,Windows 虚拟机也受支持。
- 只想用虚拟化、不跑代理?只装 Lume CLI,自己创建并启动虚拟机即可,不装任何 Python 包。
- 本地还是云端?同一套 API 兼容本地 QEMU 与云端沙箱,按场景选择操作系统和运行时。
- 代理点不准怎么办?启用 SOM 在截图上叠加元素标记,可显著提升模型定位精度。
资源入口
Lume 文档 · Agent 示例代码 · Computer SDK 源码 · 文档站点。
给 AI 一台电脑,再把钥匙交给它。
【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考