Cua 完整上手指南:5 分钟让 AI 自己会用电脑
2026/9/6 16:57:21 网站建设 项目流程

Cua 完整上手指南:5 分钟让 AI 自己会用电脑

【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua

Cua 是一个开源的计算机使用代理(Computer-Use Agent)框架:它把高性能虚拟化与 AI 代理结合,让大模型像人一样看屏幕、点按钮、打字,在隔离沙箱里安全完成桌面任务。适合想给 AI 装上"眼睛和双手"的开发者。

为什么需要 Cua:三个真实场景

  • 让 AI 安全操作桌面:把代理直接指向宿主机风险很大。Cua 给 AI 一台专属虚拟机,隔离、可重置、可丢弃,搞坏也不影响你的主力机。
  • 给编程代理配电脑:Cursor、Claude Code 写代码时还需要跑命令、看界面。Cua Driver 提供"后台计算机使用"——点击、打字、验证,全程不抢光标焦点。
  • 多应用协作:一个代理同时开浏览器、VS Code 和终端,完成"搜索 → 编码 → 验证"的完整闭环。

核心能力速览

能力说明
近原生虚拟化Lume 基于 Apple Virtualization.Framework,在 Apple Silicon 上创建 macOS/Linux 虚拟机,最高可达原生性能 90%
计算机使用接口Cua Computer 观察屏幕、控制鼠标键盘、执行代码
代理工作流Cua Agent 接入 OpenAI、Anthropic 或本地模型,自主执行多步任务
跨平台沙箱同一套 API 管理 Linux、macOS、Windows、Android 的 VM 或容器,本地或云端

三分钟装好 Cua

先装虚拟化底座,这一步解决"AI 的电脑从哪来"。

git clone https://gitcode.com/GitHub_Trending/cua/cua cd cua && bash libs/lume/scripts/install.sh

再装 Python 库,这一步解决"AI 的手从哪来"。

pip install cua-computer "cua-agent[all]"

配好模型 API Key 即可开跑,安装细节见 Lume 安装脚本。

第一次跑通代理任务

核心流程只有五行:建一个 Computer,建一个 Agent,执行一条任务。

import asyncio, logging from computer import Computer from cua_agent import ComputerAgent async with Computer(verbosity=logging.INFO) as vm: agent = ComputerAgent(computer=vm, model="anthropic/claude-sonnet-4-5") async for r in agent.run("打开计算器,算 128×46"): print(r)

自定义工具、轨迹记录等更多选项看 示例代码,完整 API 见 docs/。

进阶玩法:可以怎么玩

  • 多应用工作流:把代理接入浏览器 + VS Code + 终端,让它一次完成"查问题 → 复现 → 修复 → 验证"。
  • 在 Cursor 里修 GitHub 问题:通过 Cua Driver 给 Cursor 配上计算机操作能力,边写代码边在虚拟机里跑命令、看界面。
  • 评测与训练:用 Cua-Bench 跑 OSWorld、ScreenSpot、Windows Arena 等基准,并导出轨迹用于模型训练。

生态模块一张表看懂

模块一句话作用什么时候用
LumeApple Silicon 上创建和管理 macOS/Linux 虚拟机的 CLI只要 macOS 虚拟机
Cua Computer计算机使用接口(CUI):看屏、点鼠标、敲键盘代理与沙箱交互时
Cua Agent代理循环框架,接模型、跑任务要自动化工作流时
Cua Core其他 Cua 包的公共工具依赖自动安装
PyLumeLume 的 Python 绑定在代码里管理虚拟机
Cua SOMSet-of-Mark:给截图上的 UI 元素打标记模型点不准时
Cua Bench基准测试与强化学习环境评测或训练模型
Cua Driver本机后台计算机使用(macOS/Windows/Linux)给编程代理配电脑

常见问题与快速排查

  • 只有 Apple Silicon 能用吗?macOS 虚拟机(Lume)目前限 Apple Silicon;Linux 虚拟机走 QEMU 可在更多平台跑,Windows 虚拟机也受支持。
  • 只想用虚拟化、不跑代理?只装 Lume CLI,自己创建并启动虚拟机即可,不装任何 Python 包。
  • 本地还是云端?同一套 API 兼容本地 QEMU 与云端沙箱,按场景选择操作系统和运行时。
  • 代理点不准怎么办?启用 SOM 在截图上叠加元素标记,可显著提升模型定位精度。

资源入口

Lume 文档 · Agent 示例代码 · Computer SDK 源码 · 文档站点。

给 AI 一台电脑,再把钥匙交给它。

【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询