Mano-P接入Claude Code:用mano-skill让AI Agent直接操控你的鼠标键盘
【免费下载链接】Mano-PMano-P: Open-source GUI-VLA agent for edge devices. #1 on OSWorld (specialized, 58.2%). Runs locally on Apple M4 Mac mini/MacBook — no data leaves your device.Mano-P 是一个开源 GUI-VLA 项目,支持在 Mac mini/MacBook 上或通过算力棒本地运行推理,实现纯视觉驱动的跨平台 GUI 自动化操作。数据完全本地处理,支持复杂多步骤任务规划与执行。项目地址: https://gitcode.com/gh_mirrors/man/Mano-P
Mano-P 是一个面向端侧设备的开源 GUI-VLA 智能体项目,通过官方技能 mano-skill 接入 Claude Code 后,可以让 AI Agent 直接操控你的鼠标和键盘,自主完成跨平台桌面 GUI 自动化任务——从打开应用、点击按钮到输入文字,全部由视觉驱动,数据支持完全本地处理。本文面向新手,手把手带你完成安装与上手。
为什么 Claude Code 需要一双"手"?
Claude Code 是一位出色的"程序员",但它主要活在终端和代码文件里:
- 无法直接操作桌面应用(微信、Safari、剪贴板外的 GUI 软件)
- 没有 API 的界面,它也无能为力
而mano-skill正是给它装上的一双"手"。安装后,Agent 在推理链路中会自动调用 GUI 自动化能力,支持:
| 能力 | 说明 |
|---|---|
| 点击 / 输入 | 鼠标点击、文本输入、热键组合 |
| 滚动 / 拖拽 | 列表滚动、拖放文件 |
| 截图感知 | 实时截屏并理解界面内容 |
| 应用启动 | 打开指定应用、跳转到指定 URL |
也就是说,你只需要对 Claude Code 说一句自然语言,剩下的"动手"环节由 Mano-P 接管:
用户:"帮我打开微信,找到 FTY 的聊天窗口,告诉他会议延期到明天" Agent:[自动调用 mano-skill 完成 GUI 操作]
更多能力细节可以查阅项目说明:README_CN.md。
快速安装 mano-skill:两条路径任选
路径一:ClawHub CLI 一键安装(推荐)
使用 ClawHub 命令行工具,一条命令完成安装与版本管理:
# 安装 mano-skill clawhub install mano-cua # 更新到最新版本 clawhub update mano-cua路径二:手动复制到 Claude Code 命令目录
- 获取 skill 压缩包(zip)
- 解压后将文件复制到 Claude Code 的
commands目录 - 重启 Claude Code(或开启新会话),skill 自动可用
安装完成后,无需任何手动触发命令——只要你的任务需要 GUI 操作,Agent 会自主决定调用 mano-skill。
工作原理:截图 → 思考 → 行动的闭环
mano-skill 的核心是一个"视觉驱动"的执行循环,理解它比背命令更重要:
云端模式(默认)
- 捕获当前屏幕截图
- 将截图和任务描述发送给云端视觉模型分析
- 模型返回下一步操作指令(点击 / 输入等)
- 本地客户端执行操作,循环直至任务完成
本地模式(推荐高安全场景)
流程完全相同,但第 2 步改由本地模型完成:Mano-CUA 模型运行在 Mac mini / MacBook(M4 芯片 + 32GB 内存)或 USB 4.0 算力棒上,截图与任务描述零联网、不出设备。系统会自动检测本地模型配置并无缝切换两种模式,无需手动配置。
为什么说它"手眼协调"得更好?看两组基准数据
Mano-P 之所以能稳定操控界面,底气来自其 GUI 理解能力的权威成绩:
- OSWorld(专用 GUI 智能体模型榜单)第一:Mano-CUA 1.1 成功率58.2%,领先第二名 13.2 个百分点
- WebRetriever Protocol I:41.7 NavEval,超过 Gemini 2.5 Pro Computer Use(40.9)与 Claude 4.5 Computer Use(31.3)
- 本地 4B 模型在 100 项真实 macOS 任务中通过率 56%,明显高于云端通用 VL 大模型的 39%
性能方面,Mano-CUA-4B 在 Apple M5 Pro 上可达约80 tokens/s解码速度,本地执行不卡顿。
新手必看:权限授予与安全边界
授权步骤(一次性)
在 macOS 的系统设置 → 隐私与安全性中授予两项权限:
- 屏幕录制权限(Screen Recording)
- 辅助功能权限(Accessibility,用于键盘/鼠标控制)
安全机制:放心把"手"交给 Agent
- 🔒 敏感或潜在危险的操作,需用户确认后才执行
- ⏹ 用户可随时停止任务;每台设备同时只运行一个任务
- 📊 任务运行时,屏幕右上角会显示状态面板,实时展示进度并提供暂停/停止
- 👁 仅支持主显示器
- 📱 平台支持:macOS 稳定可用(首选平台),Windows / Linux 处于 Beta 阶段
常见问题(FAQ)
Q1:我的数据会上传吗?本地模式下完全不会——所有推理在设备端完成,截图和任务描述零外发。云端模式仅传输截图与任务描述用于视觉分析,不读取本地文件、剪贴板和系统凭证;高安全场景建议优先使用本地模式。
Q2:对硬件有要求吗?本地模式需要 Apple M4 芯片 + 32GB 内存的 Mac mini / MacBook;不想升级硬件,也可以搭配 USB 4.0 算力棒即插即用。云端模式则无额外硬件门槛。
Q3:项目资料在哪里看?中文文档见 README_CN.md,英文文档见 README.md,许可证为 Apache 2.0(见 LICENSE),支持商用与二次开发。
一句话总结:给 Claude Code 装上 mano-skill,它就从"只能敲代码的助手"升级为"能真正动手的桌面智能体"——而 Mano-P 的端侧推理,让你的每一次点击都留在自己的设备上。
【免费下载链接】Mano-PMano-P: Open-source GUI-VLA agent for edge devices. #1 on OSWorld (specialized, 58.2%). Runs locally on Apple M4 Mac mini/MacBook — no data leaves your device.Mano-P 是一个开源 GUI-VLA 项目,支持在 Mac mini/MacBook 上或通过算力棒本地运行推理,实现纯视觉驱动的跨平台 GUI 自动化操作。数据完全本地处理,支持复杂多步骤任务规划与执行。项目地址: https://gitcode.com/gh_mirrors/man/Mano-P
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考