☰
Mano-P接入Claude Code:用mano-skill让AI Agent直接操控你的鼠标键盘
2026/10/1 9:08:13 网站建设 项目流程

Mano-P接入Claude Code:用mano-skill让AI Agent直接操控你的鼠标键盘

【免费下载链接】Mano-PMano-P: Open-source GUI-VLA agent for edge devices. #1 on OSWorld (specialized, 58.2%). Runs locally on Apple M4 Mac mini/MacBook — no data leaves your device.Mano-P 是一个开源 GUI-VLA 项目,支持在 Mac mini/MacBook 上或通过算力棒本地运行推理,实现纯视觉驱动的跨平台 GUI 自动化操作。数据完全本地处理,支持复杂多步骤任务规划与执行。项目地址: https://gitcode.com/gh_mirrors/man/Mano-P

Mano-P 是一个面向端侧设备的开源 GUI-VLA 智能体项目,通过官方技能 mano-skill 接入 Claude Code 后,可以让 AI Agent 直接操控你的鼠标和键盘,自主完成跨平台桌面 GUI 自动化任务——从打开应用、点击按钮到输入文字,全部由视觉驱动,数据支持完全本地处理。本文面向新手,手把手带你完成安装与上手。

为什么 Claude Code 需要一双"手"?

Claude Code 是一位出色的"程序员",但它主要活在终端和代码文件里:

  • 无法直接操作桌面应用(微信、Safari、剪贴板外的 GUI 软件)
  • 没有 API 的界面,它也无能为力

而mano-skill正是给它装上的一双"手"。安装后,Agent 在推理链路中会自动调用 GUI 自动化能力,支持:

能力说明
点击 / 输入鼠标点击、文本输入、热键组合
滚动 / 拖拽列表滚动、拖放文件
截图感知实时截屏并理解界面内容
应用启动打开指定应用、跳转到指定 URL

也就是说,你只需要对 Claude Code 说一句自然语言,剩下的"动手"环节由 Mano-P 接管:

用户:"帮我打开微信,找到 FTY 的聊天窗口,告诉他会议延期到明天" Agent:[自动调用 mano-skill 完成 GUI 操作]

更多能力细节可以查阅项目说明:README_CN.md。

快速安装 mano-skill:两条路径任选

路径一:ClawHub CLI 一键安装(推荐)

使用 ClawHub 命令行工具,一条命令完成安装与版本管理:

# 安装 mano-skill clawhub install mano-cua # 更新到最新版本 clawhub update mano-cua

路径二:手动复制到 Claude Code 命令目录

  1. 获取 skill 压缩包(zip)
  2. 解压后将文件复制到 Claude Code 的commands目录
  3. 重启 Claude Code(或开启新会话),skill 自动可用

安装完成后,无需任何手动触发命令——只要你的任务需要 GUI 操作,Agent 会自主决定调用 mano-skill。

工作原理:截图 → 思考 → 行动的闭环

mano-skill 的核心是一个"视觉驱动"的执行循环,理解它比背命令更重要:

云端模式(默认)

  1. 捕获当前屏幕截图
  2. 将截图和任务描述发送给云端视觉模型分析
  3. 模型返回下一步操作指令(点击 / 输入等)
  4. 本地客户端执行操作,循环直至任务完成

本地模式(推荐高安全场景)

流程完全相同,但第 2 步改由本地模型完成:Mano-CUA 模型运行在 Mac mini / MacBook(M4 芯片 + 32GB 内存)或 USB 4.0 算力棒上,截图与任务描述零联网、不出设备。系统会自动检测本地模型配置并无缝切换两种模式,无需手动配置。

为什么说它"手眼协调"得更好?看两组基准数据

Mano-P 之所以能稳定操控界面,底气来自其 GUI 理解能力的权威成绩:

  • OSWorld(专用 GUI 智能体模型榜单)第一:Mano-CUA 1.1 成功率58.2%,领先第二名 13.2 个百分点
  • WebRetriever Protocol I:41.7 NavEval,超过 Gemini 2.5 Pro Computer Use(40.9)与 Claude 4.5 Computer Use(31.3)
  • 本地 4B 模型在 100 项真实 macOS 任务中通过率 56%,明显高于云端通用 VL 大模型的 39%

性能方面,Mano-CUA-4B 在 Apple M5 Pro 上可达约80 tokens/s解码速度,本地执行不卡顿。

新手必看:权限授予与安全边界

授权步骤(一次性)

在 macOS 的系统设置 → 隐私与安全性中授予两项权限:

  1. 屏幕录制权限(Screen Recording)
  2. 辅助功能权限(Accessibility,用于键盘/鼠标控制)

安全机制:放心把"手"交给 Agent

  • 🔒 敏感或潜在危险的操作,需用户确认后才执行
  • ⏹ 用户可随时停止任务;每台设备同时只运行一个任务
  • 📊 任务运行时,屏幕右上角会显示状态面板,实时展示进度并提供暂停/停止
  • 👁 仅支持主显示器
  • 📱 平台支持:macOS 稳定可用(首选平台),Windows / Linux 处于 Beta 阶段

常见问题(FAQ)

Q1:我的数据会上传吗?本地模式下完全不会——所有推理在设备端完成,截图和任务描述零外发。云端模式仅传输截图与任务描述用于视觉分析,不读取本地文件、剪贴板和系统凭证;高安全场景建议优先使用本地模式。

Q2:对硬件有要求吗?本地模式需要 Apple M4 芯片 + 32GB 内存的 Mac mini / MacBook;不想升级硬件,也可以搭配 USB 4.0 算力棒即插即用。云端模式则无额外硬件门槛。

Q3:项目资料在哪里看?中文文档见 README_CN.md,英文文档见 README.md,许可证为 Apache 2.0(见 LICENSE),支持商用与二次开发。


一句话总结:给 Claude Code 装上 mano-skill,它就从"只能敲代码的助手"升级为"能真正动手的桌面智能体"——而 Mano-P 的端侧推理,让你的每一次点击都留在自己的设备上。

【免费下载链接】Mano-PMano-P: Open-source GUI-VLA agent for edge devices. #1 on OSWorld (specialized, 58.2%). Runs locally on Apple M4 Mac mini/MacBook — no data leaves your device.Mano-P 是一个开源 GUI-VLA 项目,支持在 Mac mini/MacBook 上或通过算力棒本地运行推理,实现纯视觉驱动的跨平台 GUI 自动化操作。数据完全本地处理,支持复杂多步骤任务规划与执行。项目地址: https://gitcode.com/gh_mirrors/man/Mano-P

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询