【免费下载链接】OpenGUIOpenGUI is an Android GUI agent framework for phone-use AI that can see, plan, and operate real mobile apps through the GUI.项目地址https://gitcode.com/gh_mirrors/open/OpenGUI点击查看免费下载OpenGUI 是一个面向 Android 的移动端 GUI Agent 框架它让 AI 通过图形界面看懂手机屏幕、规划操作步骤并真实操作 Android 手机里的 App。这篇文章是一篇完全入门指南带你在10 分钟内跑通 OpenGUI从三种安装方式、手机端权限配置到下发第一个手机任务全部讲清楚新手也能照做。什么是 OpenGUI让 AI 看懂并操作手机的 GUI Agent普通聊天机器人只会说话而 OpenGUI 让 AI 真正动手。它由三部分协同工作视觉模型读取手机屏幕截图判断下一步该点什么规划与执行链路把目标拆成可执行步骤再驱动手机点击、滑动、输入、返回Android 客户端通过系统标准的无障碍AccessibilityService接口执行手势无需 Root、无需解锁 Bootloader。整个看懂屏幕 → 规划 → 操作的循环由后端主图驱动核心源码位于 server/apps/backend/src/modules/graph-agent/其中主图graph/mobile-agent.graph.ts负责整体编排设备执行子图graph/executor.graph.ts围绕截图 → 视觉分析 → 动作执行循环运转。一句话理解OpenGUI 把你的手机变成一个可被 AI 远程操作的工人你用自然语言下命令它负责在真实 App 界面上完成操作。OpenGUI 能帮你做什么4 类真实手机任务OpenGUI 不只适合开发者下面这些场景普通用户也能直接用场景典型任务适用人群 操作主流 App打开 X、微博、小红书等完成查看、采集、互动运营、内容创作者✅ 自动化测试走查页面、执行回归用例、复现缺陷QA / 测试工程师 手游日常签到、领取免费福利、收取邮件游戏玩家 远程下发任务通过 REST / IM 入口让待命手机执行工作流团队 / 自动化玩家官方整理的更多用法见 deepseek-harness-plugin/docs/use-cases.zh.md覆盖 QA 助手、运营助手、手游助手与多手机协同。10分钟上手OpenGUI 三种安装方式OpenGUI 提供了三种由易到难的接入路径你可以按自己的环境任选其一。方式一用 DSH 插件最快跑起来如果你用的是DeepSeek HarnessDSH这是最省事的路径——把一段话发给 Codex它会帮你下载并校验插件、安装到 DSH再打开工作台。首次使用建议先读 deepseek-harness-plugin/docs/quick-start-and-faq.zh.md。macOS 上只需把下面整段作为一条消息发给 Codex它会自动安装最新正式版插件请安装并运行这个 OpenGUI 安装 Skill把最新正式版插件安装到我的 DSH web profile请自主完成安装仅在需要我授权、选择手机或提供视觉模型凭据时暂停并询问我。方式二用 WorkBuddy 连接器授权如果你的电脑装了WorkBuddy5.5.3 及以上可以走技能 连接器授权路线。打开 WorkBuddy 的连接器市场找到 OpenGUI 并启用即可。接着在MCP 服务管理里开启 OpenGUI确保 14 个工具已启用最后在技能页把 OpenGUI 技能也打开技能和连接器两者都要授权详细步骤见 workbuddy-plugin/README.zh-CN.md。方式三手动运行完整技术栈想玩透整套系统可以拉取源码本地运行git clone https://gitcode.com/gh_mirrors/open/OpenGUI cd OpenGUI然后分别启动后端与 Android 客户端脚本会自动装依赖、起数据库、构建并安装 APKcd server ./start.sh cd client ./start.shserver/start.sh检查 Node 22、pnpm、Docker用 Docker 起 PostgreSQL 和 Redis在7777端口启动后端client/start.sh检查adb和 Java构建 debug APK 并安装到手机完整说明见 docs/get-started.zh-CN.md。手机端 4 项权限配置无障碍、悬浮窗、USB 调试OpenGUI 依赖 Android 系统权限来看屏幕和动手指第一次运行前请逐项确认各品牌入口名称略有差异完整清单见 docs/android-permissions.zh-CN.md无障碍服务AccessibilityServiceAI 读取界面、执行点击滑动的核心悬浮窗权限用于任务状态展示与控制USB 调试让电脑通过 ADB 安装 APK 并配置端口转发忽略电池优化保证长时任务不被系统杀进程。无障碍入口示意如下进入后选择 OpenGUI 并开启服务提示手机断开重连或重启后adb reverse端口映射可能失效重新运行 client/start.sh 或手动执行adb reverse tcp:7777 tcp:7777即可恢复。模型怎么选让 GUI Agent 稳定看懂屏幕OpenGUI 需要一个同时支持图片输入和工具调用的视觉模型。好消息是DSH 插件默认复用当前会话模型多数情况下你不用额外配置。若要单独指定视觉模型在 DSH设置 → 模型里编辑OpenGUI 模型即可填写 API 密钥、地址与模型 ID官方给出的 GUI 操作模型推荐顺序优先级模型系列使用建议1豆包 VLM视觉 GUI 操作首选2千问 VLM可用备选部分社媒任务易触发安全策略3OpenAI 视觉模型能力可用但截图密集型任务成本偏高4Grok 视觉模型实验选项稳定性待验证省钱思路把 Planner / Supervisor 等文本角色交给千问 3.6 Plus把 VLM 执行侧交给豆包 Pro成本可降到全量 Opus 方案的 1/10 到 1/15。第一个任务让 AI 操作你的 Android 手机一切就绪后发一句自然语言就能开工。后端跑起来后可用 CLI 下发cd server pnpm opengui -- devices --json pnpm opengui -- do 观察当前手机屏幕简要描述你看到了什么然后结束 --jsondo会异步启动任务并返回executionId用它查询进度pnpm opengui -- status executionId --json在 DSH 或 WorkBuddy 对话里则直接发OpenGUI 打开设置并报告 Android 版本下面是 OpenGUI 的任务详情界面能看到任务名称、任务描述、执行历史和Start按钮AI 会按步骤把真实 App 界面操作完成并返回结构化结果。任务结束后 OpenGUI 会输出结构化总结——说明完成了什么、哪里失败、下一步建议如何处理方便你判断和复核。进阶玩法多手机协同与远程下发多手机协同在 OpenGUI Tab 勾选多台手机默认最多 4 台再提交一个任务OpenGUI 会锁定设备快照并为每台手机创建独立子任务适合跨系统版本的回归对比远程下发通过 REST API 或 IM 入口把手机当待命工人后端把任务下发给待命设备并回传结果适合长时移动工作流AI 编码 Agent 直控手机启动后把 skills/open-gui-remote-control/SKILL.md 交给 Codex / Claude Code / OpenCode就能用本地 CLI 列设备、下发任务、查状态详见 docs/codex-remote-control.zh-CN.md。常见问题FAQQ1需要 Root 或解锁 Bootloader 吗不需要。OpenGUI 用的是 Android 标准无障碍接口获取截图和执行手势ADB 仅用于安装 APK 和端口转发不会修改系统。Q2哪些系统支持手机需 Android 11API 30及以上真机或模拟器均可电脑支持 macOS、Windows x64、Linux x64。Q3任务能跑多久OpenGUI 面向长时移动工作流任务可持续运行数小时过程中会自动推进、复核与恢复。Q4敏感操作发布 / 购买 / 删除安全吗OpenGUI 会把发布、私信、支付、删除等对外动作先交给人工确认不会静默执行。Q5执行效果受什么影响主要受模型能力、目标 App 的 UI 复杂度、网络状态和任务长度影响。核心资料与文件路径想继续深入这些路径值得收藏快速入门docs/get-started.zh-CN.md权限配置清单docs/android-permissions.zh-CN.md一键启动 Skillskills/open-gui-bootstrap/SKILL.mdDSH 插件说明deepseek-harness-plugin/README.zh.md手动安装指南普通用户deepseek-harness-plugin/docs/install-for-beginners.zh.mdWorkBuddy 插件说明workbuddy-plugin/README.zh-CN.md后端 Graph Agent 源码server/apps/backend/src/modules/graph-agent/远程控制入口docs/codex-remote-control.zh-CN.mdOpenGUI 采用 BUSL-1.1 许可源码可见、可用于非生产用途生产 / 商业使用需单独授权详见 LICENSE。现在打开你的手机发一句OpenGUI 打开设置并报告 Android 版本见证 AI 真正看懂屏幕并动手操作的那一刻吧 赞分享【免费下载链接】OpenGUIOpenGUI is an Android GUI agent framework for phone-use AI that can see, plan, and operate real mobile apps through the GUI.项目地址https://gitcode.com/gh_mirrors/open/OpenGUI点击查看免费下载相关推荐终极电脑操作革命如何用self-operating-computer让AI自主看懂并控制屏幕终极电脑操作革命如何用self operating computer让AI自主看懂并控制屏幕 self operating computer是一款革命性的AI人工智能大模型AI 应用GUI 自动化AI Agent5分钟上手让手机真正看懂屏幕的智能自动点击器5分钟上手让手机真正看懂屏幕的智能自动点击器 还在为重复的点击操作感到厌倦吗智能图像识别自动点击器通过视觉感知技术让手机能够像人一样看懂屏幕内容并RPA计算机视觉Cheating Daddy屏幕分析功能详解如何让AI看懂你的屏幕内容Cheating Daddy屏幕分析功能详解如何让AI看懂你的屏幕内容 Cheating Daddy是一款开源的实时AI助手应用通过屏幕捕捉和音频分析技术AI 应用交互助手创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/10 21:08:25 · 阅读 1.2k OpenGUI完全入门：这个移动端GUI Agent如何10分钟让AI看懂屏幕、规划并操作Android手机
【免费下载链接】OpenGUIOpenGUI is an Android GUI agent framework for phone-use AI that can see, plan, and operate real mobile apps through the GUI.项目地址https://gitcode.com/gh_mirrors/open/OpenGUI点击查看免费下载OpenGUI 是一个面向 Android 的移动端 GUI Agent 框架它让 AI 通过图形界面看懂手机屏幕、规划操作步骤并真实操作 Android 手机里的 App。这篇文章是一篇完全入门指南带你在10 分钟内跑通 OpenGUI从三种安装方式、手机端权限配置到下发第一个手机任务全部讲清楚新手也能照做。什么是 OpenGUI让 AI 看懂并操作手机的 GUI Agent普通聊天机器人只会说话而 OpenGUI 让 AI 真正动手。它由三部分协同工作视觉模型读取手机屏幕截图判断下一步该点什么规划与执行链路把目标拆成可执行步骤再驱动手机点击、滑动、输入、返回Android 客户端通过系统标准的无障碍AccessibilityService接口执行手势无需 Root、无需解锁 Bootloader。整个看懂屏幕 → 规划 → 操作的循环由后端主图驱动核心源码位于 server/apps/backend/src/modules/graph-agent/其中主图graph/mobile-agent.graph.ts负责整体编排设备执行子图graph/executor.graph.ts围绕截图 → 视觉分析 → 动作执行循环运转。一句话理解OpenGUI 把你的手机变成一个可被 AI 远程操作的工人你用自然语言下命令它负责在真实 App 界面上完成操作。OpenGUI 能帮你做什么4 类真实手机任务OpenGUI 不只适合开发者下面这些场景普通用户也能直接用场景典型任务适用人群 操作主流 App打开 X、微博、小红书等完成查看、采集、互动运营、内容创作者✅ 自动化测试走查页面、执行回归用例、复现缺陷QA / 测试工程师 手游日常签到、领取免费福利、收取邮件游戏玩家 远程下发任务通过 REST / IM 入口让待命手机执行工作流团队 / 自动化玩家官方整理的更多用法见 deepseek-harness-plugin/docs/use-cases.zh.md覆盖 QA 助手、运营助手、手游助手与多手机协同。10分钟上手OpenGUI 三种安装方式OpenGUI 提供了三种由易到难的接入路径你可以按自己的环境任选其一。方式一用 DSH 插件最快跑起来如果你用的是DeepSeek HarnessDSH这是最省事的路径——把一段话发给 Codex它会帮你下载并校验插件、安装到 DSH再打开工作台。首次使用建议先读 deepseek-harness-plugin/docs/quick-start-and-faq.zh.md。macOS 上只需把下面整段作为一条消息发给 Codex它会自动安装最新正式版插件请安装并运行这个 OpenGUI 安装 Skill把最新正式版插件安装到我的 DSH web profile请自主完成安装仅在需要我授权、选择手机或提供视觉模型凭据时暂停并询问我。方式二用 WorkBuddy 连接器授权如果你的电脑装了WorkBuddy5.5.3 及以上可以走技能 连接器授权路线。打开 WorkBuddy 的连接器市场找到 OpenGUI 并启用即可。接着在MCP 服务管理里开启 OpenGUI确保 14 个工具已启用最后在技能页把 OpenGUI 技能也打开技能和连接器两者都要授权详细步骤见 workbuddy-plugin/README.zh-CN.md。方式三手动运行完整技术栈想玩透整套系统可以拉取源码本地运行git clone https://gitcode.com/gh_mirrors/open/OpenGUI cd OpenGUI然后分别启动后端与 Android 客户端脚本会自动装依赖、起数据库、构建并安装 APKcd server ./start.sh cd client ./start.shserver/start.sh检查 Node 22、pnpm、Docker用 Docker 起 PostgreSQL 和 Redis在7777端口启动后端client/start.sh检查adb和 Java构建 debug APK 并安装到手机完整说明见 docs/get-started.zh-CN.md。手机端 4 项权限配置无障碍、悬浮窗、USB 调试OpenGUI 依赖 Android 系统权限来看屏幕和动手指第一次运行前请逐项确认各品牌入口名称略有差异完整清单见 docs/android-permissions.zh-CN.md无障碍服务AccessibilityServiceAI 读取界面、执行点击滑动的核心悬浮窗权限用于任务状态展示与控制USB 调试让电脑通过 ADB 安装 APK 并配置端口转发忽略电池优化保证长时任务不被系统杀进程。无障碍入口示意如下进入后选择 OpenGUI 并开启服务提示手机断开重连或重启后adb reverse端口映射可能失效重新运行 client/start.sh 或手动执行adb reverse tcp:7777 tcp:7777即可恢复。模型怎么选让 GUI Agent 稳定看懂屏幕OpenGUI 需要一个同时支持图片输入和工具调用的视觉模型。好消息是DSH 插件默认复用当前会话模型多数情况下你不用额外配置。若要单独指定视觉模型在 DSH设置 → 模型里编辑OpenGUI 模型即可填写 API 密钥、地址与模型 ID官方给出的 GUI 操作模型推荐顺序优先级模型系列使用建议1豆包 VLM视觉 GUI 操作首选2千问 VLM可用备选部分社媒任务易触发安全策略3OpenAI 视觉模型能力可用但截图密集型任务成本偏高4Grok 视觉模型实验选项稳定性待验证省钱思路把 Planner / Supervisor 等文本角色交给千问 3.6 Plus把 VLM 执行侧交给豆包 Pro成本可降到全量 Opus 方案的 1/10 到 1/15。第一个任务让 AI 操作你的 Android 手机一切就绪后发一句自然语言就能开工。后端跑起来后可用 CLI 下发cd server pnpm opengui -- devices --json pnpm opengui -- do 观察当前手机屏幕简要描述你看到了什么然后结束 --jsondo会异步启动任务并返回executionId用它查询进度pnpm opengui -- status executionId --json在 DSH 或 WorkBuddy 对话里则直接发OpenGUI 打开设置并报告 Android 版本下面是 OpenGUI 的任务详情界面能看到任务名称、任务描述、执行历史和Start按钮AI 会按步骤把真实 App 界面操作完成并返回结构化结果。任务结束后 OpenGUI 会输出结构化总结——说明完成了什么、哪里失败、下一步建议如何处理方便你判断和复核。进阶玩法多手机协同与远程下发多手机协同在 OpenGUI Tab 勾选多台手机默认最多 4 台再提交一个任务OpenGUI 会锁定设备快照并为每台手机创建独立子任务适合跨系统版本的回归对比远程下发通过 REST API 或 IM 入口把手机当待命工人后端把任务下发给待命设备并回传结果适合长时移动工作流AI 编码 Agent 直控手机启动后把 skills/open-gui-remote-control/SKILL.md 交给 Codex / Claude Code / OpenCode就能用本地 CLI 列设备、下发任务、查状态详见 docs/codex-remote-control.zh-CN.md。常见问题FAQQ1需要 Root 或解锁 Bootloader 吗不需要。OpenGUI 用的是 Android 标准无障碍接口获取截图和执行手势ADB 仅用于安装 APK 和端口转发不会修改系统。Q2哪些系统支持手机需 Android 11API 30及以上真机或模拟器均可电脑支持 macOS、Windows x64、Linux x64。Q3任务能跑多久OpenGUI 面向长时移动工作流任务可持续运行数小时过程中会自动推进、复核与恢复。Q4敏感操作发布 / 购买 / 删除安全吗OpenGUI 会把发布、私信、支付、删除等对外动作先交给人工确认不会静默执行。Q5执行效果受什么影响主要受模型能力、目标 App 的 UI 复杂度、网络状态和任务长度影响。核心资料与文件路径想继续深入这些路径值得收藏快速入门docs/get-started.zh-CN.md权限配置清单docs/android-permissions.zh-CN.md一键启动 Skillskills/open-gui-bootstrap/SKILL.mdDSH 插件说明deepseek-harness-plugin/README.zh.md手动安装指南普通用户deepseek-harness-plugin/docs/install-for-beginners.zh.mdWorkBuddy 插件说明workbuddy-plugin/README.zh-CN.md后端 Graph Agent 源码server/apps/backend/src/modules/graph-agent/远程控制入口docs/codex-remote-control.zh-CN.mdOpenGUI 采用 BUSL-1.1 许可源码可见、可用于非生产用途生产 / 商业使用需单独授权详见 LICENSE。现在打开你的手机发一句OpenGUI 打开设置并报告 Android 版本见证 AI 真正看懂屏幕并动手操作的那一刻吧 赞分享【免费下载链接】OpenGUIOpenGUI is an Android GUI agent framework for phone-use AI that can see, plan, and operate real mobile apps through the GUI.项目地址https://gitcode.com/gh_mirrors/open/OpenGUI点击查看免费下载相关推荐终极电脑操作革命如何用self-operating-computer让AI自主看懂并控制屏幕终极电脑操作革命如何用self operating computer让AI自主看懂并控制屏幕 self operating computer是一款革命性的AI人工智能大模型AI 应用GUI 自动化AI Agent5分钟上手让手机真正看懂屏幕的智能自动点击器5分钟上手让手机真正看懂屏幕的智能自动点击器 还在为重复的点击操作感到厌倦吗智能图像识别自动点击器通过视觉感知技术让手机能够像人一样看懂屏幕内容并RPA计算机视觉Cheating Daddy屏幕分析功能详解如何让AI看懂你的屏幕内容Cheating Daddy屏幕分析功能详解如何让AI看懂你的屏幕内容 Cheating Daddy是一款开源的实时AI助手应用通过屏幕捕捉和音频分析技术AI 应用交互助手创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考