全网教程都在『从零手写』CUAtrycua/cua 却一条命令就跑起来了5 分钟上手实录【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua过去两周CUAComputer-Using Agent几乎成了社区里最烫手的关键词CSDN 上涌现出一批从零手写 AI 操作电脑智能体的教程方案高度趋同——截图、调多模态 API、用 PyAutoGUI 映射坐标、再自己写一个感知-规划-执行循环。教程写得很好原理讲得也对但它把能操作电脑的 Agent和一个能用的 Agent混为了一谈坐标偏移、DPI 缩放、动态加载、权限拦截、动作落空每一个坑都能让新手卡上半天。而 trycua/cua 给出的答案是反过来的不让你从零拼装而是把一个工业级的计算机使用栈直接端到你面前。cua一条命令创建带桌面的沙箱cua do一条命令完成点击、输入、截图Cua Driver 在后台替你处理跨平台的原生输入与验证。本文按真实上手顺序记录安装、跑通第一个点开浏览器任务以及新手最容易卡住的三个环节——每个环节都给出仓库里能直接对号的命令与文档位置。安装与第一条命令从curl到uname不到 30 秒安装只有一行macOS / Linux 和 Windows 各一条见 安装器说明# macOS / Linux curl -fsSL https://cua.ai/install.sh | sh # Windows (PowerShell) irm https://cua.ai/install.ps1 | iex脚本会展示一个清单cuaCLI、macOS 上的 Cua Spaces 应用、cua-driver 及其 agent 插件、是否托管本机。只想先玩 CLI 的可以用--only cli跳过全部交互想顺手把 AI 编码助手接上就加--select cua-driver装完后脚本还会自动执行cua auth login并把 cua 技能和 MCP server 写进 Claude Code、Codex、Cursor 等客户端的配置。装完后的第一条命令官方 Quickstart 写得极其收敛cua sb create linux --name dev # 创建本地 Linux 沙箱 cua sb exec dev uname -a # 在沙箱里执行命令 cua sb screenshot dev -o dev.png # 截一张沙箱桌面exec会把客户机的内核版本原样打回来并以该命令的退出码作为自己的退出码dev.png就是沙箱桌面的截图。加--json则返回结构化结果cua --json sb exec dev pwd # {stdout: ..., stderr: ..., returncode: 0}关键点在于沙箱的运行时选择。本机装了 Docker 就直接用没装也不怕cua runtime doctor会列出所有可用的本地运行时cua runtime setup可以补装 gVisor 等选项。沙箱启动后镜像里内置的 cua-spacesd 守护进程端口 3211会提供进程、文件、截图与输入能力——也就是说你的沙箱天生就是一台可被 Agent 操纵的电脑不需要再往里面塞任何agent 组件。从命令面看cua是一个高度收敛的单二进制CLI 总览 把全部能力收进了几个命令组——cua auth登录、cua sb沙箱的增删查改、cua do一次性电脑动作click/type/key/screenshot/window、cua mcpStdio MCP server、cua daemon共享后台运行时、cua doctor一键体检。退出码也做了语义化3 表示找不到目标5 表示没有 cua-spacesd 应答7 表示磁盘不足——排障时先看退出码能省掉一半的猜谜时间。跑通第一个『帮我点开浏览器』任务让 Agent 帮我点开浏览器在 cua 里有两条路径一条偏浏览器自动化一条偏桌面操作正好对应两种真实用法。路径一直接创建一个带浏览器的沙箱。按照 从 Agent 浏览网页一条命令就能启动内置 Chromium 的沙箱并打开目标页面cua images ls --browser # 看看哪些镜像自带可被驱动的浏览器 cua sb create --browser --open https://example.com --name web cua sb view web # 在浏览器里直接看沙箱桌面HTML5 viewer--browser会启动标准 Linux 镜像ghcr.io/trycua/linux:24.04在里面拉起一个全新一次性 profile 的 Chromium把窗口绑定给浏览器工具并返回session、target_id、tab_id三个标识——后续所有的browser_navigate、browser_click、browser_type都基于这三个 id 发号施令。浏览器动作走的是 Chrome DevTools Protocol不需要焦点、不需要真实光标是后台静默操作网页最顺的一条路。路径二走通用桌面动作让 Agent 真的操作图形界面。先创建一个带完整桌面的沙箱再用cua do一条一条发动作cua sb create linux --name desk --wait desktop # --wait desktop桌面会话可接收输入后才返回 cua do switch desk # 选定操作目标 cua do launch firefox # 启动应用会等待新窗口出现并聚焦 cua do type https://example.com cua do key enter cua do screenshot --save desk.png # 检查结果cua do的完整动作面在 命令参考 里截图、点击、双击、移动、输入、按键、快捷键、滚动、拖拽、窗口管理focus/minimize/close/resize、无障碍树、剪贴板一应俱全。cua do launch firefox --private-window这类带参数的启动也支持。值得注意的是cua do默认会记录轨迹trajectory--no-record可以关掉——这些轨迹本身就是后续训练和评测的素材。这条路径背后是 Cua Driver 的工作原理 里定义的动作阶梯action ladder优先按无障碍元素element_token后台执行——不抬窗口、不抢你的真实鼠标Agent 有自己的光标叠加层元素不可用时退回像素坐标浏览器页面则切到 DOM 层的 CDP 工具只有游戏、Blender 这类 canvas 应用才需要delivery_mode: foreground前台注入。所以点开浏览器这个任务在 cua 里并不是截图-猜坐标-点一下的碰运气而是先拿无障碍树找元素点不中再升级的确定性过程。新手最容易卡住的三个环节与解法1. 本地运行时和镜像卡在拉不动、起不来、磁盘不够cua sb create第一次要拉镜像Linux 容器还好macOS 沙箱Tahoe 镜像约 23 GB首次约 8 分钟是新手最容易等的没耐心的环节。仓库给的事实是首次拉取之后后续创建靠克隆约 25 秒就绪见 本地 macOS 沙箱。具体解法cua runtime doctor # 列出/检查本地运行时缺什么一目了然 cua runtime setup lume # 需要 macOS VM 时补装 Lume cua images ls # 查看镜像目录OS、容器/VM 形态、是否带浏览器 cua cache prune # 退出码 7磁盘不足时的清理入口排障原则先看退出码再看cua doctor的体检报告最后才动手清理。2. 桌面与权限装好了却看不见窗口如果你的目标是操作本机桌面而非沙箱需要安装 Cua Driver。它的 Quickstart 流程是三段式装守护进程、授权、验证可见性见 Cua Driver 快速上手# macOS装好后启动守护进程并授权 /bin/bash -c $(curl -fsSL https://cua.ai/driver/install.sh) open -n -g -a CuaDriver --args serve cua-driver permissions grant # 在系统设置里打开辅助功能 屏幕录制 # 验证 cua-driver call list_apps # 能看到已打开的 GUI 应用即成功 cua-driver doctor # list_apps 为空时跑这个新手最常踩的三个权限坑排障文档 都有对号入座的答案macOS 上list_apps返回空守护进程看不到桌面检查辅助功能/屏幕录制权限是否真的生效系统设置里明明打开了却仍报 false过期的权限授权——老的 bundle IDcom.trycua.cuadriver等不覆盖当前版本需要用tccutil reset Accessibility com.trycua.driver重置后重新授予Linux 上libXi.so.6: cannot open shared object filesudo apt install libxi6 at-spi2-core并且cua-driver serve必须在桌面会话的终端里跑Windows 则注意别在 SSH 会话里启动。3. 动作落空坐标对不上、元素令牌过期、前台焦点命令执行成功但屏幕上什么都没变是手写教程里最劝退的坑在 cua 里却有明确的语言来描述它每个动作都会返回effectconfirmed / unverifiable / suspected_noop / partial / refused和escalation建议升级到哪一级。如果看到stale_element_token说明你的元素令牌来自旧快照重新get_window_state取新令牌即可screenshot_context_missing则要求先截图、后按像素操作。像素坐标与元素框坐标是两套坐标系Retina 屏上比例通常是 2换算公式在排障文档里有完整给出——但更省心的做法是优先用元素令牌而不是像素坐标。需要精确框住某个窗口时cua do zoom Firefox可以把截图裁剪到该窗口并把坐标映射进去cua do unzoom再回到全屏。实在要前台注入游戏、canvas 应用就显式传delivery_mode: foreground——这是文档明确授权的升级路径而不是碰运气。附加题让 Claude Code / Codex 直接拿到这台电脑CLI 玩熟了之后把电脑交给 Agent 只需要一行配置claude mcp add cua -- cua daemon mcp # 给 Claude Code 挂上 cua MCP server cua agents setup --agents claude,codex,cursor -y # 或一次性自动配置所有已检测到的 agentMCP 接入指南 特别强调权限模型--permissions sandbox:readonly,computer:all这类group:action声明式授权只注册被授予的工具未授权的一律拒绝而且权限写错未知项会直接 fail-closed——这正是让 AI 碰电脑该有的安全姿态也是很多从零手写教程完全缺席的一层。为什么你不需要从零手写社区教程的从零手写并非没有价值截图 → 视觉模型理解 → 生成动作 → 执行验证的闭环是理解 CUA 本质最好的教材。但把这两类教程对照着读完你会发现 trycua/cua 真正沉淀下来的正是手写教程反复栽跟头的那些工程细节确定性验证Cua Driver 的每个支持行为都是一张动作 × 元素/像素 × 后台/前台 × 窗口/桌面 × 平台的 Rust 目录表用真实桌面会话里的 fixture 应用逐格跑通单元格只有在状态真的变了、且真实光标与前台应用没被动过才算通过——文档里原话是A tool returning ok is not evidence工具返回 ok 不算证据。这是与自己写脚本试运气最本质的分水岭。跨平台抽象macOS辅助功能 屏幕录制、WindowsUI Automation、LinuxX11/AT-SPI、Wayland 各合成器的差异化处理被统一成同一套工具面坐标换算、DPI 缩放、焦点规则全部内化。开箱即用的沙箱生态带桌面的镜像、cua-spacesd、HTML5 viewer、轨迹记录让Agent 操作电脑从演示变成可评测、可回放、可训练闭环的基础设施。一句话总结这次 5 分钟上手cua sb create造电脑cua do发动作cua mcp把电脑交给 Agent——三个命令把社区里从零手写三十步才能走完的路压缩成了三条。剩下的时间你该花在想清楚让 Agent 做什么上而不是跟坐标偏移较劲。【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/10 21:32:38 · 阅读 1.2k 全网教程都在『从零手写』CUA，trycua/cua 却一条命令就跑起来了：5 分钟上手实录
全网教程都在『从零手写』CUAtrycua/cua 却一条命令就跑起来了5 分钟上手实录【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua过去两周CUAComputer-Using Agent几乎成了社区里最烫手的关键词CSDN 上涌现出一批从零手写 AI 操作电脑智能体的教程方案高度趋同——截图、调多模态 API、用 PyAutoGUI 映射坐标、再自己写一个感知-规划-执行循环。教程写得很好原理讲得也对但它把能操作电脑的 Agent和一个能用的 Agent混为了一谈坐标偏移、DPI 缩放、动态加载、权限拦截、动作落空每一个坑都能让新手卡上半天。而 trycua/cua 给出的答案是反过来的不让你从零拼装而是把一个工业级的计算机使用栈直接端到你面前。cua一条命令创建带桌面的沙箱cua do一条命令完成点击、输入、截图Cua Driver 在后台替你处理跨平台的原生输入与验证。本文按真实上手顺序记录安装、跑通第一个点开浏览器任务以及新手最容易卡住的三个环节——每个环节都给出仓库里能直接对号的命令与文档位置。安装与第一条命令从curl到uname不到 30 秒安装只有一行macOS / Linux 和 Windows 各一条见 安装器说明# macOS / Linux curl -fsSL https://cua.ai/install.sh | sh # Windows (PowerShell) irm https://cua.ai/install.ps1 | iex脚本会展示一个清单cuaCLI、macOS 上的 Cua Spaces 应用、cua-driver 及其 agent 插件、是否托管本机。只想先玩 CLI 的可以用--only cli跳过全部交互想顺手把 AI 编码助手接上就加--select cua-driver装完后脚本还会自动执行cua auth login并把 cua 技能和 MCP server 写进 Claude Code、Codex、Cursor 等客户端的配置。装完后的第一条命令官方 Quickstart 写得极其收敛cua sb create linux --name dev # 创建本地 Linux 沙箱 cua sb exec dev uname -a # 在沙箱里执行命令 cua sb screenshot dev -o dev.png # 截一张沙箱桌面exec会把客户机的内核版本原样打回来并以该命令的退出码作为自己的退出码dev.png就是沙箱桌面的截图。加--json则返回结构化结果cua --json sb exec dev pwd # {stdout: ..., stderr: ..., returncode: 0}关键点在于沙箱的运行时选择。本机装了 Docker 就直接用没装也不怕cua runtime doctor会列出所有可用的本地运行时cua runtime setup可以补装 gVisor 等选项。沙箱启动后镜像里内置的 cua-spacesd 守护进程端口 3211会提供进程、文件、截图与输入能力——也就是说你的沙箱天生就是一台可被 Agent 操纵的电脑不需要再往里面塞任何agent 组件。从命令面看cua是一个高度收敛的单二进制CLI 总览 把全部能力收进了几个命令组——cua auth登录、cua sb沙箱的增删查改、cua do一次性电脑动作click/type/key/screenshot/window、cua mcpStdio MCP server、cua daemon共享后台运行时、cua doctor一键体检。退出码也做了语义化3 表示找不到目标5 表示没有 cua-spacesd 应答7 表示磁盘不足——排障时先看退出码能省掉一半的猜谜时间。跑通第一个『帮我点开浏览器』任务让 Agent 帮我点开浏览器在 cua 里有两条路径一条偏浏览器自动化一条偏桌面操作正好对应两种真实用法。路径一直接创建一个带浏览器的沙箱。按照 从 Agent 浏览网页一条命令就能启动内置 Chromium 的沙箱并打开目标页面cua images ls --browser # 看看哪些镜像自带可被驱动的浏览器 cua sb create --browser --open https://example.com --name web cua sb view web # 在浏览器里直接看沙箱桌面HTML5 viewer--browser会启动标准 Linux 镜像ghcr.io/trycua/linux:24.04在里面拉起一个全新一次性 profile 的 Chromium把窗口绑定给浏览器工具并返回session、target_id、tab_id三个标识——后续所有的browser_navigate、browser_click、browser_type都基于这三个 id 发号施令。浏览器动作走的是 Chrome DevTools Protocol不需要焦点、不需要真实光标是后台静默操作网页最顺的一条路。路径二走通用桌面动作让 Agent 真的操作图形界面。先创建一个带完整桌面的沙箱再用cua do一条一条发动作cua sb create linux --name desk --wait desktop # --wait desktop桌面会话可接收输入后才返回 cua do switch desk # 选定操作目标 cua do launch firefox # 启动应用会等待新窗口出现并聚焦 cua do type https://example.com cua do key enter cua do screenshot --save desk.png # 检查结果cua do的完整动作面在 命令参考 里截图、点击、双击、移动、输入、按键、快捷键、滚动、拖拽、窗口管理focus/minimize/close/resize、无障碍树、剪贴板一应俱全。cua do launch firefox --private-window这类带参数的启动也支持。值得注意的是cua do默认会记录轨迹trajectory--no-record可以关掉——这些轨迹本身就是后续训练和评测的素材。这条路径背后是 Cua Driver 的工作原理 里定义的动作阶梯action ladder优先按无障碍元素element_token后台执行——不抬窗口、不抢你的真实鼠标Agent 有自己的光标叠加层元素不可用时退回像素坐标浏览器页面则切到 DOM 层的 CDP 工具只有游戏、Blender 这类 canvas 应用才需要delivery_mode: foreground前台注入。所以点开浏览器这个任务在 cua 里并不是截图-猜坐标-点一下的碰运气而是先拿无障碍树找元素点不中再升级的确定性过程。新手最容易卡住的三个环节与解法1. 本地运行时和镜像卡在拉不动、起不来、磁盘不够cua sb create第一次要拉镜像Linux 容器还好macOS 沙箱Tahoe 镜像约 23 GB首次约 8 分钟是新手最容易等的没耐心的环节。仓库给的事实是首次拉取之后后续创建靠克隆约 25 秒就绪见 本地 macOS 沙箱。具体解法cua runtime doctor # 列出/检查本地运行时缺什么一目了然 cua runtime setup lume # 需要 macOS VM 时补装 Lume cua images ls # 查看镜像目录OS、容器/VM 形态、是否带浏览器 cua cache prune # 退出码 7磁盘不足时的清理入口排障原则先看退出码再看cua doctor的体检报告最后才动手清理。2. 桌面与权限装好了却看不见窗口如果你的目标是操作本机桌面而非沙箱需要安装 Cua Driver。它的 Quickstart 流程是三段式装守护进程、授权、验证可见性见 Cua Driver 快速上手# macOS装好后启动守护进程并授权 /bin/bash -c $(curl -fsSL https://cua.ai/driver/install.sh) open -n -g -a CuaDriver --args serve cua-driver permissions grant # 在系统设置里打开辅助功能 屏幕录制 # 验证 cua-driver call list_apps # 能看到已打开的 GUI 应用即成功 cua-driver doctor # list_apps 为空时跑这个新手最常踩的三个权限坑排障文档 都有对号入座的答案macOS 上list_apps返回空守护进程看不到桌面检查辅助功能/屏幕录制权限是否真的生效系统设置里明明打开了却仍报 false过期的权限授权——老的 bundle IDcom.trycua.cuadriver等不覆盖当前版本需要用tccutil reset Accessibility com.trycua.driver重置后重新授予Linux 上libXi.so.6: cannot open shared object filesudo apt install libxi6 at-spi2-core并且cua-driver serve必须在桌面会话的终端里跑Windows 则注意别在 SSH 会话里启动。3. 动作落空坐标对不上、元素令牌过期、前台焦点命令执行成功但屏幕上什么都没变是手写教程里最劝退的坑在 cua 里却有明确的语言来描述它每个动作都会返回effectconfirmed / unverifiable / suspected_noop / partial / refused和escalation建议升级到哪一级。如果看到stale_element_token说明你的元素令牌来自旧快照重新get_window_state取新令牌即可screenshot_context_missing则要求先截图、后按像素操作。像素坐标与元素框坐标是两套坐标系Retina 屏上比例通常是 2换算公式在排障文档里有完整给出——但更省心的做法是优先用元素令牌而不是像素坐标。需要精确框住某个窗口时cua do zoom Firefox可以把截图裁剪到该窗口并把坐标映射进去cua do unzoom再回到全屏。实在要前台注入游戏、canvas 应用就显式传delivery_mode: foreground——这是文档明确授权的升级路径而不是碰运气。附加题让 Claude Code / Codex 直接拿到这台电脑CLI 玩熟了之后把电脑交给 Agent 只需要一行配置claude mcp add cua -- cua daemon mcp # 给 Claude Code 挂上 cua MCP server cua agents setup --agents claude,codex,cursor -y # 或一次性自动配置所有已检测到的 agentMCP 接入指南 特别强调权限模型--permissions sandbox:readonly,computer:all这类group:action声明式授权只注册被授予的工具未授权的一律拒绝而且权限写错未知项会直接 fail-closed——这正是让 AI 碰电脑该有的安全姿态也是很多从零手写教程完全缺席的一层。为什么你不需要从零手写社区教程的从零手写并非没有价值截图 → 视觉模型理解 → 生成动作 → 执行验证的闭环是理解 CUA 本质最好的教材。但把这两类教程对照着读完你会发现 trycua/cua 真正沉淀下来的正是手写教程反复栽跟头的那些工程细节确定性验证Cua Driver 的每个支持行为都是一张动作 × 元素/像素 × 后台/前台 × 窗口/桌面 × 平台的 Rust 目录表用真实桌面会话里的 fixture 应用逐格跑通单元格只有在状态真的变了、且真实光标与前台应用没被动过才算通过——文档里原话是A tool returning ok is not evidence工具返回 ok 不算证据。这是与自己写脚本试运气最本质的分水岭。跨平台抽象macOS辅助功能 屏幕录制、WindowsUI Automation、LinuxX11/AT-SPI、Wayland 各合成器的差异化处理被统一成同一套工具面坐标换算、DPI 缩放、焦点规则全部内化。开箱即用的沙箱生态带桌面的镜像、cua-spacesd、HTML5 viewer、轨迹记录让Agent 操作电脑从演示变成可评测、可回放、可训练闭环的基础设施。一句话总结这次 5 分钟上手cua sb create造电脑cua do发动作cua mcp把电脑交给 Agent——三个命令把社区里从零手写三十步才能走完的路压缩成了三条。剩下的时间你该花在想清楚让 Agent 做什么上而不是跟坐标偏移较劲。【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考