本文收录于专栏《AI Agent原理与实战》2026版—— 专栏系统覆盖 AI Agent 的记忆、工具、插件与实战点击订阅可跟踪后续更新。本课定位API 之外的最后一块交互疆土让 Agent 直接操作计算机。屏幕观察-决策-行动循环、与 API 工具调用的本质差异、风险清单。本课是 RPA/数字员工方向读者的入口也是下一课安全攻击面的最佳靶子。阶段 5生产与安全 来源课程自研补充关键字计算机操作Agent、CUA、屏幕理解、GUI自动化、数字员工、RPA升级、观察决策行动、风险控制本节目录28.1 CUA 是什么无 API 时的兜底自动化28.2 技术路径观察-决策-行动循环28.3 风险清单本节目录28.1 CUA 是什么无 API 时的兜底自动化28.2 技术路径观察-决策-行动循环28.3 风险清单概念讲解28.1 CUA 是什么无 API 时的兜底自动化 微软第 15 课when computer use agents are a better fitAPI 工具调用第 7 课要求目标系统暴露接口现实中大量系统没有 API老旧内部系统、供应商门户、只有网页界面的管理后台。CUA 的技术路径是屏幕观察 鼠标键盘操作截图给多模态模型看 → 模型输出下一步动作点击坐标/输入文本/按键→ 运行时执行 → 再截图确认循环到任务完成。与 API 工具调用的本质差异维度API 工具调用CUA 屏幕操作接口依赖需要稳定 API无需 API有界面即可可靠性结构化返回可校验界面一变就失效坐标可能点错速度毫秒级每步含截图视觉推理秒级起步安全边界权限可精确分级“能看到的都能点”边界难划成本每次调用便宜每步烧视觉 token结论有稳定 API 就用 APICUA 是兜底——兜没 API的底也兜界面频繁变化导致选择器脚本脆断的底。28.2 技术路径观察-决策-行动循环 微软第 15 课Browser-Use Playwright CDP 架构CUA 的最小循环四步与第 6 课最小 Agent Loop 同构只是工具换成了屏幕原语三条代表性产品线检索日 2026-10Anthropic computer use toolAPI 原生工具集computer_toolset_20260801一个声明给 Claude 17 个成员工具screenshot/left_click/type/zoom等模型每轮可发多个工具调用官方文档同时部署了注入防护分类器截图内容自动扫描疑似注入时引导模型复核指令来源。同族还有作用域收窄到网页内部的 browser use toolOpenAI CUA 模型GPT-4o 视觉 强化学习训练的计算机操作模型最初以研究预览产品Operator2025-01面世2025-07 起整合进ChatGPT Agent统一 Agent 系统里保留了 Operator 的网页操作能力配套 API 供开发者调用内置拒绝清单与站点封锁名单开源 browser-usePython 框架116.8K stars12.9K forksGitHub API 实测 2026-10Browser-Use 驱动浏览器导航可与 Playwright 组合企业级参考 Microsoft Project OpalM365 Copilot 的 Frontier 能力任务描述后在隔离的 Windows 365 Cloud PC 上异步执行浏览器-onlyIntune 强制、用用户自己的身份、全量审计、随时人工接管——生产级 CUA 的信任设计样板。国内读者关心的模型侧CUA 是多模态视觉操作决策任务当前主流实现绑定在 Anthropic/OpenAI 的模型服务上。国产阵营里智谱 GLM 系列的多模态版本、小米 MiMo-VL开源视觉语言模型HuggingFaceXiaomiMiMo/MiMo-VL-7B-RL具备屏幕理解能力开源权重可本地部署做实验但开箱即用的截图→坐标动作成品 API 生态在检索日尚以 Anthropic/OpenAI 最成熟——这正是本课案例用确定性复刻 CUA 接口形状做教学的原因循环机制学会了模型侧哪个可用换哪个。微软课还给出agent vs actor的工程判断动态布局/找元素/意外弹窗交给 agent视觉自适应结构已知/要求精确时序的操作切成确定性脚本Playwright 直控。混合模式是实践主流agent 探路actor 收尾。28.3 风险清单 微软第 15 课Safety Guardrails for Browser Agents 七条护栏CUA 直接操作真实界面风险比 API 调用高一档界面变化改版/弹窗/A-B 测试让既有操作序列失效——需要页面状态模糊即停止的纪律误操作坐标点偏、表单填错、误触删除——高危步骤前要确定性校验URL、已选项、金额、收件人权限失控Agent 用你的登录态操作能看到的都能点——域白名单、专用浏览器配置、动作预算次数/时长/标签页上限是基本盘注入面最大每个页面的每段文字都是潜在的指令输入第 29 课实测。微软课的 7 条安全护栏值得抄录限定浏览环境与域名观察与行动分离搜索提取可自主提交表单/发消息/下单/改设置必须显式批准秘密不进 prompt 与日志页面内容一律视为不可信输入危险步骤周围用代码做确定性校验设预算与停止条件记录有用证据而非全量截屏。案例实战让 Agent 操作网页完成一个真实任务运行环境Windows推荐入门路径Python 3.10 →pip install playwright→playwright install chromium约 150 MB一次性下载Windows 上无需额外依赖Playwright 自带完整浏览器→python l28_cua_demo.py。唯一要改的是脚本里PAGE路径Windows 写法PAGE file:///C:/ai-agent-course/stage5/code/l28_shop.html正斜杠。Linux实测环境 Python 3.10 playwrightchromium-1243 headless。Linux 下playwright install --with-deps chromium可一并补系统依赖无 root 时先跑playwright install报缺库再补。本案例不需要任何 LLM API key——决策环节用确定性定位复刻跑通的是 CUA 的循环机制本身。目标在本地演示商城页面上跑通 CUA 核心循环——截图观察、定位目标坐标、按坐标点击、再截图确认。视觉决策一环用确定性的元素定位复刻同样的截图→坐标→点击接口形状模型决策版本附 Anthropic API 代码未实测需 API key。步骤本地起一个商城页三个商品按钮点击弹下单提示观察截图 列出各按钮中心坐标复刻视觉模型看图找目标的输出决策选定预算内目标商品行动mouse.click(x, y)按坐标点击不用 CSS selector——CUA 就是这样操作的再观察读取结果区文本 截图留证。完整代码# CUA 核心循环: 观察-决策-行动-再观察【已实测】2026-10# Python 3.10 playwright(同步装 chromium-1243) headlessimportasynciofromplaywright.async_apiimportasync_playwright PAGEfile:///path/to/l28_shop.html# 演示商城页(代码包附)asyncdefmain():asyncwithasync_playwright()asp:browserawaitp.chromium.launch(headlessTrue)pageawaitbrowser.new_page(viewport{width:600,height:480})awaitpage.goto(PAGE)# --- 1. 观察: 截图(CUA 的眼睛) 元素坐标 ---awaitpage.screenshot(pathstep1_observe.png)boxesawaitpage.eval_on_selector_all(.buy,els els.map(e {const r e.getBoundingClientRect();return {item: e.dataset.item, x: r.x r.width/2, y: r.y r.height/2};}))# --- 2. 决策: 选目标(真实 CUA 此处由视觉模型输出坐标) ---targetnext(bforbinboxesifb[item]USB-C 拖线板)# --- 3. 行动: 按坐标点击, 不用 selector ---awaitpage.mouse.click(target[x],target[y])# --- 4. 再观察: 确认动作效果 ---awaitpage.wait_for_selector(#result,statevisible)resultawaitpage.text_content(#result)awaitpage.screenshot(pathstep4_after.png)print(结果:,result.strip())awaitbrowser.close()asyncio.run(main())预期输出实测 2026-10 观察: 页面商品按钮与中心坐标 机械键盘 center(194, 138) 显示器 center(187, 209) USB-C 拖线板 center(225, 280) 决策: 点击「USB-C 拖线板」 (225,280) 结果: 已下单: USB-C 拖线板 截图: l28_step1_observe.png / l28_step4_after.png换成真视觉模型的接口形状【未实测需 Anthropic API key接口来自官方文档 2026-10】# Anthropic computer use tool 声明与循环骨架接口照官方文档, 未实测responseclient.messages.create(modelclaude-sonnet-5,max_tokens1024,tools[{type:computer_toolset_20260801}],# 17 个成员工具messages[{role:user,content:帮我在商城页买一个 100 元以内的拖线板}],)# stop_reason tool_use 时, content 里是若干 tool_use 块:# {name: screenshot, toolset_name: computer, input: {}}# {name: left_click, toolset_name: computer,# input: {coordinate: [225, 280]}}# 你的运行时执行这些动作 - 把新截图放回 tool_result - 循环到 stop_reason ! tool_use官方 quickstart 仓库在显著位置警告强烈不建议在虚拟机之外运行 computer use agent——沙箱隔离不是可选项。小结CUA 截图观察 坐标操作的 Agent 循环是无 API 系统的兜底自动化有 API 优先 API接口形状Anthropiccomputer_toolset_2026080117 成员工具、OpenAI CUA/Operator、开源 browser-use、企业样板 Project Opalagent 处理动态探索、actor确定性脚本处理精确操作混合模式是主流风险四件套界面变化、误操作、权限失控、注入面最大7 条护栏里观察与行动分离和页面内容视为不可信是第 29 课的主角官方红线CUA 必须跑在 VM/沙箱里。参见第 7 课《工具调用模式给模型装上双手》API 工具的对照面、第 6 课《动手从零写一个最小 Agent Loop》同构循环、第 27 课《部署、扩展与本地化运行》沙箱执行环境、第 29 课《Agent 安全》对本课 Agent 的攻击与加固。扩展阅读 网络提示github.com 需代理clone 可走 ghproxy 加速、push 优先 SSHanthropic.com 需代理核心结论已摘进本课正文openai.com 系需代理协议层知识已进正文实测均可用国产端点替代pip 安装建议加清华镜像-i https://pypi.tuna.tsinghua.edu.cn/simple。详见总纲附录《国内网络访问与国产适配指南》。微软原课第 15 课Browser-Use Playwright 混合工作流 notebookhttps://github.com/microsoft/ai-agents-for-beginners/tree/main/15-browser-useAnthropic computer use tool 官方文档https://docs.anthropic.com/en/docs/agents-and-tools/tool-use/computer-use-toolAnthropic computer-use 最佳实践 quickstartVM 警告原文https://github.com/anthropics/claude-quickstarts/blob/main/computer-use-best-practices/README.mdOpenAI Computer-Using Agent 发布页https://openai.com/index/computer-using-agentbrowser-use开源https://github.com/browser-use/browser-useMicrosoft Project OpalFrontierhttps://support.microsoft.com/en-us/microsoft-365-copilot/get-started-with-project-opal-frontier我的专栏蛋白 / 抗体 / 多肽 / 核酸分子模拟 / 动力学 / 对接药物 / 设计 / 案例AI / Agent / 大模型开源蛋白结构预测分子模拟基础小分子药物设计案例AI Agent系列开源蛋白生成方法实践分子动力学模拟-Amber蛋白药物设计案例化学大模型开源多肽设计模型分子动力学模拟-Gromacs多肽药物设计案例《AI Agent原理与实战》开源多肽性质预测分子动力学模拟-OpenMM开源小分子生成设计CADD中的机器学习模型DNA/RNA药物设计結合自由能高效计算配置《MCP 入门实战》siRNA药物设计模型UCSF DOCK系列我胡师兄说药《AI入门实战2026》ASO药物设计模型rDock系列 LeDock系列 gnina系列《经典机器学习实战》 
长河君 · 2026/10/30 12:33:51 · 阅读 1.2k 《AI Agent原理与实战》2026版 第28课 计算机操作 Agent（CUA）
本文收录于专栏《AI Agent原理与实战》2026版—— 专栏系统覆盖 AI Agent 的记忆、工具、插件与实战点击订阅可跟踪后续更新。本课定位API 之外的最后一块交互疆土让 Agent 直接操作计算机。屏幕观察-决策-行动循环、与 API 工具调用的本质差异、风险清单。本课是 RPA/数字员工方向读者的入口也是下一课安全攻击面的最佳靶子。阶段 5生产与安全 来源课程自研补充关键字计算机操作Agent、CUA、屏幕理解、GUI自动化、数字员工、RPA升级、观察决策行动、风险控制本节目录28.1 CUA 是什么无 API 时的兜底自动化28.2 技术路径观察-决策-行动循环28.3 风险清单本节目录28.1 CUA 是什么无 API 时的兜底自动化28.2 技术路径观察-决策-行动循环28.3 风险清单概念讲解28.1 CUA 是什么无 API 时的兜底自动化 微软第 15 课when computer use agents are a better fitAPI 工具调用第 7 课要求目标系统暴露接口现实中大量系统没有 API老旧内部系统、供应商门户、只有网页界面的管理后台。CUA 的技术路径是屏幕观察 鼠标键盘操作截图给多模态模型看 → 模型输出下一步动作点击坐标/输入文本/按键→ 运行时执行 → 再截图确认循环到任务完成。与 API 工具调用的本质差异维度API 工具调用CUA 屏幕操作接口依赖需要稳定 API无需 API有界面即可可靠性结构化返回可校验界面一变就失效坐标可能点错速度毫秒级每步含截图视觉推理秒级起步安全边界权限可精确分级“能看到的都能点”边界难划成本每次调用便宜每步烧视觉 token结论有稳定 API 就用 APICUA 是兜底——兜没 API的底也兜界面频繁变化导致选择器脚本脆断的底。28.2 技术路径观察-决策-行动循环 微软第 15 课Browser-Use Playwright CDP 架构CUA 的最小循环四步与第 6 课最小 Agent Loop 同构只是工具换成了屏幕原语三条代表性产品线检索日 2026-10Anthropic computer use toolAPI 原生工具集computer_toolset_20260801一个声明给 Claude 17 个成员工具screenshot/left_click/type/zoom等模型每轮可发多个工具调用官方文档同时部署了注入防护分类器截图内容自动扫描疑似注入时引导模型复核指令来源。同族还有作用域收窄到网页内部的 browser use toolOpenAI CUA 模型GPT-4o 视觉 强化学习训练的计算机操作模型最初以研究预览产品Operator2025-01面世2025-07 起整合进ChatGPT Agent统一 Agent 系统里保留了 Operator 的网页操作能力配套 API 供开发者调用内置拒绝清单与站点封锁名单开源 browser-usePython 框架116.8K stars12.9K forksGitHub API 实测 2026-10Browser-Use 驱动浏览器导航可与 Playwright 组合企业级参考 Microsoft Project OpalM365 Copilot 的 Frontier 能力任务描述后在隔离的 Windows 365 Cloud PC 上异步执行浏览器-onlyIntune 强制、用用户自己的身份、全量审计、随时人工接管——生产级 CUA 的信任设计样板。国内读者关心的模型侧CUA 是多模态视觉操作决策任务当前主流实现绑定在 Anthropic/OpenAI 的模型服务上。国产阵营里智谱 GLM 系列的多模态版本、小米 MiMo-VL开源视觉语言模型HuggingFaceXiaomiMiMo/MiMo-VL-7B-RL具备屏幕理解能力开源权重可本地部署做实验但开箱即用的截图→坐标动作成品 API 生态在检索日尚以 Anthropic/OpenAI 最成熟——这正是本课案例用确定性复刻 CUA 接口形状做教学的原因循环机制学会了模型侧哪个可用换哪个。微软课还给出agent vs actor的工程判断动态布局/找元素/意外弹窗交给 agent视觉自适应结构已知/要求精确时序的操作切成确定性脚本Playwright 直控。混合模式是实践主流agent 探路actor 收尾。28.3 风险清单 微软第 15 课Safety Guardrails for Browser Agents 七条护栏CUA 直接操作真实界面风险比 API 调用高一档界面变化改版/弹窗/A-B 测试让既有操作序列失效——需要页面状态模糊即停止的纪律误操作坐标点偏、表单填错、误触删除——高危步骤前要确定性校验URL、已选项、金额、收件人权限失控Agent 用你的登录态操作能看到的都能点——域白名单、专用浏览器配置、动作预算次数/时长/标签页上限是基本盘注入面最大每个页面的每段文字都是潜在的指令输入第 29 课实测。微软课的 7 条安全护栏值得抄录限定浏览环境与域名观察与行动分离搜索提取可自主提交表单/发消息/下单/改设置必须显式批准秘密不进 prompt 与日志页面内容一律视为不可信输入危险步骤周围用代码做确定性校验设预算与停止条件记录有用证据而非全量截屏。案例实战让 Agent 操作网页完成一个真实任务运行环境Windows推荐入门路径Python 3.10 →pip install playwright→playwright install chromium约 150 MB一次性下载Windows 上无需额外依赖Playwright 自带完整浏览器→python l28_cua_demo.py。唯一要改的是脚本里PAGE路径Windows 写法PAGE file:///C:/ai-agent-course/stage5/code/l28_shop.html正斜杠。Linux实测环境 Python 3.10 playwrightchromium-1243 headless。Linux 下playwright install --with-deps chromium可一并补系统依赖无 root 时先跑playwright install报缺库再补。本案例不需要任何 LLM API key——决策环节用确定性定位复刻跑通的是 CUA 的循环机制本身。目标在本地演示商城页面上跑通 CUA 核心循环——截图观察、定位目标坐标、按坐标点击、再截图确认。视觉决策一环用确定性的元素定位复刻同样的截图→坐标→点击接口形状模型决策版本附 Anthropic API 代码未实测需 API key。步骤本地起一个商城页三个商品按钮点击弹下单提示观察截图 列出各按钮中心坐标复刻视觉模型看图找目标的输出决策选定预算内目标商品行动mouse.click(x, y)按坐标点击不用 CSS selector——CUA 就是这样操作的再观察读取结果区文本 截图留证。完整代码# CUA 核心循环: 观察-决策-行动-再观察【已实测】2026-10# Python 3.10 playwright(同步装 chromium-1243) headlessimportasynciofromplaywright.async_apiimportasync_playwright PAGEfile:///path/to/l28_shop.html# 演示商城页(代码包附)asyncdefmain():asyncwithasync_playwright()asp:browserawaitp.chromium.launch(headlessTrue)pageawaitbrowser.new_page(viewport{width:600,height:480})awaitpage.goto(PAGE)# --- 1. 观察: 截图(CUA 的眼睛) 元素坐标 ---awaitpage.screenshot(pathstep1_observe.png)boxesawaitpage.eval_on_selector_all(.buy,els els.map(e {const r e.getBoundingClientRect();return {item: e.dataset.item, x: r.x r.width/2, y: r.y r.height/2};}))# --- 2. 决策: 选目标(真实 CUA 此处由视觉模型输出坐标) ---targetnext(bforbinboxesifb[item]USB-C 拖线板)# --- 3. 行动: 按坐标点击, 不用 selector ---awaitpage.mouse.click(target[x],target[y])# --- 4. 再观察: 确认动作效果 ---awaitpage.wait_for_selector(#result,statevisible)resultawaitpage.text_content(#result)awaitpage.screenshot(pathstep4_after.png)print(结果:,result.strip())awaitbrowser.close()asyncio.run(main())预期输出实测 2026-10 观察: 页面商品按钮与中心坐标 机械键盘 center(194, 138) 显示器 center(187, 209) USB-C 拖线板 center(225, 280) 决策: 点击「USB-C 拖线板」 (225,280) 结果: 已下单: USB-C 拖线板 截图: l28_step1_observe.png / l28_step4_after.png换成真视觉模型的接口形状【未实测需 Anthropic API key接口来自官方文档 2026-10】# Anthropic computer use tool 声明与循环骨架接口照官方文档, 未实测responseclient.messages.create(modelclaude-sonnet-5,max_tokens1024,tools[{type:computer_toolset_20260801}],# 17 个成员工具messages[{role:user,content:帮我在商城页买一个 100 元以内的拖线板}],)# stop_reason tool_use 时, content 里是若干 tool_use 块:# {name: screenshot, toolset_name: computer, input: {}}# {name: left_click, toolset_name: computer,# input: {coordinate: [225, 280]}}# 你的运行时执行这些动作 - 把新截图放回 tool_result - 循环到 stop_reason ! tool_use官方 quickstart 仓库在显著位置警告强烈不建议在虚拟机之外运行 computer use agent——沙箱隔离不是可选项。小结CUA 截图观察 坐标操作的 Agent 循环是无 API 系统的兜底自动化有 API 优先 API接口形状Anthropiccomputer_toolset_2026080117 成员工具、OpenAI CUA/Operator、开源 browser-use、企业样板 Project Opalagent 处理动态探索、actor确定性脚本处理精确操作混合模式是主流风险四件套界面变化、误操作、权限失控、注入面最大7 条护栏里观察与行动分离和页面内容视为不可信是第 29 课的主角官方红线CUA 必须跑在 VM/沙箱里。参见第 7 课《工具调用模式给模型装上双手》API 工具的对照面、第 6 课《动手从零写一个最小 Agent Loop》同构循环、第 27 课《部署、扩展与本地化运行》沙箱执行环境、第 29 课《Agent 安全》对本课 Agent 的攻击与加固。扩展阅读 网络提示github.com 需代理clone 可走 ghproxy 加速、push 优先 SSHanthropic.com 需代理核心结论已摘进本课正文openai.com 系需代理协议层知识已进正文实测均可用国产端点替代pip 安装建议加清华镜像-i https://pypi.tuna.tsinghua.edu.cn/simple。详见总纲附录《国内网络访问与国产适配指南》。微软原课第 15 课Browser-Use Playwright 混合工作流 notebookhttps://github.com/microsoft/ai-agents-for-beginners/tree/main/15-browser-useAnthropic computer use tool 官方文档https://docs.anthropic.com/en/docs/agents-and-tools/tool-use/computer-use-toolAnthropic computer-use 最佳实践 quickstartVM 警告原文https://github.com/anthropics/claude-quickstarts/blob/main/computer-use-best-practices/README.mdOpenAI Computer-Using Agent 发布页https://openai.com/index/computer-using-agentbrowser-use开源https://github.com/browser-use/browser-useMicrosoft Project OpalFrontierhttps://support.microsoft.com/en-us/microsoft-365-copilot/get-started-with-project-opal-frontier我的专栏蛋白 / 抗体 / 多肽 / 核酸分子模拟 / 动力学 / 对接药物 / 设计 / 案例AI / Agent / 大模型开源蛋白结构预测分子模拟基础小分子药物设计案例AI Agent系列开源蛋白生成方法实践分子动力学模拟-Amber蛋白药物设计案例化学大模型开源多肽设计模型分子动力学模拟-Gromacs多肽药物设计案例《AI Agent原理与实战》开源多肽性质预测分子动力学模拟-OpenMM开源小分子生成设计CADD中的机器学习模型DNA/RNA药物设计結合自由能高效计算配置《MCP 入门实战》siRNA药物设计模型UCSF DOCK系列我胡师兄说药《AI入门实战2026》ASO药物设计模型rDock系列 LeDock系列 gnina系列《经典机器学习实战》