如何快速上手 HanaAgentComputer Use 与浏览器自动化让 AI 替你操作电脑全解析【免费下载链接】openhanakoA personal AI agent with memory, personality, and autonomy.项目地址: https://gitcode.com/gh_mirrors/op/openhanakoHanaAgentopenhanako是一个自带记忆、人格与自主性的个人 AI 智能体它的 Computer Use电脑操作与浏览器自动化Browser Automation两大能力能让 AI 像人一样操作桌面应用、点击网页、填写表单成为新手也能快速上手的 AI 自动化助手。一、Computer UseAI 如何操作你的桌面应用HanaAgent 的电脑控制能力位于 core/computer-use/核心工具入口是 computer-use-tool.ts对外暴露一个名为computer的工具。1. 支持哪些平台平台支持规则定义在 platform-support.ts平台默认驱动说明macOSmacos:cua基于系统 CUA计算机使用助手接口Windowswindows:uia基于 UIA 无障碍接口Linuxmock仅模拟不执行真实操作每个平台的默认驱动配置在 provider-contract.ts 中可按需修改。2. AI 能执行哪些动作对模型开放的干净接口包含这些动作见 computer-use-tool.tsstatus / list_apps查看状态、列出可操作的桌面应用start获得对某个应用的“操作租约”leaseget_app_state截取应用当前界面并获取无障碍元素树click_element / type_text / press_key / scroll点击元素、输入文本、按键、滚动stop结束操作设计上有两点值得注意按元素操作而不是按坐标乱点。AI 先获取界面元素树再用稳定的elementId点击比“看坐标点屏幕”可靠得多隐藏了高风险动作。click_point、double_click、drag等像素级动作不向模型开放降低误操作风险。3. 安全机制应用级审批 租约Computer Use 默认是关闭的且 Windows 上向应用注入输入也需要单独开启这些保守默认值定义在 settings.ts。当 AI 想启动控制某个应用时会触发应用审批流程弹出确认卡片由你点击“确认/拒绝”见 buildComputerAppApprovalRequest你确认后审批记录会保存下来同一应用后续操作不再反复打扰操作期间以“租约lease”形式管理随时可以stop释放此外Computer Use 要求当前模型支持图像输入视觉模型这个检查在 model-policy.ts 中完成。macOS 端还提供带渐变动画的专属 Hana 光标让 AI 的点击轨迹清晰可见macos-cua-provider.ts。二、浏览器自动化AI 替你上网冲浪浏览器控制是另一个独立工具代码位于 browser-tool.ts由 browser-manager.ts 管理浏览器生命周期。1. 浏览器工具支持哪些操作browser工具共提供 13 个子命令见 browser-tool.ts类型动作生命周期start启动、stop关闭、show窗口置前导航navigate打开网址、wait等待加载感知snapshot获取无障碍树、screenshot截图交互click、type、scroll、select、key高级evaluate执行页面 JavaScript2. 为什么它快又省AXTree 感知浏览器工具的核心设计是“文本为主、截图为辅”snapshot通过遍历页面 DOM给可交互元素注入data-hana-ref引用见 browser-manager.ts 注释AI 读到的是廉价的无障碍树文本而非一张张截图screenshot仅作为视觉辅助且可以关闭每次动作都会附带running / url / thumbnail状态推送到前端你可以实时看到浏览器缩略图3. 会话隔离与状态保留浏览器自动化对多任务非常友好每个会话独立一个浏览器多开互不干扰最多 5 个并发实例超出时按 LRU 淘汰最久未用的browser-manager.ts切换会话不丢状态切走时浏览器挂起而非销毁切回来表单、滚动位置原样保留登录态持久化Cookies 和 localStorage 由 Electron session 保存AI 帮你登录过的网站下次还认得你闲置自动回收30 分钟无操作后冷保存重启后还能恢复 URL操作日志每个会话记录最近 200 步操作browser-action-log.ts便于回看和纠错零额外依赖直接复用 Electron 内核不需要下载 Chromium 或 Playwright三、两者怎么选场景推荐能力操作微信、备忘录等桌面 AppComputer Use打开网页、填表单、抓数据浏览器自动化需要登录态的重复任务浏览器自动化登录态持久化界面复杂、元素不可枚举Computer Use带视觉模型给新手的建议先在设置里确认 Computer Use 已启用默认关闭并选用支持图像输入的模型首次让 AI 操作某个应用时留意弹窗审批卡片——这是你的“刹车”网页类任务优先用浏览器工具文本感知更快、更省 token需要随时叫停时直接让 AI 执行stop或关闭对应会话即可。小结HanaAgent 用 Computer Use 打通了 AI 与桌面应用的“最后一公里”又用会话隔离、文本优先的浏览器自动化让网页任务又快又稳。配合审批、租约与操作日志等安全设计即使新手也能放心地把重复性操作交给这位有记忆、有人格的 AI 助手。【免费下载链接】openhanakoA personal AI agent with memory, personality, and autonomy.项目地址: https://gitcode.com/gh_mirrors/op/openhanako创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/9/2 11:32:41 · 阅读 1.2k 如何快速上手 HanaAgent：Computer Use 与浏览器自动化，让 AI 替你操作电脑全解析
如何快速上手 HanaAgentComputer Use 与浏览器自动化让 AI 替你操作电脑全解析【免费下载链接】openhanakoA personal AI agent with memory, personality, and autonomy.项目地址: https://gitcode.com/gh_mirrors/op/openhanakoHanaAgentopenhanako是一个自带记忆、人格与自主性的个人 AI 智能体它的 Computer Use电脑操作与浏览器自动化Browser Automation两大能力能让 AI 像人一样操作桌面应用、点击网页、填写表单成为新手也能快速上手的 AI 自动化助手。一、Computer UseAI 如何操作你的桌面应用HanaAgent 的电脑控制能力位于 core/computer-use/核心工具入口是 computer-use-tool.ts对外暴露一个名为computer的工具。1. 支持哪些平台平台支持规则定义在 platform-support.ts平台默认驱动说明macOSmacos:cua基于系统 CUA计算机使用助手接口Windowswindows:uia基于 UIA 无障碍接口Linuxmock仅模拟不执行真实操作每个平台的默认驱动配置在 provider-contract.ts 中可按需修改。2. AI 能执行哪些动作对模型开放的干净接口包含这些动作见 computer-use-tool.tsstatus / list_apps查看状态、列出可操作的桌面应用start获得对某个应用的“操作租约”leaseget_app_state截取应用当前界面并获取无障碍元素树click_element / type_text / press_key / scroll点击元素、输入文本、按键、滚动stop结束操作设计上有两点值得注意按元素操作而不是按坐标乱点。AI 先获取界面元素树再用稳定的elementId点击比“看坐标点屏幕”可靠得多隐藏了高风险动作。click_point、double_click、drag等像素级动作不向模型开放降低误操作风险。3. 安全机制应用级审批 租约Computer Use 默认是关闭的且 Windows 上向应用注入输入也需要单独开启这些保守默认值定义在 settings.ts。当 AI 想启动控制某个应用时会触发应用审批流程弹出确认卡片由你点击“确认/拒绝”见 buildComputerAppApprovalRequest你确认后审批记录会保存下来同一应用后续操作不再反复打扰操作期间以“租约lease”形式管理随时可以stop释放此外Computer Use 要求当前模型支持图像输入视觉模型这个检查在 model-policy.ts 中完成。macOS 端还提供带渐变动画的专属 Hana 光标让 AI 的点击轨迹清晰可见macos-cua-provider.ts。二、浏览器自动化AI 替你上网冲浪浏览器控制是另一个独立工具代码位于 browser-tool.ts由 browser-manager.ts 管理浏览器生命周期。1. 浏览器工具支持哪些操作browser工具共提供 13 个子命令见 browser-tool.ts类型动作生命周期start启动、stop关闭、show窗口置前导航navigate打开网址、wait等待加载感知snapshot获取无障碍树、screenshot截图交互click、type、scroll、select、key高级evaluate执行页面 JavaScript2. 为什么它快又省AXTree 感知浏览器工具的核心设计是“文本为主、截图为辅”snapshot通过遍历页面 DOM给可交互元素注入data-hana-ref引用见 browser-manager.ts 注释AI 读到的是廉价的无障碍树文本而非一张张截图screenshot仅作为视觉辅助且可以关闭每次动作都会附带running / url / thumbnail状态推送到前端你可以实时看到浏览器缩略图3. 会话隔离与状态保留浏览器自动化对多任务非常友好每个会话独立一个浏览器多开互不干扰最多 5 个并发实例超出时按 LRU 淘汰最久未用的browser-manager.ts切换会话不丢状态切走时浏览器挂起而非销毁切回来表单、滚动位置原样保留登录态持久化Cookies 和 localStorage 由 Electron session 保存AI 帮你登录过的网站下次还认得你闲置自动回收30 分钟无操作后冷保存重启后还能恢复 URL操作日志每个会话记录最近 200 步操作browser-action-log.ts便于回看和纠错零额外依赖直接复用 Electron 内核不需要下载 Chromium 或 Playwright三、两者怎么选场景推荐能力操作微信、备忘录等桌面 AppComputer Use打开网页、填表单、抓数据浏览器自动化需要登录态的重复任务浏览器自动化登录态持久化界面复杂、元素不可枚举Computer Use带视觉模型给新手的建议先在设置里确认 Computer Use 已启用默认关闭并选用支持图像输入的模型首次让 AI 操作某个应用时留意弹窗审批卡片——这是你的“刹车”网页类任务优先用浏览器工具文本感知更快、更省 token需要随时叫停时直接让 AI 执行stop或关闭对应会话即可。小结HanaAgent 用 Computer Use 打通了 AI 与桌面应用的“最后一公里”又用会话隔离、文本优先的浏览器自动化让网页任务又快又稳。配合审批、租约与操作日志等安全设计即使新手也能放心地把重复性操作交给这位有记忆、有人格的 AI 助手。【免费下载链接】openhanakoA personal AI agent with memory, personality, and autonomy.项目地址: https://gitcode.com/gh_mirrors/op/openhanako创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考