公司有两套内部系统没有 API只有十年历史的老后台。每个月做报表要从后台导出七八个文件再合并同事手工操作要一个多小时。我试着让 Agent 直接操作浏览器来做前两周全是坑这篇把踩过的都列出来。先给结论表。环节常见问题解法截图理解全屏截图缩小后看不清按区域裁剪关键控件单独放大坐标点击缩放与双屏导致点偏记录缩放系数坐标按比例换算步骤验证点了没反应也算成功每步操作后截图核对状态危险动作误点删除、误提交危险按钮外置清单人工确认一、截图怎么给模型看全屏 1920 乘 1080 的截图直接缩到模型输入尺寸表格里的字全糊了模型把导出看成导入。我的做法是先按功能区裁剪工具栏和列表区域分开送按钮附近再单独放大一档。分辨率直接决定成本图片越多每步的 token 越贵。一份两千像素宽的全屏截图按分块计算能吃掉上千 token裁剪之后常见操作步只要三分之一。多截图和少截图的平衡点在任务类型上表单填写看区域图表确认看全屏。二、点击定位的老坑坐标换算听着简单实际第一个坑就是显示缩放。Windows 在 125% 缩放下截图坐标和实际点击位置差一截点导出按钮点到了旁边的刷新。解决办法是启动时拿一张已知控件截图做标定把缩放系数存下来后续坐标全部换算。双屏是第二个坑。虚拟桌面坐标可能是负的第二块屏幕的 X 从负值开始。截图范围只覆盖第二屏时模型给的坐标是相对截图的点击时忘了加偏移全点空。三、每步验证别信假设第一版最要命的毛病是乐观执行。点击之后不检查结果直接进下一步二十步操作错在中途后面全废。改成每步操作后截图核对关键区域出现预期变化才进下一步。多出来的截图成本比整段重跑便宜得多。失败重试也有讲究。点偏了重试要有退避连续两次在同一坐标失败就换策略滚动一屏再找或者放大区域重新定位。死磕同一个坐标只会烧 token。四、危险动作要外置老后台的删除和提交没有二次确认弹窗点下去就生效。这类动作我列了一份清单Agent 执行到该步骤时暂停截图发给值班同事确认再继续接入方式和人工审核队列篇的确认卡一致。清单之外还有一个兜底录制完整操作日志和截图序列任何一步出问题可以回看现场。五、实测账指标数值口径报表任务成功率82%三十次试验平均步数26 步含验证截图单次任务耗时6 分钟人工约 40 分钟单次成本约 1.2 元含截图 token口径说明。数字来自自己项目的单人单机场景分辨率 1080P任务类型是数据导出与合并。更复杂的界面和更长的流程成功率会明显下降。六、踩坑记录坑一缩放系数没标定。125% 缩放下所有坐标系统性偏移排查了两个晚上才定位到显示设置。启动标定现在是固定动作。坑二弹窗遮挡。广告弹窗和老系统提示框会盖住按钮点击落在弹窗上。每步验证发现状态没变化加了弹窗检测出现就先关闭再继续。坑三模型自报成功。操作完成与否让模型自己判断它会说完成实际表格还停在筛选条件错误的页面上。验证必须截图取证看具体状态不看模型的结论。七、总结环节一句话截图按区域裁剪控件放大坐标启动标定缩放多屏记偏移验证每步截图核对不采信自报重试同点失败换策略退避重试危险清单外置人工确认结合系列。执行循环篇讲 Agent 循环的进度和停机判定这篇是它在图形界面场景的落地。人工审核队列篇的确认卡接危险动作。结构化输出篇的坐标字段校验放在点击之前格式不对就重新定位。来源。电脑操作 Agent 的截图与点击方案按自己的项目实践整理行业侧的多模态感知与端侧部署信号参考了公开文章《让 AI 通过屏幕和机器人进入真实世界》实测数字按自己的项目口径。觉得有用点个关注。