GitHub每日热评Goldie深度评测编码Agent自动化生成App Store截图与预览视频内置苹果上架合规校验如果你做过独立开发大概率经历过这种崩溃瞬间版本迭代完需求写完了提审前最耗时间的不是代码而是给App Store准备那套截图和预览视频。6.7寸、6.5寸、5.5寸三套尺寸每套要4张起步还要体现不同功能页面状态栏要干净、文案要踩点、背景要统一一套整下来半天没了。等你好不容易做完截图发现苹果要求预览视频也要按设备尺寸输出又得重新录屏、剪辑、卡时长、调码率。这还没完等你提审后收到邮件因为某个截图的隐私权限弹窗没盖掉直接被判Reject——那一刻真的很想摔电脑。Goldie这个项目就是冲着这些痛点去的。它本质上是把编码Agent的概念引入到App Store素材生产流程里你给定App的基础信息和宣传点它自动跑模拟器、自动截图、自动渲染视频、自动做合规检测最后把一套符合苹果规格的素材包交付给你。这篇文章我打算从实际使用体验出发拆解它到底做了什么、怎么做到的、哪些环节设计得聪明、哪些地方还有坑以及你该怎么在真实上架流程里用它。1. 项目拆解Goldie到底在解决什么问题1.1 从App Store素材生产的痛点说起我们先看一个最现实的问题为什么App Store截图和预览视频这么麻烦先说截图。苹果对Ask App、截图规格的要求分散在好几份文档里而且经常更新。每种尺寸有明确的像素要求6.7寸对应1290 x 27966.5寸对应1242 x 26885.5寸对应1242 x 2208iPad还需要单独的尺寸。单套截图做出来不难难的是你需要在不同尺寸间保持信息层级一致文字不能裁切、按钮不能移动状态栏要干净两级页面之间的逻辑要清楚。这些要求使得截图本质上是一份视觉设计工程不是随手截屏就完事的。再说预览视频。它要求是30秒以内建议三种尺寸都提供要展示App的实际使用过程而且不能是静态图轮播。这就意味着要有录制脚本、要规划场景拆解、要剪辑转场、要控制文件编码规格。以前我做预览视频用的是Simulator录制屏幕再进Final Cut Pro剪辑流程极其痛苦App界面稍微调整一个圆角整套视频素材就要重录。第三个痛点藏得比较深就是合规。截图里如果出现了用户数据、其他App的界面、第三方版权素材或者隐私权限弹窗没有处理干净审核人员是可以直接拒的。很多开发者会觉得我这截图就是真实使用场景有什么问题但苹果对很多细节是有明确判定的比如状态栏时间不对都可能被要求修改。这三层痛点叠加在一起就是Goldie存在的理由把截图生产、视频生成、合规检查全部通过Agent自动化Pipeline完成。你不用手动攒素材而是告诉它你的App是做什么的、有哪些核心功能它自己去Simulator里跑、去录制、去排版、去质检。1.2 Goldie在GitHub生态里的定位Goldie这个项目在GitHub上属于Release Engineering AI Agent的交叉领域。它不属于传统的Fastlane工具链Fastlane也能自动截图但更多是图个便利它不具备智能排班、渲染视频、合规审查的能力也不是一个简单的Swift脚本工具而是真正在跑Agent Workflow任务拆解、模拟器控制、视觉验证、报告生成是一套完整的自动化链路。我把它归类为编码Agent在生产交付环节的典型应用。编码Agent通常被用在代码生成、代码审查这些场景里但Goldie展示了一个更有价值的切入点把视觉生产型任务自动化。这类任务以前被认为是很难交给Agent的因为它涉及视觉审美、内容组织、平台规则不像代码生成那样有明确的逻辑正确性。但Goldie用工程手段把这些问题拆成了可验证的子任务这个设计思路本身就很值得研究。2. 上手实测从仓库克隆到产出第一套素材2.1 环境准备与项目初始化我第一次跑Goldie的时候最先感受到的是它对环境的要求比一般脚本工具高——它不只是跑在你电脑上的一个命令而是要跟Xcode Simulator、Apple开发证书、App Store Connect元数据打交道。官方README给出的依赖项包括Xcode 15以上、Python 3.11以上、Node.js 20以上以及一个配置好的iOS项目支持模拟器构建。值得留意的是项目要求你本地的Xcode已经下载了对应iOS Runtime的模拟器镜像而且至少有一个Scheme配置为可运行的状态。初始化过程用了一段自动安装脚本会把Agent运行时、视觉检测模型依赖、视频编码工具链都一起配好git clone https://github.com/GoldieApp/Goldie.git cd Goldie ./scripts/setup.sh这段脚本本身是幂等设计断开重跑不会重复装依赖。不过如果你的Python环境是系统自带的可能在安装onnxruntime那一步会遇到权限问题建议先用pyenv或者conda建一个干净的虚拟环境再跑setup。2.2 配置App基础信息与素材输出目录跑通安装后会进入一个配置文件编辑的阶段。Goldie使用一个YAML文件来定义项目参数大致结构是这样的app: name: MyAwesomeApp bundle_id: com.example.myapp primary_marketing_text: AI驱动的待办事项管理 screenshots: languages: [zh-Hans, en-US] device_frames: true preview_video: duration: 25 scenarios: - feature: 新增任务 - feature: 智能分类 - feature: 数据统计这些字段的含义比较直白languages决定截图和视频需要产出哪些语言版本device_frames控制是否给截图套上iPhone的外框scenarios是预览视频的拍摄脚本Goldie根据这些场景关键词去App里执行对应操作。你甚至可以配置每个场景的录制时长和转场类型比如从底部推入还是淡入淡出。配置完这些之后第一次跑生成任务时Goldie会先做一次模拟器预热——它会启动指定型号的模拟器安装一个Debug包然后跑一个冒烟测试确认App能正常启动。这一步如果失败后面所有流程都不会开始所以也算是一个很好的前置校验。2.3 生成过程中的Agent任务编排日志实际生成过程是Goldie最有意思的部分。它不是简单执行预录制脚本而是通过Agent调度自动决定什么时候触发截图、什么时候切换模拟器尺寸、什么时候开始渲染视频。我在跑一个Demo项目时观察到它的日志输出大致如下[Agent] Step 1/8: 在 iPhone 15 Pro Max 模拟器上安装 app [Agent] Step 2/8: 启动 app 并等待首屏渲染完成 [Agent] Step 3/8: 识别首屏元素 - 共找到 4 个可用Tab选择「添加任务」入口 [Agent] Step 4/8: 触发点击操作等待列表动画完成后截取第一张图 [Agent] Step 5/8: 切换至 iPhone 15 Pro 模拟器重新执行场景这个过程说明Agent并不是简单弹出一堆死命令而是能感知当前模拟器UI状态再决定下一步动作。具体原理我后面会展开但这里可以直观感受到Goldie在交互编排上做了不少功力它不是录制宏而是真正在理解页面。整个生成耗时取决于你有多少个录制场景。以我那个Demo为例5个场景、2种语言、3种尺寸大约跑了20多分钟。其中大头是模拟器切换和视频渲染截图本身很快。3. 核心机制拆解页面理解、视觉定位和Apple规格适配3.1 视觉模型与UI元素识别Goldie怎么看懂你的AppGoldie能自动截图关键在于它解决了它怎么知道该点哪里的问题。它内置了一个视觉模型专门用于识别iOS原生控件。包括按钮、Tab Bar、列表项、导航栏标题这些基础元素。它的工作流程是这样的模拟器截图传进视觉模型后模型会输出一组带坐标的UI元素列表类似Button at (x:120, y:340)或者TabBarItem at (x:200, y:820)。Agent拿到这些坐标后按照你的scenarios配置调用xcrun simctl来执行点击和滑动操作。这套机制的效果直接决定了素材能不能真实反映App的功能核心。我在测试中遇到一个情况App里有一个自动生成的「每日摘要」卡片视觉模型在识别时把它判成了按钮结果Agent就点进去了。这本身不算错但跑出来的截图不是我期望的页面。后来我发现在配置里可以用exclude_elements来排除某些区域或者在场景定义里加一步跳过首屏卡片。3.2 截图分辨率与语言适配的自动化策略App Store对不同设备有不同分辨率要求Goldie的策略是在后台维护一个设备规格表针对每个尺寸启动对应的模拟器然后把已经录制好的操作流重放一遍。语言适配的做法也很有意思。它不是简单地在App里切换语言然后重录一遍而是直接修改模拟器启动参数里的-AppleLanguages和-AppleLocale让App在非侵入式状态下以目标语言启动。这样你不需要在App内部做任何本地化切换逻辑Goldie直接操作系统层设置就能得到对应语言的UI截图。这套方案的优点在于操作流可以复用。你只需要录制一次中文场景脚本然后在跑英文版本时Agent会重新执行一次脚本但页面元素上的英文文案会被视觉模型自动输入到截图排版模板中最终得到的截图布局一致、标题文案替换为英文非常适合多语言上架的开发者。3.3 视频生成背后的渲染管线预览视频的生成是Goldie比较有技术含量的部分。它录制的不是模拟器的屏幕流而是通过模拟器内的IOSurface捕获每一帧渲染画面。这样可以保证画面不卡顿、不闪烁码率稳定。生成流程大概是Agent执行录制脚本产出多段高帧率原始视频素材将每段素材按照scenarios的顺序编号并标注期望的动作文字提示进入渲染阶段Goldie创建一个合成轨道把转场、文案叠加层、背景音乐叠加上去最后根据Apple规格转码输出H.264编码、30fps、指定分辨率的MOV文件。我注意到配置里还有一个video_padding参数意思是每段场景前后额外保留0.5秒空镜这样转场不会显得突兀。苹果对过渡效果没有硬性限制但比较推荐转场不超过0.5秒所以这个默认值设置得还挺专业的。整体感觉是Goldie的视频生成管线是站在苹果Human Interface Guidelines的肩膀上设计的它生成的视频天然满足大部分App Store预览视频的隐性要求比如开头3秒内要出现核心功能、不能有静止画面超过5秒等。这些细节它不是通过后期检测来保证的而是通过Agent录制时的场景规划来从源头规避。4. 内置合规校验它到底在验证什么4.1 合规检查项与苹果审核文件的对应关系Goldie官方宣称的内置苹果上架合规校验是我最关心的部分因为提审被拒的坑多数不在功能而在素材。实际测试下来它主要做的是以下几类检查合规检测项Goldie的处理方式对应审核风险点截图中状态栏时间/运营商自动替换为固定值或模糊处理避免状态栏与实际时间不一致的拒审理由用户隐私数据通讯录、照片、定位等视觉模型识别弹窗与列表自动打码防止个人隐私信息泄露引发的审核问题是否包含其他平台UI元素检测是否有Android风格的图标或导航栏避免出现非iOS风格的设计版权素材检测识别截图中的商标、名人肖像、音频波形降低因素材版权产生的侵权投诉年龄分级相关文案检查是否包含敏感词或不适宜内容配合Age Rating问卷的准确性第三方登录按钮检测是否含有微信/QQ/Google等图标避免审核时对第三方登录的合规性质疑这些检查项不是凭空想出来的基本都能在App Store Review Guidelines或者常见的被拒邮件里找到对应条款。Goldie把它们做成了规则引擎视觉模型负责提供证据规则引擎负责判定最后在终端输出一份合规检查报告。4.2 隐私弹窗与敏感内容处理的实际效果隐私弹窗是黄金案例。常规做法下开发者为了让截图干净往往在截屏前手动关掉权限弹窗但这会带来一个问题如果App在首次启动时必然触发定位权限请求你截图上没有弹窗审核人员反而觉得奇怪——为什么这个App的定位功能在截图上完全不显示Goldie的默认策略不是隐藏弹窗而是把它专业化地处理掉它会记录弹窗出现的位置与文案然后在截图上用一张设计模板覆盖弹窗区域同时保留页面背景的层级关系。这样出来的截图既干净又不会让审核人员觉得功能缺失。敏感内容处理方面Goldie有一个人脸和文本检测模型。我拿一个包含通讯录列表的App测试它能准确识别出联系人姓名区域并应用高斯模糊但不会模糊掉整个列表所以版面看起来仍然完整。这个效果比我手动在Sketch里打码自然多了。4.3 校验报告的解读与实践意义每次生成完成后Goldie会在输出目录里生成一份compliance_report.html。打开后能看到每个检查项的状态包括通过、警告、失败以及对应的截图裁剪证据。警告项的判定比较有意思它不是百分百拦截而是给通过率评分。比如一个截图里如果检测到很小的logo判定为可能性中等的话会提示你手动确认而不是一刀切打回。这种设计很贴合实际因为合规本身是模糊地带。Goldie想做的是降低风险而不是替代你的判断。我实践下来认为它能把80%的明显问题提前挡掉剩下的20%仍然需要你自己对照审核指南确认。5. 选型心得与踩坑复盘和Fastlane等方案的真实对比5.1 为什么我看到Goldie之前没有彻底解决截图自动化在Goldie之前主流方案有两条路线。一是Fastlane的snapshot工具配合UI测试脚本自动截图。它能解决不用手动截图的问题但问题在于截图内容是固定的你必须自己写好每个页面的UI测试用例而且截图后的排版、状态栏处理、语言适配它一概不负责。你最终拿到手的是一堆原始截图后续设计工作量一点没少。二是自己做一套基于模拟器控制的脚本体系用scrcpy或idb来控制模拟器再配合图像识别库来定位按钮。这条路能实现类似效果但工程量大到超出大多数个人开发者的承受范围而且App每次界面改动你的脚本定位逻辑就要跟着改一批。Goldie的价值恰好在这两条路的空白区里它保留了Fastlane式的便捷跑批又引入了视觉模型和Agent调度让脚本对UI变化的容忍度提高了不少。外加合规校验这一层它已经不是一个单纯的截图工具而是一个素材生产质检一体化的解决方案。5.2 使用中遇到的三个主要问题第一个问题是状态栏替换偶发失效。Goldie会在截图后用图像合成方式替换状态栏文本但偶尔会因为页面状态栏背景颜色过浅导致替换后的文字看不清。我遇到一次在白色页面上的状态栏替换后的时间文字几乎隐形肉眼都难分辨。这个问题的解决方式是在配置里手动指定每个截图的状态栏文字颜色虽然多一步但至少可控。第二个问题是Agent有时会点击到深层页面。因为视觉模型对可点击元素的定义比较宽某些卡片视图整体被识别成一个大按钮导致Agent点击后跳到了推送通知设置等页面。解决办法是在配置里给页面增加操作断言——类似截图确认当前页面包含NavigationBarTitle为设置如果断言失败就回退到上一页。第三个问题是视频渲染速度。在MacBook Pro M1 Pro上渲染一段25秒的预览视频耗时大约7分钟。如果你的项目有5个场景两套语言全部渲染完成至少需要占用半小时以上的CPU。如果你在用笔记本做其他工作这个渲染进程会导致风扇狂转。建议放到晚上睡觉前跑或者使用CI服务器执行。5.3 什么场景下最推荐用Goldie从投入产出比来看Goldie不是所有团队都需要的工具但它特别适合以下情况独立开发者或小团队全员压缩、时间成本高没有专门的素材设计师。只要配置好一次之后每个版本都能自动生成素材包节省大量重复劳动。多语言上架的团队。Goldie的语言适配链路很成熟你只要维护一份配置就能像工厂流水线一样产出所有目标语言版本的素材。对审核合规要求高、之前被拒过的团队。Goldie的合规校验帮你提前过滤信息不至于每次都被同一个原因打回。如果你做的是工具类App界面相对简单没有复杂的富交互页面那Goldie出彩的程度可能没那么明显。但对于内容型、社交型、数据统计型这类页面切换频繁的App它发挥的空间会大很多。6. 进阶配置与扩展思路让Agent真正融入你的发布流程6.1 接入CI/CD让每次提审前自动生成并校验素材Goldie不只是一个本地工具它也支持在CI环境下运行。我在配置里看到它对GitHub Actions和GitLab CI都提供了示例配置。思路是当你打上release/前缀的tag时CI触发Goldie任务自动生成全套素材并把合规报告上传到artifact中心。这样做最大的好处是强制把素材生产变成发布流程里的一个前置检查。如果合规报告出现失败状态CI流程会直接中断阻止你进入提审环节。这样设计后我再也没有出现过因为截图问题被拒的情况。接入CI时需要注意的一点是CI Runner必须能启动iOS模拟器。这意味着你不能使用macOS以外的Runner而且需要在Runner上预先安装好对应版本的Xcode和Runtime镜像。如果你想用云服务得选带macOS环境的成本稍高但省去了本机排队等待的时间。6.2 自定义视觉模型适应非标准UI组件Goldie默认的视觉模型对iOS原生控件识别率很高但如果你用的是Flutter或者React Native这类跨端框架部分自定义组件的识别率会有所下降。好在项目提供了模型微调的能力你可以采集一批你App里的UI截图标注好按钮和导航栏位置再用它的训练脚本跑一轮就能显著提升识别准确度。这个微调过程门槛不低你需要懂一些数据标注和模型训练的基础知识。不过对于动态型产品团队来说这个功能的战略价值很大越用越准相当于团队内部积累了一套针对自己产品的UI理解模型。我现在已经为公司的App跑了两个版本的微调模型从最初的识别率78%提升到现在94%。6.3 从素材生产到完整发布自动化的延伸展望Goldie目前聚焦在素材生产与合规校验但它的底层Agent架构其实可以延伸到更多发布环节。比如它可以连接App Store Connect API将生成的截图和视频直接上传到对应App版本下也可以对接本地化服务把产品文案自动翻译再填充到截图模板里。我自己已经在构思一个扩展通过Goldie生成多版本素材再用可视化回归对比来管理不同版本的截图一致性确保每次UI改动不会在视觉层面引入回归。这个如果做出来对多人协作的团队会有很大的帮助。写在最后我的使用体会与一些小建议Goldie这个项目我觉得最值得赞赏的地方不是它自动化了截图而是它把素材生产这个以前被当成设计任务的环节重新定义成了可自动化的工程任务。它没有试图替代设计师而是把重复劳动交给Agent让人能把精力花在更有创造性的地方。如果你准备尝试验证一下我建议先去跑一个Demo项目感受它整套链路不要一上来就接入正式项目。第一次跑通大概需要半天时间其中一半是安装依赖和熟悉配置。等你对它的行为模式有了感觉再逐步引入到正式发布流程中。有一点千万别忽视Goldie产出的素材再好最终提交前还是建议人工在真实设备上看一眼。不是说不信任工具而是审核是人工判定的素材在每个设备上的视觉效果只有肉眼能做出最佳判断。把它当成素材生产与检查的加速器你的发布流程会顺畅很多。 
长河君 · 2026/9/6 12:41:05 · 阅读 1.2k Goldie实战：编码Agent自动化生成App Store截图与预览视频
GitHub每日热评Goldie深度评测编码Agent自动化生成App Store截图与预览视频内置苹果上架合规校验如果你做过独立开发大概率经历过这种崩溃瞬间版本迭代完需求写完了提审前最耗时间的不是代码而是给App Store准备那套截图和预览视频。6.7寸、6.5寸、5.5寸三套尺寸每套要4张起步还要体现不同功能页面状态栏要干净、文案要踩点、背景要统一一套整下来半天没了。等你好不容易做完截图发现苹果要求预览视频也要按设备尺寸输出又得重新录屏、剪辑、卡时长、调码率。这还没完等你提审后收到邮件因为某个截图的隐私权限弹窗没盖掉直接被判Reject——那一刻真的很想摔电脑。Goldie这个项目就是冲着这些痛点去的。它本质上是把编码Agent的概念引入到App Store素材生产流程里你给定App的基础信息和宣传点它自动跑模拟器、自动截图、自动渲染视频、自动做合规检测最后把一套符合苹果规格的素材包交付给你。这篇文章我打算从实际使用体验出发拆解它到底做了什么、怎么做到的、哪些环节设计得聪明、哪些地方还有坑以及你该怎么在真实上架流程里用它。1. 项目拆解Goldie到底在解决什么问题1.1 从App Store素材生产的痛点说起我们先看一个最现实的问题为什么App Store截图和预览视频这么麻烦先说截图。苹果对Ask App、截图规格的要求分散在好几份文档里而且经常更新。每种尺寸有明确的像素要求6.7寸对应1290 x 27966.5寸对应1242 x 26885.5寸对应1242 x 2208iPad还需要单独的尺寸。单套截图做出来不难难的是你需要在不同尺寸间保持信息层级一致文字不能裁切、按钮不能移动状态栏要干净两级页面之间的逻辑要清楚。这些要求使得截图本质上是一份视觉设计工程不是随手截屏就完事的。再说预览视频。它要求是30秒以内建议三种尺寸都提供要展示App的实际使用过程而且不能是静态图轮播。这就意味着要有录制脚本、要规划场景拆解、要剪辑转场、要控制文件编码规格。以前我做预览视频用的是Simulator录制屏幕再进Final Cut Pro剪辑流程极其痛苦App界面稍微调整一个圆角整套视频素材就要重录。第三个痛点藏得比较深就是合规。截图里如果出现了用户数据、其他App的界面、第三方版权素材或者隐私权限弹窗没有处理干净审核人员是可以直接拒的。很多开发者会觉得我这截图就是真实使用场景有什么问题但苹果对很多细节是有明确判定的比如状态栏时间不对都可能被要求修改。这三层痛点叠加在一起就是Goldie存在的理由把截图生产、视频生成、合规检查全部通过Agent自动化Pipeline完成。你不用手动攒素材而是告诉它你的App是做什么的、有哪些核心功能它自己去Simulator里跑、去录制、去排版、去质检。1.2 Goldie在GitHub生态里的定位Goldie这个项目在GitHub上属于Release Engineering AI Agent的交叉领域。它不属于传统的Fastlane工具链Fastlane也能自动截图但更多是图个便利它不具备智能排班、渲染视频、合规审查的能力也不是一个简单的Swift脚本工具而是真正在跑Agent Workflow任务拆解、模拟器控制、视觉验证、报告生成是一套完整的自动化链路。我把它归类为编码Agent在生产交付环节的典型应用。编码Agent通常被用在代码生成、代码审查这些场景里但Goldie展示了一个更有价值的切入点把视觉生产型任务自动化。这类任务以前被认为是很难交给Agent的因为它涉及视觉审美、内容组织、平台规则不像代码生成那样有明确的逻辑正确性。但Goldie用工程手段把这些问题拆成了可验证的子任务这个设计思路本身就很值得研究。2. 上手实测从仓库克隆到产出第一套素材2.1 环境准备与项目初始化我第一次跑Goldie的时候最先感受到的是它对环境的要求比一般脚本工具高——它不只是跑在你电脑上的一个命令而是要跟Xcode Simulator、Apple开发证书、App Store Connect元数据打交道。官方README给出的依赖项包括Xcode 15以上、Python 3.11以上、Node.js 20以上以及一个配置好的iOS项目支持模拟器构建。值得留意的是项目要求你本地的Xcode已经下载了对应iOS Runtime的模拟器镜像而且至少有一个Scheme配置为可运行的状态。初始化过程用了一段自动安装脚本会把Agent运行时、视觉检测模型依赖、视频编码工具链都一起配好git clone https://github.com/GoldieApp/Goldie.git cd Goldie ./scripts/setup.sh这段脚本本身是幂等设计断开重跑不会重复装依赖。不过如果你的Python环境是系统自带的可能在安装onnxruntime那一步会遇到权限问题建议先用pyenv或者conda建一个干净的虚拟环境再跑setup。2.2 配置App基础信息与素材输出目录跑通安装后会进入一个配置文件编辑的阶段。Goldie使用一个YAML文件来定义项目参数大致结构是这样的app: name: MyAwesomeApp bundle_id: com.example.myapp primary_marketing_text: AI驱动的待办事项管理 screenshots: languages: [zh-Hans, en-US] device_frames: true preview_video: duration: 25 scenarios: - feature: 新增任务 - feature: 智能分类 - feature: 数据统计这些字段的含义比较直白languages决定截图和视频需要产出哪些语言版本device_frames控制是否给截图套上iPhone的外框scenarios是预览视频的拍摄脚本Goldie根据这些场景关键词去App里执行对应操作。你甚至可以配置每个场景的录制时长和转场类型比如从底部推入还是淡入淡出。配置完这些之后第一次跑生成任务时Goldie会先做一次模拟器预热——它会启动指定型号的模拟器安装一个Debug包然后跑一个冒烟测试确认App能正常启动。这一步如果失败后面所有流程都不会开始所以也算是一个很好的前置校验。2.3 生成过程中的Agent任务编排日志实际生成过程是Goldie最有意思的部分。它不是简单执行预录制脚本而是通过Agent调度自动决定什么时候触发截图、什么时候切换模拟器尺寸、什么时候开始渲染视频。我在跑一个Demo项目时观察到它的日志输出大致如下[Agent] Step 1/8: 在 iPhone 15 Pro Max 模拟器上安装 app [Agent] Step 2/8: 启动 app 并等待首屏渲染完成 [Agent] Step 3/8: 识别首屏元素 - 共找到 4 个可用Tab选择「添加任务」入口 [Agent] Step 4/8: 触发点击操作等待列表动画完成后截取第一张图 [Agent] Step 5/8: 切换至 iPhone 15 Pro 模拟器重新执行场景这个过程说明Agent并不是简单弹出一堆死命令而是能感知当前模拟器UI状态再决定下一步动作。具体原理我后面会展开但这里可以直观感受到Goldie在交互编排上做了不少功力它不是录制宏而是真正在理解页面。整个生成耗时取决于你有多少个录制场景。以我那个Demo为例5个场景、2种语言、3种尺寸大约跑了20多分钟。其中大头是模拟器切换和视频渲染截图本身很快。3. 核心机制拆解页面理解、视觉定位和Apple规格适配3.1 视觉模型与UI元素识别Goldie怎么看懂你的AppGoldie能自动截图关键在于它解决了它怎么知道该点哪里的问题。它内置了一个视觉模型专门用于识别iOS原生控件。包括按钮、Tab Bar、列表项、导航栏标题这些基础元素。它的工作流程是这样的模拟器截图传进视觉模型后模型会输出一组带坐标的UI元素列表类似Button at (x:120, y:340)或者TabBarItem at (x:200, y:820)。Agent拿到这些坐标后按照你的scenarios配置调用xcrun simctl来执行点击和滑动操作。这套机制的效果直接决定了素材能不能真实反映App的功能核心。我在测试中遇到一个情况App里有一个自动生成的「每日摘要」卡片视觉模型在识别时把它判成了按钮结果Agent就点进去了。这本身不算错但跑出来的截图不是我期望的页面。后来我发现在配置里可以用exclude_elements来排除某些区域或者在场景定义里加一步跳过首屏卡片。3.2 截图分辨率与语言适配的自动化策略App Store对不同设备有不同分辨率要求Goldie的策略是在后台维护一个设备规格表针对每个尺寸启动对应的模拟器然后把已经录制好的操作流重放一遍。语言适配的做法也很有意思。它不是简单地在App里切换语言然后重录一遍而是直接修改模拟器启动参数里的-AppleLanguages和-AppleLocale让App在非侵入式状态下以目标语言启动。这样你不需要在App内部做任何本地化切换逻辑Goldie直接操作系统层设置就能得到对应语言的UI截图。这套方案的优点在于操作流可以复用。你只需要录制一次中文场景脚本然后在跑英文版本时Agent会重新执行一次脚本但页面元素上的英文文案会被视觉模型自动输入到截图排版模板中最终得到的截图布局一致、标题文案替换为英文非常适合多语言上架的开发者。3.3 视频生成背后的渲染管线预览视频的生成是Goldie比较有技术含量的部分。它录制的不是模拟器的屏幕流而是通过模拟器内的IOSurface捕获每一帧渲染画面。这样可以保证画面不卡顿、不闪烁码率稳定。生成流程大概是Agent执行录制脚本产出多段高帧率原始视频素材将每段素材按照scenarios的顺序编号并标注期望的动作文字提示进入渲染阶段Goldie创建一个合成轨道把转场、文案叠加层、背景音乐叠加上去最后根据Apple规格转码输出H.264编码、30fps、指定分辨率的MOV文件。我注意到配置里还有一个video_padding参数意思是每段场景前后额外保留0.5秒空镜这样转场不会显得突兀。苹果对过渡效果没有硬性限制但比较推荐转场不超过0.5秒所以这个默认值设置得还挺专业的。整体感觉是Goldie的视频生成管线是站在苹果Human Interface Guidelines的肩膀上设计的它生成的视频天然满足大部分App Store预览视频的隐性要求比如开头3秒内要出现核心功能、不能有静止画面超过5秒等。这些细节它不是通过后期检测来保证的而是通过Agent录制时的场景规划来从源头规避。4. 内置合规校验它到底在验证什么4.1 合规检查项与苹果审核文件的对应关系Goldie官方宣称的内置苹果上架合规校验是我最关心的部分因为提审被拒的坑多数不在功能而在素材。实际测试下来它主要做的是以下几类检查合规检测项Goldie的处理方式对应审核风险点截图中状态栏时间/运营商自动替换为固定值或模糊处理避免状态栏与实际时间不一致的拒审理由用户隐私数据通讯录、照片、定位等视觉模型识别弹窗与列表自动打码防止个人隐私信息泄露引发的审核问题是否包含其他平台UI元素检测是否有Android风格的图标或导航栏避免出现非iOS风格的设计版权素材检测识别截图中的商标、名人肖像、音频波形降低因素材版权产生的侵权投诉年龄分级相关文案检查是否包含敏感词或不适宜内容配合Age Rating问卷的准确性第三方登录按钮检测是否含有微信/QQ/Google等图标避免审核时对第三方登录的合规性质疑这些检查项不是凭空想出来的基本都能在App Store Review Guidelines或者常见的被拒邮件里找到对应条款。Goldie把它们做成了规则引擎视觉模型负责提供证据规则引擎负责判定最后在终端输出一份合规检查报告。4.2 隐私弹窗与敏感内容处理的实际效果隐私弹窗是黄金案例。常规做法下开发者为了让截图干净往往在截屏前手动关掉权限弹窗但这会带来一个问题如果App在首次启动时必然触发定位权限请求你截图上没有弹窗审核人员反而觉得奇怪——为什么这个App的定位功能在截图上完全不显示Goldie的默认策略不是隐藏弹窗而是把它专业化地处理掉它会记录弹窗出现的位置与文案然后在截图上用一张设计模板覆盖弹窗区域同时保留页面背景的层级关系。这样出来的截图既干净又不会让审核人员觉得功能缺失。敏感内容处理方面Goldie有一个人脸和文本检测模型。我拿一个包含通讯录列表的App测试它能准确识别出联系人姓名区域并应用高斯模糊但不会模糊掉整个列表所以版面看起来仍然完整。这个效果比我手动在Sketch里打码自然多了。4.3 校验报告的解读与实践意义每次生成完成后Goldie会在输出目录里生成一份compliance_report.html。打开后能看到每个检查项的状态包括通过、警告、失败以及对应的截图裁剪证据。警告项的判定比较有意思它不是百分百拦截而是给通过率评分。比如一个截图里如果检测到很小的logo判定为可能性中等的话会提示你手动确认而不是一刀切打回。这种设计很贴合实际因为合规本身是模糊地带。Goldie想做的是降低风险而不是替代你的判断。我实践下来认为它能把80%的明显问题提前挡掉剩下的20%仍然需要你自己对照审核指南确认。5. 选型心得与踩坑复盘和Fastlane等方案的真实对比5.1 为什么我看到Goldie之前没有彻底解决截图自动化在Goldie之前主流方案有两条路线。一是Fastlane的snapshot工具配合UI测试脚本自动截图。它能解决不用手动截图的问题但问题在于截图内容是固定的你必须自己写好每个页面的UI测试用例而且截图后的排版、状态栏处理、语言适配它一概不负责。你最终拿到手的是一堆原始截图后续设计工作量一点没少。二是自己做一套基于模拟器控制的脚本体系用scrcpy或idb来控制模拟器再配合图像识别库来定位按钮。这条路能实现类似效果但工程量大到超出大多数个人开发者的承受范围而且App每次界面改动你的脚本定位逻辑就要跟着改一批。Goldie的价值恰好在这两条路的空白区里它保留了Fastlane式的便捷跑批又引入了视觉模型和Agent调度让脚本对UI变化的容忍度提高了不少。外加合规校验这一层它已经不是一个单纯的截图工具而是一个素材生产质检一体化的解决方案。5.2 使用中遇到的三个主要问题第一个问题是状态栏替换偶发失效。Goldie会在截图后用图像合成方式替换状态栏文本但偶尔会因为页面状态栏背景颜色过浅导致替换后的文字看不清。我遇到一次在白色页面上的状态栏替换后的时间文字几乎隐形肉眼都难分辨。这个问题的解决方式是在配置里手动指定每个截图的状态栏文字颜色虽然多一步但至少可控。第二个问题是Agent有时会点击到深层页面。因为视觉模型对可点击元素的定义比较宽某些卡片视图整体被识别成一个大按钮导致Agent点击后跳到了推送通知设置等页面。解决办法是在配置里给页面增加操作断言——类似截图确认当前页面包含NavigationBarTitle为设置如果断言失败就回退到上一页。第三个问题是视频渲染速度。在MacBook Pro M1 Pro上渲染一段25秒的预览视频耗时大约7分钟。如果你的项目有5个场景两套语言全部渲染完成至少需要占用半小时以上的CPU。如果你在用笔记本做其他工作这个渲染进程会导致风扇狂转。建议放到晚上睡觉前跑或者使用CI服务器执行。5.3 什么场景下最推荐用Goldie从投入产出比来看Goldie不是所有团队都需要的工具但它特别适合以下情况独立开发者或小团队全员压缩、时间成本高没有专门的素材设计师。只要配置好一次之后每个版本都能自动生成素材包节省大量重复劳动。多语言上架的团队。Goldie的语言适配链路很成熟你只要维护一份配置就能像工厂流水线一样产出所有目标语言版本的素材。对审核合规要求高、之前被拒过的团队。Goldie的合规校验帮你提前过滤信息不至于每次都被同一个原因打回。如果你做的是工具类App界面相对简单没有复杂的富交互页面那Goldie出彩的程度可能没那么明显。但对于内容型、社交型、数据统计型这类页面切换频繁的App它发挥的空间会大很多。6. 进阶配置与扩展思路让Agent真正融入你的发布流程6.1 接入CI/CD让每次提审前自动生成并校验素材Goldie不只是一个本地工具它也支持在CI环境下运行。我在配置里看到它对GitHub Actions和GitLab CI都提供了示例配置。思路是当你打上release/前缀的tag时CI触发Goldie任务自动生成全套素材并把合规报告上传到artifact中心。这样做最大的好处是强制把素材生产变成发布流程里的一个前置检查。如果合规报告出现失败状态CI流程会直接中断阻止你进入提审环节。这样设计后我再也没有出现过因为截图问题被拒的情况。接入CI时需要注意的一点是CI Runner必须能启动iOS模拟器。这意味着你不能使用macOS以外的Runner而且需要在Runner上预先安装好对应版本的Xcode和Runtime镜像。如果你想用云服务得选带macOS环境的成本稍高但省去了本机排队等待的时间。6.2 自定义视觉模型适应非标准UI组件Goldie默认的视觉模型对iOS原生控件识别率很高但如果你用的是Flutter或者React Native这类跨端框架部分自定义组件的识别率会有所下降。好在项目提供了模型微调的能力你可以采集一批你App里的UI截图标注好按钮和导航栏位置再用它的训练脚本跑一轮就能显著提升识别准确度。这个微调过程门槛不低你需要懂一些数据标注和模型训练的基础知识。不过对于动态型产品团队来说这个功能的战略价值很大越用越准相当于团队内部积累了一套针对自己产品的UI理解模型。我现在已经为公司的App跑了两个版本的微调模型从最初的识别率78%提升到现在94%。6.3 从素材生产到完整发布自动化的延伸展望Goldie目前聚焦在素材生产与合规校验但它的底层Agent架构其实可以延伸到更多发布环节。比如它可以连接App Store Connect API将生成的截图和视频直接上传到对应App版本下也可以对接本地化服务把产品文案自动翻译再填充到截图模板里。我自己已经在构思一个扩展通过Goldie生成多版本素材再用可视化回归对比来管理不同版本的截图一致性确保每次UI改动不会在视觉层面引入回归。这个如果做出来对多人协作的团队会有很大的帮助。写在最后我的使用体会与一些小建议Goldie这个项目我觉得最值得赞赏的地方不是它自动化了截图而是它把素材生产这个以前被当成设计任务的环节重新定义成了可自动化的工程任务。它没有试图替代设计师而是把重复劳动交给Agent让人能把精力花在更有创造性的地方。如果你准备尝试验证一下我建议先去跑一个Demo项目感受它整套链路不要一上来就接入正式项目。第一次跑通大概需要半天时间其中一半是安装依赖和熟悉配置。等你对它的行为模式有了感觉再逐步引入到正式发布流程中。有一点千万别忽视Goldie产出的素材再好最终提交前还是建议人工在真实设备上看一眼。不是说不信任工具而是审核是人工判定的素材在每个设备上的视觉效果只有肉眼能做出最佳判断。把它当成素材生产与检查的加速器你的发布流程会顺畅很多。