【免费下载链接】ZeroGUI-OSWorld-7B项目地址https://ai.gitcode.com/OpenGVLab/ZeroGUI-OSWorld-7B点击查看免费下载ZeroGUI-OSWorld-7B 是一款由 ZeroGUI 全自动在线强化学习框架训练出的7B 级多模态 GUI 智能体模型基于 Qwen2-VL 架构、以 bfloat16 精度保存可直接接收屏幕截图并输出 GUI 操作。本文带你逐层拆解 config.json 中的核心参数、视觉编码器配置、特殊 Token ID 以及 4 个 safetensors 权重分片的分布规律帮你快速理解这个模型的解剖结构。一、它是什么一个零人工成本训练出来的 GUI 智能体ZeroGUI 是一个全自动的在线强化学习Online RL框架目标是让 GUI Agent 在交互式环境中零人工成本地自我训练与适应具备三大能力自动任务生成自动生成多样、可执行的 GUI 任务自动奖励评估基于轨迹截图给出二值任务奖励并用投票机制避免幻觉式成功两阶段在线 RL结合生成任务训练与测试时自适应持续提升智能体表现。ZeroGUI-OSWorld-7B 就是该框架训练出的模型产物针对OSWorld 基准进行了强化用于在真实计算机桌面环境中执行点击、输入等 GUI 操作。关键信息说明基座模型ByteDance-Seed/UI-TARS-7B-DPO见 README.md模型架构Qwen2VLForConditionalGenerationQwen2-VL 条件生成模型任务类型image-text-to-text输入截图文本输出操作文本权重精度bfloat16训练框架ZeroGUI论文ZeroGUI: Automating Online GUI Learning at Zero Human Cost二、模型卡速览仓库文件各自的角色本仓库是一个标准的 Hugging Face 模型权重仓库每个文件各司其职文件作用新手须知config.json模型主配置架构、层数、隐藏维度、视觉塔参数都在这里generation_config.json生成配置定义了开始/结束 Token ID151643 / 151645preprocessor_config.json图像预处理配置决定截图如何缩放、切块、归一化tokenizer.json、vocab.json、merges.txt分词器文本↔Token ID 的转换规则added_tokens.json新增特殊 Token多模态与对话占位符的 ID 映射model-00001-of-00004.safetensors ~ model-00004-of-00004.safetensors模型权重分片权重按层切分为 4 片存储model.safetensors.index.json权重索引记录每个参数位于哪个分片chat_template.json、tokenizer_config.json对话模板与分词器配置多轮对话的 prompt 拼装规则 新手建议加载模型时只需读取config.json 4 个权重分片 分词器文件其余是运行时配套配置。三、语言骨干核心参数表28 层 Transformer 一览打开 config.json语言主干是典型的 Qwen2 风格解码器参数值通俗解读num_hidden_layers28Transformer 层数决定模型思考深度hidden_size3584每个 Token 的向量维度num_attention_heads28注意力头数每头维度 1283584÷28num_key_value_heads4GQA 分组查询注意力28 个 Q 头共享 4 组 KV显著省显存intermediate_size18944FFN 中间层宽度约为主干宽度的 5.3 倍vocab_size152064词表规模覆盖中英文及多模态占位符max_position_embeddings32768最长上下文 32K Token足以容纳多轮截图历史操作hidden_actsilu激活函数rope_theta1000000.0RoPE 位置编码基频支持长上下文mrope_section[16, 24, 24]M-RoPE 多模态旋转位置编码分别编码时间/高度/宽度三个维度torch_dtypebfloat16权重精度tie_word_embeddingsfalse输入 Embedding 与输出词表不共享权重其中M-RoPEmrope_section: [16, 24, 24]是 GUI 智能体的关键设计它把位置信息拆成时间 空间三路让模型既知道这是第几张截图也理解按钮在屏幕的哪个位置这正是 GUI 任务所必需的空间感知能力。四、视觉塔配置一张截图如何变成模型能懂的序列config.json内的vision_config描述了 ViT 视觉编码器配合 preprocessor_config.json 中的图像处理参数构成完整的看能力配置值含义depth32视觉编码器 32 层 Transformerembed_dim1280视觉特征维度num_heads16视觉注意力头数patch_size14图像被切成 14×14 像素的小块spatial_merge_size22×2 的视觉小块合并为 1 个 Tokentemporal_patch_size2视频/连续截图中每 2 帧合并支持时序输入mlp_ratio4视觉 FFN 宽度倍数hidden_size3584视觉特征经 Merger 模块对齐到语言主干宽度动态分辨率是精髓所在。预处理配置中min_pixels 3136、max_pixels 2116800意味着小图至少保留 16 个 patch即4 个视觉 Token避免过度压缩大图最多约 11100 个 patch即约 2700 个视觉 Token保证细节不丢一张 1080p 屏幕截图通常落在几百个视觉 Token 的区间模型能看清按钮文字与图标。归一化参数image_mean ≈ [0.4815, 0.4578, 0.4082]、image_std ≈ [0.2686, 0.2613, 0.2758]沿用了 CLIP 体系的统计量让视觉塔稳定工作。五、特殊 Token ID 速查模型如何定位截图GUI 智能体最常用的一条链路是截图 → image 占位符 → 生成动作。相关 ID 记录在 added_tokens.json 与 config.jsonTokenID用途|im_start|/|im_end|151644 / 151645对话轮次分隔符|im_end|同时是eos_token_id\|vision_start\|/\|vision_end\|151652 / 151653视觉块起止边界\|vision\|151654视觉块内部占位\|image_pad\|image_token_id151655每个视觉 Token 的实际占位符\|video_pad\|video_token_id151656视频帧占位符bos_token_id151643序列起始符当一张截图进入模型时它会被展开为\|vision_start\| N 个image_token_id\|vision_end\|语言模型据此在正确位置读取屏幕内容随后以文本形式输出诸如点击坐标、按键序列等操作指令。六、权重分片详解16.5 GB 权重藏在哪里model.safetensors.index.json 显示总权重规模total_size 16,582,751,232 字节约15.44 GiB按 bfloat16 双字节反推模型总参数量约83 亿。按分片内容拆解分片存放内容model-00001-of-00004.safetensors词嵌入model.embed_tokens、语言层 0–9、完整视觉塔visual.patch_embed、32 层visual.blocks、visual.mergermodel-00002-of-00004.safetensors语言层 10–16注意力部分model-00003-of-00004.safetensors语言层 16FFN 部分–25model-00004-of-00004.safetensors语言层 26–27、最终归一化model.norm、输出头lm_head几个值得注意的结构细节每个注意力层都带有q/k/v_proj.biasQwen2-VL 特有的带偏置注意力投影而 FFN 与输出头无偏置lm_head.weight独立存储tie_word_embeddings false即 152064 × 3584 的完整输出矩阵索引文件本身就是一个权重地图加载器靠它按名字精确取回每个参数这也是 safetensors 比旧格式更安全不执行任意代码的原因。七、部署估算显存与硬件怎么选基于上述参数可以给出新手友好的显存预算项目估算权重bf16≈15.5 GiBKV 缓存32K 上下文 × 4 组 KV 头 × 128 维 × 28 层≈1.75 GiB激活与临时开销数 GiB 起建议最低显存单卡 24 GB 左右如 RTX 3090/4090、A10G由于采用了GQA28 Q 头 : 4 KV 头长轨迹任务的 KV 缓存开销比传统 MHA 低约 7 倍这对连续 20 张截图的 GUI 长轨迹场景非常友好。若显存不足可借助量化推理框架将 bf16 权重压至 int8/int4但注意 GUI 任务对视觉细节敏感建议不低于 int8。⚠️ 本仓库仅提供模型权重训练与推理代码请参考 ZeroGUI 官方开源实现论文详见 README.md 引用的 arXiv 2505.23762。八、总结3 分钟记住 ZeroGUI-OSWorld-7B定位ZeroGUI 在线强化学习框架 × OSWorld 基准训练的 GUI 操作智能体基座为 UI-TARS-7B-DPO架构是 Qwen2-VL架构28 层、宽 3584 的语言解码器 32 层、宽 1280 的 ViT 视觉塔通过 M-RoPE 与动态分辨率理解屏幕截图权重4 个 safetensors 分片共 15.44 GiBbf16约 83 亿参数索引文件精确映射每个参数位置部署单张 24 GB 显存显卡即可跑满血 bf16长上下文开销受 GQA 大幅优化。理解了这个全景图你就能快速判断它的能力边界32K 上下文、约 2700 视觉 Token 上限并在自己的环境中把它接入 GUI 自动化流程。赞分享【免费下载链接】ZeroGUI-OSWorld-7B项目地址https://ai.gitcode.com/OpenGVLab/ZeroGUI-OSWorld-7B点击查看免费下载相关推荐拆解ZeroGUI-AndroidLab-7B的Qwen2-VL架构7B参数与动态分辨率完全解析拆解ZeroGUI AndroidLab 7B的Qwen2 VL架构7B参数与动态分辨率完全解析 本文带你完整拆解 ZeroGUI AndroidLab 7B3个关键升级如何让Mac上的CrossOver游戏性能翻倍3个关键升级如何让Mac上的CrossOver游戏性能翻倍 还在为Mac上运行Windows游戏时的卡顿和兼容性问题烦恼吗每次启动游戏都要忍受漫长的加载时桌面应用开发工具Qwen2-VL-7B-Instruct 多模态模型深度解析与使用指南Qwen2 VL 7B Instruct 多模态模型深度解析与使用指南 引言 Qwen2 VL 7B Instruct 是 Qwen VL 系列的最新版本代表上一篇Saber 手写笔记应用5 分钟装好笔迹同步到所有设备下一篇3条命令修好Windows DLL缺失Visual C运行库一键安装创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/21 1:33:15 · 阅读 1.2k ZeroGUI-OSWorld-7B模型架构全景图：基于Qwen2-VL的7B多模态GUI智能体参数与权重详解
【免费下载链接】ZeroGUI-OSWorld-7B项目地址https://ai.gitcode.com/OpenGVLab/ZeroGUI-OSWorld-7B点击查看免费下载ZeroGUI-OSWorld-7B 是一款由 ZeroGUI 全自动在线强化学习框架训练出的7B 级多模态 GUI 智能体模型基于 Qwen2-VL 架构、以 bfloat16 精度保存可直接接收屏幕截图并输出 GUI 操作。本文带你逐层拆解 config.json 中的核心参数、视觉编码器配置、特殊 Token ID 以及 4 个 safetensors 权重分片的分布规律帮你快速理解这个模型的解剖结构。一、它是什么一个零人工成本训练出来的 GUI 智能体ZeroGUI 是一个全自动的在线强化学习Online RL框架目标是让 GUI Agent 在交互式环境中零人工成本地自我训练与适应具备三大能力自动任务生成自动生成多样、可执行的 GUI 任务自动奖励评估基于轨迹截图给出二值任务奖励并用投票机制避免幻觉式成功两阶段在线 RL结合生成任务训练与测试时自适应持续提升智能体表现。ZeroGUI-OSWorld-7B 就是该框架训练出的模型产物针对OSWorld 基准进行了强化用于在真实计算机桌面环境中执行点击、输入等 GUI 操作。关键信息说明基座模型ByteDance-Seed/UI-TARS-7B-DPO见 README.md模型架构Qwen2VLForConditionalGenerationQwen2-VL 条件生成模型任务类型image-text-to-text输入截图文本输出操作文本权重精度bfloat16训练框架ZeroGUI论文ZeroGUI: Automating Online GUI Learning at Zero Human Cost二、模型卡速览仓库文件各自的角色本仓库是一个标准的 Hugging Face 模型权重仓库每个文件各司其职文件作用新手须知config.json模型主配置架构、层数、隐藏维度、视觉塔参数都在这里generation_config.json生成配置定义了开始/结束 Token ID151643 / 151645preprocessor_config.json图像预处理配置决定截图如何缩放、切块、归一化tokenizer.json、vocab.json、merges.txt分词器文本↔Token ID 的转换规则added_tokens.json新增特殊 Token多模态与对话占位符的 ID 映射model-00001-of-00004.safetensors ~ model-00004-of-00004.safetensors模型权重分片权重按层切分为 4 片存储model.safetensors.index.json权重索引记录每个参数位于哪个分片chat_template.json、tokenizer_config.json对话模板与分词器配置多轮对话的 prompt 拼装规则 新手建议加载模型时只需读取config.json 4 个权重分片 分词器文件其余是运行时配套配置。三、语言骨干核心参数表28 层 Transformer 一览打开 config.json语言主干是典型的 Qwen2 风格解码器参数值通俗解读num_hidden_layers28Transformer 层数决定模型思考深度hidden_size3584每个 Token 的向量维度num_attention_heads28注意力头数每头维度 1283584÷28num_key_value_heads4GQA 分组查询注意力28 个 Q 头共享 4 组 KV显著省显存intermediate_size18944FFN 中间层宽度约为主干宽度的 5.3 倍vocab_size152064词表规模覆盖中英文及多模态占位符max_position_embeddings32768最长上下文 32K Token足以容纳多轮截图历史操作hidden_actsilu激活函数rope_theta1000000.0RoPE 位置编码基频支持长上下文mrope_section[16, 24, 24]M-RoPE 多模态旋转位置编码分别编码时间/高度/宽度三个维度torch_dtypebfloat16权重精度tie_word_embeddingsfalse输入 Embedding 与输出词表不共享权重其中M-RoPEmrope_section: [16, 24, 24]是 GUI 智能体的关键设计它把位置信息拆成时间 空间三路让模型既知道这是第几张截图也理解按钮在屏幕的哪个位置这正是 GUI 任务所必需的空间感知能力。四、视觉塔配置一张截图如何变成模型能懂的序列config.json内的vision_config描述了 ViT 视觉编码器配合 preprocessor_config.json 中的图像处理参数构成完整的看能力配置值含义depth32视觉编码器 32 层 Transformerembed_dim1280视觉特征维度num_heads16视觉注意力头数patch_size14图像被切成 14×14 像素的小块spatial_merge_size22×2 的视觉小块合并为 1 个 Tokentemporal_patch_size2视频/连续截图中每 2 帧合并支持时序输入mlp_ratio4视觉 FFN 宽度倍数hidden_size3584视觉特征经 Merger 模块对齐到语言主干宽度动态分辨率是精髓所在。预处理配置中min_pixels 3136、max_pixels 2116800意味着小图至少保留 16 个 patch即4 个视觉 Token避免过度压缩大图最多约 11100 个 patch即约 2700 个视觉 Token保证细节不丢一张 1080p 屏幕截图通常落在几百个视觉 Token 的区间模型能看清按钮文字与图标。归一化参数image_mean ≈ [0.4815, 0.4578, 0.4082]、image_std ≈ [0.2686, 0.2613, 0.2758]沿用了 CLIP 体系的统计量让视觉塔稳定工作。五、特殊 Token ID 速查模型如何定位截图GUI 智能体最常用的一条链路是截图 → image 占位符 → 生成动作。相关 ID 记录在 added_tokens.json 与 config.jsonTokenID用途|im_start|/|im_end|151644 / 151645对话轮次分隔符|im_end|同时是eos_token_id\|vision_start\|/\|vision_end\|151652 / 151653视觉块起止边界\|vision\|151654视觉块内部占位\|image_pad\|image_token_id151655每个视觉 Token 的实际占位符\|video_pad\|video_token_id151656视频帧占位符bos_token_id151643序列起始符当一张截图进入模型时它会被展开为\|vision_start\| N 个image_token_id\|vision_end\|语言模型据此在正确位置读取屏幕内容随后以文本形式输出诸如点击坐标、按键序列等操作指令。六、权重分片详解16.5 GB 权重藏在哪里model.safetensors.index.json 显示总权重规模total_size 16,582,751,232 字节约15.44 GiB按 bfloat16 双字节反推模型总参数量约83 亿。按分片内容拆解分片存放内容model-00001-of-00004.safetensors词嵌入model.embed_tokens、语言层 0–9、完整视觉塔visual.patch_embed、32 层visual.blocks、visual.mergermodel-00002-of-00004.safetensors语言层 10–16注意力部分model-00003-of-00004.safetensors语言层 16FFN 部分–25model-00004-of-00004.safetensors语言层 26–27、最终归一化model.norm、输出头lm_head几个值得注意的结构细节每个注意力层都带有q/k/v_proj.biasQwen2-VL 特有的带偏置注意力投影而 FFN 与输出头无偏置lm_head.weight独立存储tie_word_embeddings false即 152064 × 3584 的完整输出矩阵索引文件本身就是一个权重地图加载器靠它按名字精确取回每个参数这也是 safetensors 比旧格式更安全不执行任意代码的原因。七、部署估算显存与硬件怎么选基于上述参数可以给出新手友好的显存预算项目估算权重bf16≈15.5 GiBKV 缓存32K 上下文 × 4 组 KV 头 × 128 维 × 28 层≈1.75 GiB激活与临时开销数 GiB 起建议最低显存单卡 24 GB 左右如 RTX 3090/4090、A10G由于采用了GQA28 Q 头 : 4 KV 头长轨迹任务的 KV 缓存开销比传统 MHA 低约 7 倍这对连续 20 张截图的 GUI 长轨迹场景非常友好。若显存不足可借助量化推理框架将 bf16 权重压至 int8/int4但注意 GUI 任务对视觉细节敏感建议不低于 int8。⚠️ 本仓库仅提供模型权重训练与推理代码请参考 ZeroGUI 官方开源实现论文详见 README.md 引用的 arXiv 2505.23762。八、总结3 分钟记住 ZeroGUI-OSWorld-7B定位ZeroGUI 在线强化学习框架 × OSWorld 基准训练的 GUI 操作智能体基座为 UI-TARS-7B-DPO架构是 Qwen2-VL架构28 层、宽 3584 的语言解码器 32 层、宽 1280 的 ViT 视觉塔通过 M-RoPE 与动态分辨率理解屏幕截图权重4 个 safetensors 分片共 15.44 GiBbf16约 83 亿参数索引文件精确映射每个参数位置部署单张 24 GB 显存显卡即可跑满血 bf16长上下文开销受 GQA 大幅优化。理解了这个全景图你就能快速判断它的能力边界32K 上下文、约 2700 视觉 Token 上限并在自己的环境中把它接入 GUI 自动化流程。赞分享【免费下载链接】ZeroGUI-OSWorld-7B项目地址https://ai.gitcode.com/OpenGVLab/ZeroGUI-OSWorld-7B点击查看免费下载相关推荐拆解ZeroGUI-AndroidLab-7B的Qwen2-VL架构7B参数与动态分辨率完全解析拆解ZeroGUI AndroidLab 7B的Qwen2 VL架构7B参数与动态分辨率完全解析 本文带你完整拆解 ZeroGUI AndroidLab 7B3个关键升级如何让Mac上的CrossOver游戏性能翻倍3个关键升级如何让Mac上的CrossOver游戏性能翻倍 还在为Mac上运行Windows游戏时的卡顿和兼容性问题烦恼吗每次启动游戏都要忍受漫长的加载时桌面应用开发工具Qwen2-VL-7B-Instruct 多模态模型深度解析与使用指南Qwen2 VL 7B Instruct 多模态模型深度解析与使用指南 引言 Qwen2 VL 7B Instruct 是 Qwen VL 系列的最新版本代表上一篇Saber 手写笔记应用5 分钟装好笔迹同步到所有设备下一篇3条命令修好Windows DLL缺失Visual C运行库一键安装创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考