揭秘WeVisOne-VL核心原理坐标Token 0~1000与 实例Token如何工作WeVisOne-VL 是腾讯微信视觉团队推出的统一视觉感知大模型一个模型同时完成目标检测、区域定位、计数、OCR、分割和抠图 7 项任务。它的秘密武器正是坐标 Token0~1000与OBJ实例 Token 这两个巧妙的机制——让语言模型直接说出像素位置。一个模型做七件事WeVisOne-VL 是什么WeVisOne-VLWeChatVision All-in-One2B 参数构建于 Qwen3-VL 架构之上见 config.json通过结构化 Next-Token 预测统一了两类视觉感知层级任务输出形式对象级开放词汇检测、指代定位、计数、指向pointing、OCR坐标序列 OBJ实例标记像素级指代分割、图像抠图alpha matting全分辨率 mask 图它不是输出一段文字再让程序去解析坐标而是把坐标和实例都变成了词表里的专用词元模型自回归生成时直接吐出结构化序列——更快、更稳、也不容易出错。坐标Token原理0~1000 的 1001 个坐标词怎么用为什么不直接预测数字普通 LLM 输出数字是逐位拼出来的643可能被拆成643多个 token生成慢还容易错。WeVisOne-VL 的做法很直接把图像坐标归一化为0~1000 的整数对应 1001 个专用词元0、1、……、1000一个坐标 一个 token模型一词说出一个坐标值。输出怎么读数值 ÷ 1000就是该坐标在图像中的相对位置。比如你说找出图中的人模型可能输出12388634720OBJ12388左上角距左边 12.3%、距顶部 8.8%634720右下角距左边 63.4%、距顶部 72.0%OBJ这个框的实例标记下文详解。指向任务输出 2 个坐标点检测/多目标定位输出 4 个坐标框计数任务输出对应数量。三个设计亮点分辨率无关同一套 token640×480 的照片和 4K 大图通用粒度固定最小分辨率是图像的 1/1000对大多数定位任务足够诚实说没找到目标不存在时模型直接返回None不用担心理幻觉框。实例Token每个框一张回执单它是什么OBJ是词表中专设的实例 tokentoken ID152678词表大小 152680见 tokenizer_config.json。在密集任务中每预测一个框后面就紧跟一个OBJ表示这是一个完整实例。它真正的作用连接框与像素关键在于配套的 9.5M 参数像素解码器 mask_decoder.pt9,511,460 参数。解码器对每一个OBJ执行一次框 → 像素 mask的解码构造 Query取OBJ这个位置的隐状态即模型对该实例的完整理解加上框坐标的傅里叶编码先验构成实例查询采样特征框引导的查询解码器6 层可变形交叉注意力从多级 ViT 视觉特征中按框区域采样生成 Mask实例条件稠密预测头从低分辨率逐级上采样细化S/4 → S/2 → S/1输出全画布连续 alpha matte步长 1。一句话OBJ是语言模型与像素解码器之间的接口——LLM 负责框在哪、这个实例是什么解码器负责把像素画出来。两者如何配合一次生成从框到像素以找出图中所有的杯子为例推理流程大致是图像 找出所有杯子 ↓ LLM 自回归输出: 框1 OBJ 框2 OBJ … ↓并行 每个 OBJ隐状态 框 → 解码器生成对应 mask / alpha ↓ 文本响应 每个实例一份 maskresult.masks这种框 实例 token的序列化输出对程序处理非常友好官方推理接口中result.response取文本、result.masks取 mask 列表参考 README.md 的 Quick Start。而且模型直接生成结构化输出、不经过显式思维链CoT推理速度比先想后答的模型快得多。文件与配置速查表文件作用config.json模型架构Qwen3-VL、hidden_size 2048、28 层、vocab_size 152680model.safetensors主模型权重2Bbfloat16mask_decoder.pt像素解码器视觉特征适配器 框引导查询解码器 全画布 alpha 级联头tokenizer.json / tokenizer_config.json词表与特殊 token 定义含0~1000坐标 tokengeneration_config.json默认采样参数temperature 0.7、top-p 0.8chat_template.jinja对话模板图像 token、system 消息等拼装方式processor_config.json图像处理器配置patch 16、merge 2、归一化参数使用注意与边界单轮图像任务像素解码器目前不接受视频网格暂不支持视频输入alpha 边界精细分割边界对图像分辨率、严重遮挡、复杂透明材质和提示措辞比较敏感采样建议README 示例使用temperature0.0定位、抠图这类答案唯一的任务建议低温度以保证稳定适用场景本发布面向视觉定位、分割与抠图的研究用途不用于自主高风险决策。一句话总结三大核心机制坐标 Token0~1000把在哪里变成 1001 个词一个坐标一个 token分辨率无关OBJ实例 Token把是哪一个变成隐状态锚点一框一OBJ9.5M 像素解码器完成框到像素的最后一步实现从对象级到像素级的统一。这就是 WeVisOne-VL 对一个模型统一对象级与像素级感知的答案不是堆七个模型而是让两个 token 加一个轻量解码器撑起全部七项任务。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/11/3 10:33:33 · 阅读 1.2k 揭秘WeVisOne-VL核心原理：坐标Token ＜0＞~＜1000＞与＜OBJ＞实例Token如何工作
揭秘WeVisOne-VL核心原理坐标Token 0~1000与 实例Token如何工作WeVisOne-VL 是腾讯微信视觉团队推出的统一视觉感知大模型一个模型同时完成目标检测、区域定位、计数、OCR、分割和抠图 7 项任务。它的秘密武器正是坐标 Token0~1000与OBJ实例 Token 这两个巧妙的机制——让语言模型直接说出像素位置。一个模型做七件事WeVisOne-VL 是什么WeVisOne-VLWeChatVision All-in-One2B 参数构建于 Qwen3-VL 架构之上见 config.json通过结构化 Next-Token 预测统一了两类视觉感知层级任务输出形式对象级开放词汇检测、指代定位、计数、指向pointing、OCR坐标序列 OBJ实例标记像素级指代分割、图像抠图alpha matting全分辨率 mask 图它不是输出一段文字再让程序去解析坐标而是把坐标和实例都变成了词表里的专用词元模型自回归生成时直接吐出结构化序列——更快、更稳、也不容易出错。坐标Token原理0~1000 的 1001 个坐标词怎么用为什么不直接预测数字普通 LLM 输出数字是逐位拼出来的643可能被拆成643多个 token生成慢还容易错。WeVisOne-VL 的做法很直接把图像坐标归一化为0~1000 的整数对应 1001 个专用词元0、1、……、1000一个坐标 一个 token模型一词说出一个坐标值。输出怎么读数值 ÷ 1000就是该坐标在图像中的相对位置。比如你说找出图中的人模型可能输出12388634720OBJ12388左上角距左边 12.3%、距顶部 8.8%634720右下角距左边 63.4%、距顶部 72.0%OBJ这个框的实例标记下文详解。指向任务输出 2 个坐标点检测/多目标定位输出 4 个坐标框计数任务输出对应数量。三个设计亮点分辨率无关同一套 token640×480 的照片和 4K 大图通用粒度固定最小分辨率是图像的 1/1000对大多数定位任务足够诚实说没找到目标不存在时模型直接返回None不用担心理幻觉框。实例Token每个框一张回执单它是什么OBJ是词表中专设的实例 tokentoken ID152678词表大小 152680见 tokenizer_config.json。在密集任务中每预测一个框后面就紧跟一个OBJ表示这是一个完整实例。它真正的作用连接框与像素关键在于配套的 9.5M 参数像素解码器 mask_decoder.pt9,511,460 参数。解码器对每一个OBJ执行一次框 → 像素 mask的解码构造 Query取OBJ这个位置的隐状态即模型对该实例的完整理解加上框坐标的傅里叶编码先验构成实例查询采样特征框引导的查询解码器6 层可变形交叉注意力从多级 ViT 视觉特征中按框区域采样生成 Mask实例条件稠密预测头从低分辨率逐级上采样细化S/4 → S/2 → S/1输出全画布连续 alpha matte步长 1。一句话OBJ是语言模型与像素解码器之间的接口——LLM 负责框在哪、这个实例是什么解码器负责把像素画出来。两者如何配合一次生成从框到像素以找出图中所有的杯子为例推理流程大致是图像 找出所有杯子 ↓ LLM 自回归输出: 框1 OBJ 框2 OBJ … ↓并行 每个 OBJ隐状态 框 → 解码器生成对应 mask / alpha ↓ 文本响应 每个实例一份 maskresult.masks这种框 实例 token的序列化输出对程序处理非常友好官方推理接口中result.response取文本、result.masks取 mask 列表参考 README.md 的 Quick Start。而且模型直接生成结构化输出、不经过显式思维链CoT推理速度比先想后答的模型快得多。文件与配置速查表文件作用config.json模型架构Qwen3-VL、hidden_size 2048、28 层、vocab_size 152680model.safetensors主模型权重2Bbfloat16mask_decoder.pt像素解码器视觉特征适配器 框引导查询解码器 全画布 alpha 级联头tokenizer.json / tokenizer_config.json词表与特殊 token 定义含0~1000坐标 tokengeneration_config.json默认采样参数temperature 0.7、top-p 0.8chat_template.jinja对话模板图像 token、system 消息等拼装方式processor_config.json图像处理器配置patch 16、merge 2、归一化参数使用注意与边界单轮图像任务像素解码器目前不接受视频网格暂不支持视频输入alpha 边界精细分割边界对图像分辨率、严重遮挡、复杂透明材质和提示措辞比较敏感采样建议README 示例使用temperature0.0定位、抠图这类答案唯一的任务建议低温度以保证稳定适用场景本发布面向视觉定位、分割与抠图的研究用途不用于自主高风险决策。一句话总结三大核心机制坐标 Token0~1000把在哪里变成 1001 个词一个坐标一个 token分辨率无关OBJ实例 Token把是哪一个变成隐状态锚点一框一OBJ9.5M 像素解码器完成框到像素的最后一步实现从对象级到像素级的统一。这就是 WeVisOne-VL 对一个模型统一对象级与像素级感知的答案不是堆七个模型而是让两个 token 加一个轻量解码器撑起全部七项任务。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考