WeVisOne-VL腾讯微信开源大一统视觉模型一个模型干完 YOLO-World SAM PaddleOCR一句话速览2026 年 10 月 22 日腾讯微信视觉团队静悄悄开源 WeVisOne-VL——基于 Qwen3-VL 的 2B / 4B 双尺寸模型用 9.6M 像素解码器 一个OBJtoken把检测、指代定位、计数、OCR、分割、抠图六件事塞进同一套权重。LVIS 55.3、Dense200 71.3、拒识率 96.4%、抠图误差 7.330 基准全面领先。本文讲清它凭什么、「大一统」到底做到了什么程度、以及能不能替换你手头那四五个模型。 目录背景一个视觉应用四五个模型的痛一、WeVisOne-VL 模型档案二、核心设计一个OBJtoken 接管像素级任务三、六大视觉任务一套权重四、跑分数据全面领先且拒识能力突出五、三代大一统模型横向对比六、使用指南3 步本地跑通七、局限性需要知道的真相总结参考链接背景一个视觉应用四五个模型的痛做过真实视觉项目的都懂这套组合拳开放世界检测部署 YOLO-World万物分割接一个 SAMOCR 再挂一个 PaddleOCR指代定位再找个 Grounding-DINO抠图还得单独上 P3M。四五个模型四五套预处理、四五套后处理、四五份权重、四五种显存峰值。每加一个任务工程复杂度就翻一倍每升一次版本回归测试就要跑一遍全链路。更麻烦的是这些模型彼此不通检测框给了 SAMSAM 还得重新编码一次图像OCR 出来的文本框和检测框坐标体系还不一定对齐。视觉理解正在走向大一统。Rex-Omni、LocateAnything 已经证明一个模型能支持十余种视觉任务但它们的能力止步于「框和点」——物体级。真正难的是往下再走一层掩码、Alpha 通道这些像素级输出过去必须靠 SAM 这类专用分割模型。2026 年 10 月 22 日腾讯微信视觉团队把 WeVisOne-VL 挂上了 arXiv、GitHub 和 Hugging Face——没有发布会没有新闻稿没有官方博客。一个统一物体级和像素级感知的视觉-语言模型就这么安静地开源了。一、WeVisOne-VL 模型档案项目详情全称WeVisOne-VLWeChat Vision All-in-One发布方微信视觉团队WeChat Vision, Tencent Inc.发布时间2026 年 10 月 22 日arXiv 2610.31329参数规模2B 与 4B 双尺寸4B 实际 4.83B基座Qwen3-VLQwen3VLForConditionalGeneration核心机制结构化下一 token 预测 OBJtoken 轻量像素解码器文本上下文262,144 tokens支持任务目标检测、指代定位、目标计数、目标指向、OCR、指代分割、提示式抠图输出粒度点、框、掩码、Alpha matte任意用户指定精度训练数据约 1 亿图像、36 亿框标注开源协议Apache-2.0开源地址GitHubTencent/WeVisOne-VLHugging Facetencent/WeVisOne-VL-2B / 4B注意一个容易被误写的点官方没有发任何公告只是在 10 月 22 日 08:58 UTC 建了 GitHub 仓库、09:48 UTC 传了权重、同日投了 arXiv。截至发布后第二天GitHub 只有 46 星、3 个 fork下载量极低——这不是一次营销发布而是一次纯技术开源。二、核心设计一个OBJtoken 接管像素级任务WeVisOne-VL 的架构其实并不花哨但那个 9.6M 的像素解码器是整个方案的灵魂。2.1 物体级把坐标变成 token传统 VLM 做定位输出的是自然语言里的数字字符串解码慢、格式易错。WeVisOne-VL 沿用并强化了「坐标 token 化」路线用一组专用 token0到1000编码归一化坐标框和点都是这些 token 的组合。好处很直接输出紧凑、格式稳定、解析简单而且模型能像说语言一样「说」几何。2.2 像素级OBJtoken 轻量解码器这才是关键差异。模型每预测完一个框就紧接着输出一个特殊的OBJtoken。这个 token 的隐藏状态被当作该实例的隐式表征送进一个独立的分割解码器。解码器只有约 960 万参数结构是视觉特征适配器 → 6 个可变形交叉注意力块 → 级联头在 1/4、1/2、1 步上逐级细化。它把「框」变成「实例掩码」再把「实例掩码」细化为「全分辨率 Alpha matte」。整条像素通路只有 9.6M 参数接在一个 4B 规模的语言模型上。重点这里没有 SAM没有第二个模型没有独立的提示编码器。参考实现里就是一个mask_decoder.pt文件挂上就能出掩码和 Alpha。这就是 WeVisOne-VL 敢于自称「大一统」的技术底气——它不是在多个模型外面套一个调度器而是真的把像素级能力长进了语言模型体内。2.3 训练三阶段课程 SFT 混合任务强化学习阶段目标SFT Stage 1任务对齐教会模型按指令产出格式正确的结构化输出SFT Stage 2引入高分辨率和密集感知数据提升小目标与拥挤场景召回SFT Stage 3引入像素级任务从离散定位扩展到密集预测RL 阶段在 SFT 模型最不确定的样本上做 GRPO混合任务采样提升定位精度并抑制重复与幻觉输出值得一提的是数据引擎检测标注用 SAM3 自研 DINO 风格开放词汇检测器并行出提案再用 Qwen3-VL 做语义校验分割用 SAM2 生成二值掩码抠图则有专门的数据引擎提供连续 Alpha 监督。1 亿图像、36 亿框全部带实例对齐的细粒度标注。三、六大视觉任务一套权重同一个 4B 权重同一套推理代码能做这些事任务输入输出目标检测图像 类别名所有该类别的框指代定位图像 「穿黄衣服打伞的人」精确匹配该描述的框目标计数图像 「数一数有几辆车」数量 位置目标指向图像 描述指向目标的点OCR图像文本内容 文本框指代分割图像 描述实例掩码提示式抠图图像 描述全分辨率 Alpha matte过去这七个功能至少需要 YOLO-World Grounding-DINO PaddleOCR SAM P3M 五个模型现在是一个模型的七种输出格式。工程上少掉的不仅是显存和延迟更是五套预处理、五套后处理、五个版本号的维护地狱。四、跑分数据全面领先且拒识能力突出4B 版本在 30 基准上的核心数字对比各自任务的最强开源基线能力基准WeVisOne-VL-4B最强基线提升开放集检测LVIS Mean F155.350.74.6密集检测Dense200 Mean F171.358.712.6指代定位RefCOCOg test F181.877.64.2目标拒识WeRef-Bench 拒识率96.4%73.0%23.4 点目标计数PixMo-Count 准确率89.682.86.8OCRTotalText Mean F152.043.38.7指代分割ReasonSeg gIoU71.265.06.2提示式抠图P3M-500-NP MAD越低越好7.315.4误差减半两条最值得注意的对比第一同基座对比。面对未经微调的 Qwen3-VL-4BDense200 是 71.3 vs 15.2VisDrone 是 44.7 vs 31.0。这个差距说明一件事原生 VLM 对密集小目标的检测几乎不可用而 WeVisOne-VL 的微调把它拉到了专业检测器所在的区间。这比「超越某个 SOTA」更有说服力——它证明了一个 4B 的通用模型可以被改造成能用的定位器而不需要堆参数。第二拒识率 96.4%。这个指标最容易被低估。让模型在目标不存在时老实回答「没有」听起来无关紧要直到你在视频流上跑检测器然后看着它在空停车场里幻觉出一个行人。96.4% vs 73.0% 的差距就是一个能直接接进生产流水线的组件和另一个必须再套一层防护模型的组件的差距。五、三代大一统模型横向对比WeVisOne-VL 不是第一个做「多任务统一」的。把近期三个代表放在一起看能更清楚它补上了哪一块维度Rex-OmniLocateAnything英伟达WeVisOne-VL规模3B 级3B2B / 4B基座—Moon-ViT Qwen2.5Qwen3-VL输出粒度框、点框、点框、点、掩码、Alpha matte是否覆盖像素级否否是且无需 SAM分割方案需外挂 SAM需外挂 SAM内置 9.6M 像素解码器核心差异通用 grounding并行框解码速度极快物体级 像素级统一拒识能力一般支持拒识WeRef-Bench 96.4%一句话概括Rex-Omni 和 LocateAnything 解决的是「框得准、框得快」WeVisOne-VL 解决的是「框完还能直接出掩码和 Alpha」。前者是物体级的统一后者第一次把像素级也纳入同一套权重。六、使用指南3 步本地跑通6.1 环境准备操作步骤克隆 GitHub 仓库Tencent/WeVisOne-VL从 Hugging Face 拉tencent/WeVisOne-VL-4B或-2B权重安装项目自带的推理包注意mask_decoder.pt是必需组件不是可选插件用项目脚本或特殊 chat template 送入图像与指令拿到结构化框输出需要掩码时再跑像素解码器。6.2 调用示例fromwevisone_vlimportWeVisOneVL modelWeVisOneVL.from_pretrained(tencent/WeVisOne-VL-4B)resultmodel.perceive(imagestreet.jpg,taskreferring_segmentation,query打伞的女孩)print(result.boxes)# 归一化坐标转回的像素框print(result.masks)# 实例掩码需 mask_decoderprint(result.alpha)# 全分辨率 Alpha matte6.3 需要注意的工程细节细节说明解码方式论文/模型卡使用贪心解码单图视觉 token 上限约 1960部署栈官方给出四条路项目推理包、Transformers image-text-to-text、vLLM、SGLang另有 Docker Model Runner 一行命令显存4.83B F32 权重约 19GBbfloat16 减半再加 9.6M 解码器必须用自定义代码标准 Transformers 加载只能拿到框和文本拿不到掩码——像素解码器必须走项目代码无托管 API官方未提供任何 hosted endpoint也没有公布价格目前只能自托管如果你这周就要在 production 跑视觉感知、又不想为昨天的权重临时开 GPU那么同基座的 Qwen3-VL-8B-Instruct 仍是通过 API 快速可用的选择——它能给框和描述但给不了 Alpha matte。七、局限性需要知道的真相局限说明只支持单图单轮像素解码器直接拒绝视频网格它不是视频分割工具也没有多轮推理无法就模糊指令追问无推理链直接输出结构化结果没有「先想再答」的环节遇到高度歧义指令只能一次性押注Alpha 质量有边界细发丝边缘、严重遮挡、真正透明的材质玻璃、纱上质量会下降对提示措辞敏感「那个女人的头发」和「她的头发」不保证返回同一张 Alpha跑分尚未第三方复现所有数字来自作者论文和 README对比集合由作者选定独立复测才能真正定论微调代码未发布README 的 TODO 里 Gradio demo 和 fine-tuning 代码仍未勾选想针对自有品类定制掩码头只能摸索像素解码器不吃 RL 奖励强化学习阶段优化的是框、点和 OCR 转录掩码/Alpha 只用监督损失训练生态极早期发布次日仅 46 星、下载量极低没有托管 API社区工具链基本为零总结步骤操作耗时1. 判断场景是否需要像素级输出掩码/抠图1 分钟2. 拉权重Hugging Face 选 2B轻量或 4B精度10 分钟3. 跑通推理项目代码 mask_decoder.pt先试检测/OCR再试分割/抠图30 分钟核心价值WeVisOne-VL 把「一个应用挂四五个模型」这件事第一次真正压缩成了一套权重。它的意义不在于某一项跑分超过谁而在于 9.6M 参数的像素解码器让语言模型直接吐出了全分辨率 Alpha matte——这一步过去必须外挂 SAM。1 亿图像、36 亿框的训练量加上三阶段课程学习和混合任务 RL让 2B/4B 这个小体量的模型在 30 基准上全面领先还顺便把拒识率做到了 96.4%。Apache-2.0 开源、无营销、静悄悄上线——如果你想试试视觉大一统到底走到哪一步了现在就可以拉权重跑起来。参考链接WeVisOne-VL 论文arXiv:2610.31329https://arxiv.org/abs/2610.31329项目主页https://tencent.github.io/WeVisOne-VLGitHub 仓库https://github.com/Tencent/WeVisOne-VLHugging Face 权重合集https://huggingface.co/collections/tencent/wevisone-vl觉得有用点赞 收藏 关注并留你最关心的内容后续考虑持续跟进更多相关内容。声明资源可能存在第三方来源若有侵权请联系删除 
长河君 · 2026/11/6 1:47:39 · 阅读 1.2k WeVisOne-VL：腾讯微信开源大一统视觉模型，一个模型干完 YOLO-World + SAM + PaddleOCR
WeVisOne-VL腾讯微信开源大一统视觉模型一个模型干完 YOLO-World SAM PaddleOCR一句话速览2026 年 10 月 22 日腾讯微信视觉团队静悄悄开源 WeVisOne-VL——基于 Qwen3-VL 的 2B / 4B 双尺寸模型用 9.6M 像素解码器 一个OBJtoken把检测、指代定位、计数、OCR、分割、抠图六件事塞进同一套权重。LVIS 55.3、Dense200 71.3、拒识率 96.4%、抠图误差 7.330 基准全面领先。本文讲清它凭什么、「大一统」到底做到了什么程度、以及能不能替换你手头那四五个模型。 目录背景一个视觉应用四五个模型的痛一、WeVisOne-VL 模型档案二、核心设计一个OBJtoken 接管像素级任务三、六大视觉任务一套权重四、跑分数据全面领先且拒识能力突出五、三代大一统模型横向对比六、使用指南3 步本地跑通七、局限性需要知道的真相总结参考链接背景一个视觉应用四五个模型的痛做过真实视觉项目的都懂这套组合拳开放世界检测部署 YOLO-World万物分割接一个 SAMOCR 再挂一个 PaddleOCR指代定位再找个 Grounding-DINO抠图还得单独上 P3M。四五个模型四五套预处理、四五套后处理、四五份权重、四五种显存峰值。每加一个任务工程复杂度就翻一倍每升一次版本回归测试就要跑一遍全链路。更麻烦的是这些模型彼此不通检测框给了 SAMSAM 还得重新编码一次图像OCR 出来的文本框和检测框坐标体系还不一定对齐。视觉理解正在走向大一统。Rex-Omni、LocateAnything 已经证明一个模型能支持十余种视觉任务但它们的能力止步于「框和点」——物体级。真正难的是往下再走一层掩码、Alpha 通道这些像素级输出过去必须靠 SAM 这类专用分割模型。2026 年 10 月 22 日腾讯微信视觉团队把 WeVisOne-VL 挂上了 arXiv、GitHub 和 Hugging Face——没有发布会没有新闻稿没有官方博客。一个统一物体级和像素级感知的视觉-语言模型就这么安静地开源了。一、WeVisOne-VL 模型档案项目详情全称WeVisOne-VLWeChat Vision All-in-One发布方微信视觉团队WeChat Vision, Tencent Inc.发布时间2026 年 10 月 22 日arXiv 2610.31329参数规模2B 与 4B 双尺寸4B 实际 4.83B基座Qwen3-VLQwen3VLForConditionalGeneration核心机制结构化下一 token 预测 OBJtoken 轻量像素解码器文本上下文262,144 tokens支持任务目标检测、指代定位、目标计数、目标指向、OCR、指代分割、提示式抠图输出粒度点、框、掩码、Alpha matte任意用户指定精度训练数据约 1 亿图像、36 亿框标注开源协议Apache-2.0开源地址GitHubTencent/WeVisOne-VLHugging Facetencent/WeVisOne-VL-2B / 4B注意一个容易被误写的点官方没有发任何公告只是在 10 月 22 日 08:58 UTC 建了 GitHub 仓库、09:48 UTC 传了权重、同日投了 arXiv。截至发布后第二天GitHub 只有 46 星、3 个 fork下载量极低——这不是一次营销发布而是一次纯技术开源。二、核心设计一个OBJtoken 接管像素级任务WeVisOne-VL 的架构其实并不花哨但那个 9.6M 的像素解码器是整个方案的灵魂。2.1 物体级把坐标变成 token传统 VLM 做定位输出的是自然语言里的数字字符串解码慢、格式易错。WeVisOne-VL 沿用并强化了「坐标 token 化」路线用一组专用 token0到1000编码归一化坐标框和点都是这些 token 的组合。好处很直接输出紧凑、格式稳定、解析简单而且模型能像说语言一样「说」几何。2.2 像素级OBJtoken 轻量解码器这才是关键差异。模型每预测完一个框就紧接着输出一个特殊的OBJtoken。这个 token 的隐藏状态被当作该实例的隐式表征送进一个独立的分割解码器。解码器只有约 960 万参数结构是视觉特征适配器 → 6 个可变形交叉注意力块 → 级联头在 1/4、1/2、1 步上逐级细化。它把「框」变成「实例掩码」再把「实例掩码」细化为「全分辨率 Alpha matte」。整条像素通路只有 9.6M 参数接在一个 4B 规模的语言模型上。重点这里没有 SAM没有第二个模型没有独立的提示编码器。参考实现里就是一个mask_decoder.pt文件挂上就能出掩码和 Alpha。这就是 WeVisOne-VL 敢于自称「大一统」的技术底气——它不是在多个模型外面套一个调度器而是真的把像素级能力长进了语言模型体内。2.3 训练三阶段课程 SFT 混合任务强化学习阶段目标SFT Stage 1任务对齐教会模型按指令产出格式正确的结构化输出SFT Stage 2引入高分辨率和密集感知数据提升小目标与拥挤场景召回SFT Stage 3引入像素级任务从离散定位扩展到密集预测RL 阶段在 SFT 模型最不确定的样本上做 GRPO混合任务采样提升定位精度并抑制重复与幻觉输出值得一提的是数据引擎检测标注用 SAM3 自研 DINO 风格开放词汇检测器并行出提案再用 Qwen3-VL 做语义校验分割用 SAM2 生成二值掩码抠图则有专门的数据引擎提供连续 Alpha 监督。1 亿图像、36 亿框全部带实例对齐的细粒度标注。三、六大视觉任务一套权重同一个 4B 权重同一套推理代码能做这些事任务输入输出目标检测图像 类别名所有该类别的框指代定位图像 「穿黄衣服打伞的人」精确匹配该描述的框目标计数图像 「数一数有几辆车」数量 位置目标指向图像 描述指向目标的点OCR图像文本内容 文本框指代分割图像 描述实例掩码提示式抠图图像 描述全分辨率 Alpha matte过去这七个功能至少需要 YOLO-World Grounding-DINO PaddleOCR SAM P3M 五个模型现在是一个模型的七种输出格式。工程上少掉的不仅是显存和延迟更是五套预处理、五套后处理、五个版本号的维护地狱。四、跑分数据全面领先且拒识能力突出4B 版本在 30 基准上的核心数字对比各自任务的最强开源基线能力基准WeVisOne-VL-4B最强基线提升开放集检测LVIS Mean F155.350.74.6密集检测Dense200 Mean F171.358.712.6指代定位RefCOCOg test F181.877.64.2目标拒识WeRef-Bench 拒识率96.4%73.0%23.4 点目标计数PixMo-Count 准确率89.682.86.8OCRTotalText Mean F152.043.38.7指代分割ReasonSeg gIoU71.265.06.2提示式抠图P3M-500-NP MAD越低越好7.315.4误差减半两条最值得注意的对比第一同基座对比。面对未经微调的 Qwen3-VL-4BDense200 是 71.3 vs 15.2VisDrone 是 44.7 vs 31.0。这个差距说明一件事原生 VLM 对密集小目标的检测几乎不可用而 WeVisOne-VL 的微调把它拉到了专业检测器所在的区间。这比「超越某个 SOTA」更有说服力——它证明了一个 4B 的通用模型可以被改造成能用的定位器而不需要堆参数。第二拒识率 96.4%。这个指标最容易被低估。让模型在目标不存在时老实回答「没有」听起来无关紧要直到你在视频流上跑检测器然后看着它在空停车场里幻觉出一个行人。96.4% vs 73.0% 的差距就是一个能直接接进生产流水线的组件和另一个必须再套一层防护模型的组件的差距。五、三代大一统模型横向对比WeVisOne-VL 不是第一个做「多任务统一」的。把近期三个代表放在一起看能更清楚它补上了哪一块维度Rex-OmniLocateAnything英伟达WeVisOne-VL规模3B 级3B2B / 4B基座—Moon-ViT Qwen2.5Qwen3-VL输出粒度框、点框、点框、点、掩码、Alpha matte是否覆盖像素级否否是且无需 SAM分割方案需外挂 SAM需外挂 SAM内置 9.6M 像素解码器核心差异通用 grounding并行框解码速度极快物体级 像素级统一拒识能力一般支持拒识WeRef-Bench 96.4%一句话概括Rex-Omni 和 LocateAnything 解决的是「框得准、框得快」WeVisOne-VL 解决的是「框完还能直接出掩码和 Alpha」。前者是物体级的统一后者第一次把像素级也纳入同一套权重。六、使用指南3 步本地跑通6.1 环境准备操作步骤克隆 GitHub 仓库Tencent/WeVisOne-VL从 Hugging Face 拉tencent/WeVisOne-VL-4B或-2B权重安装项目自带的推理包注意mask_decoder.pt是必需组件不是可选插件用项目脚本或特殊 chat template 送入图像与指令拿到结构化框输出需要掩码时再跑像素解码器。6.2 调用示例fromwevisone_vlimportWeVisOneVL modelWeVisOneVL.from_pretrained(tencent/WeVisOne-VL-4B)resultmodel.perceive(imagestreet.jpg,taskreferring_segmentation,query打伞的女孩)print(result.boxes)# 归一化坐标转回的像素框print(result.masks)# 实例掩码需 mask_decoderprint(result.alpha)# 全分辨率 Alpha matte6.3 需要注意的工程细节细节说明解码方式论文/模型卡使用贪心解码单图视觉 token 上限约 1960部署栈官方给出四条路项目推理包、Transformers image-text-to-text、vLLM、SGLang另有 Docker Model Runner 一行命令显存4.83B F32 权重约 19GBbfloat16 减半再加 9.6M 解码器必须用自定义代码标准 Transformers 加载只能拿到框和文本拿不到掩码——像素解码器必须走项目代码无托管 API官方未提供任何 hosted endpoint也没有公布价格目前只能自托管如果你这周就要在 production 跑视觉感知、又不想为昨天的权重临时开 GPU那么同基座的 Qwen3-VL-8B-Instruct 仍是通过 API 快速可用的选择——它能给框和描述但给不了 Alpha matte。七、局限性需要知道的真相局限说明只支持单图单轮像素解码器直接拒绝视频网格它不是视频分割工具也没有多轮推理无法就模糊指令追问无推理链直接输出结构化结果没有「先想再答」的环节遇到高度歧义指令只能一次性押注Alpha 质量有边界细发丝边缘、严重遮挡、真正透明的材质玻璃、纱上质量会下降对提示措辞敏感「那个女人的头发」和「她的头发」不保证返回同一张 Alpha跑分尚未第三方复现所有数字来自作者论文和 README对比集合由作者选定独立复测才能真正定论微调代码未发布README 的 TODO 里 Gradio demo 和 fine-tuning 代码仍未勾选想针对自有品类定制掩码头只能摸索像素解码器不吃 RL 奖励强化学习阶段优化的是框、点和 OCR 转录掩码/Alpha 只用监督损失训练生态极早期发布次日仅 46 星、下载量极低没有托管 API社区工具链基本为零总结步骤操作耗时1. 判断场景是否需要像素级输出掩码/抠图1 分钟2. 拉权重Hugging Face 选 2B轻量或 4B精度10 分钟3. 跑通推理项目代码 mask_decoder.pt先试检测/OCR再试分割/抠图30 分钟核心价值WeVisOne-VL 把「一个应用挂四五个模型」这件事第一次真正压缩成了一套权重。它的意义不在于某一项跑分超过谁而在于 9.6M 参数的像素解码器让语言模型直接吐出了全分辨率 Alpha matte——这一步过去必须外挂 SAM。1 亿图像、36 亿框的训练量加上三阶段课程学习和混合任务 RL让 2B/4B 这个小体量的模型在 30 基准上全面领先还顺便把拒识率做到了 96.4%。Apache-2.0 开源、无营销、静悄悄上线——如果你想试试视觉大一统到底走到哪一步了现在就可以拉权重跑起来。参考链接WeVisOne-VL 论文arXiv:2610.31329https://arxiv.org/abs/2610.31329项目主页https://tencent.github.io/WeVisOne-VLGitHub 仓库https://github.com/Tencent/WeVisOne-VLHugging Face 权重合集https://huggingface.co/collections/tencent/wevisone-vl觉得有用点赞 收藏 关注并留你最关心的内容后续考虑持续跟进更多相关内容。声明资源可能存在第三方来源若有侵权请联系删除