【免费下载链接】Mistral-Small-4-119B-2603-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Mistral-Small-4-119B-2603-GGUF点击查看免费下载Mistral-Small-4-119B-2603-GGUF 仓库提供了 Mistral Small 4119B MoE 混合推理模型的全系列 GGUF 量化版本从 221 GiB 的 BF16 原版到 30 GiB 的 UD-IQ1_M 低显存版一应俱全还附带视觉投影文件mmproj和 imatrix 校准文件。相比上一代 Mistral Small 3.2新模型官方数据显示端到端完成时间降低 40%、吞吐优化下每秒可处理 3 倍请求。本文帮你一次性搞懂性能提升到底来自哪里、20 多种量化版本怎么选、如何最快部署跑起来。⚡ 速度提升的秘密这次到底改了什么很多人以为性能提升靠的是更大的参数但 Mistral Small 4 恰恰相反——它总参数 119B每个 token 只激活 6.5B。核心变化有 4 个变化点Mistral Small 3.2Mistral Small 4对速度的意义架构稠密模型24BMoE 混合专家128 个专家每 token 仅激活 4 个激活参数少 → 单 token 计算量小延迟直接下降能力形态Instruct / 推理模型Magistral/ 编码模型分开三合一统一模型Instruct Reasoning Devstral一个模型替代三个部署和维护成本更低推理模式固定风格reasoning_effort按请求切换none快答 /high深度思考简单问题秒回复杂问题才费脑平均延迟大幅降低上下文 / 模态较短上下文、纯文本256K 上下文 多模态文本图像输入支持 12 种语言长文档、图表理解一次到位减少多轮往返 简单说MoE 让它想得快按需推理让它该快则快、该深则深两者叠加就是官方口径的延迟 -40%、吞吐 3x的来源。另外两个官方推荐的提速外挂投机解码官方训练了 EAGLE 头mistralai/Mistral-Small-4-119B-2603-eagle可让解码阶段一次验证多个 token4-bit 浮点量化官方提供 NVFP4 checkpoint本仓库对应 MXFP4_MOE/ 目录约 66.9 GiB精度接近 8-bit、体积只有 1/2。 输出效率为什么答得少反而更快延迟不仅取决于推理速度还取决于模型愿意写多少字。官方基准数据很能说明问题AA LCRMistral Small 4 得分0.72输出仅1.6K 字符Qwen 系列达到相近水平需要 5.8–6.1K 字符多出 3.5–4 倍LiveCodeBench超过 GPT-OSS 120B同时输出还少 20%AIME25等数学基准同样保持领先区间。输出越短端到端延迟和推理成本越低——这是快的第二重来源。 仓库量化版本完整清单含真实体积以下是本仓库全部量化版本的实测体积按 LFS 元数据精确统计从大到小排列量化版本体积 (GiB)文件形式定位BF16/221.76 分片原始精度仅验证用UD-Q8_K_XL/123.54 分片近无损高分辨率量化Q8_0/117.84 分片经典 8-bit精度优先UD-Q6_K_XL/100.84 分片高精度 6-bitUD-Q6_K/92.64 分片6-bit 均衡款UD-Q5_K_XL/ / UD-Q5_K_M/ / UD-Q5_K_S/83.4 / 83.0 / 77.93 分片5-bit 三档MXFP4_MOE/66.93 分片4-bit 浮点适配 NVFP4 硬件UD-Q4_K_XL/69.13 分片4-bit 高精度UD-Q4_K_M/68.73 分片⭐ 综合性价比首选UD-Q4_K_S/64.73 分片4-bit 标准UD-IQ4_NL/ / UD-IQ4_XS/55.1 / 54.13 分片4-bit 更省显存UD-Q3_K_XL/ / UD-Q3_K_M/51.1 / 50.63 分片3-bitMistral-Small-4-119B-2603-UD-Q3_K_S.gguf46.2单文件3-bit 精简Mistral-Small-4-119B-2603-UD-IQ3_S.gguf / Mistral-Small-4-119B-2603-UD-IQ3_XXS.gguf41.4 / 39.9单文件低显存 3-bitMistral-Small-4-119B-2603-UD-Q2_K_XL.gguf37.4单文件2-bit 高精度Mistral-Small-4-119B-2603-UD-IQ2_M.gguf / Mistral-Small-4-119B-2603-UD-IQ2_XXS.gguf35.0 / 32.5单文件极限压缩Mistral-Small-4-119B-2603-UD-IQ1_M.gguf30.1单文件极限压缩配套文件视觉投影mmprojmmproj-BF16.gguf0.8 GiB、mmproj-F16.gguf0.8 GiB、mmproj-F32.gguf1.6 GiB——启用图像输入时需与主模型搭配加载校准文件imatrix_unsloth.gguf_file0.11 GiB——UD 系列量化所用 imatrix保证低比特下的精度表现。所有量化均由Unsloth Dynamic 2.0生成官方称其在精度上优于主流同档位量化且已包含chat template 修复llama.cpp 用户记得加--jinja参数即可获得正确的对话模板行为。 新手选型指南3 类硬件对号入座你的硬件推荐版本说明双卡 80G 或 单卡 96GUD-Q6_K/、Q8_0/接近原始精度MoE 结构下激活参数少速度依然可观单卡 80G如 A100/H100UD-Q4_K_M/ 或 MXFP4_MOE/权重约 69 GiB留出 KV Cache 空间跑长上下文是社区最常用档位单卡 48G如 RTX 4090/5090Mistral-Small-4-119B-2603-UD-IQ2_M.gguf / Mistral-Small-4-119B-2603-UD-IQ3_S.gguf35–41 GiB配合 MoE 的低激活量仍有不错速度但建议压缩上下文长度多卡集群、追求极致UD-Q8_K_XL/ 或 BF16/离线评测、微调基座场景 提示MoE 模型量化后推理速度的下降比稠密模型更温和因为每 token 只激活 4/128 的专家低比特档位的体验通常好于同尺寸稠密模型。 最快部署方法方式一llama.cpp 跑 GGUF本仓库文件llama-server -m UD-Q4_K_M/Mistral-Small-4-119B-2603-UD-Q4_K_M-00001-of-00003.gguf --jinja -c 32768--jinja启用内置聊天模板Unsloth 已修复模板务必加上需要图像理解时追加 mmproj 参数指向 mmproj-F16.gguf多分片模型如 Q8_0 共 4 片会自动加载同目录的分片无需逐一指定。方式二vLLM 部署官方原始权重生产推荐官方推荐使用自带工具调用与推理解析修复的 Docker 镜像docker pull mistralllm/vllm-ms4:latest vllm serve mistralai/Mistral-Small-4-119B-2603 --max-model-len 262144 --tensor-parallel-size 2 \ --tool-call-parser mistral --enable-auto-tool-choice --reasoning-parser mistral请求时通过reasoning_effort参数切换秒答none与深度思考high两种模式这是控制延迟与质量平衡的最关键旋钮。 更多架构细节、基准对比图和完整 API 示例见仓库 README.md。✅ 总结3 个要点带走快的本质119B 总参数但每 token 仅激活 6.5B 的 MoE 设计 按请求切换的推理模式共同带来对比 Mistral Small 3.2 的 40% 延迟下降与 3 倍吞吐提升选量化80G 单卡闭眼选 UD-Q4_K_M48G 单卡选 IQ2_M/IQ3_S追求精度上 Q8_0 或 UD-Q6_K跑起来llama.cpp 加--jinja即可本地体验生产环境用 vLLM reasoning_effort灵活调延迟。Apache 2.0 协议可商用——这套 GGUF 合集基本覆盖了从消费级显卡到数据中心集群的每一种部署场景。赞分享【免费下载链接】Mistral-Small-4-119B-2603-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Mistral-Small-4-119B-2603-GGUF点击查看免费下载相关推荐为什么 36GB 内存的 Mac 能装下 119B 模型Mistral-Small-4-119B-2603-OptiQ-2bit 的 SSD 专家流式加载原理揭秘为什么 36GB 内存的 Mac 能装下 119B 模型Mistral Small 4 119B 2603 OptiQ 2bit 的 SSD 专家流式加载原理人工智能大模型模型量化本地部署239GB 瘦身到 43GB 的秘密Mistral-Small-4-119B-2603-OptiQ-2bit 混合 2/4-bit 静态量化原理深度剖析239GB 瘦身到 43GB 的秘密Mistral Small 4 119B 2603 OptiQ 2bit 混合 2/4 bit 静态量化原理深度剖析 Mi人工智能大模型模型量化本地部署IceCubesApp 深度拆解SwiftUI 驱动的多平台 Mastodon 客户端——从架构到落地的完整解读IceCubesApp 深度拆解SwiftUI 驱动的多平台 Mastodon 客户端——从架构到落地的完整解读 开篇速览纯 SwiftUI 写成的 Mas人工智能大模型模型量化本地部署上一篇easy-vibe 跨平台开发技术全景React Native / Flutter / Electron / Tauri 架构流派与选型实战指南下一篇终极指南Guice动态代理与Enhancer类的完整实现解析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/18 1:22:39 · 阅读 1.2k Mistral-Small-4-119B-2603-GGUF vs Mistral Small 3.2：延迟降低 40%、吞吐量提升 3 倍，到底改了什么？
【免费下载链接】Mistral-Small-4-119B-2603-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Mistral-Small-4-119B-2603-GGUF点击查看免费下载Mistral-Small-4-119B-2603-GGUF 仓库提供了 Mistral Small 4119B MoE 混合推理模型的全系列 GGUF 量化版本从 221 GiB 的 BF16 原版到 30 GiB 的 UD-IQ1_M 低显存版一应俱全还附带视觉投影文件mmproj和 imatrix 校准文件。相比上一代 Mistral Small 3.2新模型官方数据显示端到端完成时间降低 40%、吞吐优化下每秒可处理 3 倍请求。本文帮你一次性搞懂性能提升到底来自哪里、20 多种量化版本怎么选、如何最快部署跑起来。⚡ 速度提升的秘密这次到底改了什么很多人以为性能提升靠的是更大的参数但 Mistral Small 4 恰恰相反——它总参数 119B每个 token 只激活 6.5B。核心变化有 4 个变化点Mistral Small 3.2Mistral Small 4对速度的意义架构稠密模型24BMoE 混合专家128 个专家每 token 仅激活 4 个激活参数少 → 单 token 计算量小延迟直接下降能力形态Instruct / 推理模型Magistral/ 编码模型分开三合一统一模型Instruct Reasoning Devstral一个模型替代三个部署和维护成本更低推理模式固定风格reasoning_effort按请求切换none快答 /high深度思考简单问题秒回复杂问题才费脑平均延迟大幅降低上下文 / 模态较短上下文、纯文本256K 上下文 多模态文本图像输入支持 12 种语言长文档、图表理解一次到位减少多轮往返 简单说MoE 让它想得快按需推理让它该快则快、该深则深两者叠加就是官方口径的延迟 -40%、吞吐 3x的来源。另外两个官方推荐的提速外挂投机解码官方训练了 EAGLE 头mistralai/Mistral-Small-4-119B-2603-eagle可让解码阶段一次验证多个 token4-bit 浮点量化官方提供 NVFP4 checkpoint本仓库对应 MXFP4_MOE/ 目录约 66.9 GiB精度接近 8-bit、体积只有 1/2。 输出效率为什么答得少反而更快延迟不仅取决于推理速度还取决于模型愿意写多少字。官方基准数据很能说明问题AA LCRMistral Small 4 得分0.72输出仅1.6K 字符Qwen 系列达到相近水平需要 5.8–6.1K 字符多出 3.5–4 倍LiveCodeBench超过 GPT-OSS 120B同时输出还少 20%AIME25等数学基准同样保持领先区间。输出越短端到端延迟和推理成本越低——这是快的第二重来源。 仓库量化版本完整清单含真实体积以下是本仓库全部量化版本的实测体积按 LFS 元数据精确统计从大到小排列量化版本体积 (GiB)文件形式定位BF16/221.76 分片原始精度仅验证用UD-Q8_K_XL/123.54 分片近无损高分辨率量化Q8_0/117.84 分片经典 8-bit精度优先UD-Q6_K_XL/100.84 分片高精度 6-bitUD-Q6_K/92.64 分片6-bit 均衡款UD-Q5_K_XL/ / UD-Q5_K_M/ / UD-Q5_K_S/83.4 / 83.0 / 77.93 分片5-bit 三档MXFP4_MOE/66.93 分片4-bit 浮点适配 NVFP4 硬件UD-Q4_K_XL/69.13 分片4-bit 高精度UD-Q4_K_M/68.73 分片⭐ 综合性价比首选UD-Q4_K_S/64.73 分片4-bit 标准UD-IQ4_NL/ / UD-IQ4_XS/55.1 / 54.13 分片4-bit 更省显存UD-Q3_K_XL/ / UD-Q3_K_M/51.1 / 50.63 分片3-bitMistral-Small-4-119B-2603-UD-Q3_K_S.gguf46.2单文件3-bit 精简Mistral-Small-4-119B-2603-UD-IQ3_S.gguf / Mistral-Small-4-119B-2603-UD-IQ3_XXS.gguf41.4 / 39.9单文件低显存 3-bitMistral-Small-4-119B-2603-UD-Q2_K_XL.gguf37.4单文件2-bit 高精度Mistral-Small-4-119B-2603-UD-IQ2_M.gguf / Mistral-Small-4-119B-2603-UD-IQ2_XXS.gguf35.0 / 32.5单文件极限压缩Mistral-Small-4-119B-2603-UD-IQ1_M.gguf30.1单文件极限压缩配套文件视觉投影mmprojmmproj-BF16.gguf0.8 GiB、mmproj-F16.gguf0.8 GiB、mmproj-F32.gguf1.6 GiB——启用图像输入时需与主模型搭配加载校准文件imatrix_unsloth.gguf_file0.11 GiB——UD 系列量化所用 imatrix保证低比特下的精度表现。所有量化均由Unsloth Dynamic 2.0生成官方称其在精度上优于主流同档位量化且已包含chat template 修复llama.cpp 用户记得加--jinja参数即可获得正确的对话模板行为。 新手选型指南3 类硬件对号入座你的硬件推荐版本说明双卡 80G 或 单卡 96GUD-Q6_K/、Q8_0/接近原始精度MoE 结构下激活参数少速度依然可观单卡 80G如 A100/H100UD-Q4_K_M/ 或 MXFP4_MOE/权重约 69 GiB留出 KV Cache 空间跑长上下文是社区最常用档位单卡 48G如 RTX 4090/5090Mistral-Small-4-119B-2603-UD-IQ2_M.gguf / Mistral-Small-4-119B-2603-UD-IQ3_S.gguf35–41 GiB配合 MoE 的低激活量仍有不错速度但建议压缩上下文长度多卡集群、追求极致UD-Q8_K_XL/ 或 BF16/离线评测、微调基座场景 提示MoE 模型量化后推理速度的下降比稠密模型更温和因为每 token 只激活 4/128 的专家低比特档位的体验通常好于同尺寸稠密模型。 最快部署方法方式一llama.cpp 跑 GGUF本仓库文件llama-server -m UD-Q4_K_M/Mistral-Small-4-119B-2603-UD-Q4_K_M-00001-of-00003.gguf --jinja -c 32768--jinja启用内置聊天模板Unsloth 已修复模板务必加上需要图像理解时追加 mmproj 参数指向 mmproj-F16.gguf多分片模型如 Q8_0 共 4 片会自动加载同目录的分片无需逐一指定。方式二vLLM 部署官方原始权重生产推荐官方推荐使用自带工具调用与推理解析修复的 Docker 镜像docker pull mistralllm/vllm-ms4:latest vllm serve mistralai/Mistral-Small-4-119B-2603 --max-model-len 262144 --tensor-parallel-size 2 \ --tool-call-parser mistral --enable-auto-tool-choice --reasoning-parser mistral请求时通过reasoning_effort参数切换秒答none与深度思考high两种模式这是控制延迟与质量平衡的最关键旋钮。 更多架构细节、基准对比图和完整 API 示例见仓库 README.md。✅ 总结3 个要点带走快的本质119B 总参数但每 token 仅激活 6.5B 的 MoE 设计 按请求切换的推理模式共同带来对比 Mistral Small 3.2 的 40% 延迟下降与 3 倍吞吐提升选量化80G 单卡闭眼选 UD-Q4_K_M48G 单卡选 IQ2_M/IQ3_S追求精度上 Q8_0 或 UD-Q6_K跑起来llama.cpp 加--jinja即可本地体验生产环境用 vLLM reasoning_effort灵活调延迟。Apache 2.0 协议可商用——这套 GGUF 合集基本覆盖了从消费级显卡到数据中心集群的每一种部署场景。赞分享【免费下载链接】Mistral-Small-4-119B-2603-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Mistral-Small-4-119B-2603-GGUF点击查看免费下载相关推荐为什么 36GB 内存的 Mac 能装下 119B 模型Mistral-Small-4-119B-2603-OptiQ-2bit 的 SSD 专家流式加载原理揭秘为什么 36GB 内存的 Mac 能装下 119B 模型Mistral Small 4 119B 2603 OptiQ 2bit 的 SSD 专家流式加载原理人工智能大模型模型量化本地部署239GB 瘦身到 43GB 的秘密Mistral-Small-4-119B-2603-OptiQ-2bit 混合 2/4-bit 静态量化原理深度剖析239GB 瘦身到 43GB 的秘密Mistral Small 4 119B 2603 OptiQ 2bit 混合 2/4 bit 静态量化原理深度剖析 Mi人工智能大模型模型量化本地部署IceCubesApp 深度拆解SwiftUI 驱动的多平台 Mastodon 客户端——从架构到落地的完整解读IceCubesApp 深度拆解SwiftUI 驱动的多平台 Mastodon 客户端——从架构到落地的完整解读 开篇速览纯 SwiftUI 写成的 Mas人工智能大模型模型量化本地部署上一篇easy-vibe 跨平台开发技术全景React Native / Flutter / Electron / Tauri 架构流派与选型实战指南下一篇终极指南Guice动态代理与Enhancer类的完整实现解析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考