mmproj-BF16.gguf与mmproj-F16.gguf是什么DeepSeek-V4-Flash-Vision-Exp-GGUF视觉投影文件入门详解本文详解 Unsloth 发布的 DeepSeek-V4-Flash-Vision-Exp GGUF 模型仓库中的 mmproj-BF16.gguf 与 mmproj-F16.gguf 两个文件什么是视觉投影文件、BF16 与 F16 精度的区别以及如何配合 llama.cpp 运行 DeepSeek-V4 视觉多模态推理。一、仓库里为什么多了两个 mmproj 文件DeepSeek-V4-Flash-Vision-Exp 是 DeepSeek-V4 家族的首个实验性多模态文本 图像模型Unsloth 将其转换成了全套 GGUF 量化版本。观察仓库结构内容分两大类UD-IQ1_S/ UD-Q8_K_XL/共 10 个量化档位的LLM 主模型每个档位拆分为多个 gguf 分片mmproj-BF16.gguf 与 mmproj-F16.gguf视觉投影文件的两个精度版本很多用户会疑惑主模型拆了一堆分片这两个 mmproj 文件又是干嘛的答案是——多模态模型 LLM 主模型 视觉模块。主模型 GGUF 只包含负责语言理解的大脑而连接图像与大模型的视觉桥梁就存放在 mmproj 文件里。mmproj 是mmultimodalprojection多模态投影的缩写。二、mmproj 到底做了什么把图片翻译成 LLM 能懂的语言多模态模型处理图片的内部流程大致如下图片被切分成若干小块patch视觉编码器vision encoder从每个小块中提取视觉特征投影层 / 对齐器projector / aligner把视觉特征映射到 LLM 的 token 嵌入空间LLM 便像读一段特殊文本一样读取图像内容再生成回答。仓库官方参考实现也印证了这一链路推理路径覆盖了 vision encoder、aligner、DFlash attention、MoE、Hyper-Connections 与 DSpark 前向过程详见 README.md。而本仓库的两个 mmproj 文件存放的正是视觉编码器 投影层的全部权重文件实际大小精度格式mmproj-BF16.gguf934,462,624 B≈891 MBBF16 16 位浮点mmproj-F16.gguf933,258,400 B≈890 MBF16 16 位浮点三、BF16 与 F16相同位宽不同强项两者都是 16 位浮点数但1 位符号 8 位指数 7 位尾数与1 位符号 5 位指数 10 位尾数的分配方式截然不同对比项BF16bfloat16F16float16位分配1 符号 8 指数 7 尾数1 符号 5 指数 10 尾数数值范围大接近 FP32不易溢出较小数值精度略低略高典型场景AI 训练/推理主流格式更稳老框架、老硬件兼容性更广一句话总结BF16 用精度换范围F16 用范围换精度。这也是两个文件大小几乎一样只差约 1 MB的原因——它们都是 16 位。四、怎么选BF16 还是 F16✅默认选 mmproj-BF16.gguf。llama.cpp 新版推理栈CUDA / Vulkan 等后端对 BF16 支持成熟范围大、数值更稳老硬件或老框架环境下可考虑 mmproj-F16.gguf拿不准就选 BF16注意这两个都是全精度文件并未量化。视觉模块只有约 900 MB对显存影响很小却显著决定视觉理解质量因此官方保持全精度发布。即使主模型选了很激进的量化档如 UD-IQ1_S也建议搭配全精度的 mmproj。五、快速上手用 llama.cpp 跑通视觉推理1️⃣ 确认 llama.cpp 版本视觉能力要求 llama.cppb10766 或更高版本首个包含 DeepSeek-V4 视觉支持的发布版可运行llama-cli --version查看。2️⃣ 主模型 mmproj 一起加载主模型分片命名形如00001-of-00005只需让-m指向第一个分片llama.cpp 会自动加载其余分片llama-cli -m UD-Q4_K_XL/DeepSeek-V4-Flash-Vision-Exp-UD-Q4_K_XL-00001-of-00005.gguf \ --mmproj mmproj-BF16.gguf \ --image example.jpg \ -p 描述一下这张图片的内容如果想部署 API 服务llama-server同样支持--mmproj参数之后即可通过 HTTP 发送文本 图片请求。3️⃣ 显存提醒真正的显存大头是主模型据 README.md 说明UD-Q8_K_XL 约162 GBUD-Q4_K_XL 约155 GB。请根据硬件选择合适的量化档位量化越低需求越小。六、新手最容易踩的 3 个坑把 mmproj 单独当模型用—— 投影文件只是视觉部分必须与同系列的主模型 GGUF 搭配配错模型无法工作llama.cpp 版本过旧—— 低于 b10766 的版本不含 DeepSeek-V4 视觉支持典型症状是加载报错或图片被直接忽略以为 mmproj 也能深度量化—— 官方仅提供 BF16 / F16 两个版本投影部分被量化会明显拉低视觉质量不建议寻找第三方量化版。七、仓库文件清单速查目录 / 文件说明UD-IQ1_S/ UD-IQ4_XS/主模型IQ 系列从最低量化档开始UD-Q2_K_XL/ UD-Q8_K_XL/主模型K 量化系列低档到满血 Q8mmproj-BF16.gguf视觉投影文件BF16推荐mmproj-F16.gguf视觉投影文件F16README.md模型介绍、基准成绩与运行说明总结mmproj 多模态投影文件存放视觉编码器 投影层权重是连接图片与LLM的视觉桥梁BF16 范围大、是默认首选F16 精度略高、老环境兼容更好两者大小几乎相同约 891 MB / 890 MB视觉支持需llama.cpp b10766通过--mmproj参数与主模型分片一起加载显存瓶颈在主模型Q4 ≈ 155 GB、Q8 ≈ 162 GB按硬件选择量化档位即可。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/30 2:24:46 · 阅读 1.2k mmproj-BF16.gguf与mmproj-F16.gguf是什么？DeepSeek-V4-Flash-Vision-Exp-GGUF视觉投影文件入门详解
mmproj-BF16.gguf与mmproj-F16.gguf是什么DeepSeek-V4-Flash-Vision-Exp-GGUF视觉投影文件入门详解本文详解 Unsloth 发布的 DeepSeek-V4-Flash-Vision-Exp GGUF 模型仓库中的 mmproj-BF16.gguf 与 mmproj-F16.gguf 两个文件什么是视觉投影文件、BF16 与 F16 精度的区别以及如何配合 llama.cpp 运行 DeepSeek-V4 视觉多模态推理。一、仓库里为什么多了两个 mmproj 文件DeepSeek-V4-Flash-Vision-Exp 是 DeepSeek-V4 家族的首个实验性多模态文本 图像模型Unsloth 将其转换成了全套 GGUF 量化版本。观察仓库结构内容分两大类UD-IQ1_S/ UD-Q8_K_XL/共 10 个量化档位的LLM 主模型每个档位拆分为多个 gguf 分片mmproj-BF16.gguf 与 mmproj-F16.gguf视觉投影文件的两个精度版本很多用户会疑惑主模型拆了一堆分片这两个 mmproj 文件又是干嘛的答案是——多模态模型 LLM 主模型 视觉模块。主模型 GGUF 只包含负责语言理解的大脑而连接图像与大模型的视觉桥梁就存放在 mmproj 文件里。mmproj 是mmultimodalprojection多模态投影的缩写。二、mmproj 到底做了什么把图片翻译成 LLM 能懂的语言多模态模型处理图片的内部流程大致如下图片被切分成若干小块patch视觉编码器vision encoder从每个小块中提取视觉特征投影层 / 对齐器projector / aligner把视觉特征映射到 LLM 的 token 嵌入空间LLM 便像读一段特殊文本一样读取图像内容再生成回答。仓库官方参考实现也印证了这一链路推理路径覆盖了 vision encoder、aligner、DFlash attention、MoE、Hyper-Connections 与 DSpark 前向过程详见 README.md。而本仓库的两个 mmproj 文件存放的正是视觉编码器 投影层的全部权重文件实际大小精度格式mmproj-BF16.gguf934,462,624 B≈891 MBBF16 16 位浮点mmproj-F16.gguf933,258,400 B≈890 MBF16 16 位浮点三、BF16 与 F16相同位宽不同强项两者都是 16 位浮点数但1 位符号 8 位指数 7 位尾数与1 位符号 5 位指数 10 位尾数的分配方式截然不同对比项BF16bfloat16F16float16位分配1 符号 8 指数 7 尾数1 符号 5 指数 10 尾数数值范围大接近 FP32不易溢出较小数值精度略低略高典型场景AI 训练/推理主流格式更稳老框架、老硬件兼容性更广一句话总结BF16 用精度换范围F16 用范围换精度。这也是两个文件大小几乎一样只差约 1 MB的原因——它们都是 16 位。四、怎么选BF16 还是 F16✅默认选 mmproj-BF16.gguf。llama.cpp 新版推理栈CUDA / Vulkan 等后端对 BF16 支持成熟范围大、数值更稳老硬件或老框架环境下可考虑 mmproj-F16.gguf拿不准就选 BF16注意这两个都是全精度文件并未量化。视觉模块只有约 900 MB对显存影响很小却显著决定视觉理解质量因此官方保持全精度发布。即使主模型选了很激进的量化档如 UD-IQ1_S也建议搭配全精度的 mmproj。五、快速上手用 llama.cpp 跑通视觉推理1️⃣ 确认 llama.cpp 版本视觉能力要求 llama.cppb10766 或更高版本首个包含 DeepSeek-V4 视觉支持的发布版可运行llama-cli --version查看。2️⃣ 主模型 mmproj 一起加载主模型分片命名形如00001-of-00005只需让-m指向第一个分片llama.cpp 会自动加载其余分片llama-cli -m UD-Q4_K_XL/DeepSeek-V4-Flash-Vision-Exp-UD-Q4_K_XL-00001-of-00005.gguf \ --mmproj mmproj-BF16.gguf \ --image example.jpg \ -p 描述一下这张图片的内容如果想部署 API 服务llama-server同样支持--mmproj参数之后即可通过 HTTP 发送文本 图片请求。3️⃣ 显存提醒真正的显存大头是主模型据 README.md 说明UD-Q8_K_XL 约162 GBUD-Q4_K_XL 约155 GB。请根据硬件选择合适的量化档位量化越低需求越小。六、新手最容易踩的 3 个坑把 mmproj 单独当模型用—— 投影文件只是视觉部分必须与同系列的主模型 GGUF 搭配配错模型无法工作llama.cpp 版本过旧—— 低于 b10766 的版本不含 DeepSeek-V4 视觉支持典型症状是加载报错或图片被直接忽略以为 mmproj 也能深度量化—— 官方仅提供 BF16 / F16 两个版本投影部分被量化会明显拉低视觉质量不建议寻找第三方量化版。七、仓库文件清单速查目录 / 文件说明UD-IQ1_S/ UD-IQ4_XS/主模型IQ 系列从最低量化档开始UD-Q2_K_XL/ UD-Q8_K_XL/主模型K 量化系列低档到满血 Q8mmproj-BF16.gguf视觉投影文件BF16推荐mmproj-F16.gguf视觉投影文件F16README.md模型介绍、基准成绩与运行说明总结mmproj 多模态投影文件存放视觉编码器 投影层权重是连接图片与LLM的视觉桥梁BF16 范围大、是默认首选F16 精度略高、老环境兼容更好两者大小几乎相同约 891 MB / 890 MB视觉支持需llama.cpp b10766通过--mmproj参数与主模型分片一起加载显存瓶颈在主模型Q4 ≈ 155 GB、Q8 ≈ 162 GB按硬件选择量化档位即可。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考