从 lift-bf16 到 lift-oQ37 个量化变体怎么选附完整对比清单【免费下载链接】lift-oQ3项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ3同一款模型发布 7 个量化变体从 lift-bf16 到 lift-oQ3到底该选哪个本文用一张完整对比清单帮你快速看懂每个量化变体的体积、内存与速度差异并给出按硬件选型的实操建议。主角 lift-oQ3 是 mlx-community 社区对 9B 视觉语言模型 datalab-to/lift 的 MLX 量化移植版本专注 PDF、发票、合同等文档的结构化提取图片直接转 JSON模型仅 4.6GB可在 Apple Silicon 上本地流畅运行。什么是 lift-oQ3文档转 JSON 的多模态利器 lift 是一个 9B 参数的qwen3_5视觉语言模型VLM拿手好戏是结构化提取喂给它一张发票、合同或财报截图它会按照你定义的 JSON Schema 输出规整的结构化数据非常适合 RPA、财务自动化、文档处理等场景。lift-oQ3 是 mlx-community 社区基于 oMLX 工具链做的量化转换版核心特点有三个Apple Silicon 原生运行通过 mlx-vlm 加载无需 GPU 服务器Mac 本地即可跑混合精度量化数据驱动、逐层分配位宽平均约 3.5 bit/权重是 7 个变体中压缩最狠的一个开箱即用仓库内已备齐config.json、tokenizer.json、chat_template.jinja、generation_config.json等完整推理文件。7 个量化变体完整对比清单 mlx-community 为 lift 一口气发布了 7 个版本覆盖从几乎无损到极限压缩的完整梯度变体量化方法≈bpw模型大小峰值内存生成速度lift-bf16全 bf161618 GB19.9 GB31 t/slift-oQ8oQ≈8.69.7 GB12.3 GB58 t/slift-oQ6oQ≈67.7 GB9.4 GB73 t/slift-oQ5oQ≈56.7 GB8.4 GB83 t/slift-oQ4oQ≈4.65.6 GB7.2 GB100 t/slift-oQ3.5oQ≈4.04.9 GB6.5 GB109 t/slift-oQ3本仓库oQ≈3.54.6 GB6.2 GB119 t/s说明峰值内存与生成速度来自单图发票提取测试MacBook Pro M5 Max、128GB 内存仅供参考并非严谨基准测试。趋势一目了然位宽越低模型越小、内存越省、速度越快。从 lift-bf16 到 lift-oQ3模型大小从 18GB 压缩到 4.6GB缩小约 74%生成速度从 31 t/s 提升到 119 t/s约 3.8 倍。bpw 是什么看懂量化档位的核心指标 bpwbits per weight每权重比特数是判断量化档位的核心指标位宽越高精度损失越小但体积越大位宽越低压缩越狠、速度越快但对模型能力的影响也更明显。lift-bf16 的 16bpw 相当于原版精度而 lift-oQ3 的 ≈3.5bpw 则是在精度与效率之间大胆取舍的结果。值得一提的是oQ 系列采用数据驱动的逐层混合精度量化在config.json的quantization字段中大部分层按 3bit 量化group_size 64、affine 模式而linear_attn投影、部分mlp.down_proj等敏感层保留 5bit从而在极限压缩下守住关键能力——这也是它敢把平均位宽压到 3.5 的底气。量化变体怎么选按硬件与场景快速决策 ✅16GB 以上内存的 Mac精度优先选 lift-bf16 或 lift-oQ8处理复杂合同、多栏版面或对抗性文档时建议选高位宽版本。lift-bf16 精度最稳但 19.9GB 峰值内存劝退不少人实际使用中 lift-oQ8 更值得推荐——体积只有 bf16 的一半速度却快了一倍。8GB 内存的 Maclift-oQ4 / lift-oQ3.5 最均衡内存紧张时峰值内存 7.2GB 的 lift-oQ4 与 6.5GB 的 lift-oQ3.5 是甜点位日常发票、票据提取完全够用。追求极致速度直接上 lift-oQ3 ⚡批量处理大量文档的场景lift-oQ3 的 119 t/s 与 6.2GB 峰值内存最能打配合流式输出体验非常顺滑。一句话选型总结你的情况推荐变体内存充足、精度至上lift-bf16 / lift-oQ88GB 内存、日常够用lift-oQ4 / lift-oQ3.5批量处理、追求速度lift-oQ3快速上手在 Mac 本地部署量化模型 一键生成CLI 提取发票 JSONuvx --from mlx-vlm mlx_vlm.generate \ --model mlx-community/lift-oQ3 \ --image invoice.png \ --prompt Extract the invoice as JSON. \ --max-tokens 800结构化输出OpenAI 兼容服务 JSON Schemalift 天生为 schema 约束提取设计mlx_vlm.server会在解码阶段强制 JSON Schema基于 llguidance保证输出格式合法、类型正确uvx --from mlx-vlm mlx_vlm.server --model mlx-community/lift-oQ3 --port 8080启动后用 OpenAI SDK 调用/v1接口通过response_format{type: json_schema, ...}传入字段定义如 invoice_number、total、line_items 等即可拿到规整的 JSON 结果配合temperature0.0效果更稳定。获取模型文件既可直接指定--model mlx-community/lift-oQ3在线拉取也可以克隆本镜像仓库到本地使用git clone https://gitcode.com/hf_mirrors/mlx-community/lift-oQ3重要提醒eos 修复与量化质量边界 ⚠️eos 修复本仓库的generation_config.json已把eos_token_id设为[248044, 248046]。上游只设置了 248044而对话结束标记|im_end|对应 248046若不修复MLX 服务会一直生成停不下来从源模型自行转换时务必补上这一步。质量边界官方 FP 版 lift 在 Datalab 的 225 篇文档基准上得分 90.2%字段级量化变体仅验证了简单发票提取、未做大规模复测。低 bit 版本在更难的文档上可能出现能力退化正式使用前建议用你的真实文档小批量验证。许可证权重采用修改版 OpenRAIL-M允许研究、个人使用及年收入低于 500 万美元的创业公司使用但不得用于与 Datalab 商业 API 竞争的场景。总结从 lift-bf16 到 lift-oQ37 个量化变体覆盖了精度—效率的完整光谱精度敏感选高位宽内存紧张选低位宽批量场景直接拥抱 lift-oQ3 的极致速度。把它装进 Mac你的发票、合同就能一键变成结构化 JSON 了 。【免费下载链接】lift-oQ3项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/8/17 18:20:02 · 阅读 1.2k 从 lift-bf16 到 lift-oQ3：7 个量化变体怎么选？附完整对比清单
从 lift-bf16 到 lift-oQ37 个量化变体怎么选附完整对比清单【免费下载链接】lift-oQ3项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ3同一款模型发布 7 个量化变体从 lift-bf16 到 lift-oQ3到底该选哪个本文用一张完整对比清单帮你快速看懂每个量化变体的体积、内存与速度差异并给出按硬件选型的实操建议。主角 lift-oQ3 是 mlx-community 社区对 9B 视觉语言模型 datalab-to/lift 的 MLX 量化移植版本专注 PDF、发票、合同等文档的结构化提取图片直接转 JSON模型仅 4.6GB可在 Apple Silicon 上本地流畅运行。什么是 lift-oQ3文档转 JSON 的多模态利器 lift 是一个 9B 参数的qwen3_5视觉语言模型VLM拿手好戏是结构化提取喂给它一张发票、合同或财报截图它会按照你定义的 JSON Schema 输出规整的结构化数据非常适合 RPA、财务自动化、文档处理等场景。lift-oQ3 是 mlx-community 社区基于 oMLX 工具链做的量化转换版核心特点有三个Apple Silicon 原生运行通过 mlx-vlm 加载无需 GPU 服务器Mac 本地即可跑混合精度量化数据驱动、逐层分配位宽平均约 3.5 bit/权重是 7 个变体中压缩最狠的一个开箱即用仓库内已备齐config.json、tokenizer.json、chat_template.jinja、generation_config.json等完整推理文件。7 个量化变体完整对比清单 mlx-community 为 lift 一口气发布了 7 个版本覆盖从几乎无损到极限压缩的完整梯度变体量化方法≈bpw模型大小峰值内存生成速度lift-bf16全 bf161618 GB19.9 GB31 t/slift-oQ8oQ≈8.69.7 GB12.3 GB58 t/slift-oQ6oQ≈67.7 GB9.4 GB73 t/slift-oQ5oQ≈56.7 GB8.4 GB83 t/slift-oQ4oQ≈4.65.6 GB7.2 GB100 t/slift-oQ3.5oQ≈4.04.9 GB6.5 GB109 t/slift-oQ3本仓库oQ≈3.54.6 GB6.2 GB119 t/s说明峰值内存与生成速度来自单图发票提取测试MacBook Pro M5 Max、128GB 内存仅供参考并非严谨基准测试。趋势一目了然位宽越低模型越小、内存越省、速度越快。从 lift-bf16 到 lift-oQ3模型大小从 18GB 压缩到 4.6GB缩小约 74%生成速度从 31 t/s 提升到 119 t/s约 3.8 倍。bpw 是什么看懂量化档位的核心指标 bpwbits per weight每权重比特数是判断量化档位的核心指标位宽越高精度损失越小但体积越大位宽越低压缩越狠、速度越快但对模型能力的影响也更明显。lift-bf16 的 16bpw 相当于原版精度而 lift-oQ3 的 ≈3.5bpw 则是在精度与效率之间大胆取舍的结果。值得一提的是oQ 系列采用数据驱动的逐层混合精度量化在config.json的quantization字段中大部分层按 3bit 量化group_size 64、affine 模式而linear_attn投影、部分mlp.down_proj等敏感层保留 5bit从而在极限压缩下守住关键能力——这也是它敢把平均位宽压到 3.5 的底气。量化变体怎么选按硬件与场景快速决策 ✅16GB 以上内存的 Mac精度优先选 lift-bf16 或 lift-oQ8处理复杂合同、多栏版面或对抗性文档时建议选高位宽版本。lift-bf16 精度最稳但 19.9GB 峰值内存劝退不少人实际使用中 lift-oQ8 更值得推荐——体积只有 bf16 的一半速度却快了一倍。8GB 内存的 Maclift-oQ4 / lift-oQ3.5 最均衡内存紧张时峰值内存 7.2GB 的 lift-oQ4 与 6.5GB 的 lift-oQ3.5 是甜点位日常发票、票据提取完全够用。追求极致速度直接上 lift-oQ3 ⚡批量处理大量文档的场景lift-oQ3 的 119 t/s 与 6.2GB 峰值内存最能打配合流式输出体验非常顺滑。一句话选型总结你的情况推荐变体内存充足、精度至上lift-bf16 / lift-oQ88GB 内存、日常够用lift-oQ4 / lift-oQ3.5批量处理、追求速度lift-oQ3快速上手在 Mac 本地部署量化模型 一键生成CLI 提取发票 JSONuvx --from mlx-vlm mlx_vlm.generate \ --model mlx-community/lift-oQ3 \ --image invoice.png \ --prompt Extract the invoice as JSON. \ --max-tokens 800结构化输出OpenAI 兼容服务 JSON Schemalift 天生为 schema 约束提取设计mlx_vlm.server会在解码阶段强制 JSON Schema基于 llguidance保证输出格式合法、类型正确uvx --from mlx-vlm mlx_vlm.server --model mlx-community/lift-oQ3 --port 8080启动后用 OpenAI SDK 调用/v1接口通过response_format{type: json_schema, ...}传入字段定义如 invoice_number、total、line_items 等即可拿到规整的 JSON 结果配合temperature0.0效果更稳定。获取模型文件既可直接指定--model mlx-community/lift-oQ3在线拉取也可以克隆本镜像仓库到本地使用git clone https://gitcode.com/hf_mirrors/mlx-community/lift-oQ3重要提醒eos 修复与量化质量边界 ⚠️eos 修复本仓库的generation_config.json已把eos_token_id设为[248044, 248046]。上游只设置了 248044而对话结束标记|im_end|对应 248046若不修复MLX 服务会一直生成停不下来从源模型自行转换时务必补上这一步。质量边界官方 FP 版 lift 在 Datalab 的 225 篇文档基准上得分 90.2%字段级量化变体仅验证了简单发票提取、未做大规模复测。低 bit 版本在更难的文档上可能出现能力退化正式使用前建议用你的真实文档小批量验证。许可证权重采用修改版 OpenRAIL-M允许研究、个人使用及年收入低于 500 万美元的创业公司使用但不得用于与 Datalab 商业 API 竞争的场景。总结从 lift-bf16 到 lift-oQ37 个量化变体覆盖了精度—效率的完整光谱精度敏感选高位宽内存紧张选低位宽批量场景直接拥抱 lift-oQ3 的极致速度。把它装进 Mac你的发票、合同就能一键变成结构化 JSON 了 。【免费下载链接】lift-oQ3项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考