革命性2.33bpw量化模型Hy3-oQ2e-2.33bpw：Apple Silicon专属AI大模型终极部署方案

革命性2.33bpw量化模型Hy3-oQ2e-2.33bpwApple Silicon专属AI大模型终极部署方案【免费下载链接】Hy3-oQ2e-2.33bpw项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Hy3-oQ2e-2.33bpwHy3-oQ2e-2.33bpw是一款专为Apple Silicon优化的革命性2.33bpw量化AI大模型基于腾讯Hy3混元3.0295B-A21B MoE通过omlx oQe技术在2级量化水平下构建而成。该模型在保持高性能的同时将磁盘空间压缩至仅86.0 GB为Apple设备用户提供了高效、经济的AI大模型部署方案。为什么选择Hy3-oQ2e-2.33bpw在AI大模型日益普及的今天模型的大小和性能之间的平衡一直是用户面临的主要挑战。Hy3-oQ2e-2.33bpw通过创新的量化技术成功解决了这一难题。这款模型采用了shell-reduced设计理念与父版本mlx-community/Hy3-oQ2e相比路由专家Routed experts保持完全一致但非专家层注意力、嵌入、lm_head的量化水平低于oQ2e保留的8位以少量质量换取了显著的磁盘空间节省。相比Hy3-oQ2e-2.37bpw版本它进一步削减了模型体积同时保持了出色的性能表现。量化布局解析Hy3-oQ2e-2.33bpw的量化布局经过精心设计在不同组件上采用了差异化的量化策略组件oQ2e父版本本模型2.33 bpw路由专家98%2-bit gs128 imatrix2-bit gs128 imatrix注意力8-bit gs644-bit gs128嵌入 / lm_head8-bit gs643-bit gs128值得注意的是路由专家与oQ2e完全相同从相同的校准缓存重用imatrix只有外壳部分进行了调整这保证了模型核心性能的稳定性。性能基准测试虽然量化模型通常会在一定程度上影响性能但Hy3-oQ2e-2.33bpw在保持轻量化的同时仍表现出令人印象深刻的性能。以下是使用oMLX智能套件进行的基准测试结果每个基准300个种子样本基准测试300样本oQ2 · 2.68oQ2e · 2.43oQ2e-2.37bpwoQ2e-2.33bpw本模型oQ2e-2.31bpwmathqa0.630.650.640.620.60mmlu_pro0.650.610.600.590.55winogrande0.740.680.680.650.65测试结果显示尽管Hy3-oQ2e-2.33bpw的量化水平更高但性能下降幅度很小特别是在winogrande基准测试中与更高比特率的版本表现相当。快速安装指南要在Apple Silicon设备上使用Hy3-oQ2e-2.33bpw您需要先安装必要的依赖。目前mlx-lm对hy_v3的支持正在等待上游合并在此之前您可以使用以下命令安装预览版本uv pip install mlx-lm githttps://github.com/kernelpool/mlx-lm.gitadd-hy3-preview模型使用方法使用Hy3-oQ2e-2.33bpw非常简单。您可以通过命令行直接生成文本python -m mlx_lm generate --model mlx-community/Hy3-oQ2e-2.33bpw \ --prompt Explain Bayes theorem in two sentences. --max-tokens 300或者在Python代码中导入使用from mlx_lm import load, generate model, tokenizer load(mlx-community/Hy3-oQ2e-2.33bpw)量化技术背后的故事Hy3-oQ2e-2.33bpw是从BF16源模型约550 GB / 591 GiB通过omlx oQ level 2 imatrix加权量化而成。为了在128 GB内存限制内完成量化敏感性传递重用了现有的oQ2量化结果而不是构建全精度代理重要性矩阵则重用了oQ2e校准缓存整个过程采用张量流方式进行。量化过程中使用了oqe_code_multilingual校准数据集处理了128个样本序列长度为512。通过自适应采样策略确保了在有限资源下获得最佳的量化效果。总结Hy3-oQ2e-2.33bpw代表了AI大模型在Apple Silicon设备上部署的一个重要里程碑。它以仅86.0 GB的磁盘空间提供了接近原始模型的性能为普通用户带来了高效、经济的AI大模型体验。无论是学术研究、开发测试还是个人项目Hy3-oQ2e-2.33bpw都是Apple Silicon用户的理想选择。如果您正在寻找一种方法在不牺牲太多性能的前提下在您的Apple设备上运行强大的AI大模型那么Hy3-oQ2e-2.33bpw绝对值得尝试许可证信息Hy3-oQ2e-2.33bpw继承自tencent/Hy3采用Apache-2.0许可证。详情请参见LICENSE。【免费下载链接】Hy3-oQ2e-2.33bpw项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Hy3-oQ2e-2.33bpw创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考