【免费下载链接】Llama-3.1-8B_rai_1.8.0_npu_16K项目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.1-8B_rai_1.8.0_npu_16K点击查看免费下载Llama-3.1-8B_rai_1.8.0_npu_16K 是 AMD 官方发布的Llama-3.1-8B Ryzen AI NPU 推理模型包基于 ONNX AWQ 量化导出支持 16K 上下文Token Fusion 16K可在 AMD Ryzen AI 处理器的 NPU 上高效运行。本文带你逐一读懂仓库中的 78 个文件从核心推理文件 model.onnx、model.onnx.data到占体积大头的 62 个 dd_metastate 预计算缓存文件让你快速搞清楚每个文件是干什么的、能不能动。一、项目是什么一句话看懂这个仓库不是训练代码而是一个开箱即用的推理模型部署包来源Meta 的 Llama-3.1-8B 模型加工流程Quark 量化AWQ / Group 128 / uint4 权重 / BFP16 激活→ OGA Model Builder 导出 → NPU 部署后处理16K 上下文 Token Fusion运行环境AMD Ryzen AIRyzen AI 1.3.1 ~ 1.7.1 各版本详见 README.md 与 rai_config.json模型核心规格来自 config.json 和 params.json参数值隐藏维度 hidden_size4096层数 num_hidden_layers32注意力头 / KV 头32 / 8GQA词表大小 vocab_size128256最大位置131072RoPE 缩放 8 倍量化方案AWQuint4 权重group 128非对称二、文件结构总览整个仓库可分成6 大类仓库根目录 ├─ 模型权重类 model.onnx / model.onnx.data / model.bin / model.pb.bin ├─ 配置类 config.json / genai_config.json / generation_config.json │ params.json / rai_config.json ├─ 分词器类 tokenizer.json / tokenizer.model / tokenizer_config.json │ special_tokens_map.json ├─ NPU 缓存类 62 个 dd_metastate_* 文件 cache/ 目录 └─ 合规类 LICENSE / README.md / USE_POLICY.md / .gitattributes 仓库使用 Git LFS 管理大文件见 .gitattributesls -lh看到的小文件指针几十字节才是真实大小提示克隆时会自动拉取数 GB 的真实文件。三、核心模型文件真正跑模型的 4 个文件这 4 个文件是推理引擎的输入不要修改或删减文件真实大小作用model.onnx约 638 KBONNX 计算图网络结构、算子连接本身不含权重model.onnx.data约 1.3 GBmodel.onnx 的外置权重数据quantized 权重model.bin约 3.8 GB模型完整权重数据bf16 精度基准model.pb.bin约 11 KBNPU 后端的 external data 文件由genai_config.json中的external_data_file指向 从 genai_config.json 可以看到运行方式ONNX Runtime GenAI日志前缀onnxruntime-genai RyzenAI 提供商启用了hybrid_opt_token_backend: npuNPU 承担 token 生成与hybrid_opt_io_bind_kv_cacheKV Cache 绑定优化hybrid_opt_max_seq_length为 4096。四、配置文件控制推理行为的 5 个 JSON1. config.json —— 模型架构与量化参数除常规 Llama 架构参数外重点是quantization_configquant_method: quark、AWQ 算法、uint4权重、group_size: 128、非对称量化明确了 4 组待量化投影层q_proj/k_proj/v_proj、o_proj、gate_proj/up_proj、down_projRoPE 配置rope_type: llama3factor: 8.0原始 8K 位置扩展至 128K2. genai_config.json —— ONNX Runtime GenAI 运行配置context_length: 131072理论上下文 128Ksearch节点定义采样策略temperature: 0.6、top_k: 50、top_p: 0.9、max_length: 16384对应16K命名chunk_size: 4096长 prompt 按 4096 token 分块送入 NPU3. generation_config.json —— HuggingFace 兼容的生成默认值记录bos_token_id: 128000、eos_token_id: 128001、temperature: 0.6、top_p: 0.9方便 transformers 生态直接读取。4. params.json —— OGA 导出参数快照一行 JSON 记录导出时的关键超参dim: 4096、n_layers: 32、rope_theta: 500000.0、use_scaled_rope: true等相当于导出配方存档。5. rai_config.json —— Ryzen AI 版本兼容性声明按驱动/运行时版本1.3.1 ~ 1.7.1声明max_prompt_length1.3.1 ~ 1.5.1最长 20481.6.0 及以上最长 4096⚠️ 如果你的 Ryzen AI 版本较旧长 prompt 会被截断升级 1.6.0 以上可解锁 4096 prompt 长度。五、分词器文件文本 ↔ Token 的四件套文件大小作用tokenizer.json约 16.4 MB完整词表与分词规则vocab_size 128256tokenizer.model—SentencePiece 格式的词表文件tokenizer_config.json约 52 KB特殊 token 解码表added_tokens_decoderspecial_tokens_map.json—特殊 token 映射|begin_of_text| / |end_of_text|其中bos_token_id128000|begin_of_text|、eos_token_id128001|end_of_text|与 config.json 中完全一致四个文件互相配套建议整体保留。六、重点62 个 dd_metastate 缓存文件是什么这是本仓库最看不懂也最占空间的部分。62 个文件全部位于仓库根目录命名规则为dd_metastate_任务名_张量名_序列长度.类型以 dd_metastate_Llm_Token_Token_modellayers.0input_layernormMLADFRMSNORM.state 为例拆解Llm_Token_TokenNPU 任务名LLM Token 生成阶段modellayers.0input_layernormMLADFRMSNORM作用算子——第 0 层input_layernorm的融合算子MLADFRMSNORM结尾数字384、512、1024……16384预先烘焙的序列长度attention mask 尺寸扩展名缓存类型三类缓存后缀后缀示例大小说明.state…MLADFRMSNORM.state约 1.2 KB算子状态表版本号、state_table 更新项.fconst…MLADFRMSNORM.fconst约 3.5 GB固定常量数据fused constants最大单体文件.ctrlpkt…attention_mask_padded_1024.ctrlpkt约 9.4 MB控制包control packetNPU 调度指令.meta同名.meta文件约 130 B元数据校验/版本信息.super同名.super文件0 B占位/超级块标记文件20 种序列长度为什么是这个清单60 个attention_mask_padded_*文件覆盖 20 种长度呈前密后疏分布384 512 1024 1280 1536 2048 2304 2560 2816 3072 3328 3584 3840 4096 5120 6144 8192 9216 12288 16384384 ~ 4096 区间以256 为步长全覆盖——因为 genai_config.json 中hybrid_opt_max_seq_length: 4096、chunk_size: 4096NPU 混合优化会频繁命中这些长度4096 之后按约1024 步长稀疏覆盖至 16384——对应16KToken Fusion 上下文能力本质上是 AMD 把不同序列长度下融合算子MLADFRMSNORM 等的编译结果提前打包首次推理时按实际长度取最近的预烘焙缓存省去现场编译等待显著缩短冷启动时间。cache/ 目录配套的工作缓存文件大小说明cache/Token_modellayers.0input_layernormMLADFRMSNORM_meta.json约 1.2 MB完整算子清单op_list可看到MLADFRMSNORM的输入/输出张量与常量参数名cache/txn_bins.zip约 3.2 MB打包的二进制中间产物zip 受 LFS 管理meta.json中op_list记录了算子名/model/layers.0/input_layernorm/MLADFRMSNORM及其常量model.layers.0.input_layernorm.weight与根目录 dd_metastate 文件一一对应。七、合规与说明文件LICENSEMIT 许可AMD 对修改部分的版权说明2025USE_POLICY.md使用政策部署前务必阅读README.md模型简介、量化策略AWQ/Group 128/Asymmetric/BFP16 激活/UINT4 权重与许可声明.gitattributesGit LFS 规则声明.onnx、.bin、.fconst、.ctrlpkt、.meta等后缀走 LFS八、新手常见问题FAQQ1下载后文件只有几十字节是不是损坏了不是。这些是 Git LFS 指针文件真实大小写在size字段里。用支持 LFS 的客户端如git lfs pull拉取即可得到完整文件。Q262 个 dd_metastate 文件能删吗删了会怎样不建议。它们共同约 3.5 GB其中 .fconst 文件 就占约 3.5 GB是 NPU 预编译缓存。删除可能导致推理引擎现场重编译、冷启动变慢甚至加载失败。Q3支持多长的上下文理论 128Kmax_position_embeddings: 131072本部署包针对16K16384做了 Token Fusion 优化max_length上限 16384prompt 分块大小 4096。Q4需要哪些硬件AMD Ryzen AI 处理器NPU 硬件 Ryzen AI Runtime 1.6.0 以上推荐 1.7.1可支持 4096 prompt 长度。快速上手可参考 README 中指向的 Ryzen AI 官方文档hybrid OGA 章节。九、总结30 秒记住文件分工跑模型model.onnxmodel.onnx.datamodel.binmodel.pb.bin定行为config.json架构/量化genai_config.json运行时/采样rai_config.json版本兼容分词tokenizer.*四件套加速62 个dd_metastate_*预编译缓存 cache/目录合规LICENSEUSE_POLICY.md理解了这套结构你就能安全、高效地在 AMD Ryzen AI NPU 上部署 Llama-3.1-8B 了 赞分享【免费下载链接】Llama-3.1-8B_rai_1.8.0_npu_16K项目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.1-8B_rai_1.8.0_npu_16K点击查看免费下载相关推荐Llama-3.2-3B_rai_1.8.0_npu_16K 文件结构全解model.onnx、model.bin 与 dd_metastate 各管什么Llama 3.2 3B_rai_1.8.0_npu_16K 文件结构全解model.onnx、model.bin 与 dd_metastate 各管什么 LGemma-3-4b NPU 部署包文件结构深度解析ONNX、model.pb.bin 与 dd_metastate 缓存完全指南Gemma 3 4b NPU 部署包文件结构深度解析ONNX、model.pb.bin 与 dd_metastate 缓存完全指南 Gemma 3 4b拆解Llama-3.2-3B-Instruct_rai_1.8.0_hybrid目录结构model.onnx、model.pb.bin与rai_config.json等12个核心文件详解拆解Llama 3.2 3B Instruct_rai_1.8.0_hybrid目录结构model.onnx、model.pb.bin与rai_config.上一篇终极指南如何通过TypeScript类型定义提升Framework7组件接口的类型安全下一篇acme.sh命令别名配置终极指南简化SSL证书管理的10个技巧创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/17 6:13:20 · 阅读 1.2k Llama-3.1-8B_rai_1.8.0_npu_16K 文件结构全解析：从 model.onnx 到 dd_metastate 缓存的 62 个文件逐一说明
【免费下载链接】Llama-3.1-8B_rai_1.8.0_npu_16K项目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.1-8B_rai_1.8.0_npu_16K点击查看免费下载Llama-3.1-8B_rai_1.8.0_npu_16K 是 AMD 官方发布的Llama-3.1-8B Ryzen AI NPU 推理模型包基于 ONNX AWQ 量化导出支持 16K 上下文Token Fusion 16K可在 AMD Ryzen AI 处理器的 NPU 上高效运行。本文带你逐一读懂仓库中的 78 个文件从核心推理文件 model.onnx、model.onnx.data到占体积大头的 62 个 dd_metastate 预计算缓存文件让你快速搞清楚每个文件是干什么的、能不能动。一、项目是什么一句话看懂这个仓库不是训练代码而是一个开箱即用的推理模型部署包来源Meta 的 Llama-3.1-8B 模型加工流程Quark 量化AWQ / Group 128 / uint4 权重 / BFP16 激活→ OGA Model Builder 导出 → NPU 部署后处理16K 上下文 Token Fusion运行环境AMD Ryzen AIRyzen AI 1.3.1 ~ 1.7.1 各版本详见 README.md 与 rai_config.json模型核心规格来自 config.json 和 params.json参数值隐藏维度 hidden_size4096层数 num_hidden_layers32注意力头 / KV 头32 / 8GQA词表大小 vocab_size128256最大位置131072RoPE 缩放 8 倍量化方案AWQuint4 权重group 128非对称二、文件结构总览整个仓库可分成6 大类仓库根目录 ├─ 模型权重类 model.onnx / model.onnx.data / model.bin / model.pb.bin ├─ 配置类 config.json / genai_config.json / generation_config.json │ params.json / rai_config.json ├─ 分词器类 tokenizer.json / tokenizer.model / tokenizer_config.json │ special_tokens_map.json ├─ NPU 缓存类 62 个 dd_metastate_* 文件 cache/ 目录 └─ 合规类 LICENSE / README.md / USE_POLICY.md / .gitattributes 仓库使用 Git LFS 管理大文件见 .gitattributesls -lh看到的小文件指针几十字节才是真实大小提示克隆时会自动拉取数 GB 的真实文件。三、核心模型文件真正跑模型的 4 个文件这 4 个文件是推理引擎的输入不要修改或删减文件真实大小作用model.onnx约 638 KBONNX 计算图网络结构、算子连接本身不含权重model.onnx.data约 1.3 GBmodel.onnx 的外置权重数据quantized 权重model.bin约 3.8 GB模型完整权重数据bf16 精度基准model.pb.bin约 11 KBNPU 后端的 external data 文件由genai_config.json中的external_data_file指向 从 genai_config.json 可以看到运行方式ONNX Runtime GenAI日志前缀onnxruntime-genai RyzenAI 提供商启用了hybrid_opt_token_backend: npuNPU 承担 token 生成与hybrid_opt_io_bind_kv_cacheKV Cache 绑定优化hybrid_opt_max_seq_length为 4096。四、配置文件控制推理行为的 5 个 JSON1. config.json —— 模型架构与量化参数除常规 Llama 架构参数外重点是quantization_configquant_method: quark、AWQ 算法、uint4权重、group_size: 128、非对称量化明确了 4 组待量化投影层q_proj/k_proj/v_proj、o_proj、gate_proj/up_proj、down_projRoPE 配置rope_type: llama3factor: 8.0原始 8K 位置扩展至 128K2. genai_config.json —— ONNX Runtime GenAI 运行配置context_length: 131072理论上下文 128Ksearch节点定义采样策略temperature: 0.6、top_k: 50、top_p: 0.9、max_length: 16384对应16K命名chunk_size: 4096长 prompt 按 4096 token 分块送入 NPU3. generation_config.json —— HuggingFace 兼容的生成默认值记录bos_token_id: 128000、eos_token_id: 128001、temperature: 0.6、top_p: 0.9方便 transformers 生态直接读取。4. params.json —— OGA 导出参数快照一行 JSON 记录导出时的关键超参dim: 4096、n_layers: 32、rope_theta: 500000.0、use_scaled_rope: true等相当于导出配方存档。5. rai_config.json —— Ryzen AI 版本兼容性声明按驱动/运行时版本1.3.1 ~ 1.7.1声明max_prompt_length1.3.1 ~ 1.5.1最长 20481.6.0 及以上最长 4096⚠️ 如果你的 Ryzen AI 版本较旧长 prompt 会被截断升级 1.6.0 以上可解锁 4096 prompt 长度。五、分词器文件文本 ↔ Token 的四件套文件大小作用tokenizer.json约 16.4 MB完整词表与分词规则vocab_size 128256tokenizer.model—SentencePiece 格式的词表文件tokenizer_config.json约 52 KB特殊 token 解码表added_tokens_decoderspecial_tokens_map.json—特殊 token 映射|begin_of_text| / |end_of_text|其中bos_token_id128000|begin_of_text|、eos_token_id128001|end_of_text|与 config.json 中完全一致四个文件互相配套建议整体保留。六、重点62 个 dd_metastate 缓存文件是什么这是本仓库最看不懂也最占空间的部分。62 个文件全部位于仓库根目录命名规则为dd_metastate_任务名_张量名_序列长度.类型以 dd_metastate_Llm_Token_Token_modellayers.0input_layernormMLADFRMSNORM.state 为例拆解Llm_Token_TokenNPU 任务名LLM Token 生成阶段modellayers.0input_layernormMLADFRMSNORM作用算子——第 0 层input_layernorm的融合算子MLADFRMSNORM结尾数字384、512、1024……16384预先烘焙的序列长度attention mask 尺寸扩展名缓存类型三类缓存后缀后缀示例大小说明.state…MLADFRMSNORM.state约 1.2 KB算子状态表版本号、state_table 更新项.fconst…MLADFRMSNORM.fconst约 3.5 GB固定常量数据fused constants最大单体文件.ctrlpkt…attention_mask_padded_1024.ctrlpkt约 9.4 MB控制包control packetNPU 调度指令.meta同名.meta文件约 130 B元数据校验/版本信息.super同名.super文件0 B占位/超级块标记文件20 种序列长度为什么是这个清单60 个attention_mask_padded_*文件覆盖 20 种长度呈前密后疏分布384 512 1024 1280 1536 2048 2304 2560 2816 3072 3328 3584 3840 4096 5120 6144 8192 9216 12288 16384384 ~ 4096 区间以256 为步长全覆盖——因为 genai_config.json 中hybrid_opt_max_seq_length: 4096、chunk_size: 4096NPU 混合优化会频繁命中这些长度4096 之后按约1024 步长稀疏覆盖至 16384——对应16KToken Fusion 上下文能力本质上是 AMD 把不同序列长度下融合算子MLADFRMSNORM 等的编译结果提前打包首次推理时按实际长度取最近的预烘焙缓存省去现场编译等待显著缩短冷启动时间。cache/ 目录配套的工作缓存文件大小说明cache/Token_modellayers.0input_layernormMLADFRMSNORM_meta.json约 1.2 MB完整算子清单op_list可看到MLADFRMSNORM的输入/输出张量与常量参数名cache/txn_bins.zip约 3.2 MB打包的二进制中间产物zip 受 LFS 管理meta.json中op_list记录了算子名/model/layers.0/input_layernorm/MLADFRMSNORM及其常量model.layers.0.input_layernorm.weight与根目录 dd_metastate 文件一一对应。七、合规与说明文件LICENSEMIT 许可AMD 对修改部分的版权说明2025USE_POLICY.md使用政策部署前务必阅读README.md模型简介、量化策略AWQ/Group 128/Asymmetric/BFP16 激活/UINT4 权重与许可声明.gitattributesGit LFS 规则声明.onnx、.bin、.fconst、.ctrlpkt、.meta等后缀走 LFS八、新手常见问题FAQQ1下载后文件只有几十字节是不是损坏了不是。这些是 Git LFS 指针文件真实大小写在size字段里。用支持 LFS 的客户端如git lfs pull拉取即可得到完整文件。Q262 个 dd_metastate 文件能删吗删了会怎样不建议。它们共同约 3.5 GB其中 .fconst 文件 就占约 3.5 GB是 NPU 预编译缓存。删除可能导致推理引擎现场重编译、冷启动变慢甚至加载失败。Q3支持多长的上下文理论 128Kmax_position_embeddings: 131072本部署包针对16K16384做了 Token Fusion 优化max_length上限 16384prompt 分块大小 4096。Q4需要哪些硬件AMD Ryzen AI 处理器NPU 硬件 Ryzen AI Runtime 1.6.0 以上推荐 1.7.1可支持 4096 prompt 长度。快速上手可参考 README 中指向的 Ryzen AI 官方文档hybrid OGA 章节。九、总结30 秒记住文件分工跑模型model.onnxmodel.onnx.datamodel.binmodel.pb.bin定行为config.json架构/量化genai_config.json运行时/采样rai_config.json版本兼容分词tokenizer.*四件套加速62 个dd_metastate_*预编译缓存 cache/目录合规LICENSEUSE_POLICY.md理解了这套结构你就能安全、高效地在 AMD Ryzen AI NPU 上部署 Llama-3.1-8B 了 赞分享【免费下载链接】Llama-3.1-8B_rai_1.8.0_npu_16K项目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.1-8B_rai_1.8.0_npu_16K点击查看免费下载相关推荐Llama-3.2-3B_rai_1.8.0_npu_16K 文件结构全解model.onnx、model.bin 与 dd_metastate 各管什么Llama 3.2 3B_rai_1.8.0_npu_16K 文件结构全解model.onnx、model.bin 与 dd_metastate 各管什么 LGemma-3-4b NPU 部署包文件结构深度解析ONNX、model.pb.bin 与 dd_metastate 缓存完全指南Gemma 3 4b NPU 部署包文件结构深度解析ONNX、model.pb.bin 与 dd_metastate 缓存完全指南 Gemma 3 4b拆解Llama-3.2-3B-Instruct_rai_1.8.0_hybrid目录结构model.onnx、model.pb.bin与rai_config.json等12个核心文件详解拆解Llama 3.2 3B Instruct_rai_1.8.0_hybrid目录结构model.onnx、model.pb.bin与rai_config.上一篇终极指南如何通过TypeScript类型定义提升Framework7组件接口的类型安全下一篇acme.sh命令别名配置终极指南简化SSL证书管理的10个技巧创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考