人工智能大模型多模态【免费下载链接】p-MoD-LLaVA-v1.5-7B项目地址https://ai.gitcode.com/MCG-NJU/p-MoD-LLaVA-v1.5-7B点击查看免费下载p-MoD-LLaVA-v1.5-7B 是一个采用 Mixture-of-DepthsMoD深度混合架构的多模态大语言模型官方权重包。本文将带你逐个拆解它的 734 个张量、3 个 safetensors 分片以及索引文件model.safetensors.index.json的结构帮助新手快速看懂一个多模态模型权重包到底装了什么。 仓库文件一览权重包由哪些文件组成这个仓库是一个纯模型权重包没有训练代码文件分工非常清晰文件作用model-00001-of-00003.safetensors权重分片 1词嵌入 LLM 前 12 层model-00002-of-00003.safetensors权重分片 2LLM 中间层model-00003-of-00003.safetensors权重分片 3LLM 后段 视觉塔 投影层model.safetensors.index.json分片索引734 个张量 → 分片文件的映射表config.json模型结构配置含全部 MoD 专属参数tokenizer.model / tokenizer_config.json分词器本体与配置SentencePiece 格式generation_config.json默认生成参数temperature 0.9、top_p 0.6 等README.md模型说明基于 Vicuna-7B-v1.5 CLIP ViT-L/14336️ 总览734 个张量的完整分类对weight_map逐一归类后734 个张量正好可以拆成 6 大块一个不多一个不少权重区块张量数说明词嵌入model.embed_tokens.weight1词表大小 32000LLM 普通解码层第 0~7 层728 层 × 9 个张量LLM MoD 解码层第 8~31 层26424 层 × 9 个张量 48 个 router 张量视觉塔CLIP ViT39124 层 × 16 个张量 3 个嵌入 4 个 LayerNorm多模态投影model.mm_projector4两层 MLPmlp2x_gelu的 weight bias输出头lm_head.weightmodel.norm.weight2语言模型输出投影 最终归一化合计734总参数量约 13.16 GiBbfloat16其中metadata.total_size记录的总字节数为14,126,002,224约 14.1 GB见 model.safetensors.index.json。 索引文件 model.safetensors.index.json 结构讲解多分片模型的核心在于这份索引 JSON它只有两部分见 model.safetensors.index.json{ metadata: { total_size: 14126002224 }, weight_map: { lm_head.weight: model-00003-of-00003.safetensors, model.embed_tokens.weight: model-00001-of-00003.safetensors } }metadata.total_size所有张量字节数总和可用于下载完整性校验weight_map以张量全名为键、所在分片文件名为值共 734 条映射。加载器就是靠它决定每个张量该去哪个分片文件里读取。 三大权重区逐个拆解1️⃣ LLM 主干32 层前 8 层普通、后 24 层MoD这是本模型最有特色的地方。从张量命名就能直接看出来普通层第 0~7 层每层 9 个张量是标准 LLaMA 结构model.layers.0.input_layernorm.weight model.layers.0.self_attn.q_proj.weight # Q/K/V/O 四个投影 model.layers.0.self_attn.k_proj.weight model.layers.0.self_attn.v_proj.weight model.layers.0.self_attn.o_proj.weight model.layers.0.mlp.gate_proj.weight # SwiGLU 的 gate/up/down model.layers.0.mlp.up_proj.weight model.layers.0.mlp.down_proj.weight model.layers.0.post_attention_layernorm.weightMoD 层第 8~31 层计算部分被包在decoder_layer子模块里并且每层多出 2 个 router 张量如 model.safetensors.index.jsonmodel.layers.10.decoder_layer.self_attn.q_proj.weight # 共 9 个与普通层相同 model.layers.10.router.router.weight # MoD 路由器决定视觉 token 是否跳过本层 model.layers.10.router.router.bias也就是说24 个 MoD 层 24 × 11 264 个张量其中 48 个就是 router 的权重和偏置。这正是 p-MoD 论文里渐进式比例衰减Progressive Ratio Decay的落点越深的层路由给视觉 token 的比例越低从而把算力集中到文本 token 上。2️⃣ 视觉塔完整嵌入 CLIP391 个张量张量名前缀model.vision_tower.vision_tower.vision_model很长但结构很规整24 个编码器层encoder.layers.0~23每层 16 个张量注意力 4 组投影Q/K/V/out各含 weight bias、MLP 2 个全连接fc1/fc2各含 weight bias、2 个 LayerNormlayer_norm1/2各含 weight bias3 个嵌入张量patch_embedding.weight图像切块投影、position_embedding.weight、class_embedding4 个归一化张量pre_layernorm与post_layernorm的 weight bias。对应 config.json 中的mm_vision_tower为openai/clip-vit-large-patch14-336且 config.json 中unfreeze_mm_vision_tower: true说明视觉塔在训练中被联合微调过。3️⃣ 多模态投影层只有 4 个张量model.mm_projector是一个两层 MLPconfig.json 中mm_projector_type: mlp2x_gelu负责把 CLIP 输出的 1024 维视觉特征映射到 4096 维的 LLM 隐空间全部家当就是model.mm_projector.0.weight / model.mm_projector.0.bias # 第 1 层 model.mm_projector.2.weight / model.mm_projector.2.bias # 第 2 层 三个 safetensors 分片各自装了什么按weight_map统计三个分片的张量分布如下分片张量数主要内容model-00001-of-00003.safetensors111词嵌入 LLM 第 0~11 层model-00002-of-00003.safetensors133LLM 第 11~23 层model-00003-of-00003.safetensors490LLM 第 23~31 层 全部 391 个视觉塔张量 投影层 lm_head 最终 norm两个值得注意的细节第 11 层和第 23 层是跨片的——同一个层的不同张量被拆到了相邻两个分片里例如第 11 层的k_proj在分片 1down_proj却在分片 2。这说明分片是按文件大小顺序切的而不是按层对齐的。分片 3 最大因为视觉塔CLIP ViT-L 约 3.5 亿参数 投影层 输出头都放在了一起。⚙️ 从 config.json 读懂 MoD 关键参数MoD 的全部超开关都写在 config.json 里参数值含义mod_target_layersshiftedcos_decay_0.85_0.15路由比例随深度按余弦曲线从 0.85 衰减到 0.15即渐进式比例衰减mod_target_layer_indices[8, 9, ..., 31]只有第 8~31 层启用 MoD 路由共 24 层mod_target_token_typevision_all路由决策只针对视觉 tokenmod_weight_normtanh_0.2_1跳过层的输出用 tanh 归一化缩放范围 0.2~1mod_router_factor0.5路由器打分系数mod_bias_enabled / mod_special_inittrue/true启用 router bias并做特殊初始化其余是标准 7B 配置hidden_size 4096、num_hidden_layers 32、num_attention_heads 32、vocab_size 32000精度为 bfloat16架构名为 PmodLlavaLlamaForCausalLM。 新手上手下载、校验与加载下载git clone https://gitcode.com/MCG-NJU/p-MoD-LLaVA-v1.5-7B约 14.1 GB或从模型平台直接下载同名权重文件校验加载完成后总字节数应等于metadata.total_size14,126,002,224张量总数应为 734缺一个都说明文件不完整加载用transformers的from_pretrained指向模型目录即可加载器会自动读取 model.safetensors.index.json 并按weight_map分片取数无需手动合并分片生成参数默认 generation_config.json 已给出 temperature 0.9、top_p 0.6、max_length 4096推理时可直接沿用。 总结一张表记住 734 个张量区块张量数记住一句话词嵌入 / 输出头 / 最终 norm3一进一出加一次收尾LLM 普通层 0~772标准 LLaMA 结构每层 9 张量LLM MoD 层 8~31264每层多 2 个 router 张量共 48 个CLIP 视觉塔39124 层 × 16 嵌入与归一化多模态投影4两层小 MLP看懂了这个目录结构你再去拆解任何多分片 safetensors 模型包都只需三步读config.json看架构 → 读model.safetensors.index.json数张量 → 按前缀分区理解职责。赞分享人工智能大模型多模态【免费下载链接】p-MoD-LLaVA-v1.5-7B项目地址https://ai.gitcode.com/MCG-NJU/p-MoD-LLaVA-v1.5-7B点击查看免费下载相关推荐深度拆解p-MoD-LLaVA-v1.5-7B架构32层Transformer24个Router如何让模型学会跳层深度拆解p MoD LLaVA v1.5 7B架构32层Transformer24个Router如何让模型学会跳层 p MoD LLaVA v1.5 7人工智能大模型多模态PIIP-LLaVA模型文件全解析6个safetensors分片与27GB权重结构速查PIIP LLaVA模型文件全解析6个safetensors分片与27GB权重结构速查 PIIP LLaVA_ConvNeXt B_CLIP L_1024 3config.json逐行解读p-MoD-LLaVA-v1.5-7B控制深度混合策略的7个关键参数config.json逐行解读p MoD LLaVA v1.5 7B控制深度混合策略的7个关键参数 p MoD LLaVA v1.5 7B 是一个基于深度混合人工智能大模型多模态创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/23 18:59:03 · 阅读 1.2k 拆解p-MoD-LLaVA-v1.5-7B模型权重：734个张量与safetensors分片结构逐个讲
人工智能大模型多模态【免费下载链接】p-MoD-LLaVA-v1.5-7B项目地址https://ai.gitcode.com/MCG-NJU/p-MoD-LLaVA-v1.5-7B点击查看免费下载p-MoD-LLaVA-v1.5-7B 是一个采用 Mixture-of-DepthsMoD深度混合架构的多模态大语言模型官方权重包。本文将带你逐个拆解它的 734 个张量、3 个 safetensors 分片以及索引文件model.safetensors.index.json的结构帮助新手快速看懂一个多模态模型权重包到底装了什么。 仓库文件一览权重包由哪些文件组成这个仓库是一个纯模型权重包没有训练代码文件分工非常清晰文件作用model-00001-of-00003.safetensors权重分片 1词嵌入 LLM 前 12 层model-00002-of-00003.safetensors权重分片 2LLM 中间层model-00003-of-00003.safetensors权重分片 3LLM 后段 视觉塔 投影层model.safetensors.index.json分片索引734 个张量 → 分片文件的映射表config.json模型结构配置含全部 MoD 专属参数tokenizer.model / tokenizer_config.json分词器本体与配置SentencePiece 格式generation_config.json默认生成参数temperature 0.9、top_p 0.6 等README.md模型说明基于 Vicuna-7B-v1.5 CLIP ViT-L/14336️ 总览734 个张量的完整分类对weight_map逐一归类后734 个张量正好可以拆成 6 大块一个不多一个不少权重区块张量数说明词嵌入model.embed_tokens.weight1词表大小 32000LLM 普通解码层第 0~7 层728 层 × 9 个张量LLM MoD 解码层第 8~31 层26424 层 × 9 个张量 48 个 router 张量视觉塔CLIP ViT39124 层 × 16 个张量 3 个嵌入 4 个 LayerNorm多模态投影model.mm_projector4两层 MLPmlp2x_gelu的 weight bias输出头lm_head.weightmodel.norm.weight2语言模型输出投影 最终归一化合计734总参数量约 13.16 GiBbfloat16其中metadata.total_size记录的总字节数为14,126,002,224约 14.1 GB见 model.safetensors.index.json。 索引文件 model.safetensors.index.json 结构讲解多分片模型的核心在于这份索引 JSON它只有两部分见 model.safetensors.index.json{ metadata: { total_size: 14126002224 }, weight_map: { lm_head.weight: model-00003-of-00003.safetensors, model.embed_tokens.weight: model-00001-of-00003.safetensors } }metadata.total_size所有张量字节数总和可用于下载完整性校验weight_map以张量全名为键、所在分片文件名为值共 734 条映射。加载器就是靠它决定每个张量该去哪个分片文件里读取。 三大权重区逐个拆解1️⃣ LLM 主干32 层前 8 层普通、后 24 层MoD这是本模型最有特色的地方。从张量命名就能直接看出来普通层第 0~7 层每层 9 个张量是标准 LLaMA 结构model.layers.0.input_layernorm.weight model.layers.0.self_attn.q_proj.weight # Q/K/V/O 四个投影 model.layers.0.self_attn.k_proj.weight model.layers.0.self_attn.v_proj.weight model.layers.0.self_attn.o_proj.weight model.layers.0.mlp.gate_proj.weight # SwiGLU 的 gate/up/down model.layers.0.mlp.up_proj.weight model.layers.0.mlp.down_proj.weight model.layers.0.post_attention_layernorm.weightMoD 层第 8~31 层计算部分被包在decoder_layer子模块里并且每层多出 2 个 router 张量如 model.safetensors.index.jsonmodel.layers.10.decoder_layer.self_attn.q_proj.weight # 共 9 个与普通层相同 model.layers.10.router.router.weight # MoD 路由器决定视觉 token 是否跳过本层 model.layers.10.router.router.bias也就是说24 个 MoD 层 24 × 11 264 个张量其中 48 个就是 router 的权重和偏置。这正是 p-MoD 论文里渐进式比例衰减Progressive Ratio Decay的落点越深的层路由给视觉 token 的比例越低从而把算力集中到文本 token 上。2️⃣ 视觉塔完整嵌入 CLIP391 个张量张量名前缀model.vision_tower.vision_tower.vision_model很长但结构很规整24 个编码器层encoder.layers.0~23每层 16 个张量注意力 4 组投影Q/K/V/out各含 weight bias、MLP 2 个全连接fc1/fc2各含 weight bias、2 个 LayerNormlayer_norm1/2各含 weight bias3 个嵌入张量patch_embedding.weight图像切块投影、position_embedding.weight、class_embedding4 个归一化张量pre_layernorm与post_layernorm的 weight bias。对应 config.json 中的mm_vision_tower为openai/clip-vit-large-patch14-336且 config.json 中unfreeze_mm_vision_tower: true说明视觉塔在训练中被联合微调过。3️⃣ 多模态投影层只有 4 个张量model.mm_projector是一个两层 MLPconfig.json 中mm_projector_type: mlp2x_gelu负责把 CLIP 输出的 1024 维视觉特征映射到 4096 维的 LLM 隐空间全部家当就是model.mm_projector.0.weight / model.mm_projector.0.bias # 第 1 层 model.mm_projector.2.weight / model.mm_projector.2.bias # 第 2 层 三个 safetensors 分片各自装了什么按weight_map统计三个分片的张量分布如下分片张量数主要内容model-00001-of-00003.safetensors111词嵌入 LLM 第 0~11 层model-00002-of-00003.safetensors133LLM 第 11~23 层model-00003-of-00003.safetensors490LLM 第 23~31 层 全部 391 个视觉塔张量 投影层 lm_head 最终 norm两个值得注意的细节第 11 层和第 23 层是跨片的——同一个层的不同张量被拆到了相邻两个分片里例如第 11 层的k_proj在分片 1down_proj却在分片 2。这说明分片是按文件大小顺序切的而不是按层对齐的。分片 3 最大因为视觉塔CLIP ViT-L 约 3.5 亿参数 投影层 输出头都放在了一起。⚙️ 从 config.json 读懂 MoD 关键参数MoD 的全部超开关都写在 config.json 里参数值含义mod_target_layersshiftedcos_decay_0.85_0.15路由比例随深度按余弦曲线从 0.85 衰减到 0.15即渐进式比例衰减mod_target_layer_indices[8, 9, ..., 31]只有第 8~31 层启用 MoD 路由共 24 层mod_target_token_typevision_all路由决策只针对视觉 tokenmod_weight_normtanh_0.2_1跳过层的输出用 tanh 归一化缩放范围 0.2~1mod_router_factor0.5路由器打分系数mod_bias_enabled / mod_special_inittrue/true启用 router bias并做特殊初始化其余是标准 7B 配置hidden_size 4096、num_hidden_layers 32、num_attention_heads 32、vocab_size 32000精度为 bfloat16架构名为 PmodLlavaLlamaForCausalLM。 新手上手下载、校验与加载下载git clone https://gitcode.com/MCG-NJU/p-MoD-LLaVA-v1.5-7B约 14.1 GB或从模型平台直接下载同名权重文件校验加载完成后总字节数应等于metadata.total_size14,126,002,224张量总数应为 734缺一个都说明文件不完整加载用transformers的from_pretrained指向模型目录即可加载器会自动读取 model.safetensors.index.json 并按weight_map分片取数无需手动合并分片生成参数默认 generation_config.json 已给出 temperature 0.9、top_p 0.6、max_length 4096推理时可直接沿用。 总结一张表记住 734 个张量区块张量数记住一句话词嵌入 / 输出头 / 最终 norm3一进一出加一次收尾LLM 普通层 0~772标准 LLaMA 结构每层 9 张量LLM MoD 层 8~31264每层多 2 个 router 张量共 48 个CLIP 视觉塔39124 层 × 16 嵌入与归一化多模态投影4两层小 MLP看懂了这个目录结构你再去拆解任何多分片 safetensors 模型包都只需三步读config.json看架构 → 读model.safetensors.index.json数张量 → 按前缀分区理解职责。赞分享人工智能大模型多模态【免费下载链接】p-MoD-LLaVA-v1.5-7B项目地址https://ai.gitcode.com/MCG-NJU/p-MoD-LLaVA-v1.5-7B点击查看免费下载相关推荐深度拆解p-MoD-LLaVA-v1.5-7B架构32层Transformer24个Router如何让模型学会跳层深度拆解p MoD LLaVA v1.5 7B架构32层Transformer24个Router如何让模型学会跳层 p MoD LLaVA v1.5 7人工智能大模型多模态PIIP-LLaVA模型文件全解析6个safetensors分片与27GB权重结构速查PIIP LLaVA模型文件全解析6个safetensors分片与27GB权重结构速查 PIIP LLaVA_ConvNeXt B_CLIP L_1024 3config.json逐行解读p-MoD-LLaVA-v1.5-7B控制深度混合策略的7个关键参数config.json逐行解读p MoD LLaVA v1.5 7B控制深度混合策略的7个关键参数 p MoD LLaVA v1.5 7B 是一个基于深度混合人工智能大模型多模态创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考