【免费下载链接】HyLo-Llama-8MLA8GDN-8K-SFT项目地址https://ai.gitcode.com/hf_mirrors/amd/HyLo-Llama-8MLA8GDN-8K-SFT点击查看免费下载HyLo-Llama-8MLA8GDN-8K-SFT 是 AMD 开源的一个 8K 长文本混合大模型检查点其背后论文提出的核心方法是长文本感知 UpcyclingLong-Context Aware Upcycling不从头预训练而是把已有预训练 Transformer升级改造成 MLA Gated DeltaNet 的混合架构并把 KV Cache 压缩到原来的7.8%。本文带你完整读懂这套方法的思想、架构、训练配方与评测结果。为什么需要 Upcycling长上下路的成本痛点传统 Transformer 大模型在推理时会为每个 token 维护KV Cache键值缓存上下文越长显存占用越大、延迟越高。要训练一个原生支持长上下文的新架构代价是高昂的从头预训练。论文《Long-Context Aware Upcycling: A New Frontier for Hybrid LLM Scaling》arXiv:2604.24715给出的答案是不要重训把旧的预训练模型 Upcycling升级改造成混合架构。Upcycling 分三步走如下图所示概念示意架构转换逐层改造部分注意力层升级为MLAMulti-head Latent Attention多头潜在注意力其余层替换为线性注意力块Gated DeltaNet 或 Mamba-2混合架构训练让新生成的层学会对齐原模型的内部表征长上下文训练在更长的上下文窗口上继续训练保留短上下文精度的同时获得长文本能力。长文本感知Upcycling三步流程本仓库就是这套方法的产物将Llama-3.2-1B-Instruct升级为8 层 MLA 8 层 Gated DeltaNet共 16 层、1.61B 参数并在8,192 tokens8K上下文上完成监督微调详见 README.md。架构解剖8 MLA 8 Gated DeltaNet 如何分工混合架构的关键在于两种层类型各有分工层类型数量缓存机制KV Cache 贡献MLA 层8缓存低秩潜在向量latent而非完整 K/V大幅缩小Gated DeltaNet 层8固定大小的循环状态recurrent state零MLA 层保留注意力能力但只缓存一个低秩潜在表示本模型kv_lora_rank为 128而不是完整的 Key/Value这是总缓存压缩到 7.8% 的主力Gated DeltaNet 层基于门控 delta 规则的线性注意力块用固定大小的循环状态替代不断增长的 KV Cache因此这些层完全不产生 KV Cache。层的位置不是简单交替重复而是按索引精心放置MLA 层放在基础模型对失去完整注意力最敏感的偶数位置[0, 2, 4, 6, 8, 10, 12, 14]Gated DeltaNet 层占据奇数位置。完整的混合布局记录在 hybrid_config.json 中。核心超参数一览完整数值见 hybrid_config.json参数值说明kv_lora_rank128KV 潜在向量秩决定 MLA 压缩率q_lora_rank1344Query 潜在向量秩num_attention_heads32注意力头数gdn_num_heads/gdn_head_dim6 / 256Gated DeltaNet 头配置linear_typegdn线性块类型为 Gated DeltaNet新手提示config.json 是基础模型的配置LlamaForCausalLM仅留作参考真正的混合架构定义以hybrid_config.json为准。两阶段训练配方Enhanced-ILD 与教师模型蒸馏Upcycling 后的模型不能直接用——新初始化的 MLA 与线性块需要补课。论文采用两阶段训练本模型同样遵循该配方第一阶段Enhanced-ILD逐层对齐上下文2,048 tokens学习率2e-4通过逐层蒸馏让新初始化的 MLA 和线性块对齐基础模型的内部表征数据SFT 混合数据的 20%第二阶段长上下文 SFT 教师引导蒸馏上下文8,192 tokens学习率6e-5以更大的Llama-3.1-8B-Instruct作为教师模型做端到端蒸馏损失函数学生与教师下一 token 分布间的KL 散度kl_weight 1.0不叠加交叉熵训练硬件8× AMD Instinct MI300XFSDP 分布式并采用融合 KL 核函数避免物化完整 logit 张量显存更省两阶段训练配方ILD对齐与长上下文蒸馏上下文扩展则交给YaRNfactor: 4.0从原始 2,048 窗口拉伸到 8,192 可用位置见 hybrid_config.json。评测结果7.8% 的 KV Cache 换来了什么所有数字取自论文 Table 2Llama-3.2-1B 骨干0-shot 评测常识推理准确率任务得分ARC-Challenge39.3ARC-Easy67.2HellaSwag59.3OpenBookQA37.6PIQA72.0RACE38.4WinoGrande60.1平均53.4长上下文 RULER全部 13 项子任务上下文长度得分8K训练长度60.316K0.532K0.164K0.1数学GSM8K 得分 54.6。RULER长上下文评测8K内表现与超出训练长度的骤降三个关键结论短文本精度基本保留混合架构 蒸馏让 8K 内的常识与数学能力没有明显损失KV Cache 压缩 92.2%仅需基础模型 7.8% 的缓存长文本推理成本大幅下降别越界16K 之后的断崖式下跌说明——8K 就是它的舒适区。需要更长上下文请选用同家族的 64K 版本。上手指南加载混合模型的唯一正确姿势混合层类型MLA Gated DeltaNet不在transformers原生支持范围内因此AutoModelForCausalLM无法构建该模型。正确流程获取模型权重可从镜像仓库克隆git clone https://gitcode.com/hf_mirrors/amd/HyLo-Llama-8MLA8GDN-8K-SFT安装 AMD 的混合模型推理代码AMD-Hybrid-Models 仓库中的 HyLo 目录按其 README 安装依赖用官方HybridModelWrapper加载并推理import torch from transformers import AutoTokenizer from hybrid.hybrid_wrapper import HybridModelWrapper checkpoint amd/HyLo-Llama-8MLA8GDN-8K-SFT model HybridModelWrapper.from_pretrained(checkpoint, torch_dtypetorch.bfloat16).cuda() tokenizer AutoTokenizer.from_pretrained(checkpoint) messages [{role: user, content: 用五点总结上面的文档。}] input_ids tokenizer.apply_chat_template(messages, add_generation_promptTrue, return_tensorspt).cuda() tokens model.generate(input_ids, max_new_tokens256, do_sampleTrue, temperature0.6, top_p0.9, eos_token_idtokenizer.eos_token_id) print(tokenizer.decode(tokens[0], skip_special_tokensTrue))完整可运行示例见 README.md。避坑清单新手最容易踩的三个坑⚠️131,072 不是可用长度config.json中max_position_embeddings为 131,072是从基础模型继承的字段不代表支持 128K 上下文。部署框架会据此分配 KV Cache务必显式设置上限如--max-model-len 8192详见 README.md 的警告框。⚠️用 bfloat16 加载检查点保存的是 float32 权重训练时写出的精度加载时请转 bfloat16既能省一半显存也符合论文评测的精度设定。⚠️必须用本仓库自带的聊天模板tokenizer.json 中的模板是训练时使用的与基础模型的模板并不相同混用会掉点。另外注意该检查点是研究用途产物尚未做安全对齐仓库中的 LICENSE 为 AMD 的 research-only RAIL-MS 许可证元数据声明 apache-2.0两者不一致时以 LICENSE 文件为准且部分训练数据为非商用许可商用前请务必自行评估。HyLo 家族一张表看懂混合模型矩阵本模型只是 HyLo 家族的一员。同一配方还覆盖了 Llama-3.2-1B/3B 与 Qwen3-1.7B 骨干、8K/64K 两种长度、Gated DeltaNet 与 Mamba-2 两种线性块KV Cache 最低可压至2.0%模型骨干训练上下文KV CacheHyLo-Llama-4MLA12GDN-8K-SFTLlama-3.2-1B8K3.9%HyLo-Llama-8MLA8GDN-8K-SFT本文Llama-3.2-1B8K7.8%HyLo-Llama-6MLA22GDN-64K-SFTLlama-3.2-3B64K2.0%HyLo-Qwen-14MLA14M2-64K-SFTQwen3-1.7B64K7.8%命名规律很好记8MLA8GDN 8 层 MLA 8 层 Gated DeltaNet8K/64K 训练上下文长度。完整家族表见 README.md。HyLo混合模型家族不同骨干与KV压缩率对照总结Upcycling 为什么值得你关注省钱跳过从头预训练复用已有权重的知识用两阶段训练完成架构升级省显存7.8% 的 KV Cache 意味着同样的显存能服务更多并发、更长的上下文有取舍线性块让位给循环状态超出训练长度后质量骤降选型时要按 8K/64K 版本对号入座。对希望降低长文本推理成本、或研究混合架构MLA、Gated DeltaNet、Mamba的团队这套长文本感知 Upcycling配方与开源检查点是一个低门槛的完整参考实现。赞分享【免费下载链接】HyLo-Llama-8MLA8GDN-8K-SFT项目地址https://ai.gitcode.com/hf_mirrors/amd/HyLo-Llama-8MLA8GDN-8K-SFT点击查看免费下载相关推荐HyLo-Qwen-14MLA14GDN-8K-SFT深度解析长上下文感知Upcycling论文与15个HyLo模型家族成员怎么选HyLo Qwen 14MLA14GDN 8K SFT深度解析长上下文感知Upcycling论文与15个HyLo模型家族成员怎么选 HyLo Qwen 14M揭秘HyLo-Llama-8MLA8GDN-8K-SFT训练全流程Enhanced-ILD蒸馏8K长文本SFT两大阶段深度拆解揭秘HyLo Llama 8MLA8GDN 8K SFT训练全流程Enhanced ILD蒸馏8K长文本SFT两大阶段深度拆解 HyLo Llama 8ML如何避免从头预训练HyLo-Llama-6MLA22GDN-8K-SFT长上下文Upcycling改造方法论完整指南如何避免从头预训练HyLo Llama 6MLA22GDN 8K SFT长上下文Upcycling改造方法论完整指南 HyLo Llama 6MLA22GDN上一篇给老电视装电视直播应用5分钟就能看上免注册免会员只靠一个遥控器下一篇如何快速构建个人离线小说库完整的番茄小说下载解决方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/20 3:28:55 · 阅读 1.2k 论文精读：HyLo-Llama-8MLA8GDN-8K-SFT背后的长文本感知Upcycling方法全解析
【免费下载链接】HyLo-Llama-8MLA8GDN-8K-SFT项目地址https://ai.gitcode.com/hf_mirrors/amd/HyLo-Llama-8MLA8GDN-8K-SFT点击查看免费下载HyLo-Llama-8MLA8GDN-8K-SFT 是 AMD 开源的一个 8K 长文本混合大模型检查点其背后论文提出的核心方法是长文本感知 UpcyclingLong-Context Aware Upcycling不从头预训练而是把已有预训练 Transformer升级改造成 MLA Gated DeltaNet 的混合架构并把 KV Cache 压缩到原来的7.8%。本文带你完整读懂这套方法的思想、架构、训练配方与评测结果。为什么需要 Upcycling长上下路的成本痛点传统 Transformer 大模型在推理时会为每个 token 维护KV Cache键值缓存上下文越长显存占用越大、延迟越高。要训练一个原生支持长上下文的新架构代价是高昂的从头预训练。论文《Long-Context Aware Upcycling: A New Frontier for Hybrid LLM Scaling》arXiv:2604.24715给出的答案是不要重训把旧的预训练模型 Upcycling升级改造成混合架构。Upcycling 分三步走如下图所示概念示意架构转换逐层改造部分注意力层升级为MLAMulti-head Latent Attention多头潜在注意力其余层替换为线性注意力块Gated DeltaNet 或 Mamba-2混合架构训练让新生成的层学会对齐原模型的内部表征长上下文训练在更长的上下文窗口上继续训练保留短上下文精度的同时获得长文本能力。长文本感知Upcycling三步流程本仓库就是这套方法的产物将Llama-3.2-1B-Instruct升级为8 层 MLA 8 层 Gated DeltaNet共 16 层、1.61B 参数并在8,192 tokens8K上下文上完成监督微调详见 README.md。架构解剖8 MLA 8 Gated DeltaNet 如何分工混合架构的关键在于两种层类型各有分工层类型数量缓存机制KV Cache 贡献MLA 层8缓存低秩潜在向量latent而非完整 K/V大幅缩小Gated DeltaNet 层8固定大小的循环状态recurrent state零MLA 层保留注意力能力但只缓存一个低秩潜在表示本模型kv_lora_rank为 128而不是完整的 Key/Value这是总缓存压缩到 7.8% 的主力Gated DeltaNet 层基于门控 delta 规则的线性注意力块用固定大小的循环状态替代不断增长的 KV Cache因此这些层完全不产生 KV Cache。层的位置不是简单交替重复而是按索引精心放置MLA 层放在基础模型对失去完整注意力最敏感的偶数位置[0, 2, 4, 6, 8, 10, 12, 14]Gated DeltaNet 层占据奇数位置。完整的混合布局记录在 hybrid_config.json 中。核心超参数一览完整数值见 hybrid_config.json参数值说明kv_lora_rank128KV 潜在向量秩决定 MLA 压缩率q_lora_rank1344Query 潜在向量秩num_attention_heads32注意力头数gdn_num_heads/gdn_head_dim6 / 256Gated DeltaNet 头配置linear_typegdn线性块类型为 Gated DeltaNet新手提示config.json 是基础模型的配置LlamaForCausalLM仅留作参考真正的混合架构定义以hybrid_config.json为准。两阶段训练配方Enhanced-ILD 与教师模型蒸馏Upcycling 后的模型不能直接用——新初始化的 MLA 与线性块需要补课。论文采用两阶段训练本模型同样遵循该配方第一阶段Enhanced-ILD逐层对齐上下文2,048 tokens学习率2e-4通过逐层蒸馏让新初始化的 MLA 和线性块对齐基础模型的内部表征数据SFT 混合数据的 20%第二阶段长上下文 SFT 教师引导蒸馏上下文8,192 tokens学习率6e-5以更大的Llama-3.1-8B-Instruct作为教师模型做端到端蒸馏损失函数学生与教师下一 token 分布间的KL 散度kl_weight 1.0不叠加交叉熵训练硬件8× AMD Instinct MI300XFSDP 分布式并采用融合 KL 核函数避免物化完整 logit 张量显存更省两阶段训练配方ILD对齐与长上下文蒸馏上下文扩展则交给YaRNfactor: 4.0从原始 2,048 窗口拉伸到 8,192 可用位置见 hybrid_config.json。评测结果7.8% 的 KV Cache 换来了什么所有数字取自论文 Table 2Llama-3.2-1B 骨干0-shot 评测常识推理准确率任务得分ARC-Challenge39.3ARC-Easy67.2HellaSwag59.3OpenBookQA37.6PIQA72.0RACE38.4WinoGrande60.1平均53.4长上下文 RULER全部 13 项子任务上下文长度得分8K训练长度60.316K0.532K0.164K0.1数学GSM8K 得分 54.6。RULER长上下文评测8K内表现与超出训练长度的骤降三个关键结论短文本精度基本保留混合架构 蒸馏让 8K 内的常识与数学能力没有明显损失KV Cache 压缩 92.2%仅需基础模型 7.8% 的缓存长文本推理成本大幅下降别越界16K 之后的断崖式下跌说明——8K 就是它的舒适区。需要更长上下文请选用同家族的 64K 版本。上手指南加载混合模型的唯一正确姿势混合层类型MLA Gated DeltaNet不在transformers原生支持范围内因此AutoModelForCausalLM无法构建该模型。正确流程获取模型权重可从镜像仓库克隆git clone https://gitcode.com/hf_mirrors/amd/HyLo-Llama-8MLA8GDN-8K-SFT安装 AMD 的混合模型推理代码AMD-Hybrid-Models 仓库中的 HyLo 目录按其 README 安装依赖用官方HybridModelWrapper加载并推理import torch from transformers import AutoTokenizer from hybrid.hybrid_wrapper import HybridModelWrapper checkpoint amd/HyLo-Llama-8MLA8GDN-8K-SFT model HybridModelWrapper.from_pretrained(checkpoint, torch_dtypetorch.bfloat16).cuda() tokenizer AutoTokenizer.from_pretrained(checkpoint) messages [{role: user, content: 用五点总结上面的文档。}] input_ids tokenizer.apply_chat_template(messages, add_generation_promptTrue, return_tensorspt).cuda() tokens model.generate(input_ids, max_new_tokens256, do_sampleTrue, temperature0.6, top_p0.9, eos_token_idtokenizer.eos_token_id) print(tokenizer.decode(tokens[0], skip_special_tokensTrue))完整可运行示例见 README.md。避坑清单新手最容易踩的三个坑⚠️131,072 不是可用长度config.json中max_position_embeddings为 131,072是从基础模型继承的字段不代表支持 128K 上下文。部署框架会据此分配 KV Cache务必显式设置上限如--max-model-len 8192详见 README.md 的警告框。⚠️用 bfloat16 加载检查点保存的是 float32 权重训练时写出的精度加载时请转 bfloat16既能省一半显存也符合论文评测的精度设定。⚠️必须用本仓库自带的聊天模板tokenizer.json 中的模板是训练时使用的与基础模型的模板并不相同混用会掉点。另外注意该检查点是研究用途产物尚未做安全对齐仓库中的 LICENSE 为 AMD 的 research-only RAIL-MS 许可证元数据声明 apache-2.0两者不一致时以 LICENSE 文件为准且部分训练数据为非商用许可商用前请务必自行评估。HyLo 家族一张表看懂混合模型矩阵本模型只是 HyLo 家族的一员。同一配方还覆盖了 Llama-3.2-1B/3B 与 Qwen3-1.7B 骨干、8K/64K 两种长度、Gated DeltaNet 与 Mamba-2 两种线性块KV Cache 最低可压至2.0%模型骨干训练上下文KV CacheHyLo-Llama-4MLA12GDN-8K-SFTLlama-3.2-1B8K3.9%HyLo-Llama-8MLA8GDN-8K-SFT本文Llama-3.2-1B8K7.8%HyLo-Llama-6MLA22GDN-64K-SFTLlama-3.2-3B64K2.0%HyLo-Qwen-14MLA14M2-64K-SFTQwen3-1.7B64K7.8%命名规律很好记8MLA8GDN 8 层 MLA 8 层 Gated DeltaNet8K/64K 训练上下文长度。完整家族表见 README.md。HyLo混合模型家族不同骨干与KV压缩率对照总结Upcycling 为什么值得你关注省钱跳过从头预训练复用已有权重的知识用两阶段训练完成架构升级省显存7.8% 的 KV Cache 意味着同样的显存能服务更多并发、更长的上下文有取舍线性块让位给循环状态超出训练长度后质量骤降选型时要按 8K/64K 版本对号入座。对希望降低长文本推理成本、或研究混合架构MLA、Gated DeltaNet、Mamba的团队这套长文本感知 Upcycling配方与开源检查点是一个低门槛的完整参考实现。赞分享【免费下载链接】HyLo-Llama-8MLA8GDN-8K-SFT项目地址https://ai.gitcode.com/hf_mirrors/amd/HyLo-Llama-8MLA8GDN-8K-SFT点击查看免费下载相关推荐HyLo-Qwen-14MLA14GDN-8K-SFT深度解析长上下文感知Upcycling论文与15个HyLo模型家族成员怎么选HyLo Qwen 14MLA14GDN 8K SFT深度解析长上下文感知Upcycling论文与15个HyLo模型家族成员怎么选 HyLo Qwen 14M揭秘HyLo-Llama-8MLA8GDN-8K-SFT训练全流程Enhanced-ILD蒸馏8K长文本SFT两大阶段深度拆解揭秘HyLo Llama 8MLA8GDN 8K SFT训练全流程Enhanced ILD蒸馏8K长文本SFT两大阶段深度拆解 HyLo Llama 8ML如何避免从头预训练HyLo-Llama-6MLA22GDN-8K-SFT长上下文Upcycling改造方法论完整指南如何避免从头预训练HyLo Llama 6MLA22GDN 8K SFT长上下文Upcycling改造方法论完整指南 HyLo Llama 6MLA22GDN上一篇给老电视装电视直播应用5分钟就能看上免注册免会员只靠一个遥控器下一篇如何快速构建个人离线小说库完整的番茄小说下载解决方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考