【免费下载链接】Xing4.0-29B-A4B-FP8项目地址https://ai.gitcode.com/XingChen-AGI/Xing4.0-29B-A4B-FP8点击查看免费下载Xing4.0-29B-A4B-FP8 是中国电信人工智能团队在Ascend NPU平台上使用MindSpore框架从零开始训练的新一代 MoE 大模型本仓库提供的是它的FP8 权重与完整配置文件。作为首个在该规模下完全跑通昇腾训练流程的模型它通过多层级深度协同优化把整体训练吞吐较开箱即用out-of-the-box基线提升了约96%。本文带你用通俗的方式看懂这是一个怎样的模型、优化是怎么做到的以及普通人如何快速上手使用它。一、先认识模型Xing4.0-29B-A4B-FP8 是什么简单说这是一只总共有 29B 参数、但每个 token 只激活 4B 参数的大模型。它属于 Xing 系列前身为 TeleChat 系列面向复杂工程与 Agent智能体任务做了深度优化。它的几个硬指标一眼就能看出规格项目数值总参数 / 激活参数29B每个 token 激活 4B层数40 层隐藏层维度Hidden Size3584路由专家数 / 每 token 激活专家数64 / 4共享专家数1注意力类型MLA多头潜在注意力上下文长度256K可扩展至 512KMoE 是什么MoEMixture of Experts专家混合把模型拆成多个专家网络每个输入只挑少数几个专家来处理。好处是总参数很大知识容量大但每次计算量小速度快、成本低。Xing4.0 就是典型代表——29B 的大脑4B 的工作量。这个 FP8 版本的特点在于权重被量化为FP8e4m3 格式在几乎不损失精度的前提下显著降低显存占用与传输成本更利于大规模推理部署。具体量化配置可以在 config.json 中查看例如quant_method为fp8、weight_block_size为[128, 128]。二、为什么能在昇腾 NPU 上从零训练很多模型是在 GPU 上训好、再迁移的而 Xing4.0 是第一个在 Ascend NPU 集群上用 MindSpore / MindFormers 完整训出来的同级别模型。它针对 Ascend 910C 集群做了两件事mHC 特性适配mHC 是模型里一套较新的结构组件团队针对昇腾的算子与调度能力做了专门适配融合算子开发用Ascend C把多个小算子合并成一个大算子减少数据搬运、提高芯片利用率。可以把它理解成不仅把菜谱模型结构搬到了新厨房昇腾硬件还重新设计了刀具和灶台算子让厨师芯片干得更顺。三、96% 训练吞吐提升四层协同优化拆解 那96%这个数字是怎么来的它不是单点优化而是四层叠加式的协同优化每一层都在给整体加速添柴加火优化层级通俗理解细粒度 MoE 通信优化专家之间的消息传递更省、更快减少等待选择性重计算Selective Recomputation只在必要时重算省显存又不过度增加耗时DVM 自动图算子融合自动把计算图里可合并的算子融合减少开销Ascend C mHC 融合算子用底层语言手写高效算子把 mHC 结构榨干性能其中 MoE 通信优化尤其关键。MoE 模型的瓶颈常常不在算而在传——token 要分发到不同专家、再把结果聚合回来。Xing4.0 在模型配置中为 MoE 定义了专门的并行切分策略张量并行 TP / 专家并行 EP把通信路径尽量走近路。这些并行策略定义在 configuration_xing4_0.py 的base_model_tp_plan与base_model_ep_plan中。⚡一句话总结通信更快 重算更聪明 算子更融合 底层更贴合硬件四管齐下最终带来约 96% 的整体吞吐提升。四、架构亮点mHC MLA MTP 三件套除了训练侧优化Xing4.0 本身也采用了一套面向 Agent 场景的现代化架构在 config.json 中都能找到对应参数mHC新一代残差/特征处理机制提升长上下文下的任务连贯性MLA多头潜在注意力把 Key/Value 压缩到低秩空间大幅降低长序列的 KV 缓存开销是支撑 256K 上下文的关键之一MTP多 token 预测num_nextn_predict_layers: 1一步预测多个 token推理时能看一步、得几步提升解码效率。这套组合拳让模型在多步规划、工具调用tool calling、长链条推理时表现更稳这也是它在 SWE-bench、Terminal-Bench 等工程实战类基准上表现亮眼的原因。五、核心文件速览读懂这份仓库这份仓库以 Hugging Face Transformers 格式组织主要文件如下方便你按需查阅文件作用config.json模型结构与量化配置模型身份证configuration_xing4_0.pyXing4_0Config配置类含并行切分策略modeling_xing4_0.py模型主体实现注意力、MoE、MTP 等tokenization_xing4_0.py分词器实现tokenizer.model分词模型文件SentencePiece 格式chat_template.jinja对话模板含思考/工具调用格式generation_config.json默认生成参数model.safetensors.index.jsonFP8 权重索引分片共 41 个权重按分片存放例如 model-00001-of-00041.safetensors 到 model-00041-of-00041.safetensors配合索引文件可被主流框架自动加载。六、如何快速上手使用1. 通过 OpenAI 兼容接口调用最简单模型提供标准 OpenAI 兼容 API只需替换base_url与api_key即可from openai import OpenAI client OpenAI(base_urlyour-base-url, api_keyyour-api-key) completion client.chat.completions.create( modelXing4.0-29B-A4B, messages[{role: user, content: 简要解释量子计算的基本原理。}], temperature1.0, top_p0.95, extra_body{ repetition_penalty: 1.05, skip_special_tokens: False, chat_template_kwargs: {enable_thinking: True}, }, ) print(completion.choices[0].message.content)对话模板中已内置思考thinking与工具调用tool call格式enable_thinking参数可开关思考模式详见 chat_template.jinja。2. 部署推理框架Xing4.0-29B-A4B 支持vLLM、SGLang、KTransformers等主流推理框架进行服务化部署也支持LLaMA-Factory与MindFormers做微调生态兼容性好。3. 推荐生成参数场景temperaturetop_prepetition_penalty复杂推理 / 通用任务1.00.951.05编码 / Agent 任务0.80.951.05 默认生成参数temperature1.0、top_p0.95、repetition_penalty1.05可在 generation_config.json 中查看开箱即可用。七、性能表现工程实战更出彩从公开基准看Xing4.0-29B-A4B 在动手能力类评测上优势明显如 SWE-bench Verified、Terminal-Bench、Claw-Eval 均居前列整体与同量级模型相比均衡稳定BenchmarkXing4.0-29B-A4BGemma4-26B-A4BQwen3.6-35B-A3BSWE-bench Verified75.0053.0076.00Terminal-Bench 2.157.5030.0051.50Claw-Eval76.5571.4974.54DeepresearchBII60.8039.3059.70AIME202690.0088.3092.70IFBench69.6772.6765.50可以看到在偏真实工程 / 智能体的评测上Xing4.0 常常是三者中最强的印证了它面向复杂工程任务深度优化的定位。八、总结一次软硬件协同的教科书式实践Xing4.0-29B-A4B-FP8 的价值不只是又一个大模型更在于它完整展示了国产 NPUAscend 国产框架MindSpore如何从零训出同级别 MoE 模型的可行路径规格够强29B/4B 激活、256K 上下文、mHCMLAMTP 架构训练够快四层协同优化带来约 96% 吞吐提升生态够全FP8 权重 Transformers 格式无缝对接主流推理/微调框架落地够近OpenAI 兼容接口几行代码即可调用。无论你是想评估国产算力上的大模型能力还是希望把它接入自己的 Agent / 编码工作流这份仓库都是一个拿来就能用、看完就明白的好起点。赞分享【免费下载链接】Xing4.0-29B-A4B-FP8项目地址https://ai.gitcode.com/XingChen-AGI/Xing4.0-29B-A4B-FP8点击查看免费下载相关推荐Xing4.0-29B-A4B国产算力训练全解Ascend NPU与MindSpore深度优化Xing4.0 29B A4B国产算力训练全解Ascend NPU与MindSpore深度优化 Xing4.0 29B A4B 是中电信人工智能科技有限公司研深度解析Xing4.0-29B-A4B-FP8的FP8量化e4m3格式、128×128分块与哪些层必须保留深度解析Xing4.0 29B A4B FP8的FP8量化e4m3格式、128×128分块与哪些层必须保留 Xing4.0 29B A4B FP8 是 MoE如何提升大模型训练吞吐NeMo AutoModel FP8/MXFP8混合精度训练完整实战指南如何提升大模型训练吞吐NeMo AutoModel FP8/MXFP8混合精度训练完整实战指南 NeMo AutoModelAutomodel是一个 Py上一篇PyTorch-NPU/dpt_large实战教程构建自己的深度感知应用系统下一篇GIST-small-Embedding-v0-openmind未来路线图 - 模型优化与功能扩展计划创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/21 2:53:30 · 阅读 1.2k Ascend NPU上诞生的Xing4.0-29B-A4B-FP8：MindSpore深度协同优化如何带来96%训练吞吐提升
【免费下载链接】Xing4.0-29B-A4B-FP8项目地址https://ai.gitcode.com/XingChen-AGI/Xing4.0-29B-A4B-FP8点击查看免费下载Xing4.0-29B-A4B-FP8 是中国电信人工智能团队在Ascend NPU平台上使用MindSpore框架从零开始训练的新一代 MoE 大模型本仓库提供的是它的FP8 权重与完整配置文件。作为首个在该规模下完全跑通昇腾训练流程的模型它通过多层级深度协同优化把整体训练吞吐较开箱即用out-of-the-box基线提升了约96%。本文带你用通俗的方式看懂这是一个怎样的模型、优化是怎么做到的以及普通人如何快速上手使用它。一、先认识模型Xing4.0-29B-A4B-FP8 是什么简单说这是一只总共有 29B 参数、但每个 token 只激活 4B 参数的大模型。它属于 Xing 系列前身为 TeleChat 系列面向复杂工程与 Agent智能体任务做了深度优化。它的几个硬指标一眼就能看出规格项目数值总参数 / 激活参数29B每个 token 激活 4B层数40 层隐藏层维度Hidden Size3584路由专家数 / 每 token 激活专家数64 / 4共享专家数1注意力类型MLA多头潜在注意力上下文长度256K可扩展至 512KMoE 是什么MoEMixture of Experts专家混合把模型拆成多个专家网络每个输入只挑少数几个专家来处理。好处是总参数很大知识容量大但每次计算量小速度快、成本低。Xing4.0 就是典型代表——29B 的大脑4B 的工作量。这个 FP8 版本的特点在于权重被量化为FP8e4m3 格式在几乎不损失精度的前提下显著降低显存占用与传输成本更利于大规模推理部署。具体量化配置可以在 config.json 中查看例如quant_method为fp8、weight_block_size为[128, 128]。二、为什么能在昇腾 NPU 上从零训练很多模型是在 GPU 上训好、再迁移的而 Xing4.0 是第一个在 Ascend NPU 集群上用 MindSpore / MindFormers 完整训出来的同级别模型。它针对 Ascend 910C 集群做了两件事mHC 特性适配mHC 是模型里一套较新的结构组件团队针对昇腾的算子与调度能力做了专门适配融合算子开发用Ascend C把多个小算子合并成一个大算子减少数据搬运、提高芯片利用率。可以把它理解成不仅把菜谱模型结构搬到了新厨房昇腾硬件还重新设计了刀具和灶台算子让厨师芯片干得更顺。三、96% 训练吞吐提升四层协同优化拆解 那96%这个数字是怎么来的它不是单点优化而是四层叠加式的协同优化每一层都在给整体加速添柴加火优化层级通俗理解细粒度 MoE 通信优化专家之间的消息传递更省、更快减少等待选择性重计算Selective Recomputation只在必要时重算省显存又不过度增加耗时DVM 自动图算子融合自动把计算图里可合并的算子融合减少开销Ascend C mHC 融合算子用底层语言手写高效算子把 mHC 结构榨干性能其中 MoE 通信优化尤其关键。MoE 模型的瓶颈常常不在算而在传——token 要分发到不同专家、再把结果聚合回来。Xing4.0 在模型配置中为 MoE 定义了专门的并行切分策略张量并行 TP / 专家并行 EP把通信路径尽量走近路。这些并行策略定义在 configuration_xing4_0.py 的base_model_tp_plan与base_model_ep_plan中。⚡一句话总结通信更快 重算更聪明 算子更融合 底层更贴合硬件四管齐下最终带来约 96% 的整体吞吐提升。四、架构亮点mHC MLA MTP 三件套除了训练侧优化Xing4.0 本身也采用了一套面向 Agent 场景的现代化架构在 config.json 中都能找到对应参数mHC新一代残差/特征处理机制提升长上下文下的任务连贯性MLA多头潜在注意力把 Key/Value 压缩到低秩空间大幅降低长序列的 KV 缓存开销是支撑 256K 上下文的关键之一MTP多 token 预测num_nextn_predict_layers: 1一步预测多个 token推理时能看一步、得几步提升解码效率。这套组合拳让模型在多步规划、工具调用tool calling、长链条推理时表现更稳这也是它在 SWE-bench、Terminal-Bench 等工程实战类基准上表现亮眼的原因。五、核心文件速览读懂这份仓库这份仓库以 Hugging Face Transformers 格式组织主要文件如下方便你按需查阅文件作用config.json模型结构与量化配置模型身份证configuration_xing4_0.pyXing4_0Config配置类含并行切分策略modeling_xing4_0.py模型主体实现注意力、MoE、MTP 等tokenization_xing4_0.py分词器实现tokenizer.model分词模型文件SentencePiece 格式chat_template.jinja对话模板含思考/工具调用格式generation_config.json默认生成参数model.safetensors.index.jsonFP8 权重索引分片共 41 个权重按分片存放例如 model-00001-of-00041.safetensors 到 model-00041-of-00041.safetensors配合索引文件可被主流框架自动加载。六、如何快速上手使用1. 通过 OpenAI 兼容接口调用最简单模型提供标准 OpenAI 兼容 API只需替换base_url与api_key即可from openai import OpenAI client OpenAI(base_urlyour-base-url, api_keyyour-api-key) completion client.chat.completions.create( modelXing4.0-29B-A4B, messages[{role: user, content: 简要解释量子计算的基本原理。}], temperature1.0, top_p0.95, extra_body{ repetition_penalty: 1.05, skip_special_tokens: False, chat_template_kwargs: {enable_thinking: True}, }, ) print(completion.choices[0].message.content)对话模板中已内置思考thinking与工具调用tool call格式enable_thinking参数可开关思考模式详见 chat_template.jinja。2. 部署推理框架Xing4.0-29B-A4B 支持vLLM、SGLang、KTransformers等主流推理框架进行服务化部署也支持LLaMA-Factory与MindFormers做微调生态兼容性好。3. 推荐生成参数场景temperaturetop_prepetition_penalty复杂推理 / 通用任务1.00.951.05编码 / Agent 任务0.80.951.05 默认生成参数temperature1.0、top_p0.95、repetition_penalty1.05可在 generation_config.json 中查看开箱即可用。七、性能表现工程实战更出彩从公开基准看Xing4.0-29B-A4B 在动手能力类评测上优势明显如 SWE-bench Verified、Terminal-Bench、Claw-Eval 均居前列整体与同量级模型相比均衡稳定BenchmarkXing4.0-29B-A4BGemma4-26B-A4BQwen3.6-35B-A3BSWE-bench Verified75.0053.0076.00Terminal-Bench 2.157.5030.0051.50Claw-Eval76.5571.4974.54DeepresearchBII60.8039.3059.70AIME202690.0088.3092.70IFBench69.6772.6765.50可以看到在偏真实工程 / 智能体的评测上Xing4.0 常常是三者中最强的印证了它面向复杂工程任务深度优化的定位。八、总结一次软硬件协同的教科书式实践Xing4.0-29B-A4B-FP8 的价值不只是又一个大模型更在于它完整展示了国产 NPUAscend 国产框架MindSpore如何从零训出同级别 MoE 模型的可行路径规格够强29B/4B 激活、256K 上下文、mHCMLAMTP 架构训练够快四层协同优化带来约 96% 吞吐提升生态够全FP8 权重 Transformers 格式无缝对接主流推理/微调框架落地够近OpenAI 兼容接口几行代码即可调用。无论你是想评估国产算力上的大模型能力还是希望把它接入自己的 Agent / 编码工作流这份仓库都是一个拿来就能用、看完就明白的好起点。赞分享【免费下载链接】Xing4.0-29B-A4B-FP8项目地址https://ai.gitcode.com/XingChen-AGI/Xing4.0-29B-A4B-FP8点击查看免费下载相关推荐Xing4.0-29B-A4B国产算力训练全解Ascend NPU与MindSpore深度优化Xing4.0 29B A4B国产算力训练全解Ascend NPU与MindSpore深度优化 Xing4.0 29B A4B 是中电信人工智能科技有限公司研深度解析Xing4.0-29B-A4B-FP8的FP8量化e4m3格式、128×128分块与哪些层必须保留深度解析Xing4.0 29B A4B FP8的FP8量化e4m3格式、128×128分块与哪些层必须保留 Xing4.0 29B A4B FP8 是 MoE如何提升大模型训练吞吐NeMo AutoModel FP8/MXFP8混合精度训练完整实战指南如何提升大模型训练吞吐NeMo AutoModel FP8/MXFP8混合精度训练完整实战指南 NeMo AutoModelAutomodel是一个 Py上一篇PyTorch-NPU/dpt_large实战教程构建自己的深度感知应用系统下一篇GIST-small-Embedding-v0-openmind未来路线图 - 模型优化与功能扩展计划创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考