【免费下载链接】Audio8-TTS-Preview-0.1b-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Audio8-TTS-Preview-0.1b-bf16点击查看免费下载这是一份针对Audio8-TTS-Preview-0.1b-bf16模型仓库的 config.json 完整解读。该仓库是 Audio8 开源 TTS 语音合成模型 0.1b 版的MLX 转换版专为 Apple Silicon 设计支持中/英为主的 8 种语言、零样本声音克隆并内置 44.1 kHz 神经 codec。仓库内共约 90 个架构配置项本文按功能分组逐项注释帮你在部署、微调或排查问题时快速看懂每个参数。一、模型身份与全局设置参数值说明architectures[ArkttsModel]模型类名加载时由该名称路由到arktts实现model_typearktts模型类型标识arktts是 Audio8 自研的双速 TTS 架构名dtypebfloat16语言模型权重精度与上游发布的 bf16 保持一致slow_backbonefalcon_h1慢速主干采用 Falcon-H1 混合架构Mamba-2 注意力 MLP。⚠️ 需安装支持该主干的 mlx-audio 版本详见 README.mdtransformers_version4.57.5转换/校验所用的 transformers 版本供工具链参考vocab_size69633词表大小文本 token 4096 个语义 token 的总和空间dim/hidden_size512隐藏层维度两套命名同时存在以兼容不同加载器n_layer/num_hidden_layers24慢速主干slow stack层数24 层是慢的那一路expansion_factor1.5中间层扩展系数相关的整体放大比例initializer_range0.02权重初始化的标准差范围hidden_actsilu激活函数SiLUSwishdropout/attention_dropout0.0推理权重下所有 dropout 关闭use_cachetrue开启 KV/状态缓存自回归生成提速use_gradient_checkpointingfalse不做梯度检查点面向推理场景 为什么dim和hidden_size、n_layer和num_hidden_layers会同时出现前者是 MLX 生态命名后者是 Hugging Face 生态命名双写保证两边工具都能读到。二、注意力Attention参数慢速主干每一层都带一个 GQA分组查询注意力模块参数值说明n_head/num_attention_heads8注意力头数8 × 64 512 正好等于dimhead_dim64每个注意力头的维度n_local_heads/num_key_value_heads2KV 头数。8 个 Q 头共享 2 组 KV即 4:1 的 GQA显著减少显存num_logits_to_keep1解码时只保留最后 1 个位置的 logits省算力的标准优化attention_bias/attention_qkv_bias/attention_o_biasfalseQKV 与输出投影均无偏置项参数更省attention_qk_normfalse不对 Q/K 做 RMSNormattention_in_multiplier/attention_out_multiplier1.0输入/输出缩放因子1.0 表示不缩放key_multiplier1.0作用于 K 的缩放因子三、Mamba-2 SSM 参数核心亮点这是本模型最有特色的部分每层慢速主干都内置一个Mamba-2 状态空间混合器slow_backbone: falcon_h1的混合结构与注意力并行工作带来近线性复杂度的长序列建模能力。参数值说明mamba_d_ssm768SSM 状态空间维度intermediate_size决定状态容量mamba_d_state64状态长度 N越大记忆越长算力开销越大mamba_expand2输入扩维倍数输入先扩到 2×512 再进 SSMmamba_d_conv4一维短卷积核大小Mamba 惯用的局部平滑前置mamba_conv_biastrue卷积层带偏置少数true项之一mamba_n_heads24SSM 内部头数mamba_d_head32SSM 头维度24 × 32 768 d_ssmmamba_n_groups1分组数1 表示无分组若 1 则类似 GQA 的分组共享mamba_use_mlptrueSSM 层内额外并联一个 MLP增强非线性表达mamba_chunk_size128分块并行扫描的块大小影响长序列时的并行度mamba_proj_biasfalse投影层无偏置mamba_rms_norm/mamba_norm_before_gatefalse均关闭保持结构轻量ssm_in_multiplier/ssm_out_multiplier1.0SSM 输入/输出缩放均为 1.0ssm_multipliers[1.0, 1.0, 1.0, 1.0, 1.0]SSM 内部 5 个关键矩阵的逐矩阵缩放全部 1.0 表示未做特殊缩放time_step_min/time_step_max/time_step_floor0.001/0.1/0.0001离散化时间步的 Softplus 上下界控制状态更新速率的数值稳定性time_step_rankauto时间步低秩参数化秩auto表示按维度自动推导projectors_biasfalse主干各类投影层统一无偏置四、快速主干Fast AR逐帧预测 10 个 codebookarktts是双速设计慢速主干预测语义 token而4 层快速自回归小网络负责在每一帧内连续吐出 10 个 codec codebook——这是它与 0.6b 版一致的生成流程。参数值说明n_fast_layer4快速主干层数远少于慢速的 24 层故生成极快fast_dim512快速主干隐藏维度与慢速主干相同fast_n_head/fast_n_local_heads8/2快速主干同样采用 4:1 GQAfast_head_dim64快速主干头维度fast_intermediate_size4864快速主干 MLP 中间维度约为 9.3× 的扩展比信息密度高fast_attention_qkv_bias/fast_attention_o_bias/fast_attention_qk_normfalse快速主干注意力同样无偏置、无 QK 归一化norm_fastlayer_inputfalse进入快速主干前不做额外归一化五、神经 Codec 参数本仓库自带 44.1 kHz 神经 codec即 codec.safetensors负责把语义 token 解码成波形参数值说明codec_filenamecodec.safetensors指明 codec 权重文件名codec_sample_rate44100输出采样率 44.1 kHz接近 CD 音质codec_frame_size2048单帧波形点数约 46 ms/帧num_codebooks10语义化残差量化码本数即每帧要预测 10 层码codebook_size4096每个码本的词元数65537~69632 的语义 ID 区间正好 4096 个codec_post_n_layer8codec 后置解缠器decoder层数codec_post_n_head/codec_post_n_local_heads16/8解缠器注意力头数16 头 × 2 组 KVcodec_post_intermediate_size1216解缠器 MLP 中间维度 注意codec 权重以 fp32 存储约 1.35 GB是驻留内存的大头比 0.6b 版省内存主要体现在语言模型部分。六、词表、特殊 token 与 RoPE参数值说明pad_token_id0填充 token对应\|pad\|bos_token_id17序列起始 tokeneos_token_id228序列结束 token生成停止信号generation_config.json 中同值semantic_begin_id/semantic_end_id65537/69632语义 token 的 ID 区间跨度恰好 4096 codebook_size是语音离散表示的专属地址段rope_theta/rope_base1e11RoPE 旋转位置编码的 base。1 万亿级的超大基频用于扩展有效位置范围两个键是同一参数的双命名max_position_embeddings8192位置编码支持的最大长度上限max_seq_len2048本 checkpoint 实际使用的最大序列长度比上限保守分词相关文件见 tokenizer.json、tokenizer_config.json 与 special_tokens_map.json。七、缩放因子与 RAS 采样这组参数最容易让新手困惑但含义非常物理参数值说明embedding_multiplier0.10888671875输入嵌入的缩放系数。⚠️ 按 README.md 的说明它作用在文本嵌入 10 个 codebook 嵌入之和上不是单独缩放文本查表复刻实现时务必注意lm_head_multiplier0.078125输出层LM headlogits 缩放压低 logits 幅度以稳定 softmaxmlp_multipliers[1.0, 1.0]MLP 两个线性层的独立缩放1.0 表示未启用RAS重复感知采样是语音生成的专用解码策略用于压制 codebook 级别的循环重复参数值说明ras_temperature1.0重复惩罚的温度ras_top_p0.9重复惩罚的核采样阈值ras_window_size10检测重复的滑动窗口帧窗口内出现过的 token 会被降权八、配套的生成参数generation_config.json 中预置了推理默认值与config.json中的ras_*配合工作参数值说明do_sampletrue开启采样解码temperature0.7采样温度越低越确定、越稳定top_p0.9核采样阈值max_new_tokens512单次生成最多 512 个 token约对应 20 多秒音频九、参数全景速查按文件组织文件作用config.json本文主角全部架构与行为参数model.safetensors语言模型 bf16 权重约 170M 参数codec.safetensors44.1 kHz 神经 codec 权重fp32Apache-2.0 协议generation_config.json默认解码参数tokenizer.jsonBPE 分词器LICENSEAudio8 社区许可 v1.0非商用免费年营收 200 万美元可商用超过需另行授权部署前请阅读十、总结如何一句话看懂这个模型config.json描绘的是一张清晰的双速图景24 层慢速主干Falcon-H1 混合Mamba-2 SSM 2 组 KV 的 GQA 注意力 MLP负责语义规划4 层快速主干每帧连吐 10 个 codebook4096 码本、RAS 防重复再由8 层 codec 解缠器还原出 44.1 kHz 波形。对新手而言重点只需记住三件事slow_backbone: falcon_h1需要对应版本的 mlx-audio版本不匹配会直接加载失败不会悄悄输出坏音频embedding_multiplier作用于文本codebook 嵌入之和二次开发时切勿只折进文本表峰值显存的大头是 fp32 codec 而非语言模型想省显存应关注codec_*相关项。输出文章/output_article /输出文章Wait, I made an error — let me output the article correctly.输出文章Audio8-TTS-Preview-0.1b-bf16 config.json完整解读100个架构参数逐项注释这是一份针对Audio8-TTS-Preview-0.1b-bf16模型仓库的 config.json 完整解读。该仓库是 Audio8 开源 TTS 语音合成模型 0.1b 版的MLX 转换版专为 Apple Silicon 设计支持中/英为主的 8 种语言、零样本声音克隆并内置 44.1 kHz 神经 codec。仓库内共约 90 个架构配置项本文按功能分组逐项注释帮你在部署、微调或排查问题时快速看懂每个参数。一、模型身份与全局设置参数值说明architectures[ArkttsModel]模型类名加载时由该名称路由到arktts实现model_typearktts模型类型标识arktts是 Audio8 自研的双速 TTS 架构名dtypebfloat16语言模型权重精度与上游发布的 bf16 保持一致slow_backbonefalcon_h1慢速主干采用 Falcon-H1 混合架构Mamba-2 注意力 MLP。⚠️ 需安装支持该主干的 mlx-audio 版本详见 README.mdtransformers_version4.57.5转换/校验所用的 transformers 版本供工具链参考vocab_size69633词表大小文本 token 4096 个语义 token 的总和空间dim/hidden_size512隐藏层维度两套命名同时存在以兼容不同加载器n_layer/num_hidden_layers24慢速主干slow stack层数expansion_factor1.5中间层扩展相关的整体放大比例initializer_range0.02权重初始化标准差范围hidden_actsilu激活函数SiLUSwishdropout/attention_dropout0.0推理权重下所有 dropout 关闭use_cachetrue开启 KV/状态缓存自回归生成提速use_gradient_checkpointingfalse不做梯度检查点面向推理场景 为什么dim和hidden_size、n_layer和num_hidden_layers会同时出现前者是 MLX 生态命名后者是 Hugging Face 生态命名双写保证两边工具都能读到。二、注意力Attention参数慢速主干每一层都带一个 GQA分组查询注意力模块参数值说明n_head/num_attention_heads8注意力头数8 × 64 512 正好等于dimhead_dim64每个注意力头的维度n_local_heads/num_key_value_heads2KV 头数。8 个 Q 头共享 2 组 KV即 4:1 的 GQA显著减少显存num_logits_to_keep1解码时只保留最后 1 个位置的 logits标准省算力优化attention_bias/attention_qkv_bias/attention_o_biasfalseQKV 与输出投影均无偏置项参数更省attention_qk_normfalse不对 Q/K 做 RMSNormattention_in_multiplier/attention_out_multiplier1.0输入/输出缩放因子1.0 表示不缩放key_multiplier1.0作用于 K 的缩放因子三、Mamba-2 SSM 参数核心亮点这是本模型最有特色的部分每层慢速主干都内置一个Mamba-2 状态空间混合器slow_backbone: falcon_h1的混合结构与注意力并行工作带来近线性复杂度的长序列建模能力。参数值说明mamba_d_ssm768SSM 状态空间维度intermediate_size决定状态容量mamba_d_state64状态长度 N越大记忆越长算力开销越大mamba_expand2输入扩维倍数输入先扩到 2×512 再进 SSMmamba_d_conv4一维短卷积核大小Mamba 惯用的局部平滑前置mamba_conv_biastrue卷积层带偏置少数true项之一mamba_n_heads24SSM 内部头数mamba_d_head32SSM 头维度24 × 32 768 d_ssmmamba_n_groups1分组数1 表示无分组共享mamba_use_mlptrueSSM 层内额外并联一个 MLP增强非线性表达mamba_chunk_size128分块并行扫描的块大小影响长序列并行度mamba_proj_biasfalse投影层无偏置mamba_rms_norm/mamba_norm_before_gatefalse均关闭保持结构轻量ssm_in_multiplier/ssm_out_multiplier1.0SSM 输入/输出缩放均为 1.0ssm_multipliers[1.0 × 5]SSM 内部 5 个关键矩阵的逐矩阵缩放全部 1.0time_step_min/time_step_max/time_step_floor0.001/0.1/0.0001离散化时间步的 Softplus 上下界控制状态更新速率的数值稳定性time_step_rankauto时间步低秩参数化秩auto表示按维度自动推导projectors_biasfalse主干各类投影层统一无偏置四、快速主干Fast AR逐帧预测 10 个 codebookarktts是双速设计慢速主干预测语义 token而4 层快速自回归小网络负责在每一帧内连续吐出 10 个 codec codebook——这是它与 0.6b 版一致的生成流程。参数值说明n_fast_layer4快速主干层数远少于慢速的 24 层故生成极快fast_dim512快速主干隐藏维度与慢速主干相同fast_n_head/fast_n_local_heads8/2快速主干同样采用 4:1 GQAfast_head_dim64快速主干头维度fast_intermediate_size4864快速主干 MLP 中间维度约 9.3× 扩展比信息密度高fast_attention_qkv_bias/fast_attention_o_bias/fast_attention_qk_normfalse快速主干注意力同样无偏置、无 QK 归一化norm_fastlayer_inputfalse进入快速主干前不做额外归一化五、神经 Codec 参数本仓库自带 44.1 kHz 神经 codec即 codec.safetensors负责把语义 token 解码成波形参数值说明codec_filenamecodec.safetensors指明 codec 权重文件名codec_sample_rate44100输出采样率 44.1 kHz接近 CD 音质codec_frame_size2048单帧波形点数约 46 ms/帧num_codebooks10语义化残差量化码本数即每帧要预测 10 层码codebook_size4096每个码本的词元数语义 ID 区间 65537~69632 正好 4096 个codec_post_n_layer8codec 后置解缠器decoder层数codec_post_n_head/codec_post_n_local_heads16/8解缠器注意力头数16 头配 8 组 KVcodec_post_intermediate_size1216解缠器 MLP 中间维度 注意codec 权重以 fp32 存储约 1.35 GB是驻留内存的大头0.1b 相对 0.6b 省下的显存主要来自语言模型部分。六、词表、特殊 token 与 RoPE参数值说明pad_token_id0填充 token对应\|pad\|bos_token_id17序列起始 tokeneos_token_id228序列结束 token生成停止信号generation_config.json 中同值semantic_begin_id/semantic_end_id65537/69632语义 token 的 ID 区间跨度恰好 4096 codebook_size是语音离散表示的专属地址段rope_theta/rope_base1e11RoPE 旋转位置编码的 base。1 万亿级超大基频用于扩展有效位置范围两个键是同一参数的双命名max_position_embeddings8192位置编码支持的最大长度上限max_seq_len2048本 checkpoint 实际使用的最大序列长度比上限保守分词相关文件见 tokenizer.json、tokenizer_config.json 与 special_tokens_map.json。七、缩放因子与 RAS 采样这组参数最容易让新手困惑但含义很物理参数值说明embedding_multiplier0.10888671875输入嵌入的缩放系数。⚠️ 按 README.md 说明它作用在文本嵌入 10 个 codebook 嵌入之和上不是单独缩放文本查表复刻实现时务必注意lm_head_multiplier0.078125输出层LM headlogits 缩放压低 logits 幅度以稳定 softmaxmlp_multipliers[1.0, 1.0]MLP 两个线性层的独立缩放1.0 表示未启用RAS重复感知采样是语音生成的专用解码策略用于压制 codebook 级别的循环重复参数值说明ras_temperature1.0重复惩罚的温度ras_top_p0.9重复惩罚的核采样阈值ras_window_size10检测重复的滑动窗口帧窗口内出现过的 token 会被降权八、配套的生成参数generation_config.json 预置了推理默认值与config.json中的ras_*配合工作参数值说明do_sampletrue开启采样解码temperature0.7采样温度越低越确定、越稳定top_p0.9核采样阈值max_new_tokens512单次生成上限 512 个 token约对应 20 多秒音频九、参数全景速查按文件组织文件作用config.json本文主角全部架构与行为参数model.safetensors语言模型 bf16 权重约 170M 参数codec.safetensors44.1 kHz 神经 codec 权重fp32Apache-2.0 协议generation_config.json默认解码参数tokenizer.jsonBPE 分词器LICENSEAudio8 社区许可 v1.0非商用免费年营收低于 200 万美元可商用超过需另行授权部署前请阅读十、总结一句话看懂这个模型config.json描绘的是一张清晰的双速图景24 层慢速主干Falcon-H1 混合Mamba-2 SSM 2 组 KV 的 GQA 注意力 MLP负责语义规划4 层快速主干每帧连吐 10 个 codebook4096 码本、RAS 防重复再由8 层 codec 解缠器还原出 44.1 kHz 波形。对新手而言重点只需记住三件事slow_backbone: falcon_h1需要对应版本的 mlx-audio版本不匹配会直接加载失败不会悄悄输出坏音频embedding_multiplier作用于文本codebook 嵌入之和二次开发时切勿只折进文本表峰值显存的大头是 fp32 codec 而非语言模型想省显存应关注codec_*相关项。赞分享【免费下载链接】Audio8-TTS-Preview-0.1b-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Audio8-TTS-Preview-0.1b-bf16点击查看免费下载相关推荐Apple Silicon语音合成完整指南Audio8-TTS-Preview-0.1b-bf16项目深度概览Apple Silicon语音合成完整指南Audio8 TTS Preview 0.1b bf16项目深度概览 想在 Mac 上本地运行多语言语音合成Aud克隆效果不理想的10个实用调参技巧Audio8-TTS-Preview-0.1b-bf16温度与采样参数详解克隆效果不理想的10个实用调参技巧Audio8 TTS Preview 0.1b bf16温度与采样参数详解 如果你在使用 Audio8 TTS Previe从推理到产品化如何用Audio8-TTS-Preview-0.1b-bf16构建多语言语音助手从推理到产品化如何用Audio8 TTS Preview 0.1b bf16构建多语言语音助手 Audio8 TTS Preview 0.1b bf16 是一上一篇【免费下载】 SPDX Licenses 项目常见问题解决方案下一篇dbxfs开发者必读核心组件与代码实现原理全揭秘创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/18 2:37:16 · 阅读 1.2k Audio8-TTS-Preview-0.1b-bf16 config.json完整解读：100+个架构参数逐项注释
【免费下载链接】Audio8-TTS-Preview-0.1b-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Audio8-TTS-Preview-0.1b-bf16点击查看免费下载这是一份针对Audio8-TTS-Preview-0.1b-bf16模型仓库的 config.json 完整解读。该仓库是 Audio8 开源 TTS 语音合成模型 0.1b 版的MLX 转换版专为 Apple Silicon 设计支持中/英为主的 8 种语言、零样本声音克隆并内置 44.1 kHz 神经 codec。仓库内共约 90 个架构配置项本文按功能分组逐项注释帮你在部署、微调或排查问题时快速看懂每个参数。一、模型身份与全局设置参数值说明architectures[ArkttsModel]模型类名加载时由该名称路由到arktts实现model_typearktts模型类型标识arktts是 Audio8 自研的双速 TTS 架构名dtypebfloat16语言模型权重精度与上游发布的 bf16 保持一致slow_backbonefalcon_h1慢速主干采用 Falcon-H1 混合架构Mamba-2 注意力 MLP。⚠️ 需安装支持该主干的 mlx-audio 版本详见 README.mdtransformers_version4.57.5转换/校验所用的 transformers 版本供工具链参考vocab_size69633词表大小文本 token 4096 个语义 token 的总和空间dim/hidden_size512隐藏层维度两套命名同时存在以兼容不同加载器n_layer/num_hidden_layers24慢速主干slow stack层数24 层是慢的那一路expansion_factor1.5中间层扩展系数相关的整体放大比例initializer_range0.02权重初始化的标准差范围hidden_actsilu激活函数SiLUSwishdropout/attention_dropout0.0推理权重下所有 dropout 关闭use_cachetrue开启 KV/状态缓存自回归生成提速use_gradient_checkpointingfalse不做梯度检查点面向推理场景 为什么dim和hidden_size、n_layer和num_hidden_layers会同时出现前者是 MLX 生态命名后者是 Hugging Face 生态命名双写保证两边工具都能读到。二、注意力Attention参数慢速主干每一层都带一个 GQA分组查询注意力模块参数值说明n_head/num_attention_heads8注意力头数8 × 64 512 正好等于dimhead_dim64每个注意力头的维度n_local_heads/num_key_value_heads2KV 头数。8 个 Q 头共享 2 组 KV即 4:1 的 GQA显著减少显存num_logits_to_keep1解码时只保留最后 1 个位置的 logits省算力的标准优化attention_bias/attention_qkv_bias/attention_o_biasfalseQKV 与输出投影均无偏置项参数更省attention_qk_normfalse不对 Q/K 做 RMSNormattention_in_multiplier/attention_out_multiplier1.0输入/输出缩放因子1.0 表示不缩放key_multiplier1.0作用于 K 的缩放因子三、Mamba-2 SSM 参数核心亮点这是本模型最有特色的部分每层慢速主干都内置一个Mamba-2 状态空间混合器slow_backbone: falcon_h1的混合结构与注意力并行工作带来近线性复杂度的长序列建模能力。参数值说明mamba_d_ssm768SSM 状态空间维度intermediate_size决定状态容量mamba_d_state64状态长度 N越大记忆越长算力开销越大mamba_expand2输入扩维倍数输入先扩到 2×512 再进 SSMmamba_d_conv4一维短卷积核大小Mamba 惯用的局部平滑前置mamba_conv_biastrue卷积层带偏置少数true项之一mamba_n_heads24SSM 内部头数mamba_d_head32SSM 头维度24 × 32 768 d_ssmmamba_n_groups1分组数1 表示无分组若 1 则类似 GQA 的分组共享mamba_use_mlptrueSSM 层内额外并联一个 MLP增强非线性表达mamba_chunk_size128分块并行扫描的块大小影响长序列时的并行度mamba_proj_biasfalse投影层无偏置mamba_rms_norm/mamba_norm_before_gatefalse均关闭保持结构轻量ssm_in_multiplier/ssm_out_multiplier1.0SSM 输入/输出缩放均为 1.0ssm_multipliers[1.0, 1.0, 1.0, 1.0, 1.0]SSM 内部 5 个关键矩阵的逐矩阵缩放全部 1.0 表示未做特殊缩放time_step_min/time_step_max/time_step_floor0.001/0.1/0.0001离散化时间步的 Softplus 上下界控制状态更新速率的数值稳定性time_step_rankauto时间步低秩参数化秩auto表示按维度自动推导projectors_biasfalse主干各类投影层统一无偏置四、快速主干Fast AR逐帧预测 10 个 codebookarktts是双速设计慢速主干预测语义 token而4 层快速自回归小网络负责在每一帧内连续吐出 10 个 codec codebook——这是它与 0.6b 版一致的生成流程。参数值说明n_fast_layer4快速主干层数远少于慢速的 24 层故生成极快fast_dim512快速主干隐藏维度与慢速主干相同fast_n_head/fast_n_local_heads8/2快速主干同样采用 4:1 GQAfast_head_dim64快速主干头维度fast_intermediate_size4864快速主干 MLP 中间维度约为 9.3× 的扩展比信息密度高fast_attention_qkv_bias/fast_attention_o_bias/fast_attention_qk_normfalse快速主干注意力同样无偏置、无 QK 归一化norm_fastlayer_inputfalse进入快速主干前不做额外归一化五、神经 Codec 参数本仓库自带 44.1 kHz 神经 codec即 codec.safetensors负责把语义 token 解码成波形参数值说明codec_filenamecodec.safetensors指明 codec 权重文件名codec_sample_rate44100输出采样率 44.1 kHz接近 CD 音质codec_frame_size2048单帧波形点数约 46 ms/帧num_codebooks10语义化残差量化码本数即每帧要预测 10 层码codebook_size4096每个码本的词元数65537~69632 的语义 ID 区间正好 4096 个codec_post_n_layer8codec 后置解缠器decoder层数codec_post_n_head/codec_post_n_local_heads16/8解缠器注意力头数16 头 × 2 组 KVcodec_post_intermediate_size1216解缠器 MLP 中间维度 注意codec 权重以 fp32 存储约 1.35 GB是驻留内存的大头比 0.6b 版省内存主要体现在语言模型部分。六、词表、特殊 token 与 RoPE参数值说明pad_token_id0填充 token对应\|pad\|bos_token_id17序列起始 tokeneos_token_id228序列结束 token生成停止信号generation_config.json 中同值semantic_begin_id/semantic_end_id65537/69632语义 token 的 ID 区间跨度恰好 4096 codebook_size是语音离散表示的专属地址段rope_theta/rope_base1e11RoPE 旋转位置编码的 base。1 万亿级的超大基频用于扩展有效位置范围两个键是同一参数的双命名max_position_embeddings8192位置编码支持的最大长度上限max_seq_len2048本 checkpoint 实际使用的最大序列长度比上限保守分词相关文件见 tokenizer.json、tokenizer_config.json 与 special_tokens_map.json。七、缩放因子与 RAS 采样这组参数最容易让新手困惑但含义非常物理参数值说明embedding_multiplier0.10888671875输入嵌入的缩放系数。⚠️ 按 README.md 的说明它作用在文本嵌入 10 个 codebook 嵌入之和上不是单独缩放文本查表复刻实现时务必注意lm_head_multiplier0.078125输出层LM headlogits 缩放压低 logits 幅度以稳定 softmaxmlp_multipliers[1.0, 1.0]MLP 两个线性层的独立缩放1.0 表示未启用RAS重复感知采样是语音生成的专用解码策略用于压制 codebook 级别的循环重复参数值说明ras_temperature1.0重复惩罚的温度ras_top_p0.9重复惩罚的核采样阈值ras_window_size10检测重复的滑动窗口帧窗口内出现过的 token 会被降权八、配套的生成参数generation_config.json 中预置了推理默认值与config.json中的ras_*配合工作参数值说明do_sampletrue开启采样解码temperature0.7采样温度越低越确定、越稳定top_p0.9核采样阈值max_new_tokens512单次生成最多 512 个 token约对应 20 多秒音频九、参数全景速查按文件组织文件作用config.json本文主角全部架构与行为参数model.safetensors语言模型 bf16 权重约 170M 参数codec.safetensors44.1 kHz 神经 codec 权重fp32Apache-2.0 协议generation_config.json默认解码参数tokenizer.jsonBPE 分词器LICENSEAudio8 社区许可 v1.0非商用免费年营收 200 万美元可商用超过需另行授权部署前请阅读十、总结如何一句话看懂这个模型config.json描绘的是一张清晰的双速图景24 层慢速主干Falcon-H1 混合Mamba-2 SSM 2 组 KV 的 GQA 注意力 MLP负责语义规划4 层快速主干每帧连吐 10 个 codebook4096 码本、RAS 防重复再由8 层 codec 解缠器还原出 44.1 kHz 波形。对新手而言重点只需记住三件事slow_backbone: falcon_h1需要对应版本的 mlx-audio版本不匹配会直接加载失败不会悄悄输出坏音频embedding_multiplier作用于文本codebook 嵌入之和二次开发时切勿只折进文本表峰值显存的大头是 fp32 codec 而非语言模型想省显存应关注codec_*相关项。输出文章/output_article /输出文章Wait, I made an error — let me output the article correctly.输出文章Audio8-TTS-Preview-0.1b-bf16 config.json完整解读100个架构参数逐项注释这是一份针对Audio8-TTS-Preview-0.1b-bf16模型仓库的 config.json 完整解读。该仓库是 Audio8 开源 TTS 语音合成模型 0.1b 版的MLX 转换版专为 Apple Silicon 设计支持中/英为主的 8 种语言、零样本声音克隆并内置 44.1 kHz 神经 codec。仓库内共约 90 个架构配置项本文按功能分组逐项注释帮你在部署、微调或排查问题时快速看懂每个参数。一、模型身份与全局设置参数值说明architectures[ArkttsModel]模型类名加载时由该名称路由到arktts实现model_typearktts模型类型标识arktts是 Audio8 自研的双速 TTS 架构名dtypebfloat16语言模型权重精度与上游发布的 bf16 保持一致slow_backbonefalcon_h1慢速主干采用 Falcon-H1 混合架构Mamba-2 注意力 MLP。⚠️ 需安装支持该主干的 mlx-audio 版本详见 README.mdtransformers_version4.57.5转换/校验所用的 transformers 版本供工具链参考vocab_size69633词表大小文本 token 4096 个语义 token 的总和空间dim/hidden_size512隐藏层维度两套命名同时存在以兼容不同加载器n_layer/num_hidden_layers24慢速主干slow stack层数expansion_factor1.5中间层扩展相关的整体放大比例initializer_range0.02权重初始化标准差范围hidden_actsilu激活函数SiLUSwishdropout/attention_dropout0.0推理权重下所有 dropout 关闭use_cachetrue开启 KV/状态缓存自回归生成提速use_gradient_checkpointingfalse不做梯度检查点面向推理场景 为什么dim和hidden_size、n_layer和num_hidden_layers会同时出现前者是 MLX 生态命名后者是 Hugging Face 生态命名双写保证两边工具都能读到。二、注意力Attention参数慢速主干每一层都带一个 GQA分组查询注意力模块参数值说明n_head/num_attention_heads8注意力头数8 × 64 512 正好等于dimhead_dim64每个注意力头的维度n_local_heads/num_key_value_heads2KV 头数。8 个 Q 头共享 2 组 KV即 4:1 的 GQA显著减少显存num_logits_to_keep1解码时只保留最后 1 个位置的 logits标准省算力优化attention_bias/attention_qkv_bias/attention_o_biasfalseQKV 与输出投影均无偏置项参数更省attention_qk_normfalse不对 Q/K 做 RMSNormattention_in_multiplier/attention_out_multiplier1.0输入/输出缩放因子1.0 表示不缩放key_multiplier1.0作用于 K 的缩放因子三、Mamba-2 SSM 参数核心亮点这是本模型最有特色的部分每层慢速主干都内置一个Mamba-2 状态空间混合器slow_backbone: falcon_h1的混合结构与注意力并行工作带来近线性复杂度的长序列建模能力。参数值说明mamba_d_ssm768SSM 状态空间维度intermediate_size决定状态容量mamba_d_state64状态长度 N越大记忆越长算力开销越大mamba_expand2输入扩维倍数输入先扩到 2×512 再进 SSMmamba_d_conv4一维短卷积核大小Mamba 惯用的局部平滑前置mamba_conv_biastrue卷积层带偏置少数true项之一mamba_n_heads24SSM 内部头数mamba_d_head32SSM 头维度24 × 32 768 d_ssmmamba_n_groups1分组数1 表示无分组共享mamba_use_mlptrueSSM 层内额外并联一个 MLP增强非线性表达mamba_chunk_size128分块并行扫描的块大小影响长序列并行度mamba_proj_biasfalse投影层无偏置mamba_rms_norm/mamba_norm_before_gatefalse均关闭保持结构轻量ssm_in_multiplier/ssm_out_multiplier1.0SSM 输入/输出缩放均为 1.0ssm_multipliers[1.0 × 5]SSM 内部 5 个关键矩阵的逐矩阵缩放全部 1.0time_step_min/time_step_max/time_step_floor0.001/0.1/0.0001离散化时间步的 Softplus 上下界控制状态更新速率的数值稳定性time_step_rankauto时间步低秩参数化秩auto表示按维度自动推导projectors_biasfalse主干各类投影层统一无偏置四、快速主干Fast AR逐帧预测 10 个 codebookarktts是双速设计慢速主干预测语义 token而4 层快速自回归小网络负责在每一帧内连续吐出 10 个 codec codebook——这是它与 0.6b 版一致的生成流程。参数值说明n_fast_layer4快速主干层数远少于慢速的 24 层故生成极快fast_dim512快速主干隐藏维度与慢速主干相同fast_n_head/fast_n_local_heads8/2快速主干同样采用 4:1 GQAfast_head_dim64快速主干头维度fast_intermediate_size4864快速主干 MLP 中间维度约 9.3× 扩展比信息密度高fast_attention_qkv_bias/fast_attention_o_bias/fast_attention_qk_normfalse快速主干注意力同样无偏置、无 QK 归一化norm_fastlayer_inputfalse进入快速主干前不做额外归一化五、神经 Codec 参数本仓库自带 44.1 kHz 神经 codec即 codec.safetensors负责把语义 token 解码成波形参数值说明codec_filenamecodec.safetensors指明 codec 权重文件名codec_sample_rate44100输出采样率 44.1 kHz接近 CD 音质codec_frame_size2048单帧波形点数约 46 ms/帧num_codebooks10语义化残差量化码本数即每帧要预测 10 层码codebook_size4096每个码本的词元数语义 ID 区间 65537~69632 正好 4096 个codec_post_n_layer8codec 后置解缠器decoder层数codec_post_n_head/codec_post_n_local_heads16/8解缠器注意力头数16 头配 8 组 KVcodec_post_intermediate_size1216解缠器 MLP 中间维度 注意codec 权重以 fp32 存储约 1.35 GB是驻留内存的大头0.1b 相对 0.6b 省下的显存主要来自语言模型部分。六、词表、特殊 token 与 RoPE参数值说明pad_token_id0填充 token对应\|pad\|bos_token_id17序列起始 tokeneos_token_id228序列结束 token生成停止信号generation_config.json 中同值semantic_begin_id/semantic_end_id65537/69632语义 token 的 ID 区间跨度恰好 4096 codebook_size是语音离散表示的专属地址段rope_theta/rope_base1e11RoPE 旋转位置编码的 base。1 万亿级超大基频用于扩展有效位置范围两个键是同一参数的双命名max_position_embeddings8192位置编码支持的最大长度上限max_seq_len2048本 checkpoint 实际使用的最大序列长度比上限保守分词相关文件见 tokenizer.json、tokenizer_config.json 与 special_tokens_map.json。七、缩放因子与 RAS 采样这组参数最容易让新手困惑但含义很物理参数值说明embedding_multiplier0.10888671875输入嵌入的缩放系数。⚠️ 按 README.md 说明它作用在文本嵌入 10 个 codebook 嵌入之和上不是单独缩放文本查表复刻实现时务必注意lm_head_multiplier0.078125输出层LM headlogits 缩放压低 logits 幅度以稳定 softmaxmlp_multipliers[1.0, 1.0]MLP 两个线性层的独立缩放1.0 表示未启用RAS重复感知采样是语音生成的专用解码策略用于压制 codebook 级别的循环重复参数值说明ras_temperature1.0重复惩罚的温度ras_top_p0.9重复惩罚的核采样阈值ras_window_size10检测重复的滑动窗口帧窗口内出现过的 token 会被降权八、配套的生成参数generation_config.json 预置了推理默认值与config.json中的ras_*配合工作参数值说明do_sampletrue开启采样解码temperature0.7采样温度越低越确定、越稳定top_p0.9核采样阈值max_new_tokens512单次生成上限 512 个 token约对应 20 多秒音频九、参数全景速查按文件组织文件作用config.json本文主角全部架构与行为参数model.safetensors语言模型 bf16 权重约 170M 参数codec.safetensors44.1 kHz 神经 codec 权重fp32Apache-2.0 协议generation_config.json默认解码参数tokenizer.jsonBPE 分词器LICENSEAudio8 社区许可 v1.0非商用免费年营收低于 200 万美元可商用超过需另行授权部署前请阅读十、总结一句话看懂这个模型config.json描绘的是一张清晰的双速图景24 层慢速主干Falcon-H1 混合Mamba-2 SSM 2 组 KV 的 GQA 注意力 MLP负责语义规划4 层快速主干每帧连吐 10 个 codebook4096 码本、RAS 防重复再由8 层 codec 解缠器还原出 44.1 kHz 波形。对新手而言重点只需记住三件事slow_backbone: falcon_h1需要对应版本的 mlx-audio版本不匹配会直接加载失败不会悄悄输出坏音频embedding_multiplier作用于文本codebook 嵌入之和二次开发时切勿只折进文本表峰值显存的大头是 fp32 codec 而非语言模型想省显存应关注codec_*相关项。赞分享【免费下载链接】Audio8-TTS-Preview-0.1b-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Audio8-TTS-Preview-0.1b-bf16点击查看免费下载相关推荐Apple Silicon语音合成完整指南Audio8-TTS-Preview-0.1b-bf16项目深度概览Apple Silicon语音合成完整指南Audio8 TTS Preview 0.1b bf16项目深度概览 想在 Mac 上本地运行多语言语音合成Aud克隆效果不理想的10个实用调参技巧Audio8-TTS-Preview-0.1b-bf16温度与采样参数详解克隆效果不理想的10个实用调参技巧Audio8 TTS Preview 0.1b bf16温度与采样参数详解 如果你在使用 Audio8 TTS Previe从推理到产品化如何用Audio8-TTS-Preview-0.1b-bf16构建多语言语音助手从推理到产品化如何用Audio8 TTS Preview 0.1b bf16构建多语言语音助手 Audio8 TTS Preview 0.1b bf16 是一上一篇【免费下载】 SPDX Licenses 项目常见问题解决方案下一篇dbxfs开发者必读核心组件与代码实现原理全揭秘创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考