人工智能大模型音频音乐生成媒体生成本地部署【免费下载链接】Yue2-3B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/audio-cpp/Yue2-3B-GGUF点击查看免费下载Yue2-3B-GGUF 是面向 audio.cpp 的 Yue2-3B 音乐生成模型 GGUF 权重包sidecars/目录下的三个 JSON 配置文件yue2-model-config.json、yue2-generation-config.json、yue2-vae-config.json决定了它的生成行为。本文逐字段注释这三个 Sidecar 配置文件重点拆解 abc、semantic 两个采样参数块和 ODE 求解参数帮你快速读懂并安全调整它们。 Sidecar 文件是什么放在哪里Sidecar伴生文件是随权重一起发布、不修改权重本体、但描述模型结构与默认行为的配置文件。本仓库中与音乐生成直接相关的有三个位于 sidecars/ 目录文件作用sidecars/yue2-generation-config.json生成默认参数abc / semantic 采样块、ODE 求解器、上下文长度sidecars/yue2-model-config.json主模型结构层数、注意力头、词表、潜变量规格sidecars/yue2-vae-config.jsonVAE 结构编解码器、下采样率、采样率另外还有 sidecars/yue2-qwen.tiktoken是 Qwen 分词器词表base64 编码约 15 万条目一般不需要人工修改。 理解这三个文件的关系主模型AR先写谱abc 阶段再产出语义 tokensemantic 阶段最后由 VAE 把潜变量解码成 48kHz 立体声音频。generation-config 管怎么写model-config 管大脑多大vae-config 管耳朵怎么还原。一、yue2-generation-config.jsonabc / semantic / ODE 参数全解读这是三个文件中最值得读懂的一个完整内容只有 24 行{ abc: { temperature: 0.7, top_p: 0.9, top_k: 30, repetition_penalty: 1.005, penalty_window: 100, min_tokens: 32, max_tokens: 4096 }, semantic: { temperature: 1.0, top_p: 0.95, top_k: 100, repetition_penalty: 1.2, penalty_window: 50, min_tokens: 200, max_tokens: 9000 }, ode_steps: 32, ode_method: midpoint, context: 24576, version: yue2-native-v1 }abc 参数块第一阶段的采样策略abc对应 AR 阶段——模型逐 token 生成谱式描述即cotmelody/cotfull时使用的 ABC 谱条件对应 demo3、demo4 场景。逐字段解释字段默认值含义temperature0.7温度采样。小于 1 让输出更稳、更保守谱结构更规整top_p0.9核采样阈值累积概率达到 0.9 即截断候选词表top_k30只保留概率最高的 30 个候选 token与 top_p 叠加生效repetition_penalty1.005轻微重复惩罚。ABC 谱本身有大量重复小节所以惩罚刻意调到很弱避免打碎谱式结构penalty_window100重复惩罚只回看最近 100 个 tokenmin_tokens32谱式部分最少生成 32 个 token 才允许收尾max_tokens4096谱式部分最多生成 4096 个 token防止失控semantic 参数块第二阶段的采样策略semantic对应语义 token 阶段——真正驱动整首歌走向的语义序列LoRA 样本文档中提到过6448 个 semantic tokens 自然收尾指的就是这一阶段。字段默认值含义temperature1.0无缩放保留原始分布鼓励音乐多样性top_p0.95比 abc 阶段更宽松保留更多长尾可能top_k100候选池更大同样与 top_p 叠加repetition_penalty1.2明显更强的重复惩罚防止歌词/动机无限复读penalty_window50回看窗口更短惩罚更局部min_tokens200至少 200 个语义 token保证歌曲有最低时长max_tokens9000最长 9000 个语义 token超出会截断长曲longform表现与之相关两个块放在一起看很有味道abc 阶段收低温、窄 top_k、弱惩罚semantic 阶段放温度 1.0、宽候选、强惩罚——前者要结构严谨后者要表达自由。ODE 与全局参数字段默认值含义ode_steps32flow matching / ODE 积分步数。步数越多潜变量轨迹越平滑、音质越稳定耗时也越高命令行num_inference_steps8可临时覆盖以追求速度官方 demo 均用 8 步ode_methodmidpointODE 求解器方法中点法midpoint比欧拉法更平滑比更高阶方法更快context24576生成上下文长度与 model-config 的max_position_embeddings一致versionyue2-native-v1配置格式版本号用于兼容检查不要手改二、yue2-model-config.json主模型结构字段yue2-model-config.json 描述 YuE2-3B 主模型YuE2ForCausalLM可按用途分组架构标识字段值说明architectures[YuE2ForCausalLM]模型类名audio.cpp 据此选择推理路径model_typeyue2模型族标识auto_mapAutoConfig / AutoModelForCausalLM指向上游自定义建模类modeling_yue2.*的映射dtypebfloat16原生计算精度对应仓库中的yue2-3b-bf16.ggufTransformer 结构决定算力与显存字段值说明hidden_size2048隐藏层维度num_hidden_layers28层数3B 参数的主要来源num_attention_heads16注意力头数num_key_value_heads8KV 头数是头数的一半——GQA 分组查询注意力省显存提速head_dim128每头维度16×1282048正好对齐 hidden_sizeintermediate_size6144FFN 中间层宽度vocab_size184704词表大小包含语义/音频 token 扩展区rms_norm_eps1e-06RMSNorm 数值稳定常数rope_theta1000000RoPE 旋转基频百万级适配长上下文max_position_embeddings24576最大位置长度即 24K 上下文音频潜变量相关与 VAE 对接的关键字段值说明latent_typevae潜空间由 VAE 编码而来latent_dim64潜向量维度须与 vae-config 一致max_latent_frames24576最多处理的潜帧数timestep_shift1.0flow 时间步偏移系数1.0 表示不偏移其余字段return_dict、output_hidden_states、torchscript、is_decoder、add_cross_attention、四个null的 token id、transformers_version: 4.57.6、output_attentions: false是上游 transformers 序列化时自动携带的通用开关audio.cpp 推理时不依赖它们保持原样即可。三、yue2-vae-config.json从潜变量到 48kHz 音频yue2-vae-config.json 描述YuE2VAE。VAE 负责双向转换编码端把音频压成潜变量解码端把模型输出的潜变量还原为波形。编解码器结构encoder_config / decoder_config 对称字段值说明strides[2, 2, 4, 4, 5, 6]六级下采样步长乘积 2×2×4×4×5×6 1920正好等于顶层downsampling_ratioc_mults[1, 2, 4, 8, 16, 32]各级通道数倍数逐层变宽channels64基础通道数in_channels/out_channels2 / 2立体声进、立体声出latent_dim编码器 128 / 解码器 64编码器输出 2×64经重参数化后解码器消费 64 维与主模型latent_dim: 64对上use_snake/snake_typetrue / vanilla使用 Snake 激活函数周期性激活对波形这类周期信号建模效果好final_tanh/use_filterfalse解码端不加 tanh 限幅、不用滤波模块顶层参数调参时最常关心的一行字段值说明sample_rate48000输出采样率 48kHzCD 级downsampling_ratio192048000 ÷ 1920 每秒 25 个潜帧这是估算生成时长的换算基准audio_channels2立体声dtypefloat32VAE 原生 F32仓库提供yue2-vae-f32.gguf与yue2-vae-f16.gguf两种量化decode_core_frames1024解码分块大小每批 1024 潜帧约 41 秒音频decode_halo_frames16分块边界两侧的光晕重叠帧消除分块接缝release_variantstandard发布变体标记 三个文件如何协同一张速查图生成一首歌时三个文件依次登场model-config加载 28 层、24K 上下文的主模型准备按latent_dim: 64输出潜变量generation-config先按abc块写出谱式条件0.7 温度、最多 4096 token再按semantic块展开语义序列1.0 温度、200–9000 token最后用 32 步 midpoint ODE 把潜变量轨迹积分到位vae-configVAE 按 102416 帧分块解码输出 48kHz 立体声。想快速对照官方生成效果可听 examples/ 目录demo1.wavcotoff直接生成、demo2.wavcotfull完整规划、demo3.wavcotmelody旋律条件翻唱、demo4.wav完整谱条件以及tonight-awake-audiocpp-current.wav官方 longform 用例——文件名中的_q8/_q4_0后缀分别是 Q8_0 / Q4_0 量化权重的同 prompt 对照版。 修改建议与注意事项新手优先动ode_steps显存和速度紧张时可降到 16 甚至 8官方 demo 命令即num_inference_steps8音质损失通常可接受semantic 的min_tokens/max_tokens控制歌曲最短与最长时长长曲生成时 max_tokens 是否够用是常见排查点abc 块的repetition_penalty不要调大ABC 谱天然重复惩罚过强会破坏小节结构version、architectures、auto_map、strides等字段属于结构契约改动前请确认 audio.cpp 兼容性本包权重许可证为cc-by-nc-4.0非商业商用前请先阅读 README.md 中的许可证说明。总结generation-config 是行为旋钮abc 管结构、semantic 管表达、ODE 管还原精度model-config 是能力上限24K 上下文、25 潜帧/秒vae-config 是保真度保障48kHz 立体声、Snake 激活。读懂这三个 Sidecar 配置文件你就掌握了 Yue2-3B 在 audio.cpp 中从文字到音乐的全部关键参数。赞分享人工智能大模型音频音乐生成媒体生成本地部署【免费下载链接】Yue2-3B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/audio-cpp/Yue2-3B-GGUF点击查看免费下载相关推荐its-matrix-computation硬件配置完全参考昇腾910B1 JSON参数逐字段详解its matrix computation硬件配置完全参考昇腾910B1 JSON参数逐字段详解 its matrix computationSimNPU高性能计算CANNHigress stock-helper MCP Server基于 REST-to-MCP 将云市场股票行情 API 暴露给 AI 的完整实现Higress stock helper MCP Server基于 REST to MCP 将云市场股票行情 API 暴露给 AI 的完整实现 stock h人工智能大模型音频音乐生成媒体生成本地部署速查表segmind-vega-amdnpu AMD NPU 文生图模型文件与配置字段逐项解读API 参考速查表segmind vega amdnpu AMD NPU 文生图模型文件与配置字段逐项解读API 参考 segmind vega amdnpu 是 A创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/17 19:53:43 · 阅读 1.2k Yue2-3B-GGUF 三个 Sidecar 配置文件全解读：abc、semantic 与 ODE 参数逐字段注释
人工智能大模型音频音乐生成媒体生成本地部署【免费下载链接】Yue2-3B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/audio-cpp/Yue2-3B-GGUF点击查看免费下载Yue2-3B-GGUF 是面向 audio.cpp 的 Yue2-3B 音乐生成模型 GGUF 权重包sidecars/目录下的三个 JSON 配置文件yue2-model-config.json、yue2-generation-config.json、yue2-vae-config.json决定了它的生成行为。本文逐字段注释这三个 Sidecar 配置文件重点拆解 abc、semantic 两个采样参数块和 ODE 求解参数帮你快速读懂并安全调整它们。 Sidecar 文件是什么放在哪里Sidecar伴生文件是随权重一起发布、不修改权重本体、但描述模型结构与默认行为的配置文件。本仓库中与音乐生成直接相关的有三个位于 sidecars/ 目录文件作用sidecars/yue2-generation-config.json生成默认参数abc / semantic 采样块、ODE 求解器、上下文长度sidecars/yue2-model-config.json主模型结构层数、注意力头、词表、潜变量规格sidecars/yue2-vae-config.jsonVAE 结构编解码器、下采样率、采样率另外还有 sidecars/yue2-qwen.tiktoken是 Qwen 分词器词表base64 编码约 15 万条目一般不需要人工修改。 理解这三个文件的关系主模型AR先写谱abc 阶段再产出语义 tokensemantic 阶段最后由 VAE 把潜变量解码成 48kHz 立体声音频。generation-config 管怎么写model-config 管大脑多大vae-config 管耳朵怎么还原。一、yue2-generation-config.jsonabc / semantic / ODE 参数全解读这是三个文件中最值得读懂的一个完整内容只有 24 行{ abc: { temperature: 0.7, top_p: 0.9, top_k: 30, repetition_penalty: 1.005, penalty_window: 100, min_tokens: 32, max_tokens: 4096 }, semantic: { temperature: 1.0, top_p: 0.95, top_k: 100, repetition_penalty: 1.2, penalty_window: 50, min_tokens: 200, max_tokens: 9000 }, ode_steps: 32, ode_method: midpoint, context: 24576, version: yue2-native-v1 }abc 参数块第一阶段的采样策略abc对应 AR 阶段——模型逐 token 生成谱式描述即cotmelody/cotfull时使用的 ABC 谱条件对应 demo3、demo4 场景。逐字段解释字段默认值含义temperature0.7温度采样。小于 1 让输出更稳、更保守谱结构更规整top_p0.9核采样阈值累积概率达到 0.9 即截断候选词表top_k30只保留概率最高的 30 个候选 token与 top_p 叠加生效repetition_penalty1.005轻微重复惩罚。ABC 谱本身有大量重复小节所以惩罚刻意调到很弱避免打碎谱式结构penalty_window100重复惩罚只回看最近 100 个 tokenmin_tokens32谱式部分最少生成 32 个 token 才允许收尾max_tokens4096谱式部分最多生成 4096 个 token防止失控semantic 参数块第二阶段的采样策略semantic对应语义 token 阶段——真正驱动整首歌走向的语义序列LoRA 样本文档中提到过6448 个 semantic tokens 自然收尾指的就是这一阶段。字段默认值含义temperature1.0无缩放保留原始分布鼓励音乐多样性top_p0.95比 abc 阶段更宽松保留更多长尾可能top_k100候选池更大同样与 top_p 叠加repetition_penalty1.2明显更强的重复惩罚防止歌词/动机无限复读penalty_window50回看窗口更短惩罚更局部min_tokens200至少 200 个语义 token保证歌曲有最低时长max_tokens9000最长 9000 个语义 token超出会截断长曲longform表现与之相关两个块放在一起看很有味道abc 阶段收低温、窄 top_k、弱惩罚semantic 阶段放温度 1.0、宽候选、强惩罚——前者要结构严谨后者要表达自由。ODE 与全局参数字段默认值含义ode_steps32flow matching / ODE 积分步数。步数越多潜变量轨迹越平滑、音质越稳定耗时也越高命令行num_inference_steps8可临时覆盖以追求速度官方 demo 均用 8 步ode_methodmidpointODE 求解器方法中点法midpoint比欧拉法更平滑比更高阶方法更快context24576生成上下文长度与 model-config 的max_position_embeddings一致versionyue2-native-v1配置格式版本号用于兼容检查不要手改二、yue2-model-config.json主模型结构字段yue2-model-config.json 描述 YuE2-3B 主模型YuE2ForCausalLM可按用途分组架构标识字段值说明architectures[YuE2ForCausalLM]模型类名audio.cpp 据此选择推理路径model_typeyue2模型族标识auto_mapAutoConfig / AutoModelForCausalLM指向上游自定义建模类modeling_yue2.*的映射dtypebfloat16原生计算精度对应仓库中的yue2-3b-bf16.ggufTransformer 结构决定算力与显存字段值说明hidden_size2048隐藏层维度num_hidden_layers28层数3B 参数的主要来源num_attention_heads16注意力头数num_key_value_heads8KV 头数是头数的一半——GQA 分组查询注意力省显存提速head_dim128每头维度16×1282048正好对齐 hidden_sizeintermediate_size6144FFN 中间层宽度vocab_size184704词表大小包含语义/音频 token 扩展区rms_norm_eps1e-06RMSNorm 数值稳定常数rope_theta1000000RoPE 旋转基频百万级适配长上下文max_position_embeddings24576最大位置长度即 24K 上下文音频潜变量相关与 VAE 对接的关键字段值说明latent_typevae潜空间由 VAE 编码而来latent_dim64潜向量维度须与 vae-config 一致max_latent_frames24576最多处理的潜帧数timestep_shift1.0flow 时间步偏移系数1.0 表示不偏移其余字段return_dict、output_hidden_states、torchscript、is_decoder、add_cross_attention、四个null的 token id、transformers_version: 4.57.6、output_attentions: false是上游 transformers 序列化时自动携带的通用开关audio.cpp 推理时不依赖它们保持原样即可。三、yue2-vae-config.json从潜变量到 48kHz 音频yue2-vae-config.json 描述YuE2VAE。VAE 负责双向转换编码端把音频压成潜变量解码端把模型输出的潜变量还原为波形。编解码器结构encoder_config / decoder_config 对称字段值说明strides[2, 2, 4, 4, 5, 6]六级下采样步长乘积 2×2×4×4×5×6 1920正好等于顶层downsampling_ratioc_mults[1, 2, 4, 8, 16, 32]各级通道数倍数逐层变宽channels64基础通道数in_channels/out_channels2 / 2立体声进、立体声出latent_dim编码器 128 / 解码器 64编码器输出 2×64经重参数化后解码器消费 64 维与主模型latent_dim: 64对上use_snake/snake_typetrue / vanilla使用 Snake 激活函数周期性激活对波形这类周期信号建模效果好final_tanh/use_filterfalse解码端不加 tanh 限幅、不用滤波模块顶层参数调参时最常关心的一行字段值说明sample_rate48000输出采样率 48kHzCD 级downsampling_ratio192048000 ÷ 1920 每秒 25 个潜帧这是估算生成时长的换算基准audio_channels2立体声dtypefloat32VAE 原生 F32仓库提供yue2-vae-f32.gguf与yue2-vae-f16.gguf两种量化decode_core_frames1024解码分块大小每批 1024 潜帧约 41 秒音频decode_halo_frames16分块边界两侧的光晕重叠帧消除分块接缝release_variantstandard发布变体标记 三个文件如何协同一张速查图生成一首歌时三个文件依次登场model-config加载 28 层、24K 上下文的主模型准备按latent_dim: 64输出潜变量generation-config先按abc块写出谱式条件0.7 温度、最多 4096 token再按semantic块展开语义序列1.0 温度、200–9000 token最后用 32 步 midpoint ODE 把潜变量轨迹积分到位vae-configVAE 按 102416 帧分块解码输出 48kHz 立体声。想快速对照官方生成效果可听 examples/ 目录demo1.wavcotoff直接生成、demo2.wavcotfull完整规划、demo3.wavcotmelody旋律条件翻唱、demo4.wav完整谱条件以及tonight-awake-audiocpp-current.wav官方 longform 用例——文件名中的_q8/_q4_0后缀分别是 Q8_0 / Q4_0 量化权重的同 prompt 对照版。 修改建议与注意事项新手优先动ode_steps显存和速度紧张时可降到 16 甚至 8官方 demo 命令即num_inference_steps8音质损失通常可接受semantic 的min_tokens/max_tokens控制歌曲最短与最长时长长曲生成时 max_tokens 是否够用是常见排查点abc 块的repetition_penalty不要调大ABC 谱天然重复惩罚过强会破坏小节结构version、architectures、auto_map、strides等字段属于结构契约改动前请确认 audio.cpp 兼容性本包权重许可证为cc-by-nc-4.0非商业商用前请先阅读 README.md 中的许可证说明。总结generation-config 是行为旋钮abc 管结构、semantic 管表达、ODE 管还原精度model-config 是能力上限24K 上下文、25 潜帧/秒vae-config 是保真度保障48kHz 立体声、Snake 激活。读懂这三个 Sidecar 配置文件你就掌握了 Yue2-3B 在 audio.cpp 中从文字到音乐的全部关键参数。赞分享人工智能大模型音频音乐生成媒体生成本地部署【免费下载链接】Yue2-3B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/audio-cpp/Yue2-3B-GGUF点击查看免费下载相关推荐its-matrix-computation硬件配置完全参考昇腾910B1 JSON参数逐字段详解its matrix computation硬件配置完全参考昇腾910B1 JSON参数逐字段详解 its matrix computationSimNPU高性能计算CANNHigress stock-helper MCP Server基于 REST-to-MCP 将云市场股票行情 API 暴露给 AI 的完整实现Higress stock helper MCP Server基于 REST to MCP 将云市场股票行情 API 暴露给 AI 的完整实现 stock h人工智能大模型音频音乐生成媒体生成本地部署速查表segmind-vega-amdnpu AMD NPU 文生图模型文件与配置字段逐项解读API 参考速查表segmind vega amdnpu AMD NPU 文生图模型文件与配置字段逐项解读API 参考 segmind vega amdnpu 是 A创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考