ComfyUI_YuE 插件保姆级教程

1. 插件简介

插件地址： https://github.com/smthemex/ComfyUI_YuE

ComfyUI_YuE 是一个超级厉害的音乐生成插件！它就像一个会作曲的魔法师，能够把你写的歌词变成完整的歌曲。这个插件基于 YuE 开源音乐生成模型，可以根据你提供的歌词和音乐风格描述，自动生成包含人声和伴奏的完整音乐作品。

能给我们带来什么效果：

• 把歌词变成真正的歌曲（就像给歌词配上旋律和伴奏）
• 支持多种音乐风格（流行、摇滚、电子等200多种风格）
• 生成高质量的音频文件
• 可以控制歌曲长度和音乐特色
• 支持不同的声音特色（男声、女声、各种音色）

2. 如何安装

2.1 下载插件

在 ComfyUI 的 custom_nodes 目录下运行：

git clone https://github.com/smthemex/ComfyUI_YuE.git

2.2 安装依赖包

pip install -r requirements.txt

特别提醒：

• 如果你想用更省显存的方法，可以选择安装：
  • pip install mmgp （内存管理工具）
  • pip install exllamav2 （量化加速工具）

2.3 下载模型文件

你需要下载几个模型文件，就像下载游戏资源包一样：

基础模型（必须下载）：

• 从 这里 下载 ckpt_00360000.pth
• 从 这里 下载 decoder_131000.pth 和 decoder_151000.pth
• 放到 ComfyUI/models/yue/ 文件夹里

语言模型（自动下载或手动下载）：

• 英文版：m-a-p/YuE-s1-7B-anneal-en-cot
• 中文版：m-a-p/YuE-s1-7B-anneal-zh-cot
• 第二阶段模型：m-a-p/YuE-s2-1B-general

3. 节点详解

3.1 YUE_Stage_A_Loader 节点

这个节点就像一个"音乐大脑加载器"，负责加载第一阶段的音乐生成模型。

3.1.1 参数详解

3.2 YUE_Stage_A_Sampler 节点

这个节点是"歌词变音乐的魔法师"，负责把你的歌词和风格描述转换成音乐代码。

3.2.1 参数详解

3.3 YUE_Stage_B_Loader 节点

这个节点是"音质提升器加载器"，负责加载第二阶段的音质增强模型。

3.3.1 参数详解

3.4 YUE_Stage_B_Sampler 节点

这个节点是"最终音乐制作师"，负责把音乐代码转换成最终的高质量音频文件。

3.4.1 参数详解

4. 使用技巧和建议

4.1 显存配置建议

• 显存 ≥ 24GB：使用 fp16 模式，关闭 use_mmgp，获得最佳质量和速度
• 显存 ≤ 16GB：开启 use_mmgp，或使用 int8/int4 量化模式
• 显存 ≤ 8GB：建议使用 exllamav2 量化模式

4.2 歌词编写技巧

• 使用结构化标记：[verse]、[chorus]、[bridge]、[outro]
• 每个段落保持合适长度，不要太长
• 歌词要有韵律感，便于配曲

4.3 风格提示词技巧

• 参考 top_200_tags.json 文件中的标签
• 可以组合多个风格：如 "pop electronic female vocal uplifting"
• 包含情感描述：如 "happy", "romantic", "energetic"

4.4 音频长度控制

• prompt_end_time 参数控制生成长度
• 建议先用 30 秒测试，满意后再生成更长版本
• 更长的音频需要更多显存和时间

5. 常见问题解答

5.1 显存不足怎么办？

• 开启 use_mmgp 选项
• 使用 int8 或 int4 量化模式
• 减少 cache_size 和 batch_size
• 使用 exllamav2 量化版本模型

5.2 生成速度太慢怎么办？

• 关闭 use_mmgp（如果显存够用）
• 使用 exllamav2 量化模式
• 增加 batch_size（如果显存允许）
• 减少 max_new_tokens

5.3 音质不满意怎么办？

• 使用 fp16 模式而不是量化模式
• 调整 repetition_penalty 参数
• 优化歌词和风格提示词
• 确保使用了正确的解码器模型

5.4 歌词和音乐不匹配怎么办？

• 检查歌词的结构标记是否正确
• 调整风格提示词，使其与歌词内容匹配
• 尝试不同的 seed 值
• 确保 run_n_segment 设置合适

5.5 模型下载失败怎么办？

• 检查网络连接
• 使用镜像站点下载
• 手动下载模型文件到指定目录
• 确保有足够的磁盘空间

6. 工作流程示例

6.1 基础工作流程

1. YUE_Stage_A_Loader → 加载第一阶段模型
2. YUE_Stage_A_Sampler → 输入歌词和风格，生成音乐编码
3. YUE_Stage_B_Loader → 加载第二阶段模型
4. YUE_Stage_B_Sampler → 转换为最终音频文件

6.2 连接方式

• Stage_A_Loader 的 model 输出 → Stage_A_Sampler 的 model 输入
• Stage_A_Sampler 的 stage1_set 输出 → Stage_B_Sampler 的 stage1_set 输入
• Stage_A_Sampler 的 info 输出 → Stage_B_Loader 的 info 输入
• Stage_B_Loader 的 model 输出 → Stage_B_Sampler 的 model 输入

7. 高级技巧

7.1 音频提示功能

• 将参考音频文件替换 prompt_egs 文件夹中的文件
• 使用 use_dual_tracks_prompt 可以分别控制人声和伴奏
• 使用 use_audio_prompt 可以模仿整体风格

7.2 批量生成

• 使用不同的 seed 值生成多个版本
• 调整 repetition_penalty 获得不同的变化程度
• 尝试不同的风格组合

7.3 后期处理

• 生成的音频会自动保存到 ComfyUI 输出目录
• 可以使用专业音频软件进一步编辑
• 支持导出为多种音频格式

8. 总结

ComfyUI_YuE 插件是一个功能强大的音乐生成工具，通过四个核心节点的配合，可以将文字歌词转换为完整的音乐作品。虽然对硬件要求较高，但通过合理的配置和优化，即使在有限的硬件条件下也能获得不错的效果。

记住最重要的几点：

1. 根据你的显存选择合适的量化模式
2. 好的歌词和风格描述是成功的关键
3. 耐心调试参数，每个项目可能需要不同的设置
4. 先用短时间测试，满意后再生成完整版本

希望这个教程能帮助你快速上手 ComfyUI_YuE 插件，创作出属于你的音乐作品！