%20(1).png)
GSTTS-ComfyUI 插件完整教程：轻松实现语音克隆和文字转语音
1. 插件简介
GSTTS-ComfyUI 是一个专门为 ComfyUI 设计的语音合成插件，它基于强大的 GPT-SoVITS 技术开发。简单来说，这个插件就像一个神奇的"声音魔法师"，能够让计算机学会任何人的声音，然后用这个声音来"说话"。
插件地址： https://github.com/AIFSH/GSTTS-ComfyUI
主要功能：
- 语音克隆：就像复制粘贴一样，可以"复制"任何人的声音特征
- 文字转语音：输入文字，输出指定声音的语音
- 语音训练：让机器学会新的声音
能带来什么效果：
- 制作有声书，用任何你喜欢的声音来朗读
- 创建个性化的语音助手
- 为视频配音，无需真人录音
- 制作多语言内容，保持同一个声音
2. 如何安装
2.1 准备工作
首先确保你的电脑上安装了 ffmpeg（这是一个处理音频视频的工具，就像一个万能的音频转换器）。
Windows 用户：
可以通过 WingetUI 自动安装 ffmpeg
Linux 用户：
apt update
apt install ffmpeg
2.2 安装插件
- 打开命令行工具
- 输入以下命令：
git clone https://github.com/AIFSH/GSTTS-ComfyUI.git
cd GSTTS-ComfyUI
pip install -r requirements.txt
- 插件会自动从网上下载所需的模型文件（如果你在中国，可能需要特殊的网络环境来访问）
3. 节点详细解析
基于源码分析，这个插件主要包含以下几个核心节点：
3.1 GSVTTSNode 节点 - 语音合成的大脑
这个节点就像一个"语音工厂"，负责把文字转换成语音。它是整个插件的核心，就像汽车的发动机一样重要。
3.1.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 文本内容 | text | 字符串 | 任意中文或英文 | 你想让机器说的话 | 待转换的文本输入 | 输入"你好世界"，机器就会说出这句话 |
| 参考音频 | ref_audio | 音频文件 | .wav/.mp3文件 | 作为"样本"的声音文件 | 参考音频文件路径 | 上传一段你想克隆的声音录音 |
| 参考文本 | ref_text | 字符串 | 与参考音频对应的文字 | 参考音频里说的是什么话 | 参考音频的文字内容 | 如果音频说"今天天气很好"，就填这句话 |
| 语言模式 | language | 选择框 | 中文/英文/多语言 | 选择生成语音的语言 | 目标语言设置 | 要生成中文语音就选中文 |
| 语速控制 | speed | 数字 | 1.0 | 控制说话的快慢，像调节播放速度 | 语音生成速度系数 | 1.0正常速度，1.5是1.5倍速 |
3.2 TextDictNode 节点 - 文本预处理器
这个节点就像一个"文本整理师"，负责把你的文字整理成机器更容易理解的格式。
3.2.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 输入文本 | input_text | 字符串 | 任意文本 | 要处理的原始文字 | 原始文本输入 | 输入一段长文章 |
| 分割模式 | split_mode | 选择框 | 按句子/按段落/按长度 | 决定怎样把长文章切成小段 | 文本分割策略 | 按句子分割，每句话单独处理 |
| 最大长度 | max_length | 数字 | 100 | 每一小段最多包含多少个字符 | 单段文本最大字符数 | 设置100，超过100字符就切断 |
| 编码格式 | encoding | 选择框 | UTF-8 | 文字的编码方式，像文件的"方言" | 文本编码格式 | 中文通常用UTF-8 |
3.3 ConfigSoVITSNode 节点 - 配置管理员
这个节点就像一个"设置面板"，负责管理整个语音合成系统的各种设置。
3.3.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 模型路径 | model_path | 路径 | 自动检测 | 指定语音模型文件的位置 | 模型文件路径配置 | 通常自动检测就可以 |
| 设备类型 | device | 选择框 | CPU/GPU | 选择用什么硬件来计算 | 计算设备选择 | 有显卡选GPU，没有选CPU |
| 批处理大小 | batch_size | 数字 | 4 | 一次处理多少个音频片段 | 批处理数量设置 | 显卡好可以设大一点，如8 |
| 采样率 | sample_rate | 数字 | 22050 | 音频的"清晰度"，像图片的分辨率 | 音频采样率设置 | 22050适合大多数情况 |
| 温度系数 | temperature | 浮点数 | 0.7 | 控制语音的"创意度"，像调节随机性 | 生成随机性控制参数 | 0.7平衡，0.3更稳定，1.0更有变化 |
3.4 SoVITSWeightNode 节点 - 模型权重管理器
这个节点就像一个"模型库管理员"，负责管理不同的语音模型文件。
3.4.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 权重文件路径 | weight_path | 路径 | .pth文件 | 训练好的模型文件位置 | 模型权重文件路径 | 选择训练好的.pth文件 |
| 模型类型 | model_type | 选择框 | SoVITS/GPT | 选择模型的类型 | 模型架构类型 | 根据你的模型文件选择 |
| 加载状态 | load_status | 只读 | 已加载/未加载 | 显示模型是否加载成功 | 模型加载状态指示 | 显示当前状态，不可修改 |
| 模型信息 | model_info | 只读 | 模型详细信息 | 显示模型的详细信息 | 模型元数据信息 | 显示模型训练信息等 |
3.5 GPTWeightNode 节点 - GPT模型管理器
这个节点专门管理GPT部分的模型，就像一个"语言理解专家"。
3.5.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| GPT权重路径 | gpt_weight_path | 路径 | .pth文件 | GPT模型文件的位置 | GPT模型权重文件路径 | 选择GPT模型的.pth文件 |
| 词汇表路径 | vocab_path | 路径 | .txt文件 | 包含所有词汇的文件 | 词汇表文件路径 | 通常与模型一起提供 |
| 最大序列长度 | max_seq_length | 数字 | 512 | 一次能处理的最大文字长度 | 最大序列长度限制 | 512适合大多数情况 |
| 注意力头数 | attention_heads | 数字 | 8 | 模型的"注意力"分配数量 | 注意力机制头数 | 通常不需要改动 |
3.6 AudioPreprocessNode 节点 - 音频预处理器
这个节点就像一个"音频美容师"，负责把原始音频整理成适合训练的格式。
3.6.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 输入音频 | input_audio | 音频文件 | .wav/.mp3 | 要处理的原始音频文件 | 输入音频文件路径 | 上传你的音频文件 |
| 降噪开关 | noise_reduce | 开关 | 开启 | 是否去除背景噪音 | 降噪处理开关 | 有杂音就开启 |
| 音量归一化 | normalize | 开关 | 开启 | 是否统一音量大小 | 音量标准化开关 | 建议开启，保持音量一致 |
| 切片长度 | slice_length | 数字 | 10 | 把长音频切成多长的小段（秒） | 音频切片长度 | 10秒一段比较适合 |
| 静音阈值 | silence_threshold | 浮点数 | 0.01 | 多小的声音算作静音 | 静音检测阈值 | 0.01适合大多数情况 |
| 输出格式 | output_format | 选择框 | WAV/MP3 | 处理后的音频格式 | 输出音频格式 | WAV质量更好 |
3.7 TrainingNode 节点 - 训练控制器
这个节点就像一个"训练教练"，负责训练你的专属语音模型。
3.7.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 训练数据路径 | train_data_path | 路径 | 文件夹路径 | 包含训练音频的文件夹 | 训练数据集路径 | 选择包含音频文件的文件夹 |
| 学习率 | learning_rate | 浮点数 | 0.0001 | 模型学习的快慢程度 | 学习率参数 | 0.0001是比较安全的值 |
| 训练轮数 | epochs | 数字 | 100 | 训练多少轮 | 训练迭代次数 | 100轮适合开始，可以更多 |
| 保存间隔 | save_interval | 数字 | 10 | 每隔多少轮保存一次模型 | 模型保存间隔 | 10轮保存一次比较合适 |
| 验证比例 | validation_ratio | 浮点数 | 0.1 | 用多少数据来验证效果 | 验证集比例 | 0.1表示10%用于验证 |
| 混合精度 | mixed_precision | 开关 | 开启 | 是否使用混合精度训练 | 混合精度训练开关 | 有好显卡就开启，更快 |
4. 使用技巧和建议
4.1 音频质量要求
- 使用清晰、无杂音的音频作为参考
- 音频长度建议在3-10秒之间
- 避免背景音乐和回声
4.2 文本处理技巧
- 中英文混合时，确保正确设置语言模式
- 长文本建议先用TextDictNode进行预处理
- 标点符号会影响语音的停顿，要注意使用
4.3 性能优化建议
- 有独立显卡的用户建议选择GPU模式
- 批处理大小根据显卡显存调整
- 训练时建议使用混合精度以提高速度
4.4 模型选择策略
- 新手建议从预训练模型开始
- 想要特定声音效果时，使用TrainingNode训练专属模型
- 定期保存训练进度，避免意外丢失
5. 常见问题解答
5.1 安装相关问题
Q: 提示"No module named 'tools.slicer2'"怎么办？
A: 这是依赖库没有完整安装的问题。重新运行 pip install -r requirements.txt 命令，确保所有依赖都正确安装。
Q: 模型文件下载失败怎么办？
A: 如果在中国，可能需要配置镜像源。可以尝试使用 hf-mirror 来加速下载。
5.2 使用相关问题
Q: 生成的语音听起来不自然怎么办？
A: 检查以下几点：
- 参考音频质量是否足够清晰
- 参考文本是否与音频内容完全匹配
- 尝试调整temperature参数
Q: 训练过程中出现内存不足怎么办？
A: 减少batch_size参数，或者使用CPU模式训练。
Q: 为什么生成的语音有杂音？
A: 使用AudioPreprocessNode对音频进行预处理，开启降噪功能。
5.3 性能相关问题
Q: 生成速度很慢怎么办？
A: 如果有显卡，确保选择了GPU模式。如果还是慢，可以尝试减少max_seq_length参数。
Q: 显存不够用怎么办？
A: 减少batch_size，或者使用CPU模式。对于训练，可以减少sequence length。
6. 进阶使用技巧
6.1 批量处理文本
当需要处理大量文本时，可以：
- 使用TextDictNode将长文本分割成小段
- 设置合适的max_length参数
- 使用批处理模式提高效率
6.2 自定义声音训练
要训练专属的声音模型：
- 准备至少30分钟的高质量音频数据
- 使用AudioPreprocessNode预处理音频
- 在TrainingNode中设置合适的参数
- 耐心等待训练完成（可能需要几个小时）
6.3 多语言支持
插件支持多种语言：
- 中文：适合中文文本的语音合成
- 英文：适合英文文本的语音合成
- 多语言：支持中英文混合的文本
6.4 工作流程建议
推荐的完整工作流程：
- 使用AudioPreprocessNode处理参考音频
- 用TextDictNode预处理文本
- 配置ConfigSoVITSNode的参数
- 使用GSVTTSNode生成语音
- 根据需要调整参数重新生成
这个插件为ComfyUI用户提供了强大的语音合成能力，让每个人都能轻松制作出专业级的语音内容。通过合理使用各个节点和参数，你可以创造出各种有趣的语音应用！