ComfyUI_EmbeddingToolkit 插件完全教程
1. 插件简介
ComfyUI_EmbeddingToolkit 是一个专门用来制作各种模型嵌入文件的工具包。这个插件能够为各种模型创建嵌入文件,简单来说就是帮你训练出专门的"词汇",让AI更好地理解你想要的风格、人物或者物体。
插件原地址: https://github.com/silveroxides/ComfyUI_EmbeddingToolkit
它能带来什么效果? - 让你可以自己训练专属的风格词汇,比如"我的画风"、"我的角色" - 制作出来的嵌入文件可以在任何支持的AI绘画软件中使用 - 就像给AI教新单词一样,让它记住你想要的特定效果
重要提醒: 作者明确表示,用这个插件制作的嵌入文件如果要上传到CivitAI等平台,不能设置为付费下载,只能免费分享。
2. 如何安装
方法一:通过ComfyUI管理器(推荐)
- 打开ComfyUI界面
- 点击右下角的"Manager"按钮
- 选择"Install Custom Nodes"
- 在搜索框输入"EmbeddingToolkit"
- 找到silveroxides/ComfyUI_EmbeddingToolkit,点击"Install"
- 重启ComfyUI
方法二:手动安装
- 打开ComfyUI的安装文件夹
- 进入
custom_nodes文件夹 - 在这里打开命令行窗口
- 输入命令:
git clone https://github.com/silveroxides/ComfyUI_EmbeddingToolkit.git - 重启ComfyUI
3. 节点详细解析
3.1 Embedding Trainer(嵌入训练器)节点
这个节点就像是一个"AI老师",它会根据你提供的图片和描述来训练出专属的词汇。
3.1.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 模型 | model | 模型文件路径 | 当前使用的主模型 | 选择用哪个AI大脑来学习 | 指定用于训练嵌入的基础模型 | 选择你常用的Stable Diffusion模型 |
| 训练图片 | training_images | 图片文件夹路径 | 包含目标图片的文件夹 | 放学习材料的文件夹 | 包含训练样本的目录路径 | 把要学习的图片都放在一个文件夹里 |
| 嵌入名称 | embedding_name | 文本字符串 | 描述性名称 | 给这个新词汇起个名字 | 生成的嵌入文件的标识符 | 比如"我的画风"、"小猫咪" |
| 学习率 | learning_rate | 0.0001-0.01 | 0.005 | 学习的快慢程度 | 训练过程中参数更新的步长 | 太高会学歪,太低会学不会 |
| 训练步数 | training_steps | 100-10000 | 1000 | 要学习多少遍 | 训练迭代的总次数 | 步数越多学得越仔细,但也越慢 |
| 保存频率 | save_frequency | 50-500 | 100 | 每学几遍保存一次 | 模型检查点保存的间隔 | 避免断电丢失训练进度 |
3.2 Embedding Loader(嵌入加载器)节点
这个节点就像是一个"词典",用来调用你之前训练好的词汇。
3.2.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 嵌入文件 | embedding_file | .pt/.safetensors文件 | 训练好的嵌入文件 | 选择要使用的词汇文件 | 指定要加载的嵌入权重文件 | 选择你之前训练好的嵌入文件 |
| 触发词 | trigger_word | 文本字符串 | 简短描述词 | 激活这个词汇的关键词 | 用于在提示词中激活嵌入的标识符 | 比如设置为"mystyle",在提示词中输入就能激活 |
| 强度 | strength | 0.0-2.0 | 1.0 | 这个词汇的影响力大小 | 嵌入效果的权重系数 | 1.0是正常强度,大于1.0更明显,小于1.0更subtle |
3.3 Embedding Previewer(嵌入预览器)节点
这个节点就像是一个"试衣镜",让你看看训练的效果怎么样。
3.3.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 嵌入 | embedding | 嵌入对象 | 从加载器传来的嵌入 | 要预览的词汇 | 待预览的嵌入向量 | 连接嵌入加载器的输出 |
| 测试提示词 | test_prompt | 文本字符串 | 包含触发词的描述 | 用来测试效果的句子 | 用于验证嵌入效果的提示文本 | "一个mystyle风格的女孩" |
| 预览尺寸 | preview_size | 256/512/1024 | 512 | 预览图片的大小 | 生成预览图像的分辨率 | 512够用,1024更清晰但更慢 |
3.4 Embedding Merger(嵌入合并器)节点
这个节点就像是一个"调色板",能把多个词汇混合在一起。
3.4.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 嵌入A | embedding_a | 嵌入对象 | 第一个嵌入 | 第一个要混合的词汇 | 第一个输入的嵌入向量 | 比如"风格A"的嵌入 |
| 嵌入B | embedding_b | 嵌入对象 | 第二个嵌入 | 第二个要混合的词汇 | 第二个输入的嵌入向量 | 比如"风格B"的嵌入 |
| 混合比例 | mix_ratio | 0.0-1.0 | 0.5 | 两个词汇的混合程度 | 两个嵌入的权重比例 | 0.5是各占一半,0.8是A占80% |
| 输出名称 | output_name | 文本字符串 | 描述性名称 | 给混合后的词汇起名字 | 合并后嵌入的标识符 | "混合风格AB" |
3.5 Embedding Converter(嵌入转换器)节点
这个节点就像是一个"翻译器",能把不同格式的嵌入文件互相转换。
3.5.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 输入文件 | input_file | 嵌入文件路径 | 要转换的文件 | 选择要转换的词汇文件 | 源嵌入文件的路径 | 选择.pt或.safetensors文件 |
| 输出格式 | output_format | pt/safetensors | safetensors | 转换成什么格式 | 目标文件的格式类型 | safetensors更安全,pt更通用 |
| 输出路径 | output_path | 文件夹路径 | 默认嵌入文件夹 | 转换后文件存放的位置 | 输出文件的保存目录 | 通常保存在embeddings文件夹里 |
3.6 Embedding Validator(嵌入验证器)节点
这个节点就像是一个"质检员",检查你的嵌入文件是否正常。
3.6.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 嵌入文件 | embedding_file | 嵌入文件路径 | 要检查的文件 | 选择要检查的词汇文件 | 待验证的嵌入文件路径 | 选择你训练好的嵌入文件 |
| 检查项目 | check_items | 多选框 | 全选 | 要检查哪些方面 | 验证项目的选择列表 | 文件完整性、向量维度、兼容性等 |
| 详细报告 | detailed_report | 真/假 | 真 | 是否显示详细检查结果 | 是否输出详细的验证信息 | 选择真可以看到具体问题 |
4. 使用技巧和建议
4.1 训练技巧
- 图片准备:准备20-100张高质量图片,确保图片清晰、风格统一
- 命名规范:给嵌入文件起个好记的名字,避免使用特殊字符
- 学习率调整:新手建议从0.005开始,如果效果不好可以调整到0.001或0.01
- 训练步数:一般1000-3000步足够,太多可能会过拟合
4.2 使用建议
- 定期保存:设置合适的保存频率,避免训练中断丢失进度
- 效果测试:每训练一段时间就用预览器检查效果
- 备份文件:训练好的嵌入文件要做好备份
- 合理命名:使用描述性的触发词,方便记忆和使用
4.3 性能优化
- 批量处理:如果要训练多个嵌入,可以批量进行
- 内存管理:训练大型嵌入时注意显存使用情况
- 文件管理:定期清理不需要的中间文件
5. 常见问题解答
5.1 训练相关问题
Q: 训练时显示内存不足怎么办? A: 减少批量大小,或者降低图片分辨率,也可以减少训练图片数量。
Q: 训练出来的效果不好怎么办? A: 检查图片质量是否统一、学习率是否合适、训练步数是否足够。
Q: 训练中断了怎么办? A: 如果设置了保存频率,可以从最近的检查点继续训练。
5.2 使用相关问题
Q: 嵌入文件加载不了怎么办? A: 检查文件路径是否正确,文件是否损坏,格式是否支持。
Q: 触发词不起作用怎么办? A: 确保触发词设置正确,在提示词中正确使用触发词。
Q: 可以同时使用多个嵌入吗? A: 可以,但要注意不同嵌入之间可能会有冲突,建议逐一测试效果。
5.3 技术问题
Q: 支持哪些模型? A: 支持大部分Stable Diffusion模型,具体兼容性可以用验证器检查。
Q: 嵌入文件可以分享吗? A: 可以,但要注意版权问题,不要用于商业用途。
6. 高级应用技巧
6.1 风格混合
利用嵌入合并器可以创造出独特的混合风格: - 将不同艺术家的风格按比例混合 - 结合写实和动漫风格 - 创造属于自己的独特画风
6.2 人物定制
专门训练特定人物的嵌入: - 收集同一人物的多角度图片 - 设置较低的学习率避免过拟合 - 使用描述性的触发词
6.3 场景应用
训练特定场景或环境的嵌入: - 特定的建筑风格 - 自然景观 - 室内装饰风格
这个插件为ComfyUI用户提供了强大的嵌入训练和管理功能,让每个人都能创造出属于自己的专属AI词汇。记住,好的嵌入需要耐心和练习,多试验不同的参数组合,你一定能找到最适合的设置!