Diffusers-in-ComfyUI 插件完全新手教程
1. 插件简介
GitHub原地址: https://github.com/maepopi/Diffusers-in-ComfyUI
这个插件就像是给ComfyUI装上了一个超级强大的图片生成器。想象一下,原本的ComfyUI就像一个基础的画图工具,而这个插件就是给它加上了各种专业的画笔和调色板。
这个插件能让你在ComfyUI里面使用各种高级的图片生成功能,比如:
- 把文字变成图片(就像跟电脑说"画个猫",它就能画出来)
- 把一张图片改成另一种风格(比如把照片变成油画风格)
- 填补图片中的空白部分(就像PS的修复工具,但更聪明)
- 控制图片的细节(比如让生成的图片按照你指定的线条来画)
2. 如何安装
方法一:通过ComfyUI管理器安装(最简单)
- 打开ComfyUI
- 点击界面上的"管理器"按钮
- 在搜索框里输入"Diffusers in Comfy UI"
- 找到后点击安装
- 重启ComfyUI就能用了
方法二:通过命令行安装
如果你会用命令行,可以输入:
comfy node registry-install diffusers-in-comfyui
3. 节点详细解析
安装完成后,你会在ComfyUI的节点列表里看到一个叫"Diffusers-in-Comfy"的分类,里面包含了以下几个子分类:
3.1 Pipelines(流水线节点)- 就像画图的工作台
这些节点就像不同的画图工作台,每个工作台专门用来做一种类型的画图任务。
3.1.1 Text2ImgStableDiffusionPipeline(文字生成图片工作台)
这个节点就像一个听话的画家,你用文字描述,它就能画出来。
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 模型路径 | model_path | 文本输入 | 留空使用默认 | 告诉工作台用哪个画图模型,就像选择用油画笔还是水彩笔 | 指定要加载的Stable Diffusion模型路径 | 写"runwayml/stable-diffusion-v1-5"或本地路径 |
| 是否使用SDXL | is_sdxl | 真/假 | 假 | 选择是否用更高级的画图模型,就像选择用高级画笔还是普通画笔 | 启用SDXL架构以获得更高质量的图像生成 | 如果用SDXL模型就选"真" |
| VAE路径 | vae_path | 文本输入 | 留空 | 选择图片的编码解码器,就像选择照片的冲印方式 | 指定VAE模型路径用于图像编码解码 | 写"stabilityai/sd-vae-ft-mse" |
| ControlNet路径 | controlnet_path | 文本输入 | 留空 | 选择控制图片细节的工具,就像用模板来指导画图 | 指定ControlNet模型路径用于精确控制图像生成 | 写"XLabs-AI/flux-controlnet-canny" |
| 低显存模式 | low_vram | 真/假 | 假 | 如果你的显卡比较弱,开启这个能让程序跑得更稳定 | 启用低显存优化,减少GPU内存使用 | 显卡显存小于8G建议开启 |
3.1.2 Img2ImgStableDiffusionPipeline(图片改图片工作台)
这个节点就像一个能够模仿和改造的画家,你给它一张图片,它能画出类似但不完全一样的新图片。
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 模型路径 | model_path | 文本输入 | 留空使用默认 | 告诉工作台用哪个画图模型,就像选择用油画笔还是水彩笔 | 指定要加载的Stable Diffusion模型路径 | 写"runwayml/stable-diffusion-v1-5"或本地路径 |
| 是否使用SDXL | is_sdxl | 真/假 | 假 | 选择是否用更高级的画图模型,就像选择用高级画笔还是普通画笔 | 启用SDXL架构以获得更高质量的图像生成 | 如果用SDXL模型就选"真" |
| VAE路径 | vae_path | 文本输入 | 留空 | 选择图片的编码解码器,就像选择照片的冲印方式 | 指定VAE模型路径用于图像编码解码 | 写"stabilityai/sd-vae-ft-mse" |
| ControlNet路径 | controlnet_path | 文本输入 | 留空 | 选择控制图片细节的工具,就像用模板来指导画图 | 指定ControlNet模型路径用于精确控制图像生成 | 写"XLabs-AI/flux-controlnet-canny" |
| 低显存模式 | low_vram | 真/假 | 假 | 如果你的显卡比较弱,开启这个能让程序跑得更稳定 | 启用低显存优化,减少GPU内存使用 | 显卡显存小于8G建议开启 |
3.1.3 InpaintingStableDiffusionPipeline(修复填补工作台)
这个节点就像一个修复专家,能够智能地填补图片中的空白或不想要的部分。
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 模型路径 | model_path | 文本输入 | 留空使用默认 | 告诉工作台用哪个画图模型,就像选择用油画笔还是水彩笔 | 指定要加载的Stable Diffusion模型路径 | 写"runwayml/stable-diffusion-v1-5"或本地路径 |
| 是否使用SDXL | is_sdxl | 真/假 | 假 | 选择是否用更高级的画图模型,就像选择用高级画笔还是普通画笔 | 启用SDXL架构以获得更高质量的图像生成 | 如果用SDXL模型就选"真" |
| VAE路径 | vae_path | 文本输入 | 留空 | 选择图片的编码解码器,就像选择照片的冲印方式 | 指定VAE模型路径用于图像编码解码 | 写"stabilityai/sd-vae-ft-mse" |
| ControlNet路径 | controlnet_path | 文本输入 | 留空 | 选择控制图片细节的工具,就像用模板来指导画图 | 指定ControlNet模型路径用于精确控制图像生成 | 写"XLabs-AI/flux-controlnet-canny" |
| 低显存模式 | low_vram | 真/假 | 假 | 如果你的显卡比较弱,开启这个能让程序跑得更稳定 | 启用低显存优化,减少GPU内存使用 | 显卡显存小于8G建议开启 |
3.2 Inference(推理节点)- 就像实际画图的画笔
这些节点就是实际干活的画笔,每个画笔专门用来做一种画图任务。
3.2.1 GenerateTxt2Image(文字变图片画笔)
这个节点就像一支魔法画笔,你说什么它就画什么。
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 控制图片 | controlnet_image | 图片输入 | 留空 | 用来指导画图的参考图,就像画画时的草稿 | 用于ControlNet引导的参考图像 | 连接线条图或边缘图 |
| 控制强度 | controlnet_scale | 0.0-2.0 | 1.0 | 参考图的影响力大小,就像临摹时看原图的程度 | ControlNet对生成结果的影响强度 | 0.5表示轻微影响,1.5表示强烈影响 |
| 随机种子 | seed | 整数 | -1 | 画图的起始点,相同种子会画出相似的图 | 控制随机性的种子值,确保结果可重现 | 设置42会每次生成相同风格的图 |
| 正面描述 | positive_prompt | 文本输入 | 必填 | 告诉画笔你想要什么,就像给画家下订单 | 正面提示词,描述想要生成的内容 | 写"a cute cat sitting on a table" |
| 负面描述 | negative_prompt | 文本输入 | 可选 | 告诉画笔你不想要什么,就像告诉画家别画什么 | 负面提示词,描述不想要的内容 | 写"blurry, ugly, bad quality" |
| 推理步数 | inference_steps | 1-100 | 50 | 画图的精细程度,步数越多画得越仔细 | 扩散模型的去噪步数,影响生成质量 | 20步快速预览,50步正常质量 |
| 图片宽度 | width | 64-2048 | 512 | 画出来的图片有多宽,就像画布的宽度 | 生成图像的像素宽度 | 512适合方形图,768适合竖图 |
| 图片高度 | height | 64-2048 | 512 | 画出来的图片有多高,就像画布的高度 | 生成图像的像素高度 | 512适合方形图,768适合横图 |
| 引导强度 | guidance_scale | 1.0-30.0 | 7.5 | 遵循你描述的程度,数值越高越严格按描述画 | CFG引导强度,控制对提示词的遵循程度 | 5-10适合大多数情况 |
3.2.2 GenerateImg2Image(图片改图片画笔)
这个节点就像一个能够改造图片的魔法画笔,给它一张图片,它能画出改良版本。
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 输入图片路径 | input_image_path | 文本输入 | 必填 | 要改造的图片在电脑里的位置,就像告诉画家参考图在哪里 | 输入图像的文件路径 | 写"C:/images/my_photo.jpg" |
| 控制图片 | controlnet_image | 图片输入 | 留空 | 用来指导画图的参考图,就像画画时的草稿 | 用于ControlNet引导的参考图像 | 连接线条图或边缘图 |
| 控制强度 | controlnet_scale | 0.0-2.0 | 1.0 | 参考图的影响力大小,就像临摹时看原图的程度 | ControlNet对生成结果的影响强度 | 0.5表示轻微影响,1.5表示强烈影响 |
| 随机种子 | seed | 整数 | -1 | 画图的起始点,相同种子会画出相似的图 | 控制随机性的种子值,确保结果可重现 | 设置42会每次生成相同风格的图 |
| 正面描述 | positive_prompt | 文本输入 | 必填 | 告诉画笔你想要什么效果,就像给画家下订单 | 正面提示词,描述想要的改变效果 | 写"oil painting style, vibrant colors" |
| 负面描述 | negative_prompt | 文本输入 | 可选 | 告诉画笔你不想要什么效果,就像告诉画家别画什么 | 负面提示词,描述不想要的内容 | 写"blurry, ugly, bad quality" |
| 推理步数 | inference_steps | 1-100 | 50 | 画图的精细程度,步数越多画得越仔细 | 扩散模型的去噪步数,影响生成质量 | 20步快速预览,50步正常质量 |
| 图片宽度 | width | 64-2048 | 512 | 画出来的图片有多宽,就像画布的宽度 | 生成图像的像素宽度 | 通常与输入图片尺寸一致 |
| 图片高度 | height | 64-2048 | 512 | 画出来的图片有多高,就像画布的高度 | 生成图像的像素高度 | 通常与输入图片尺寸一致 |
| 引导强度 | guidance_scale | 1.0-30.0 | 7.5 | 遵循你描述的程度,数值越高越严格按描述画 | CFG引导强度,控制对提示词的遵循程度 | 5-10适合大多数情况 |
3.2.3 GenerateInpaintImage(修复填补画笔)
这个节点就像一个智能修复工具,能够填补图片中的空白或替换不想要的部分。
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 输入图片路径 | input_image_path | 文本输入 | 必填 | 要修复的图片在电脑里的位置,就像告诉修复师原图在哪里 | 输入图像的文件路径 | 写"C:/images/damaged_photo.jpg" |
| 遮罩图片路径 | input_mask_path | 文本输入 | 必填 | 标记要修复区域的图片位置,就像用贴纸标记破损部分 | 遮罩图像的文件路径,白色区域会被重新生成 | 写"C:/images/mask.jpg" |
| 控制图片 | controlnet_image | 图片输入 | 留空 | 用来指导画图的参考图,就像画画时的草稿 | 用于ControlNet引导的参考图像 | 连接线条图或边缘图 |
| 控制强度 | controlnet_scale | 0.0-2.0 | 1.0 | 参考图的影响力大小,就像临摹时看原图的程度 | ControlNet对生成结果的影响强度 | 0.5表示轻微影响,1.5表示强烈影响 |
| 随机种子 | seed | 整数 | -1 | 画图的起始点,相同种子会画出相似的图 | 控制随机性的种子值,确保结果可重现 | 设置42会每次生成相同风格的图 |
| 正面描述 | positive_prompt | 文本输入 | 必填 | 告诉画笔你想要填补什么内容,就像给修复师下订单 | 正面提示词,描述想要填补的内容 | 写"grass field, natural lighting" |
| 负面描述 | negative_prompt | 文本输入 | 可选 | 告诉画笔你不想要什么内容,就像告诉修复师别画什么 | 负面提示词,描述不想要的内容 | 写"blurry, ugly, bad quality" |
| 推理步数 | inference_steps | 1-100 | 50 | 画图的精细程度,步数越多画得越仔细 | 扩散模型的去噪步数,影响生成质量 | 20步快速预览,50步正常质量 |
| 图片宽度 | width | 64-2048 | 512 | 画出来的图片有多宽,就像画布的宽度 | 生成图像的像素宽度 | 通常与输入图片尺寸一致 |
| 图片高度 | height | 64-2048 | 512 | 画出来的图片有多高,就像画布的高度 | 生成图像的像素高度 | 通常与输入图片尺寸一致 |
| 引导强度 | guidance_scale | 1.0-30.0 | 7.5 | 遵循你描述的程度,数值越高越严格按描述画 | CFG引导强度,控制对提示词的遵循程度 | 5-10适合大多数情况 |
3.3 Utils(工具节点)- 就像画图的辅助工具
这些节点就像各种画图的辅助工具,帮你处理图片,让画图效果更好。
3.3.1 Make Canny(制作线条图工具)
这个节点就像一个能够提取图片线条的工具,把彩色图片变成黑白线条图。
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 输入图片 | input_image | 图片输入 | 必填 | 要提取线条的图片,就像要描边的原图 | 输入的原始图像 | 连接任何图片节点 |
| 低阈值 | low_threshold | 0-255 | 100 | 线条检测的敏感度下限,数值越低检测到的细节越多 | Canny边缘检测的低阈值参数 | 50检测更多细节,150检测主要轮廓 |
| 高阈值 | high_threshold | 0-255 | 200 | 线条检测的敏感度上限,数值越高只保留明显的线条 | Canny边缘检测的高阈值参数 | 通常设置为低阈值的2倍 |
输出:
- 线条图输出:处理后的黑白线条图,可以连接到推理节点的控制图片输入
- 预览输出:可以连接到预览节点查看线条图效果
3.4 Components(组件节点)- 就像画图的特殊材料
这些节点就像各种特殊的画图材料,能够给你的画图工作台增加特殊能力。
3.4.1 LoraLoader(特殊风格加载器)
这个节点就像一个特殊风格的调色板,能够给你的画图工作台增加特定的绘画风格。
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| LoRA名称 | lora_name | 文本输入 | 必填 | 特殊风格文件的名字,就像选择哪种调色板 | LoRA模型的文件名 | 写"anime_style.safetensors" |
| 权重 | weight | 0.0-2.0 | 1.0 | 这种风格的影响力大小,就像调色板的浓度 | LoRA在模型中的权重系数 | 0.5表示轻微影响,1.5表示强烈影响 |
| 触发词 | trigger_word | 文本输入 | 可选 | 激活这种风格的魔法词语,就像召唤咒语 | 激活LoRA效果的特定词汇 | 写"anime style"或"portrait" |
3.4.2 Blora(风格内容分离器)
这个节点就像一个神奇的分离器,能够把一张图片的风格和内容分开,让你只借用风格或只借用内容。
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 风格LoRA名称 | style_lora_name | 文本输入 | 可选 | 风格文件的名字,就像选择画风调色板 | 风格B-LoRA模型的文件名 | 写"vangogh_style.safetensors" |
| 风格权重 | style_lora_scale | 0.0-2.0 | 1.0 | 风格的影响力大小,就像画风的浓度 | 风格B-LoRA的权重系数 | 0.8表示轻微风格,1.2表示强烈风格 |
| 内容LoRA名称 | content_lora_name | 文本输入 | 可选 | 内容文件的名字,就像选择画什么东西 | 内容B-LoRA模型的文件名 | 写"portrait_content.safetensors" |
| 内容权重 | content_lora_scale | 0.0-2.0 | 1.0 | 内容的影响力大小,就像画面内容的清晰度 | 内容B-LoRA的权重系数 | 0.8表示轻微内容,1.2表示强烈内容 |
重要提醒:这个节点只能与SDXL模型一起使用,而且不能和普通的LoRA同时使用。
4. 使用技巧和建议
4.1 新手入门建议
- 从简单开始:先用Text2ImgStableDiffusionPipeline + GenerateTxt2Image的组合,这是最基础的文字生成图片功能
- 参数调试:开始时用默认参数,然后一个一个地调整,看看效果变化
- 种子固定:找到满意的效果后,记录下种子数值,这样能重复生成相似的图片
4.2 显卡性能优化
- 如果你的显卡显存小于8GB,记得开启"低显存模式"
- 图片尺寸从512x512开始,显卡够强再调高
- 推理步数从20步开始测试,效果好再增加到50步
4.3 提示词技巧
- 正面描述要详细具体,比如"a cute orange cat sitting on a wooden table, sunlight, high quality"
- 负面描述要包含常见的不好效果,比如"blurry, ugly, bad quality, distorted"
- 引导强度7.5是个好的起点,太高可能过度拟合,太低可能不够准确
4.4 路径填写注意事项
- 写路径时要把引号删掉,比如写成:C:/images/my_photo.jpg
- 路径中的反斜杠要改成正斜杠
- 确保文件确实存在于指定位置
5. 常见问题解答
Q1:为什么我的节点找不到?
答:可能是安装没成功,重新在ComfyUI管理器里搜索"Diffusers in Comfy UI"再安装一次,然后重启ComfyUI。
Q2:为什么生成图片很慢?
答:可能是显卡性能不够,试试开启"低显存模式",或者减少推理步数到20步,降低图片尺寸到512x512。
Q3:为什么生成的图片质量不好?
答:检查以下几点:
- 正面描述是否够详细
- 负面描述是否包含了"blurry, bad quality"
- 引导强度是否在7.5左右
- 推理步数是否至少20步
Q4:路径填写总是出错怎么办?
答:常见问题:
- 删除路径两边的引号
- 把反斜杠()改成正斜杠(/)
- 确保文件路径正确,文件确实存在