ComfyUI_PCDMs 插件超详细新手教程
1. 插件简介
ComfyUI_PCDMs 是一个基于腾讯AI实验室开发的PCDMs(Pixel-Consistent Diffusion Models)技术的ComfyUI插件。
插件地址: https://github.com/StartHua/ComfyUI_PCDMs
这个插件主要是用来做什么的呢?简单来说,它就像是一个"图片修复神器"!想象一下,你有一张照片,但是照片上有一些你不喜欢的地方,比如背景太乱、有多余的人物,或者某些部分模糊不清。PCDMs就像是一个非常聪明的"橡皮擦+画笔",它能够:
- 智能擦除:把你不想要的部分擦掉
- 智能填充:在擦掉的地方重新画出合理的内容
- 保持一致性:确保新画的部分和原图看起来像是一体的
比如说,你拍了一张美美的自拍,但是背景有个路人甲,用这个插件就能把路人甲"变没",然后自动填充上合适的背景,看起来就像路人甲从来没存在过一样!
2. 如何安装
方法一:通过ComfyUI Manager安装(推荐)
- 打开ComfyUI,点击右侧的"Manager"按钮
- 在弹出的界面中选择"Install Custom Nodes"
- 搜索"PCDMs"或者"StartHua"
- 找到这个插件后点击"Install"
- 安装完成后重启ComfyUI
方法二:手动安装
- 找到你的ComfyUI安装文件夹
- 进入
custom_nodes文件夹 - 下载插件文件并解压到这个文件夹里
- 重启ComfyUI
注意: 根据作者说明,这个插件可能需要额外安装一些依赖包,如果安装后无法正常使用,请查看插件文件夹中的说明文档。
3. 节点详细解析
3.1 PCDMs_Sampler 节点(核心采样器)
这个节点就像是整个插件的"大脑",负责控制图片修复的整个过程。就像你用美图秀秀时调节各种参数一样,这个节点也有很多可以调节的选项。
3.1.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 模型 | model | 模型对象 | - | 这就像选择用哪支"画笔"来修复图片 | 选择用于生成的扩散模型 | 连接你加载的AI模型,比如SD1.5或SDXL |
| 正向提示词 | positive | 文本 | 根据需要 | 告诉AI你想要什么样的效果,就像对画师说"我要蓝天白云" | 正向条件引导,描述期望的生成内容 | 输入"beautiful landscape, clear sky"来生成美丽风景 |
| 负向提示词 | negative | 文本 | 根据需要 | 告诉AI你不想要什么,就像说"不要雾霾,不要建筑" | 负向条件引导,描述不希望出现的内容 | 输入"blurry, low quality"来避免模糊和低质量 |
| 潜在空间图像 | latent_image | 潜在对象 | - | 这是你要修复的图片,但是是AI能理解的格式 | 输入的潜在空间表示 | 连接从VAE编码器输出的潜在图像 |
| 遮罩 | mask | 遮罩对象 | - | 这就像是用胶带贴住你想修改的地方 | 指定需要修复区域的遮罩 | 用画笔工具画出要修复的区域 |
| 采样步数 | steps | 整数 | 20-50 | 这就像是修复时"涂抹"的次数,越多越精细 | 扩散模型的采样迭代次数 | 设置30步通常能得到不错的效果 |
| 配置比例 | cfg | 浮点数 | 7.0-12.0 | 这控制AI听你话的程度,数值越高越严格按你说的做 | 控制条件引导的强度 | 设置8.0可以平衡创造性和控制性 |
| 采样器名称 | sampler_name | 字符串 | euler_a | 这就像选择不同的"修复算法",每种都有不同特点 | 选择具体的采样算法 | 选择"euler_a"通常效果稳定 |
| 调度器 | scheduler | 字符串 | normal | 这控制修复过程的"节奏",是快速还是慢慢来 | 控制噪声调度的方式 | 选择"normal"适合大多数情况 |
| 随机种子 | seed | 整数 | 随机值 | 这就像是"运气值",相同种子会产生相同结果 | 控制随机性的种子值 | 设置固定值可以重现相同结果 |
3.2 PCDMs_LoadModel 节点(模型加载器)
这个节点就像是一个"工具箱",负责把PCDMs专用的模型加载到ComfyUI里。就像你要用特定的软件就得先安装一样。
3.2.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 模型路径 | model_path | 字符串 | - | 这就像是告诉程序"模型文件在哪个文件夹里" | 指定PCDMs模型文件的存储路径 | 选择下载好的.pth或.safetensors文件 |
| 设备类型 | device | 字符串 | auto | 这决定用电脑的哪个部件来运行,显卡更快 | 选择运行设备(CPU/GPU) | 选择"auto"让程序自动选择最佳设备 |
| 精度类型 | dtype | 字符串 | float16 | 这控制计算精度,就像照片的"画质"设置 | 数据类型精度设置 | 选择"float16"节省显存 |
3.3 PCDMs_MaskProcessor 节点(遮罩处理器)
这个节点就像是一个"蒙版编辑器",专门用来处理你要修复的区域。想象成你用胶带贴住要喷漆的地方,这个节点就是帮你调整胶带的形状和大小。
3.3.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 输入遮罩 | mask | 遮罩对象 | - | 这是你画的"要修复的区域",黑白图片 | 原始遮罩输入 | 连接你用画笔工具画的遮罩 |
| 膨胀像素 | dilate_pixels | 整数 | 2-8 | 这会让遮罩区域"变胖",确保边缘也能修复好 | 遮罩膨胀处理的像素数 | 设置4让修复区域稍微大一点 |
| 模糊半径 | blur_radius | 整数 | 2-10 | 这会让遮罩边缘变"柔和",修复效果更自然 | 遮罩边缘模糊处理的半径 | 设置5让边缘过渡更平滑 |
| 反转遮罩 | invert | 布尔值 | false | 这会把"要修复的"和"不修复的"区域对调 | 是否反转遮罩区域 | 如果选错了区域,打开这个选项 |
3.4 PCDMs_ImagePreprocessor 节点(图像预处理器)
这个节点就像是"图片整理师",负责把你的图片调整成AI最喜欢的样子。就像你发朋友圈前要先美颜一样,这个节点会先给图片做个"美颜"。
3.4.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 输入图像 | image | 图像对象 | - | 这是你要处理的原始照片 | 输入的原始图像数据 | 连接你上传的图片 |
| 目标尺寸 | target_size | 整数 | 512/768/1024 | 这决定处理后图片的大小,就像选择"高清"还是"标清" | 输出图像的目标分辨率 | 选择512适合大多数情况 |
| 保持比例 | keep_ratio | 布尔值 | true | 这确保图片不会被"拉伸变形" | 是否保持原图长宽比 | 建议保持开启避免变形 |
| 裁剪模式 | crop_mode | 字符串 | center | 这决定如何裁剪图片,就像选择"居中"还是"靠左" | 图像裁剪的方式 | 选择"center"通常最自然 |
3.5 PCDMs_PostProcessor 节点(后处理器)
这个节点就像是"最后的修饰师",负责给修复完的图片做最后的"美化"工作。就像你拍完照要加个滤镜一样。
3.5.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 输入图像 | image | 图像对象 | - | 这是修复完成的图片 | 处理后的图像输入 | 连接PCDMs采样器的输出 |
| 对比度调节 | contrast | 浮点数 | 0.8-1.2 | 这控制图片的"对比度",就像电视的亮度对比 | 调整图像对比度 | 设置1.1让图片更鲜明 |
| 饱和度调节 | saturation | 浮点数 | 0.8-1.2 | 这控制颜色的"浓淡",就像调节色彩饱和度 | 调整图像饱和度 | 设置1.0保持原始色彩 |
| 锐化强度 | sharpness | 浮点数 | 0.8-1.2 | 这让图片看起来更"清晰",就像调焦距 | 调整图像锐化程度 | 设置1.1让细节更清晰 |
| 色彩平衡 | color_balance | 字符串 | neutral | 这调整图片的"色温",就像选择"冷色调"还是"暖色调" | 调整图像色彩平衡 | 选择"neutral"保持自然 |
4. 使用技巧和建议
4.1 新手入门建议
- 从简单开始:先用小图片练手,比如512x512的图片,等熟悉了再用大图
- 遮罩要准确:画遮罩时要仔细,边缘不要留空隙,否则修复效果会很奇怪
- 提示词要具体:不要只写"好看",要写具体的,比如"蓝天白云,绿色草地"
- 参数从默认开始:不要一开始就乱调参数,先用默认值看效果
4.2 进阶使用技巧
- 多次修复:复杂的修复可以分多次进行,每次修一小部分
- 调整采样步数:简单修复用20步,复杂修复用40-50步
- 合理设置CFG:人物修复用6-8,风景修复用8-12
- 注意种子设置:满意的效果记得保存种子,方便重现
4.3 常见参数组合
- 人物修复:steps=30, cfg=7.0, sampler="euler_a"
- 风景修复:steps=40, cfg=9.0, sampler="dpm_2m"
- 细节修复:steps=50, cfg=6.0, sampler="ddim"
5. 常见问题解答
5.1 安装相关问题
Q:插件安装后显示"找不到模型"怎么办?
A:这个插件需要额外下载PCDMs模型文件,请检查是否已经下载并放在正确的文件夹里。
Q:显示"CUDA错误"怎么办?
A:这通常是显卡驱动问题,请更新显卡驱动或者在设备设置里选择CPU模式。
5.2 使用相关问题
Q:修复效果不自然怎么办?
A:检查以下几点:
- 遮罩边缘是否过于锐利(增加模糊半径)
- 提示词是否过于模糊(写得更具体)
- CFG值是否过高(降低到6-8)
Q:修复速度太慢怎么办?
A:可以尝试:
- 降低采样步数(从50降到30)
- 使用更快的采样器(如euler_a)
- 降低图片分辨率
Q:修复区域出现奇怪的颜色怎么办?
A:这通常是提示词问题,检查:
- 正向提示词是否描述了正确的颜色
- 负向提示词是否包含了不想要的颜色
- 是否需要调整色彩平衡参数
5.3 效果优化问题
Q:如何让修复效果更真实?
A:
- 使用更准确的遮罩(边缘要自然)
- 写更详细的提示词
- 适当调整后处理参数
- 多尝试不同的随机种子
Q:修复后的图片质量下降怎么办?
A:
- 检查是否选择了合适的精度类型
- 调整后处理的锐化参数
- 尝试使用更高质量的采样器
6. 实际应用场景
6.1 照片修复
- 去除照片中的路人、杂物
- 修复老照片的划痕、污渍
- 改变照片背景
6.2 艺术创作
- 为画作添加新元素
- 修改插画的部分内容
- 创造性地改变图片风格
6.3 产品图片处理
- 去除产品图片中的瑕疵
- 更换产品背景
- 修复产品照片的光影效果
记住,PCDMs插件是一个非常强大的工具,但需要耐心和练习才能掌握。从简单的修复开始,逐步尝试更复杂的效果,你会发现这个插件的强大之处!
最重要的是:测试下来使用作者的原图效果很好,自己图一般需要抽卡!这意味着效果可能因图片而异,多试几次总会有满意的结果。