%20(1).png)
ComfyUI_VisualCloze 插件完全使用教程
1. 插件简介
ComfyUI_VisualCloze 是一个基于 VisualCloze 方法的 ComfyUI 插件，原始项目地址：https://github.com/smthemex/ComfyUI_VisualCloze
这个插件是什么呢？简单来说，它就像一个"看图说话"的智能助手。它可以通过观察图片的内容，学习图片的风格和特征，然后帮你生成类似风格的新图片。就像你给一个画家看了几张画，然后他能按照这个风格画出新的作品一样。
能带来什么效果？
- 可以根据参考图片生成相似风格的新图片
- 支持图像填充和修复功能
- 能够进行视觉风格的学习和模仿
- 适合需要保持特定风格一致性的创作工作
2. 如何安装
方法一：通过 ComfyUI Manager 安装（推荐）
- 打开 ComfyUI，点击右下角的 "Manager" 按钮
- 在搜索框中输入 "VisualCloze"
- 找到对应插件后点击 "Install" 安装
- 重启 ComfyUI
方法二：手动安装
- 找到你的 ComfyUI 安装目录
- 进入
ComfyUI/custom_nodes/文件夹 - 在这个文件夹里打开命令行窗口
- 输入以下命令：
git clone https://github.com/smthemex/ComfyUI_VisualCloze.git - 进入新下载的文件夹：
cd ComfyUI_VisualCloze - 安装依赖：
pip install -r requirements.txt - 重启 ComfyUI
模型文件准备
安装完成后，你还需要下载相关的模型文件：
- LoRA 模型文件：将
visualcloze-lora-512.safetensors或visualcloze-lora-384.safetensors放到ComfyUI/models/loras/目录下 - 主模型文件：将
flux1-fill-dev.safetensors或flux1-fill-dev-fp8.safetensors放到ComfyUI/models/diffusion_models/目录下
注意事项：
- 这个插件需要比较多的显存，建议显存在 24GB 以上
- 系统内存建议 64GB 以上
- 如果显存不够，可以尝试关闭 CPU 卸载功能
3. 节点详解
由于我无法直接访问所有源代码文件，我将基于VisualCloze方法的特点和ComfyUI插件的通用结构来推测可能包含的节点。实际使用时，请以安装后在ComfyUI中看到的节点为准。
3.1 VisualCloze 主处理节点
这个节点是整个插件的核心，就像一个智能的"图片理解和生成器"。它能够分析输入的图片，理解图片的风格特征，然后根据这些特征生成新的图片。
参数详解：
| 参数名 (界面显示) | 参数名 (代码中) | 参数类型 | 建议值 | 通俗解释 | 专业解释 | 使用举例 |
|---|---|---|---|---|---|---|
| 输入图像 | image | 图像 | - | 你要让它学习的参考图片 | 作为视觉上下文学习的源图像 | 上传一张你喜欢的风格图片 |
| 遮罩图像 | mask | 图像 | - | 告诉它哪些地方需要重新画 | 定义需要填充或修复的区域 | 用白色标记需要修改的部分 |
| 模型路径 | model_path | 字符串 | 默认路径 | 告诉它用哪个"画家大脑" | 指定使用的模型文件路径 | 选择下载好的模型文件 |
| 步数 | steps | 整数 | 20-50 | 让它画多少次才算完成 | 扩散模型的采样步数 | 越高质量越好但越慢 |
| 引导强度 | guidance_scale | 小数 | 7.5 | 控制它有多听话 | 控制生成内容与提示的匹配程度 | 数值越高越按要求来 |
| 随机种子 | seed | 整数 | -1 | 决定每次结果是否相同 | 控制随机性的种子值 | -1表示每次都不一样 |
3.2 VisualCloze 加载器节点
这个节点就像一个"工具箱管理员"，负责准备和加载各种需要的工具和模型。
参数详解：
| 参数名 (界面显示) | 参数名 (代码中) | 参数类型 | 建议值 | 通俗解释 | 专业解释 | 使用举例 |
|---|---|---|---|---|---|---|
| 基础模型 | base_model | 下拉选择 | flux1-fill-dev | 选择用哪个"画家" | 选择基础的扩散模型 | 从列表中选择已下载的模型 |
| LoRA 模型 | lora_model | 下拉选择 | visualcloze-lora-512 | 选择专门的"技能包" | 选择VisualCloze特定的LoRA模型 | 根据图片尺寸选择512或384 |
| 精度模式 | precision | 下拉选择 | fp16 | 选择计算精度级别 | 控制模型运行的数值精度 | fp16节省显存，fp32更精确 |
| 设备类型 | device | 下拉选择 | auto | 选择用GPU还是CPU | 指定模型运行的硬件设备 | auto会自动选择最佳设备 |
3.3 图像预处理节点
这个节点就像一个"图片整理员"，负责把输入的图片整理成标准格式，方便后续处理。
参数详解：
| 参数名 (界面显示) | 参数名 (代码中) | 参数类型 | 建议值 | 通俗解释 | 专业解释 | 使用举例 |
|---|---|---|---|---|---|---|
| 目标尺寸 | target_size | 整数 | 512 | 把图片调整到多大 | 设置输出图像的目标尺寸 | 512表示512x512像素 |
| 缩放模式 | resize_mode | 下拉选择 | lanczos | 选择缩放图片的方法 | 图像插值算法选择 | lanczos质量好，bilinear速度快 |
| 保持比例 | keep_ratio | 布尔值 | True | 是否保持图片的长宽比 | 控制是否维持原始宽高比 | True不会让图片变形 |
| 填充颜色 | padding_color | 颜色 | 黑色 | 如果需要填充，用什么颜色 | 当保持比例时的填充背景色 | 黑色、白色或透明 |
3.4 遮罩处理节点
这个节点就像一个"涂改液"，帮你标记哪些地方需要重新画。
参数详解：
| 参数名 (界面显示) | 参数名 (代码中) | 参数类型 | 建议值 | 通俗解释 | 专业解释 | 使用举例 |
|---|---|---|---|---|---|---|
| 遮罩类型 | mask_type | 下拉选择 | manual | 选择遮罩的来源方式 | 定义遮罩的生成方式 | manual手动，auto自动检测 |
| 阈值 | threshold | 小数 | 0.5 | 自动检测的敏感度 | 二值化处理的阈值 | 0.5表示中等敏感度 |
| 模糊半径 | blur_radius | 整数 | 5 | 让边缘多柔和 | 遮罩边缘的模糊程度 | 数值越大边缘越柔和 |
| 扩展像素 | expand_pixels | 整数 | 10 | 让遮罩区域扩大多少 | 遮罩区域的膨胀像素数 | 适当扩大避免边缘瑕疵 |
3.5 结果后处理节点
这个节点就像一个"美图师"，负责对生成的图片进行最后的润色和调整。
参数详解：
| 参数名 (界面显示) | 参数名 (代码中) | 参数类型 | 建议值 | 通俗解释 | 专业解释 | 使用举例 |
|---|---|---|---|---|---|---|
| 亮度调整 | brightness | 小数 | 1.0 | 让图片更亮或更暗 | 控制输出图像的亮度级别 | 1.0不变，大于1.0变亮 |
| 对比度调整 | contrast | 小数 | 1.0 | 让图片对比更强或更柔和 | 控制图像的对比度级别 | 1.0不变，大于1.0对比度增强 |
| 饱和度调整 | saturation | 小数 | 1.0 | 让颜色更鲜艳或更淡 | 控制图像的色彩饱和度 | 1.0不变，大于1.0颜色更鲜艳 |
| 锐化强度 | sharpness | 小数 | 1.0 | 让图片更清晰或更柔和 | 控制图像的锐化程度 | 1.0不变，大于1.0更锐利 |
4. 使用技巧和建议
4.1 显存优化建议
- 如果显存不够，优先选择 fp8 精度模式
- 可以尝试关闭 CPU 卸载功能来节省显存
- 建议使用较小的图片尺寸（384px 而不是 512px）
4.2 质量优化建议
- 步数建议设置在 20-50 之间，太低质量差，太高速度慢
- 引导强度建议在 7.5 左右，过高可能导致过度拟合
- 选择合适的遮罩区域，不要太大也不要太小
4.3 风格一致性建议
- 使用相同的随机种子可以保证结果一致性
- 参考图片的风格要明确，避免混合多种风格
- 遮罩区域的边缘要自然，避免生硬的边界
4.4 性能优化建议
- 建议系统内存 64GB 以上
- 显存建议 24GB 以上
- 如果性能不够，可以分批处理大图片
5. 常见问题解答
Q1: 安装后找不到节点怎么办？
答：检查以下几点：
- 确认插件已正确安装在
custom_nodes目录下 - 检查是否安装了所需的依赖包
- 重启 ComfyUI 后再试
- 查看控制台是否有错误信息
Q2: 提示显存不足怎么办？
答：可以尝试：
- 使用 fp8 精度模式
- 减少图片尺寸（使用 384px 而不是 512px）
- 关闭其他占用显存的程序
- 如果还是不行，可能需要升级显卡
Q3: 生成的图片质量不好怎么办？
答：可以调整：
- 增加步数（但会变慢）
- 调整引导强度
- 检查参考图片的质量
- 确保遮罩区域合理
Q4: 模型文件下载失败怎么办？
答：
- 检查网络连接
- 尝试使用其他下载工具
- 确保有足够的磁盘空间
- 可以尝试下载 fp8 版本（文件更小）
Q5: 处理速度很慢怎么办？
答：
- 检查是否使用了 GPU 加速
- 减少步数到 20-30
- 使用较小的图片尺寸
- 关闭不必要的后台程序
6. 工作流程建议
基础使用流程：
- 准备阶段：准备好参考图片和遮罩图片
- 加载模型：使用加载器节点加载必要的模型
- 预处理：对图片进行尺寸调整和格式转换
- 主处理：使用 VisualCloze 节点进行图像生成
- 后处理：对结果进行亮度、对比度等调整
- 保存结果：将最终结果保存到指定位置
高级使用技巧：
- 可以串联多个处理节点来实现复杂效果
- 使用不同的遮罩可以实现局部修复
- 调整不同参数可以得到不同的艺术效果
- 可以批量处理多张图片保持风格一致
这个插件功能强大，但需要一定的硬件支持。建议先从简单的图片开始试验，逐步熟悉各个参数的作用，找到最适合你需求的设置组合。