ComfyUI InstantIR Wrapper 插件完全教程
1. 插件简介
插件地址: https://github.com/smthemex/ComfyUI_InstantIR_Wrapper
这个插件就像是一个"超级修图师"!它能把模糊、不清晰的照片变得清晰锐利,就像给照片做了一次"视力矫正手术"。想象一下,你有一张因为手抖或者相机对焦不准而拍糊的照片,这个插件就能帮你把它变得清晰如新!
主要功能:
- 图片去模糊:把拍糊的照片变清晰
- 图片修复:修复老照片、损坏的图片
- 细节增强:让图片的细节更加丰富
- 智能重建:用AI技术重新生成图片的清晰版本
技术原理简单说: 这个插件基于InstantIR技术,就像是给AI装上了"火眼金睛",能够分析模糊图片的内容,然后重新生成一个清晰的版本。
2. 如何安装
方法一:Git克隆(推荐)
cd ComfyUI/custom_nodes/
git clone https://github.com/smthemex/ComfyUI_InstantIR_Wrapper.git
cd ComfyUI_InstantIR_Wrapper
pip install -r requirements.txt
方法二:手动下载
- 去GitHub下载插件压缩包
- 解压到
ComfyUI/custom_nodes/目录 - 打开命令行,进入插件文件夹
- 运行:
pip install -r requirements.txt
下载必需的模型文件
你需要下载几个"大脑文件"让插件正常工作:
1. SDXL基础模型
- 任何SDXL模型都可以,放到
ComfyUI/models/checkpoints/目录
2. InstantIR专用模型(放到 ComfyUI/models/InstantIR/models/):
- adapter.pt
- aggregator.pt
- previewer_lora_weights.bin
3. DINO视觉模型:
- 会自动从 facebook/dinov2-large 下载,或者手动指定路径
4. LCM LoRA模型:
- 从 latent-consistency/lcm-lora-sdxl 下载,放到
ComfyUI/models/loras/
3. 节点详解
3.1 InstantIR_Loader 节点 - 模型加载器
这个节点就像是"工具箱管理员",负责把所有需要的AI模型都准备好,为后面的图片处理做准备。
3.2 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| sdxl_checkpoints | sdxl_checkpoints | 文件列表 | 任何SDXL模型 | 选择基础的AI绘画模型,就像选择画笔的类型 | SDXL扩散模型检查点 | 从下拉菜单选择你下载的SDXL模型文件 |
| dino_repo | dino_repo | 字符串 | facebook/dinov2-large | 视觉识别模型的地址,就像AI的"眼睛" | DINO视觉编码器仓库地址 | 保持默认值,或者填入本地路径 |
| adapter_checkpoints | adapter_checkpoints | 文件列表 | adapter.pt | 适配器模型,就像不同镜头的转接环 | InstantIR适配器检查点 | 选择下载的adapter.pt文件 |
| aggregator_checkpoints | aggregator_checkpoints | 文件列表 | aggregator.pt | 聚合器模型,负责整合处理结果 | 特征聚合器检查点 | 选择下载的aggregator.pt文件 |
| lora | lora | 文件列表 | LCM LoRA文件 | 加速模型,让处理更快 | LCM LoRA权重文件 | 选择LCM相关的LoRA文件 |
| InstantIR_lora | InstantIR_lora | 文件列表 | previewer_lora_weights.bin | InstantIR专用的微调文件 | InstantIR预览器LoRA权重 | 选择previewer_lora_weights.bin文件 |
| use_clip_encoder | use_clip_encoder | 布尔值 | False | 是否使用文字理解模块,一般不需要 | 是否启用CLIP文本编码器 | 保持False,除非你很了解这个功能 |
3.3 InstantIR_Sampler 节点 - 图片处理器
这个节点就像是"超级修图师",接收模糊的图片,然后输出清晰的结果。
3.4 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| model | model | InstantIR_MODEL | 来自Loader | 加载好的AI模型,就像准备好的工具箱 | InstantIR模型实例 | 连接InstantIR_Loader节点的输出 |
| pixels | pixels | IMAGE | 模糊图片 | 要处理的模糊图片,就像待修复的照片 | 输入图像张量 | 连接包含模糊图片的节点 |
| prompt | prompt | 字符串 | 默认高质量描述 | 告诉AI你想要什么样的效果,就像给修图师下指令 | 正向提示词 | 可以写"高清晰度照片"、"专业摄影"等 |
| negative_prompt | negative_prompt | 字符串 | 默认负面描述 | 告诉AI你不想要什么效果,就像告诉修图师别做什么 | 负向提示词 | 默认已经很好,一般不用改 |
| seed | seed | 整数 | 0 | 随机种子,相同种子产生相同结果,就像抽奖的号码 | 随机种子值 | 改变数字可以得到不同的处理效果 |
| steps | steps | 整数 | 20 | 处理步数,越多越精细但越慢,就像画画的笔触数 | 推理步数 | 10-30步比较合适,20步是好平衡点 |
| cfg | cfg | 浮点数 | 7 | 控制AI听话程度,数值越高越严格按提示词执行 | 分类器自由引导强度 | 5-10之间,7是很好的默认值 |
| creative_restoration | creative_restoration | 布尔值 | False | 创意修复模式,会更有想象力但可能偏离原图 | 是否启用创意修复模式 | False保持原图风格,True允许创意发挥 |
| width | width | 整数 | 768 | 输出图片宽度,就像相框的宽度 | 输出图像宽度 | 建议512-1024之间,太大会很慢 |
| height | height | 整数 | 768 | 输出图片高度,就像相框的高度 | 输出图像高度 | 建议512-1024之间,保持合理比例 |
| preview_start | preview_start | 浮点数 | 0.0 | 预览开始时机,控制什么时候开始显示中间结果 | 预览开始时间点 | 0.0表示从头开始,一般不用改 |
| guidance_end | guidance_end | 浮点数 | 1.0 | 引导结束时机,控制AI指导到什么时候停止 | 引导结束时间点 | 1.0表示全程引导,建议保持默认 |
| batch_size | batch_size | 整数 | 1 | 一次处理几张图,就像洗照片时一次洗几张 | 批处理大小 | 1张最稳定,显存够可以试2-4张 |
4. 使用技巧和建议
4.1 基础使用流程
- 准备模糊图片:可以是手抖拍糊的、老照片、低分辨率图片等
- 连接节点:InstantIR_Loader → InstantIR_Sampler
- 调整参数:一般默认参数就很好用
- 运行处理:等待AI处理完成
4.2 提高效果的技巧
- 选择合适尺寸:width和height建议设置为768或1024
- 调整步数:模糊严重的图片可以增加到30-40步
- 优化提示词:在prompt中加入"sharp, detailed, high resolution"等词汇
- 显存管理:如果显存不够,降低batch_size到1
4.3 不同场景的参数建议
处理人像照片:
- steps: 25-30
- cfg: 6-8
- creative_restoration: False
处理风景照片:
- steps: 20-25
- cfg: 7-9
- creative_restoration: False
处理老照片:
- steps: 30-40
- cfg: 8-10
- creative_restoration: True
快速预览:
- steps: 10-15
- cfg: 5-7
- 降低width/height
5. 常见问题解答
Q: 为什么提示"need choice a xxx checkpoint"?
A: 这说明你没有选择必需的模型文件。检查InstantIR_Loader节点中的所有下拉菜单,确保都选择了对应的文件,不能选择"none"。
Q: 处理速度很慢怎么办?
A: 可以尝试:1)降低steps到15-20;2)减小输出尺寸;3)确保使用GPU而不是CPU;4)关闭其他占用显存的程序。
Q: 处理后的图片效果不好?
A: 可能原因:1)原图模糊程度太严重;2)steps设置太低;3)cfg值不合适;4)可以尝试开启creative_restoration。
Q: 显存不够用怎么办?
A: 1)设置batch_size为1;2)降低输出分辨率;3)减少steps;4)关闭其他程序释放显存。
Q: 可以处理什么类型的图片?
A: 几乎所有类型:人像、风景、建筑、动物等。但是卡通、动漫图片效果可能不如真实照片好。
Q: 输出图片和原图差别很大?
A: 如果开启了creative_restoration,AI会有更多创意发挥。关闭这个选项可以让结果更接近原图。
6. 进阶应用
6.1 批量处理
虽然单个节点只能处理一张图,但你可以:
- 使用ComfyUI的批处理功能
- 调整batch_size参数一次处理多张
- 结合其他节点实现自动化流程
6.2 结合其他插件
- 配合放大插件:先用InstantIR去模糊,再用其他插件放大
- 配合修复插件:处理有划痕或损坏的老照片
- 配合风格化插件:在去模糊的同时改变图片风格
6.3 参数调优策略
- A/B测试:用相同图片测试不同参数组合
- 渐进调整:从默认参数开始,逐步微调
- 记录最佳设置:为不同类型图片记录最佳参数组合
6.4 性能优化
- 显存监控:观察显存使用情况,避免爆显存
- 温度控制:长时间处理注意GPU温度
- 定期清理:处理完成后清理显存缓存
7. 故障排除
7.1 安装问题
- 依赖冲突:使用虚拟环境隔离依赖
- 模型下载失败:检查网络连接,或手动下载模型文件
- 路径错误:确保所有文件放在正确的目录
7.2 运行问题
- 内存不足:降低batch_size和输出分辨率
- 处理卡住:检查输入图片格式是否正确
- 结果异常:尝试重新加载模型或重启ComfyUI
总结: 这个插件虽然只有2个节点,但功能非常强大。InstantIR_Loader负责准备所有必需的AI模型,InstantIR_Sampler负责实际的图片处理。掌握好参数调节,你就能把各种模糊、不清晰的照片变得清晰锐利。记住,好的效果需要合适的参数设置和足够的耐心!