ComfyUI_OmniGen_Wrapper 插件保姆级教程
1. 插件简介
插件原地址: https://github.com/chflame163/ComfyUI_OmniGen_Wrapper
这个插件是把 OmniGen 这个超厉害的人工智能图片生成工具包装成了 ComfyUI 里面可以用的小积木块(节点)。
它能干什么?
- 就像一个超级聪明的画家,你用文字告诉它要画什么,它就能画出来
- 更厉害的是,你还可以给它看一张或几张图片,然后告诉它:"参考这些图片,再画一张新的"
- 比如你给它一张猫的照片,然后说"把这只猫画成卡通风格",它就能做到
- 或者你给它两张不同的图片,让它把两张图的特点结合起来画一张新图
能带来什么效果?
- 文字生成图片:输入"一只穿着红色毛衣的小狗在雪地里玩耍",就能得到对应的图片
- 图片编辑:给一张人物照片,说"把头发颜色改成蓝色",就能得到修改后的图片
- 图片风格转换:把真实照片转成动漫风格、油画风格等
- 图片合成:把多张图片的元素组合成一张新图片
2. 如何安装
方法一:通过 ComfyUI 管理器安装(推荐)
- 打开 ComfyUI
- 点击右下角的"Manager"按钮
- 在搜索框输入"OmniGen"
- 找到这个插件后点击"Install"
方法二:手动安装
- 找到你的 ComfyUI 安装文件夹
- 进入
custom_nodes文件夹 - 在这个文件夹里打开命令行窗口(Windows 用户按住 Shift 键右键点击空白处,选择"在此处打开命令窗口")
- 输入以下命令:
git clone https://github.com/chflame163/ComfyUI_OmniGen_Wrapper.git
安装依赖包
安装完插件后,还需要安装一些辅助工具包:
- 找到 ComfyUI 的 Python 环境
- 运行以下命令:
python -s -m pip install -r ComfyUI/custom_nodes/ComfyUI_OmniGen_Wrapper/requirements.txt
下载模型文件
第一次使用时,插件会自动下载需要的模型文件(大约需要几个GB的空间和一些时间)。
3. 节点详解
3.1 OmniGen Wrapper 节点
这是插件的核心节点,就像一个万能的画图机器。你给它文字描述和可选的参考图片,它就能按照你的要求生成新图片。
3.2 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| dtype | dtype | default, int8 | default | 就像选择画笔的精细程度,default 是高精度画笔,int8 是省内存的画笔 | 模型运行的数据精度,影响显存占用和生成质量 | 显存够用选 default,显存不够选 int8 |
| prompt | prompt | 文本输入 | 根据需求 | 这是你对画图机器说的话,告诉它要画什么 | 文本提示词,指导模型生成图像的内容 | 输入"一只可爱的小猫坐在窗台上" |
| width | width | 16-2048 | 1024 | 生成图片的宽度,就像选择画布的宽度 | 输出图像的像素宽度,必须是16的倍数 | 想要宽屏图片设置1920,正方形设置1024 |
| height | height | 16-2048 | 1024 | 生成图片的高度,就像选择画布的高度 | 输出图像的像素高度,必须是16的倍数 | 想要竖屏图片设置1920,正方形设置1024 |
| guidance_scale | guidance_scale | 1.0-5.0 | 2.5 | 就像告诉画家要多严格按照你的要求画,数值越高越严格 | 无分类器引导强度,控制生成结果与提示词的匹配度 | 想要更贴近描述用3.0,想要更有创意用2.0 |
| img_guidance_scale | img_guidance_scale | 1.0-2.0 | 1.6 | 当你给了参考图片时,告诉画家要多严格参考这些图片 | 图像引导强度,控制生成结果与输入图像的相似度 | 想要更像参考图用1.8,想要更有变化用1.4 |
| steps | steps | 1-100 | 25 | 就像画家画画的步骤数,步骤越多画得越精细,但也越慢 | 推理迭代步数,影响生成质量和速度 | 要求高质量用50,追求速度用20 |
| separate_cfg_infer | separate_cfg_infer | True/False | True | 就像选择是否分批处理,能省内存但会慢一点 | 分离式条件引导推理,节省显存但降低速度 | 显存不够时开启,显存充足时关闭 |
| use_kv_cache | use_kv_cache | True/False | False | 就像是否使用记忆功能来加速,能让生成更快 | 启用键值缓存加速推理过程 | 想要更快生成时开启 |
| seed | seed | 0-1e18 | 0 | 就像画家的心情种子,同样的种子会画出同样的图 | 随机数种子,控制生成结果的随机性 | 想要重现相同结果时使用固定数值 |
| cache_model | cache_model | True/False | False | 就像是否把画家留在工作室,下次用时不用重新请来 | 是否在内存中缓存模型,节省重复加载时间 | 需要连续生成多张图时开启 |
| image_1 | image_1 | 图片输入 | 可选 | 第一张参考图片,就像给画家看的样本图 | 可选的输入图像1,用于图像到图像的生成任务 | 上传一张风景照,让AI参考这个构图 |
| image_2 | image_2 | 图片输入 | 可选 | 第二张参考图片,可以和第一张一起参考 | 可选的输入图像2,用于多图像输入的生成任务 | 上传人物照片作为第二个参考 |
| image_3 | image_3 | 图片输入 | 可选 | 第三张参考图片,最多可以同时参考三张图 | 可选的输入图像3,用于多图像输入的生成任务 | 上传色彩参考图作为第三个参考 |
4. 使用技巧和建议
4.1 文字描述技巧
- 要具体不要抽象:写"一只橘色的短毛猫坐在红色沙发上"比写"一只猫"效果好
- 描述细节:包括颜色、材质、光线、风格等,比如"柔和的阳光透过窗户照在..."
- 使用参考图时的描述:如果上传了图片,在文字里用
{image_1}来指代,比如"参考 {image_1} 的构图,画一个..."
4.2 参数调节建议
- 新手推荐设置:width=1024, height=1024, steps=25, guidance_scale=2.5
- 高质量设置:steps=50, guidance_scale=3.0(生成时间会更长)
- 快速预览设置:steps=15, guidance_scale=2.0(速度快但质量略低)
- 显存不足时:选择 int8 模式,开启 separate_cfg_infer
4.3 图片输入技巧
- 单图编辑:只用 image_1,在文字里描述要如何修改
- 风格转换:用 image_1 作为内容参考,在文字里描述目标风格
- 多图合成:同时使用 image_1、image_2,在文字里描述如何结合
5. 常见问题解答
Q1:为什么第一次使用很慢?
A:第一次使用时需要下载模型文件(约12GB),这是正常的。下载完成后就会很快了。
Q2:显示"显存不足"怎么办?
A:
- 将 dtype 改为 int8
- 开启 separate_cfg_infer
- 降低图片尺寸(比如改为512x512)
- 关闭其他占用显存的程序
Q3:生成的图片不符合预期怎么办?
A:
- 检查文字描述是否够详细
- 调整 guidance_scale(增加到3.0-4.0)
- 增加 steps 数量(改为40-50)
- 尝试不同的 seed 值
Q4:如何让生成结果更稳定?
A:
- 使用固定的 seed 值
- 保持其他参数不变
- 文字描述要保持一致
Q5:可以同时处理多张图片吗?
A:可以,最多同时输入3张图片(image_1、image_2、image_3),在文字描述中用对应的标记来引用。
6. 实用案例
案例1:文字生成图片
- 输入文字:"一个穿着白色连衣裙的女孩在樱花树下微笑,阳光透过花瓣洒在她脸上,日系动漫风格"
- 参数设置:默认参数即可
- 效果:生成日系风格的动漫少女图片
案例2:图片风格转换
- 上传图片:一张真实人物照片到 image_1
- 输入文字:"将 {image_1} 转换成油画风格,保持人物特征不变"
- 参数设置:guidance_scale=3.0, img_guidance_scale=1.8
- 效果:得到油画风格的人物画像
案例3:图片编辑
- 上传图片:一张风景照到 image_1
- 输入文字:"在 {image_1} 的天空中添加一道彩虹,让整个画面更加梦幻"
- 参数设置:默认参数
- 效果:在原图基础上添加彩虹效果
7. 注意事项
- 硬件要求:建议至少8GB显存的显卡,4GB显存可以使用 int8 模式
- 存储空间:首次使用需要约15GB的存储空间下载模型
- 网络要求:首次使用需要稳定的网络连接下载模型文件
- 使用限制:请遵守相关法律法规,不要生成不当内容
8. 总结
ComfyUI_OmniGen_Wrapper 是一个功能强大的图像生成插件,它把复杂的AI技术包装成了简单易用的节点。无论你是想要文字生成图片、图片编辑,还是风格转换,这个插件都能满足你的需求。
记住最重要的几点:
- 文字描述要详细具体
- 根据显卡性能选择合适的参数
- 多尝试不同的参数组合找到最适合的设置
- 善用参考图片功能来获得更好的效果
希望这个教程能帮助你快速上手这个强大的工具!