1. 插件简介
插件地址: https://github.com/YinBailiang/MergeBlockWeighted_fo_ComfyUI
这个插件是专门为 ComfyUI 设计的模型融合工具,就像是一个超级聪明的"模型调料师"。你知道做菜时需要按比例调配各种调料吗?这个插件就是用来把不同的 AI 模型按照你想要的比例"调配"在一起,创造出全新的模型效果。
想象一下,你有两个不同风格的画师,一个擅长画人物,一个擅长画背景。这个插件就能让你把两个画师的优点结合起来,比如用70%的人物画师技能 + 30%的背景画师技能,创造出一个既会画人物又会画背景的全新画师。
2. 如何安装
方法一:ComfyUI Manager 安装(推荐)
- 在 ComfyUI 界面右键点击空白处
- 选择 "Manager"
- 点击 "Install Custom Nodes"
- 在搜索框输入 "MergeBlockWeighted"
- 找到插件后点击 "Install"
- 重启 ComfyUI
方法二:手动安装
- 打开 ComfyUI 的安装文件夹
- 找到
custom_nodes文件夹 - 在这个文件夹里打开命令行/终端
- 输入命令:
git clone https://github.com/YinBailiang/MergeBlockWeighted_fo_ComfyUI.git - 重启 ComfyUI
3. 节点详解
3.1 MergeBlockWeighted 节点
这是这个插件的核心节点,就像是一个精密的"模型混合器"。它能让你精确控制两个模型的每个部分应该按什么比例混合。
想象成做奶茶:你可以单独控制茶的浓度、奶的比例、糖的甜度,而不是只能整体调节。这个节点就是让你能够分别调节模型的"输入层"、"中间层"、"输出层"等不同部分的混合比例。
3.2 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| Model A | model1 | 模型文件 | 任意模型 | 第一个要混合的模型,就像做菜的主料 | 作为融合基础的源模型 | 选择你想要作为基础的模型,比如一个人物模型 |
| Model B | model2 | 模型文件 | 任意模型 | 第二个要混合的模型,就像做菜的配料 | 作为融合辅助的源模型 | 选择你想要融合进去的模型,比如一个风景模型 |
| Input Block Weight | input_ratio | 0.0-1.0 | 0.5 | 控制模型"理解部分"的混合比例,就像调节听力的敏感度 | 控制模型输入层的权重比例 | 设置0.3表示30%用模型A的理解能力,70%用模型B的 |
| Middle Block Weight | middle_ratio | 0.0-1.0 | 0.5 | 控制模型"思考部分"的混合比例,就像调节大脑的思维方式 | 控制模型中间层的权重比例 | 设置0.7表示70%用模型A的思考方式,30%用模型B的 |
| Output Block Weight | output_ratio | 0.0-1.0 | 0.5 | 控制模型"表达部分"的混合比例,就像调节说话的风格 | 控制模型输出层的权重比例 | 设置0.4表示40%用模型A的表达风格,60%用模型B的 |
| Save Path | save_path | 文件路径 | 空白 | 保存混合后模型的位置,就像给新菜谱取名和存放位置 | 指定融合后模型的保存路径 | 输入 "my_mixed_model.safetensors" |
| Device | device | cpu/cuda | auto | 选择用什么来计算,就像选择用电磁炉还是煤气灶做菜 | 指定计算设备类型 | 有显卡选cuda,没有选cpu |
3.3 ModelMergeBlocksWeighted 节点
这是一个更高级的混合节点,提供了更精细的控制选项。就像是从简单的三色调色盘升级到了专业的24色调色盘。
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| Model 1 | model1 | 模型文件 | 任意模型 | 第一个模型,就像调色的底色 | 作为基础的源模型 | 选择你的主要模型 |
| Model 2 | model2 | 模型文件 | 任意模型 | 第二个模型,就像调色的辅助色 | 作为融合的辅助模型 | 选择你想融合的模型 |
| Time Embed | time_embed | 0.0-1.0 | 0.5 | 控制时间理解能力的混合,就像调节对节奏的感知 | 控制时间嵌入层的权重 | 对动画或视频模型很重要 |
| Label Embed | label_embed | 0.0-1.0 | 0.5 | 控制标签理解能力的混合,就像调节对文字提示的理解力 | 控制标签嵌入层的权重 | 影响模型对提示词的理解 |
| Input Block 0-11 | input.0 到 input.11 | 0.0-1.0 | 0.5 | 控制12个输入层的混合比例,就像调节12个不同的理解开关 | 分别控制12个输入块的权重 | 可以让某些输入层更偏向某个模型 |
| Middle Block 0-1 | middle.0 到 middle.1 | 0.0-1.0 | 0.5 | 控制2个中间层的混合比例,就像调节2个不同的思考方式 | 分别控制2个中间块的权重 | 精细控制模型的核心处理能力 |
| Output Block 0-11 | output.0 到 output.11 | 0.0-1.0 | 0.5 | 控制12个输出层的混合比例,就像调节12个不同的表达方式 | 分别控制12个输出块的权重 | 可以让某些输出层更偏向某个模型 |
| Out | out | 0.0-1.0 | 0.5 | 控制最终输出的混合比例,就像调节最后的整体效果 | 控制最终输出层的权重 | 影响最终生成图像的整体风格 |
4. 使用技巧和建议
4.1 新手入门建议
- 先从简单开始:刚开始用的时候,建议所有参数都设为0.5,这样是最平均的混合
- 一次只改一个参数:不要同时调整多个参数,这样你才能知道每个参数的具体作用
- 做好备份:调参之前先保存当前设置,避免调坏了找不回来
4.2 常用的混合策略
- 人物优先:如果你想保持人物特征,可以把input相关的参数设高一些(比如0.7-0.8)
- 风格优先:如果你想改变画风,可以把output相关的参数调低一些(比如0.2-0.3)
- 平衡混合:所有参数都设为0.5,得到两个模型的平均效果
4.3 参数调节小窍门
- Input Block:主要影响模型如何理解你的提示词
- Middle Block:主要影响模型的核心处理能力
- Output Block:主要影响最终图像的风格和质量
- 数值越接近1:越偏向第一个模型
- 数值越接近0:越偏向第二个模型
5. 常见问题解答
Q1:为什么我的混合模型效果很奇怪?
A1:可能是两个模型差异太大,就像把中式调料和西式调料混在一起。建议选择风格相近的模型进行混合。
Q2:混合需要多长时间?
A2:这取决于你的电脑配置和模型大小。有显卡的话一般几分钟,只用CPU的话可能需要半小时以上。
Q3:我可以混合多个模型吗?
A3:这个插件一次只能混合两个模型。如果要混合多个,需要先混合两个,然后再用混合结果和第三个模型混合。
Q4:保存的模型文件很大怎么办?
A4:这是正常的,因为混合后的模型包含了两个原模型的信息。如果空间不够,可以删除一些不常用的原模型。
Q5:混合后的模型可以商用吗?
A5:这取决于你使用的原模型的授权协议。混合模型的使用权限不会超过原模型中最严格的那个。
6. 进阶使用技巧
6.1 制作专属风格模型
- 找一个人物效果好的模型作为Model A
- 找一个你喜欢的画风模型作为Model B
- 设置Input Block偏向Model A (0.7-0.8)
- 设置Output Block偏向Model B (0.2-0.3)
- Middle Block保持平衡 (0.5)
6.2 修复模型缺陷
- 如果你的模型人物画得好但背景差,可以找个背景好的模型来混合
- 如果你的模型细节丰富但色彩单调,可以找个色彩丰富的模型来混合
6.3 批量试验
建议准备一个测试用的提示词,然后用不同的参数组合生成几张图,对比效果后再决定最终参数。
记住:模型混合是一门艺术,没有标准答案。多试验、多观察,你会找到最适合自己需求的混合方案!