ComfyUI 魔法书 Logo
🏠 首页
👥 加群
🔥 报错不求人
😎 大帅比
登录 →
ComfyUI 魔法书 Logo
🏠 首页 👥 加群 🔥 报错不求人 😎 大帅比
登录
  1. 首页
  2. 🧩 插件工坊 (Plugin Workshop)
  3. ComfyUI_FluxMod插件教程:轻松用显卡运行Flux模型

ComfyUI_FluxMod插件教程:轻松用显卡运行Flux模型

0
  • 🧩 插件工坊 (Plugin Workshop)
  • 发布于 2025-07-01
  • 23 次阅读
编程界的小学生
编程界的小学生

ComfyUI_FluxMod 插件完全教程 - 让你的显卡也能跑 Flux 模型!

1. 插件简介

插件地址: https://github.com/lodestone-rock/ComfyUI_FluxMod

这个插件就像是给 Flux 模型装了一个"压缩器",能把原本需要 24GB 显存的 Flux 模型压缩到只需要 10GB 左右就能跑!想象一下,原来的 Flux 模型就像一个巨大的行李箱,装满了各种东西,而这个插件就像是一个神奇的压缩袋,能把行李箱里的东西压缩得更小,但功能基本不变。

主要功能:

  • 把 Flux 模型从 12B 参数压缩到 8.8B 参数
  • 支持 8 位量化,进一步节省显存
  • 画质损失很小,肉眼几乎看不出区别
  • 支持 Flux Dev 和 Flux Schnell 两种模型
  • 还包含了 Chroma 模型的支持(一个基于 Flux 的新模型)

2. 如何安装

方法一:通过 ComfyUI Manager 安装(推荐)

  1. 确保你已经安装了 ComfyUI Manager
  2. 打开 ComfyUI,点击右下角的拼图图标(Manager 按钮)
  3. 点击"Custom Nodes Manager"标签
  4. 在搜索框输入"ComfyUI_FluxMod"
  5. 点击"Install"按钮
  6. 重启 ComfyUI

方法二:手动安装

  1. 打开终端/命令提示符
  2. 进入你的 ComfyUI 安装目录下的 custom_nodes 文件夹
  3. 运行命令:git clone https://github.com/lodestone-rock/ComfyUI_FluxMod.git
  4. 重启 ComfyUI

3. 节点详细解析

3.1 FluxModDiffusionLoader 节点 - 主要模型加载器

这个节点就像是一个"智能搬运工",专门负责把压缩后的 Flux 模型搬到内存里,让你的电脑能够使用它。

参数详解:

参数名 (UI显示)参数名 (代码里)参数值建议值通俗解释 (能干嘛的)专业解释怎么用/举个例子
unet_nameunet_name文件列表选择你的 Flux 模型文件选择你要用的 Flux 模型文件,就像选择要播放的电影文件一样指定要加载的 Flux 扩散模型文件路径选择 flux1-dev.safetensors 或 flux1-schnell.safetensors
guidance_nameguidance_name文件列表选择universal_modulator.safetensors选择压缩用的"魔法文件",这个文件告诉模型怎么压缩指定时间步引导层的权重文件,用于模型压缩下载 universal_modulator.safetensors 并选择它
quant_modequant_modebf16/float8_e4m3fn (8 bit)/float8_e5m2 (also 8 bit)float8_e4m3fn (8 bit)选择压缩程度,就像选择图片压缩质量一样选择模型量化精度,影响显存占用和计算精度12GB显存选8bit,24GB显存选bf16

3.2 FluxModDiffusionLoaderMini 节点 - 迷你模型加载器

这个节点是上面那个加载器的"升级版",能加载更小的模型版本,就像是从"标准版"升级到"精简版"。

参数详解:

参数名 (UI显示)参数名 (代码里)参数值建议值通俗解释 (能干嘛的)专业解释怎么用/举个例子
unet_nameunet_name文件列表选择你的 Flux 模型文件选择你要用的 Flux 模型文件,就像选择要播放的电影文件一样指定要加载的 Flux 扩散模型文件路径选择 flux1-dev.safetensors 或 flux1-schnell.safetensors
guidance_nameguidance_name文件列表选择universal_modulator.safetensors选择压缩用的"魔法文件",这个文件告诉模型怎么压缩指定时间步引导层的权重文件,用于模型压缩下载 universal_modulator.safetensors 并选择它
quant_modequant_modebf16/float8_e4m3fn (8 bit)/float8_e5m2 (also 8 bit)float8_e4m3fn (8 bit)选择压缩程度,就像选择图片压缩质量一样选择模型量化精度,影响显存占用和计算精度12GB显存选8bit,24GB显存选bf16
lite_patch_unet_namelite_patch_unet_name文件列表选择None选择额外的"补丁文件",让模型变得更小更快指定轻量级补丁文件,进一步减少模型大小如果有专门的轻量级补丁文件就选择,没有就选None

3.3 ChromaDiffusionLoader 节点 - Chroma 模型专用加载器

这个节点专门用来加载 Chroma 模型,Chroma 是基于 Flux 开发的一个新模型,就像是 Flux 的"兄弟版本"。

参数详解:

参数名 (UI显示)参数名 (代码里)参数值建议值通俗解释 (能干嘛的)专业解释怎么用/举个例子
unet_nameunet_name文件列表选择Chroma 模型文件选择 Chroma 模型文件,这是一个特殊的 AI 绘画模型指定要加载的 Chroma 扩散模型文件路径从 HuggingFace 下载 Chroma 模型并选择
quant_modequant_modebf16/float8_e4m3fn (8 bit)/float8_e5m2 (also 8 bit)float8_e4m3fn (8 bit)选择压缩程度,就像选择图片压缩质量一样选择模型量化精度,影响显存占用和计算精度12GB显存选8bit,24GB显存选bf16

3.4 ChromaPaddingRemoval 节点 - 填充移除器

这个节点就像是一个"文字清理工",专门清理 Chroma 模型处理文字时产生的多余"垃圾",让文字处理更干净。

参数详解:

参数名 (UI显示)参数名 (代码里)参数值建议值通俗解释 (能干嘛的)专业解释怎么用/举个例子
conditioningconditioningCONDITIONING 类型来自文字编码器的输出接收处理过的文字信息,然后清理掉多余的部分接收条件编码信息并移除填充标记连接 CLIP Text Encode 节点的输出

3.5 ChromaStyleModelApply 节点 - Chroma 风格模型应用器

这个节点就像是一个"风格化妆师",能根据你提供的图片给生成的图像添加特定的风格。

参数详解:

参数名 (UI显示)参数名 (代码里)参数值建议值通俗解释 (能干嘛的)专业解释怎么用/举个例子
conditioningconditioningCONDITIONING 类型来自文字编码器的输出接收处理过的文字信息接收条件编码信息连接 CLIP Text Encode 节点的输出
style_modelstyle_modelSTYLE_MODEL 类型风格模型接收风格模型,这个模型知道怎么添加风格接收风格模型用于风格迁移连接风格模型加载器的输出
clip_vision_outputclip_vision_outputCLIP_VISION_OUTPUT 类型图像特征接收从图片中提取的特征信息接收 CLIP 视觉编码器的输出特征连接 CLIP Vision Encode 节点的输出
strengthstrength浮点数1.0控制风格强度,就像调节滤镜的浓度控制风格应用的强度系数1.0是正常强度,2.0是双倍强度,0.5是一半强度
truncate_percenttruncate_percent浮点数1.0控制使用多少风格信息,就像选择用多少颜料控制风格特征的截断比例1.0使用全部特征,0.5只用一半特征

3.6 SkipLayerForward 节点 - 层跳过器

这个节点就像是一个"捷径制造机",能让模型跳过一些不太重要的计算步骤,从而跑得更快,但可能会稍微影响质量。

参数详解:

参数名 (UI显示)参数名 (代码里)参数值建议值通俗解释 (能干嘛的)专业解释怎么用/举个例子
modelmodelMODEL 类型来自模型加载器接收要修改的模型接收需要跳过层的扩散模型连接 FluxModDiffusionLoader 的输出
skip_mmdit_layersskip_mmdit_layers字符串"10"指定要跳过的双流层编号,就像告诉司机跳过哪些站点指定要跳过的多模态双向变换器层输入"10,11,12"跳过第10、11、12层
skip_dit_layersskip_dit_layers字符串"3, 4"指定要跳过的单流层编号,就像告诉司机跳过哪些站点指定要跳过的扩散变换器层输入"3,4,5"跳过第3、4、5层

3.7 KSamplerMod 节点 - 修改版采样器

这个节点就像是一个"专业摄影师",专门负责把模型的"想法"变成真正的图片,而且针对压缩后的模型做了特殊优化。

参数详解:

参数名 (UI显示)参数名 (代码里)参数值建议值通俗解释 (能干嘛的)专业解释怎么用/举个例子
modelmodelMODEL 类型来自模型加载器接收要使用的 AI 模型接收用于去噪的扩散模型连接 FluxModDiffusionLoader 的输出
seedseed整数0随机种子,就像掷骰子的起始数字,相同种子产生相同结果控制随机数生成的种子值用固定数字如12345可以重现相同结果
stepssteps整数20生成步数,就像画画的笔画数,越多越精细但越慢控制去噪过程的迭代步数20步适合快速预览,50步质量更好
cfgcfg浮点数8.0提示词遵循度,就像告诉 AI 要多听话,数字越大越听话无分类器引导强度,控制对提示词的遵循程度7-12适合大多数情况,太高会过度拟合
sampler_namesampler_name选择列表euler采样算法,就像选择不同的画笔类型选择采样算法,影响生成质量和速度euler简单快速,dpmpp_2m质量更好
schedulerscheduler选择列表normal调度器,就像选择画画的节奏快慢控制噪声移除的时间安排normal适合大多数情况
positivepositiveCONDITIONING 类型正面提示词你想要的内容描述正向条件编码,描述期望生成的内容连接正面提示词编码器的输出
negativenegativeCONDITIONING 类型负面提示词你不想要的内容描述负向条件编码,描述不希望出现的内容连接负面提示词编码器的输出
latent_imagelatent_imageLATENT 类型潜在图像要处理的"半成品"图像数据要进行去噪处理的潜在空间图像连接 Empty Latent Image 或其他潜在图像
denoisedenoise浮点数1.0去噪强度,就像调节橡皮擦的力度控制去噪程度,影响对原图的保留1.0完全重新生成,0.5保留一半原图特征
activation_castingactivation_castingbf16/fp16bf16计算精度选择,就像选择计算器的精度选择模型激活值的数据类型bf16适合大多数显卡,fp16适合老显卡

3.8 FluxModSamplerWrapperNode 节点 - 采样器包装器

这个节点就像是一个"适配器",让其他高级采样器也能使用压缩后的 Flux 模型。

参数详解:

参数名 (UI显示)参数名 (代码里)参数值建议值通俗解释 (能干嘛的)专业解释怎么用/举个例子
samplersamplerSAMPLER 类型其他采样器接收其他采样器,然后给它加上"压缩模型支持"接收需要包装的采样器对象连接 KSampler 或其他采样器节点
activation_castingactivation_castingbf16/fp16bf16计算精度选择,就像选择计算器的精度选择模型激活值的数据类型bf16适合大多数显卡,fp16适合老显卡

3.9 ModelMover 节点 - 模型移动器

这个节点目前看起来是一个"占位符"节点,可能是开发者预留的功能,暂时没有实际用途。

参数详解:

参数名 (UI显示)参数名 (代码里)参数值建议值通俗解释 (能干嘛的)专业解释怎么用/举个例子
samplessamplesMODEL 类型模型对象接收模型对象(但实际功能未明确)接收模型对象进行处理暂时不建议使用,功能不明确

4. 使用技巧和建议

4.1 显存选择建议

  • 24GB+ 显存:可以选择 bf16 模式,画质最好
  • 12-16GB 显存:建议选择 float8_e4m3fn (8 bit) 模式
  • 8-12GB 显存:必须使用 float8_e4m3fn (8 bit) 模式,并考虑跳过一些层

4.2 质量 vs 速度平衡

  • 追求质量:使用 bf16 模式,不跳过任何层,增加采样步数
  • 追求速度:使用 8 bit 模式,适当跳过一些层,减少采样步数
  • 平衡选择:使用 8 bit 模式,跳过 1-2 个不重要的层

4.3 工作流程建议

  1. 先用 FluxModDiffusionLoader 加载模型
  2. 如果使用 8 位模式,必须使用 KSamplerMod 而不是普通的 KSampler
  3. 如果要使用高级采样器,需要用 FluxModSamplerWrapperNode 包装
  4. 可以用 SkipLayerForward 进一步加速,但会轻微影响质量

5. 常见问题解答

Q1: 为什么我的图片质量变差了?

A: 这是正常现象,因为模型被压缩了。你可以:

  • 尝试使用 bf16 模式而不是 8 位模式
  • 减少跳过的层数
  • 增加采样步数
  • 调整 CFG 值

Q2: 我的显卡不支持 bf16 怎么办?

A: 将 activation_casting 参数改为 fp16,虽然精度稍低但兼容性更好。

Q3: 使用 8 位模式时出现错误怎么办?

A: 确保你使用的是 KSamplerMod 而不是普通的 KSampler,或者使用 FluxModSamplerWrapperNode 包装其他采样器。

Q4: 模型加载失败怎么办?

A: 检查以下几点:

  • 确保下载了正确的 universal_modulator.safetensors 文件
  • 确保 Flux 模型文件完整且未损坏
  • 确保文件放在正确的文件夹中

Q5: 生成速度还是很慢怎么办?

A: 可以尝试:

  • 使用 SkipLayerForward 跳过一些层
  • 减少采样步数
  • 使用更快的采样器如 euler
  • 降低图片分辨率

6. 总结

ComfyUI_FluxMod 插件是一个非常实用的工具,它让普通用户也能在消费级显卡上运行强大的 Flux 模型。虽然会有一些质量损失,但对于大多数应用场景来说,这个损失是可以接受的。

记住最重要的几点:

  1. 根据你的显存选择合适的量化模式
  2. 使用 8 位模式时必须用专门的采样器
  3. 可以通过跳过层来进一步加速,但要注意质量平衡
  4. 多试验不同的参数组合,找到最适合你的设置

希望这个教程能帮助你更好地使用这个插件,享受 AI 绘画的乐趣!

标签: #插件 2338
相关文章

ComfyUI错误修复插件详解:轻松解决常见问题 2025-07-10 18:25

ComfyUI-CustomMenu插件使用教程:高效自定义工作流指南 2025-07-10 17:50

ComfyUI图像合并插件comfyui-merge使用教程 2025-07-03 22:44

ComfyUI 图像合并插件教程 (comfyui-merge) 1. 插件简介 这是一个专门用来合并图片的 ComfyUI 插件,就像用 PS 把多张图片叠在一起那样。它的特别之处在于你精确控制每张图片的混合方式。 GitHub 地址:https://github.com/LingSss9/com

ComfyUI WAN 2.2视频插件教程:万相AI提示词全攻略 2025-07-31 11:47

ComfyUI WAN 2.2视频插件教程:万相AI提示词实战指南 2025-07-29 20:10

ComfyUI HeyGem数字人插件教程:零基础快速精通指南 2025-07-22 14:10

目录

从节点基础到高阶工作流,我们为你绘制最清晰的 ComfyUI 学习路径。告别困惑,让每一次连接都充满创造的魔力,轻松驾驭 AI 艺术的无限可能。

  • 微信
  • B站
  • GitHub
Copyright © 2025 AIX All Rights Reserved. Powered by AIX.
隐私政策
津ICP备2024019312号