ComfyUI 魔法书 Logo
🏠 首页
👥 加群
🔥 报错不求人
😎 大帅比
登录 →
ComfyUI 魔法书 Logo
🏠 首页 👥 加群 🔥 报错不求人 😎 大帅比
登录
  1. 首页
  2. 🧩 插件工坊 (Plugin Workshop)
  3. ComfyUI-nunchaku插件教程 AI图片生成提速技巧

ComfyUI-nunchaku插件教程 AI图片生成提速技巧

0
  • 🧩 插件工坊 (Plugin Workshop)
  • 发布于 2025-06-27
  • 182 次阅读
编程界的小学生
编程界的小学生

【版权严正声明】

本文系作者 [编程界的小学生] 原创,并拥有完整、独立的著作权。

未经本人 书面授权 ,任何单位、平台或个人, 严禁 以任何形式(包括但不限于转载、复制、摘编、修改、链接、转贴、建立镜像等)使用本文的全部或部分内容。

任何无视本声明的侵权行为,本人将依据《中华人民共和国著作权法》等相关法律法规,采取一切必要的法律手段,追究其侵权责任,要求其 立即停止侵权、赔礼道歉、消除影响,并赔偿因此造成的一切经济损失及维权成本(包括但不限于律师费、诉讼费、公证费等)。

侵权必究,切勿以身试法!

1. 插件简介

插件地址: https://github.com/mit-han-lab/ComfyUI-nunchaku

ComfyUI-nunchaku 是一个超级厉害的插件,它就像给你的电脑装了一个"涡轮增压器"!这个插件专门用来加速 FLUX 模型的图片生成,让原本需要很长时间才能生成的高质量图片,现在几秒钟就能搞定。

它能给我们带来什么效果?

  • 🚀 速度飞快:比原版快好几倍,就像从自行车换成了跑车

  • 💾 省显存:用更少的显存就能跑大模型,就像把大象装进小盒子

  • 🎨 质量不变:速度快了但图片质量一点都不差,鱼和熊掌兼得

  • 🔧 功能丰富:支持 LoRA、ControlNet、人脸替换等各种玩法

核心技术原理(用大白话说): 这个插件使用了一种叫 SVDQuant 的技术,就像把一个胖子(原始模型)通过科学减肥(量化)变成了一个身材匀称的运动员(4位模型),跑得更快但力气一点不减。

2. 如何安装

方法一:ComfyUI-Manager 安装(推荐新手)

  1. 先安装 ComfyUI 和 ComfyUI-Manager

  2. 打开 ComfyUI,点击右下角的 Manager 按钮

  3. 搜索 "ComfyUI-nunchaku"

  4. 点击安装,等待完成

方法二:手动安装

cd ComfyUI/custom_nodes
git clone https://github.com/mit-han-lab/ComfyUI-nunchaku.git

方法三:Comfy-CLI 安装

pip install comfy-cli
comfy install
comfy node registry-install ComfyUI-nunchaku

3. 节点详细解析

当前插件包含节点总数:9个 本次详细解析:9个 剩余未解析:0个

3.1 NunchakuFluxDiTLoader - FLUX模型加载器

这个节点是干嘛的? 这就像一个"超级模型管家",专门负责把经过特殊优化的 FLUX 模型加载到内存里,让它准备好为你生成图片。就像开车前要先发动引擎一样。

参数详解:

参数名 (UI显示)

参数名 (代码里)

参数值

建议值

通俗解释 (能干嘛的)

专业解释

怎么用/举个例子

模型路径

model_path

文件夹列表

根据你下载的模型

告诉电脑去哪里找你的AI模型,就像告诉司机你家地址

指定SVDQuant量化后的FLUX模型存储路径

选择你下载的模型文件夹,比如"svdq-int4-flux.1-dev"

缓存阈值

cache_threshold

0-1的小数

0.12

控制生成速度和质量的平衡,像调节汽车的油门深浅

First-Block Cache的容差控制,类似WaveSpeed的residual_diff_threshold

想要更快就调高一点到0.15,想要质量好就调低到0.05

注意力机制

attention

nunchaku-fp16/flash-attention2

nunchaku-fp16

选择大脑思考的方式,不同方式速度不同

注意力计算的实现方法,影响推理速度和兼容性

20系显卡只能选nunchaku-fp16,30系以上可以选flash-attention2

CPU卸载

cpu_offload

auto/enable/disable

auto

决定是否让CPU帮忙分担工作,像找朋友帮忙搬家

是否将transformer模型部分计算转移到CPU以节省显存

显存不够选enable,显存充足选disable,不确定选auto

设备ID

device_id

0到GPU数量-1

0

告诉程序用哪张显卡,就像选择用哪个炉子做饭

指定使用的GPU设备编号

只有一张显卡就填0,有多张显卡可以选0、1、2等

数据类型

data_type

bfloat16/float16

bfloat16

选择数字的精确程度,像选择用几位小数

模型权重的数据类型,影响精度和兼容性

20系显卡必须选float16,其他显卡推荐bfloat16

i2f模式

i2f_mode

enabled/always

enabled

20系显卡专用的加速模式,像给老车装涡轮

Turing架构GPU的GEMM实现模式

只有20系显卡需要关心,其他显卡忽略这个参数

3.2 NunchakuFluxLoraLoader - LoRA加载器

这个节点是干嘛的? LoRA就像给AI模型穿不同的"衣服",让它学会不同的绘画风格。这个节点就是"换衣间",帮AI换上你想要的风格。

参数详解:

参数名 (UI显示)

参数名 (代码里)

参数值

建议值

通俗解释 (能干嘛的)

专业解释

怎么用/举个例例

模型

model

MODEL类型

从上一个节点连接

接收前面加载好的AI模型,像接力棒传递

接收NunchakuFluxDiTLoader输出的模型对象

用线连接到NunchakuFluxDiTLoader的输出

LoRA名称

lora_name

文件列表

根据你的LoRA文件

选择你想要的绘画风格,就像选择滤镜

指定要加载的LoRA权重文件名

选择放在models/loras文件夹里的LoRA文件

LoRA强度

lora_strength

-100到100

1.0

控制风格的强烈程度,像调节滤镜的浓度

LoRA权重的缩放因子,控制风格影响强度

想要风格明显就调到1.5,想要风格淡一点就调到0.7

3.3 NunchakuTextEncoderLoaderV2 - 文本编码器加载器V2

这个节点是干嘛的? 这是AI的"翻译官",把你写的文字描述翻译成AI能理解的"密码"。就像把中文翻译成英文一样,让AI明白你想要什么图片。

参数详解:

参数名 (UI显示)

参数名 (代码里)

参数值

建议值

通俗解释 (能干嘛的)

专业解释

怎么用/举个例子

模型类型

model_type

flux.1

flux.1

告诉程序你用的是什么类型的AI模型

指定兼容的模型架构类型

目前只支持flux.1,直接选这个就行

文本编码器1

text_encoder1

文件列表

clip_l.safetensors

第一个翻译官,负责理解基本的词汇

CLIP文本编码器,处理基础语义理解

选择clip_l.safetensors文件

文本编码器2

text_encoder2

文件列表

t5xxl_fp16.safetensors

第二个翻译官,负责理解复杂的句子

T5文本编码器,处理复杂语义和长文本

选择t5xxl_fp16.safetensors或4位量化版本

T5最小长度

t5_min_length

256-1024

512

设置翻译的最小长度,像设置作文的最少字数

T5编码器的最小序列长度,影响文本理解质量

想要更好的图片质量就设置512,显存不够可以设256

3.4 NunchakuTextEncoderLoader - 文本编码器加载器(即将废弃)

这个节点是干嘛的? 这是老版本的"翻译官",功能和V2版本类似,但即将被淘汰。就像老款手机还能用,但新款更好用。

参数详解:

参数名 (UI显示)

参数名 (代码里)

参数值

建议值

通俗解释 (能干嘛的)

专业解释

怎么用/举个例子

模型类型

model_type

flux

flux

指定使用的模型架构

兼容的文本编码器架构类型

选择flux即可

文本编码器1

text_encoder1

文件列表

t5xxl_fp16.safetensors

主要的文本理解器

T5文本编码器模型文件

选择T5编码器文件

文本编码器2

text_encoder2

文件列表

clip_l.safetensors

辅助的文本理解器

CLIP文本编码器模型文件

选择CLIP编码器文件

T5最小长度

t5_min_length

256-1024

512

文本处理的最小长度

T5编码器最小序列长度参数

推荐设置为512获得更好效果

使用4位T5

use_4bit_t5

disable/enable

disable

是否使用压缩版的翻译官来省显存

是否启用4位量化的T5编码器

显存不够可以选enable,否则选disable

4位模型

int4_model

文件夹列表

none

指定压缩版翻译官的位置

4位量化T5模型的存储路径

只有启用4位T5时才需要选择对应文件夹

3.5 NunchakuDepthPreprocessor - 深度预处理器(即将废弃)

这个节点是干嘛的? 这是一个"测距仪",能够分析图片中物体的远近关系,生成深度图。就像人眼能判断哪个物体近哪个物体远一样。

参数详解:

参数名 (UI显示)

参数名 (代码里)

参数值

建议值

通俗解释 (能干嘛的)

专业解释

怎么用/举个例子

图像

image

IMAGE类型

从其他节点连接

输入要分析的图片,像给医生看X光片

待处理的输入图像数据

连接LoadImage或其他图像节点的输出

模型路径

model_path

文件夹列表

depth-anything-large-hf

选择用来分析深度的AI模型

深度估计模型的存储路径

下载depth-anything模型到checkpoints文件夹

3.6 NunchakuPulidApply - PuLID应用器(即将废弃)

这个节点是干嘛的? 这是一个"换脸大师",能把参考图片中的人脸特征应用到生成的图片上。就像美图秀秀的换脸功能,但更智能。

参数详解:

参数名 (UI显示)

参数名 (代码里)

参数值

建议值

通俗解释 (能干嘛的)

专业解释

怎么用/举个例子

PuLID

pulid

PULID类型

从PuLID加载器连接

接收人脸识别系统,像接收身份证扫描仪

PuLID模型实例,用于人脸特征提取

连接NunchakuPulidLoader的输出

图像

image

IMAGE类型

参考人脸图片

提供要模仿的人脸照片,像给化妆师看参考图

包含目标人脸特征的参考图像

上传清晰的正面人脸照片

模型

model

MODEL类型

从模型加载器连接

接收AI生成模型,像接收画笔

用于图像生成的扩散模型

连接NunchakuFluxDiTLoader的输出

IP权重

ip_weight

0-2

1.0

控制人脸相似度,像调节化妆的浓淡

身份保持的强度系数

想要更像参考人脸就调高到1.5,想要更自然就调低到0.8

3.7 NunchakuPulidLoader - PuLID加载器(即将废弃)

这个节点是干嘛的? 这是"换脸系统"的启动器,负责加载人脸识别和替换的功能。就像启动一个人脸识别App。

参数详解:

参数名 (UI显示)

参数名 (代码里)

参数值

建议值

通俗解释 (能干嘛的)

专业解释

怎么用/举个例子

模型

model

MODEL类型

从模型加载器连接

接收基础的AI模型,为它添加换脸功能

基础扩散模型,将被增强PuLID功能

连接NunchakuFluxDiTLoader的输出

3.8 NunchakuFluxPuLIDApplyV2 - FLUX PuLID应用器V2

这个节点是干嘛的? 这是升级版的"换脸大师",比老版本更智能更精确。能够更好地控制换脸的时机和强度,就像从业余化妆师升级成了专业化妆师。

参数详解:

参数名 (UI显示)

参数名 (代码里)

参数值

建议值

通俗解释 (能干嘛的)

专业解释

怎么用/举个例子

模型

model

MODEL类型

从模型加载器连接

接收AI生成模型,准备添加换脸功能

基础的FLUX扩散模型

连接NunchakuFluxDiTLoader的输出

PuLID管道

pulid_pipline

PULID_PIPELINE类型

从V2加载器连接

接收升级版的人脸处理系统

PuLID处理管道,包含完整的人脸处理流程

连接NunchakuPuLIDLoaderV2的输出

图像

image

IMAGE类型

参考人脸图片

提供要模仿的人脸照片

包含目标身份特征的参考图像

上传高质量的人脸照片

权重

weight

-1到5

1.0

控制换脸的强度,像调节相似度滑块

身份特征的影响强度系数

想要更像就调高,想要更自然就调低

开始时间

start_at

0-1

0.0

设置什么时候开始换脸,像设置化妆的开始时间

在生成过程中开始应用PuLID的时间点

通常从0开始,特殊需求可以调整

结束时间

end_at

0-1

1.0

设置什么时候停止换脸,像设置化妆的结束时间

在生成过程中停止应用PuLID的时间点

通常到1结束,可以提前结束来减少影响

注意力遮罩

attn_mask

MASK类型

可选

指定哪些区域需要换脸,像给化妆师画重点区域

控制PuLID影响区域的遮罩

目前暂不支持,留空即可

选项

options

OPTIONS类型

可选

额外的设置选项,像化妆的高级设置

附加的处理选项和参数

通常不需要设置

3.9 NunchakuPuLIDLoaderV2 - PuLID加载器V2

这个节点是干嘛的? 这是升级版的"换脸系统启动器",比老版本更完善,需要更多的组件但效果更好。就像从简单的美颜相机升级成了专业的人脸处理软件。

参数详解:

参数名 (UI显示)

参数名 (代码里)

参数值

建议值

通俗解释 (能干嘛的)

专业解释

怎么用/举个例子

模型

model

MODEL类型

从模型加载器连接

接收基础AI模型,准备为它添加换脸能力

基础的FLUX扩散模型实例

连接NunchakuFluxDiTLoader的输出

PuLID文件

pulid_file

文件列表

根据下载的文件

选择人脸处理的核心程序,像选择化妆软件

PuLID模型权重文件

下载PuLID模型到pulid文件夹并选择

EVA CLIP文件

eva_clip_file

文件列表

根据下载的文件

选择图像理解程序,像给AI装上眼睛

EVA-CLIP视觉编码器模型文件

下载EVA-CLIP模型到clip文件夹并选择

InsightFace提供者

insight_face_provider

gpu/cpu

gpu

选择人脸识别用GPU还是CPU,像选择用哪个处理器

InsightFace人脸检测的计算设备

有独立显卡选gpu,否则选cpu

3.10 NunchakuModelMerger - 模型合并器

这个节点是干嘛的? 这是一个"文件整理器",能把分散的模型文件合并成一个完整的文件,方便管理和使用。就像把散落的拼图片拼成完整的图片。

参数详解:

参数名 (UI显示)

参数名 (代码里)

参数值

建议值

通俗解释 (能干嘛的)

专业解释

怎么用/举个例子

模型文件夹

model_folder

文件夹列表

你的模型文件夹名

选择要整理的模型文件夹,像选择要打包的行李箱

包含分散模型文件的源文件夹路径

选择下载的Nunchaku模型文件夹

保存名称

save_name

文本输入

自定义名称

给合并后的文件起个名字,像给打包好的行李箱贴标签

合并后safetensors文件的文件名

输入有意义的名称,如"my-flux-model"

3.11 NunchakuWheelInstaller - 轮子安装器

这个节点是干嘛的? 这是一个"自动安装助手",能够自动下载和安装Nunchaku的核心程序。就像应用商店的自动更新功能,让你不用手动下载安装包。

参数详解:

参数名 (UI显示)

参数名 (代码里)

参数值

建议值

通俗解释 (能干嘛的)

专业解释

怎么用/举个例子

源

source

GitHub Release/HuggingFace/ModelScope

GitHub Release

选择从哪里下载程序,像选择应用商店

Nunchaku wheel包的下载源

国外用户选GitHub,国内用户可选ModelScope

版本

version

v0.3.1等

最新版本

选择要安装的版本,像选择软件的版本号

要安装的Nunchaku版本标识

选择最新的稳定版本

4. 使用技巧和建议

4.1 显存优化技巧

  • 显存不足时:启用CPU卸载,使用4位T5编码器

  • 显存充足时:关闭CPU卸载,使用完整精度模型

  • 多卡用户:合理分配device_id,避免单卡过载

4.2 速度优化建议

  • 缓存设置:cache_threshold设为0.12可获得最佳速度质量平衡

  • 注意力机制:优先选择nunchaku-fp16,速度更快

  • 批处理:支持多张图片同时生成,提高效率

4.3 质量优化要点

  • T5长度:设置t5_min_length为512获得更好的文本理解

  • LoRA强度:从1.0开始调整,根据效果微调

  • 数据类型:优先使用bfloat16(20系显卡除外)

4.4 兼容性注意事项

  • 20系显卡:必须使用float16和nunchaku-fp16

  • 30系及以上:可以使用所有功能

  • AMD显卡:目前不支持,仅支持NVIDIA显卡

5. 常见问题解答

Q1:安装后节点不显示怎么办?

A1: 检查是否正确安装了Nunchaku后端,使用NunchakuWheelInstaller节点自动安装。

Q2:生成图片时显存不够怎么办?

A2: 启用CPU卸载,使用4位T5编码器,降低batch size。

Q3:20系显卡用户应该如何设置?

A3: 必须选择float16数据类型和nunchaku-fp16注意力机制。

Q4:LoRA效果不明显怎么办?

A4: 适当提高lora_strength值,从1.0调整到1.2-1.5。

Q5:生成速度还是很慢怎么办?

A5: 检查cache_threshold设置,确保使用了正确的attention类型。

Q6:PuLID换脸效果不好怎么办?

A6: 使用高质量正面人脸照片,调整weight参数,尝试V2版本节点。

Q7:模型文件太大怎么办?

A7: 使用NunchakuModelMerger合并分散文件,或重新下载单文件版本。

Q8:如何更新到最新版本?

A8: 使用NunchakuWheelInstaller节点选择最新版本安装,然后重启ComfyUI。

6. 进阶玩法和创意应用

6.1 多LoRA叠加技巧

  • 可以串联多个NunchakuFluxLoraLoader节点

  • 每个LoRA的强度可以独立调节

  • 建议总强度不超过3.0以避免过拟合

6.2 ControlNet结合使用

  • 支持ControlNet-Union-Pro 2.0

  • 可以实现精确的姿态和构图控制

  • 结合深度图可以实现3D效果

6.3 批量生成优化

  • 支持多batch推理,提高生产效率

  • 合理设置batch size避免显存溢出

  • 可以用于大量素材的批量生产

6.4 人脸替换进阶

  • 使用PuLID V2获得更好的人脸一致性

  • 调整start_at和end_at控制替换时机

  • 结合ControlNet实现精确的人脸控制

7. 总结

ComfyUI-nunchaku 插件是一个功能强大的AI图像生成加速工具,通过SVDQuant技术实现了速度和质量的完美平衡。无论你是新手还是专业用户,都能从这个插件中获得显著的性能提升。

核心优势:

  • 🚀 生成速度提升数倍

  • 💾 显存占用大幅降低

  • 🎨 支持丰富的创意功能

  • 🔧 易于安装和使用

适用场景:

  • 专业设计师的高效创作

  • 个人用户的日常娱乐

  • 批量内容的商业生产

  • AI艺术的创意探索

希望这份教程能帮助你快速上手并充分发挥ComfyUI-nunchaku的强大功能!记住,实践是最好的老师,多试试不同的参数组合,你会发现更多有趣的玩法。

标签: #插件 2338
相关文章

ComfyUI错误修复插件详解:轻松解决常见问题 2025-07-10 18:25

ComfyUI-CustomMenu插件使用教程:高效自定义工作流指南 2025-07-10 17:50

ComfyUI图像合并插件comfyui-merge使用教程 2025-07-03 22:44

ComfyUI 图像合并插件教程 (comfyui-merge) 1. 插件简介 这是一个专门用来合并图片的 ComfyUI 插件,就像用 PS 把多张图片叠在一起那样。它的特别之处在于你精确控制每张图片的混合方式。 GitHub 地址:https://github.com/LingSss9/com

ComfyUI WAN 2.2视频插件教程:万相AI提示词全攻略 2025-07-31 11:47

ComfyUI WAN 2.2视频插件教程:万相AI提示词实战指南 2025-07-29 20:10

ComfyUI HeyGem数字人插件教程:零基础快速精通指南 2025-07-22 14:10

目录

从节点基础到高阶工作流,我们为你绘制最清晰的 ComfyUI 学习路径。告别困惑,让每一次连接都充满创造的魔力,轻松驾驭 AI 艺术的无限可能。

  • 微信
  • B站
  • GitHub
Copyright © 2025 AIX All Rights Reserved. Powered by AIX.
隐私政策
津ICP备2024019312号