ComfyUI-ExLlama-Nodes 插件完全教程

1. 插件简介

插件地址： https://github.com/Zuellni/ComfyUI-ExLlama-Nodes

这个插件就像是给 ComfyUI 装了一个"本地聊天机器人"，让你可以在自己的电脑上运行各种大语言模型（比如 ChatGPT 那样的 AI），而不需要联网。想象一下，你有一个私人助手住在你的电脑里，随时可以帮你写文章、回答问题、翻译内容等等。

能给我们带来什么效果：

• 🤖 在本地运行各种 AI 聊天模型，保护隐私
• 💬 创建对话系统，可以多轮聊天
• 📝 自动生成文本内容
• 🔧 处理和清理文本内容
• 🎯 完全离线工作，不需要网络

插件包含节点总数： 10个节点

• ExLlama 相关节点：5个（用于 AI 模型运行）
• Text 文本处理节点：5个（用于文本处理）

2. 如何安装

方法一：通过 ComfyUI Manager（推荐）

1. 打开 ComfyUI
2. 点击右下角的 "Manager" 按钮
3. 搜索 "ExLlama"
4. 找到这个插件后点击安装

方法二：手动安装

1. 找到你的 ComfyUI 安装目录
2. 进入 custom_nodes 文件夹
3. 在这里打开命令行（终端）
4. 输入以下命令：

git clone https://github.com/Zuellni/ComfyUI-ExLlama-Nodes
pip install -r ComfyUI-ExLlama-Nodes/requirements.txt

安装模型

你需要下载 AI 模型文件，就像下载游戏一样：

1. 在 ComfyUI 的 models 文件夹里创建一个叫 llm 的文件夹
2. 去 Hugging Face 网站下载支持的模型（EXL2、4-bit GPTQ 或 FP16 格式）
3. 把模型文件放到 models/llm 文件夹里

3. 节点详细解析

3.1 Loader 节点 - 模型加载器

这个节点是干嘛的？
就像启动一个游戏前要先加载游戏文件一样，这个节点负责把 AI 模型加载到内存里，让它准备好回答问题。

参数详解：

3.2 Formatter 节点 - 对话格式化器

这个节点是干嘛的？
把你的问题和 AI 的回答整理成 AI 能理解的格式，就像把散乱的对话整理成有条理的聊天记录。

参数详解：

3.3 Tokenizer 节点 - 文本编码器

这个节点是干嘛的？
把人类的文字转换成 AI 能理解的数字代码，就像把中文翻译成计算机语言。

参数详解：

3.4 Settings 节点 - 生成设置器

这个节点是干嘛的？
控制 AI 回答的风格和随机性，就像调节收音机的音量、音调一样，让 AI 的回答更符合你的需要。

参数详解：

3.5 Generator 节点 - 文本生成器

这个节点是干嘛的？
这是最核心的节点，让 AI 真正开始"思考"并生成回答，就像按下"开始对话"按钮。

参数详解：

3.6 Clean 节点 - 文本清理器

这个节点是干嘛的？
就像给文字"洗澡"一样，去掉多余的空格、标点，统一大小写，让文字变得整洁干净。

参数详解：

3.7 Message 节点 - 消息创建器

这个节点是干嘛的？
创建对话消息，就像在聊天软件里发消息一样，可以指定是谁说的话（系统、用户还是助手）。

参数详解：

3.8 Preview 节点 - 文本预览器

这个节点是干嘛的？
显示生成的文字内容，就像聊天软件的消息显示框，让你看到 AI 说了什么。

参数详解：

3.9 Replace 节点 - 文本替换器

这个节点是干嘛的？
像填空题一样，把文字模板里的占位符替换成真实内容，比如把"{name}"替换成"小明"。

参数详解：

3.10 String 节点 - 字符串常量

这个节点是干嘛的？
就是一个文字输入框，用来输入固定的文字内容，像便签纸一样记录文字。

参数详解：

4. 使用技巧和建议

4.1 显存优化技巧

• 显存不够用？ 把 Loader 节点的 cache_bits 设为 4，开启 flash_attention
• 需要长对话？ 适当增加 max_seq_len，但要注意显存消耗
• 批量处理？ 开启 Generator 的 unload 选项，处理完自动释放显存

4.2 生成质量优化

• 要创意回答？ 提高 Settings 的 temperature 到 1.5-2.0
• 要准确回答？ 降低 temperature 到 0.1-0.3
• 避免重复？ 设置 penalty 为 1.1-1.2
• 控制长度？ 合理设置 max_tokens 和 stop_conditions

4.3 工作流建议

1. 基础对话流程： String → Message → Formatter → Tokenizer → Generator → Preview
2. 多轮对话： 多个 Message 节点串联，最后连接 Formatter
3. 文本处理： Generator → Clean → Preview，清理生成的文字
4. 模板应用： String → Replace → Message，使用文字模板

5. 常见问题解答

Q1: 为什么加载模型很慢？

A: 这是正常的，AI 模型文件很大（几个GB到几十GB），第一次加载需要时间。就像启动大型游戏一样，耐心等待即可。

Q2: 显存不够怎么办？

A:

• 降低 cache_bits 到 4
• 开启 flash_attention
• 减少 max_seq_len
• 开启 Generator 的 unload 选项

Q3: AI 回答很奇怪怎么办？

A:

• 检查 temperature 是否设置过高
• 确认 Messages 的 role 设置正确
• 尝试调整 penalty 参数
• 检查模型是否适合当前任务

Q4: 如何实现多轮对话？

A: 使用多个 Message 节点，按顺序连接：

1. 第一个 Message（system 角色）设置 AI 性格
2. 第二个 Message（user 角色）输入用户问题
3. 可以继续添加更多 Message 节点形成对话历史

Q5: 生成速度太慢怎么办？

A:

• 检查是否开启了 flash_attention
• 确认显卡支持 CUDA
• 尝试使用更小的模型
• 减少 max_tokens 设置

6. 高级应用示例

6.1 智能客服系统

String("你是一个专业的客服助手") → Message(system) 
→ String("用户问题：{question}") → Replace → Message(user) 
→ Formatter → Tokenizer → Generator → Clean → Preview

6.2 文章续写工具

String("请续写这篇文章：") → Message(user) 
→ Formatter → Tokenizer → Settings(temperature=1.2) → Generator → Preview

6.3 代码解释器

String("请解释这段代码：{code}") → Replace → Message(user) 
→ Formatter → Tokenizer → Settings(temperature=0.3) → Generator → Preview

7. 总结

这个插件为 ComfyUI 带来了强大的本地 AI 对话能力，通过 10 个精心设计的节点，你可以：

• 🤖 运行各种大语言模型
• 💬 创建复杂的对话系统
• 📝 处理和生成文本内容
• 🔧 精细控制 AI 的行为

节点统计：

• 总节点数：10个
• ExLlama 节点：5个（Loader, Formatter, Tokenizer, Settings, Generator）
• Text 节点：5个（Clean, Message, Preview, Replace, String）
• 本次已全部输出：10/10个节点

无论你是 AI 新手还是高级用户，这个插件都能满足你的需求。从简单的问答到复杂的文本处理，一切都在你的掌控之中！