ComfyUI Ollama LLMs 插件保姆级图文教程
1. 插件简介
ComfyUI Ollama LLMs 插件是一个让你在 ComfyUI 中使用本地大语言模型的神奇工具。简单来说,就像给你的 ComfyUI 装了个"聊天机器人大脑",可以让电脑帮你写文字、分析图片、组合文本等等。
插件原地址: https://github.com/fairy-root/comfyui-ollama-llms
这个插件最棒的地方是: - 完全免费,不需要花钱买会员 - 在你自己电脑上运行,隐私安全 - 支持多种语言模型,想用哪个用哪个 - 可以看图说话(需要支持视觉的模型)
2. 如何安装
第一步:安装 Ollama 软件
- 去 https://ollama.com 下载 Ollama 软件(就像下载QQ一样简单)
- 安装完成后,打开命令行(Windows按Win+R,输入cmd)
- 输入以下命令下载一个小模型来测试:
ollama pull phi3 - 然后运行模型:
ollama run phi3
第二步:安装插件
- 找到你的 ComfyUI 安装目录
- 进入
custom_nodes文件夹 - 在这里打开命令行,输入:
git clone https://github.com/fairy-root/comfyui-ollama-llms.git - 安装 Python 依赖包:
pip install ollama - 重启 ComfyUI
3. 节点逐一解析
根据插件说明,这个插件包含三个主要节点:Ollama Chat(聊天节点)、Concatenate Text LLMs(文本拼接节点)和 Ollama Vision(视觉分析节点)。
3.1 Ollama Chat 节点 - 智能聊天助手
这个节点就像你的私人助理,你问它什么,它就回答什么。可以用来写文案、改写文字、回答问题等等。
3.2 Ollama Chat 节点参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 模型名称 | model | 文本输入 | phi3 | 选择你想用的"大脑"型号 | 指定要使用的语言模型 | 输入"phi3"或"llama3"等 |
| 用户提示 | prompt | 文本输入 | 自定义 | 你想问的问题或想让它做的事 | 用户输入的提示词 | "帮我写一个关于猫的故事" |
| 系统提示 | system_prompt | 文本输入 | 可选 | 告诉它扮演什么角色 | 系统级别的角色设定 | "你是一个专业的文案写手" |
| 服务器地址 | host | 文本输入 | http://localhost:11434 | Ollama服务器的位置 | Ollama API的访问地址 | 本地使用默认即可 |
| 温度 | temperature | 数值 | 0.7 | 控制回答的"创意程度" | 生成文本的随机性参数 | 0.1=很严谨,0.9=很有创意 |
| 最大输出长度 | max_tokens | 数值 | 1000 | 限制回答的字数 | 生成文本的最大长度 | 500字短文,2000字长文 |
| 流式输出 | stream | 布尔值 | true | 是否实时显示生成过程 | 是否启用流式响应 | 开启后可以看到逐字生成 |
| 启用日志 | enable_logging | 布尔值 | false | 是否保存聊天记录 | 是否记录对话日志 | 开启后可以查看历史记录 |
3.3 Concatenate Text LLMs 节点 - 文本拼装机
这个节点就像一个文本"打包机",可以把指令和你的问题包装在一起,让语言模型更好地理解你的意图。
3.4 Concatenate Text LLMs 节点参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 指令文本 | instruction | 文本输入 | 自定义 | 告诉模型要做什么的说明书 | 给模型的任务指令 | "请将以下内容改写成正式语言" |
| 用户输入 | user_input | 文本输入 | 自定义 | 你要处理的具体内容 | 用户提供的原始文本 | "今天天气不错,我很开心" |
| 分隔符 | separator | 文本输入 | \n\n | 用什么符号把指令和内容分开 | 文本连接时的分隔符 | 用"\n\n"表示空一行 |
| 添加前缀 | add_prefix | 布尔值 | false | 是否在前面加固定文字 | 是否添加文本前缀 | 开启后可以加"任务:"等字样 |
| 前缀文本 | prefix_text | 文本输入 | 可选 | 要加在最前面的文字 | 文本前缀内容 | "重要任务:" |
| 添加后缀 | add_suffix | 布尔值 | false | 是否在后面加固定文字 | 是否添加文本后缀 | 开启后可以加"请仔细执行"等 |
| 后缀文本 | suffix_text | 文本输入 | 可选 | 要加在最后面的文字 | 文本后缀内容 | "请用中文回答" |
3.5 Ollama Vision 节点 - 图片分析师
这个节点就像一个能看图的"眼睛",可以告诉你图片里有什么,回答关于图片的问题。需要使用支持视觉的模型(比如 Llava)。
3.6 Ollama Vision 节点参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 视觉模型 | model | 文本输入 | llava | 选择能看图的"眼睛"型号 | 支持视觉的语言模型 | 输入"llava"或"llava-llama3" |
| 图像输入 | image | 图像 | 必需 | 你要分析的图片 | 输入的图像文件 | 连接图片加载节点 |
| 问题提示 | prompt | 文本输入 | 自定义 | 你想问关于图片的什么问题 | 关于图像的提示词 | "这张图片里有什么动物?" |
| 系统提示 | system_prompt | 文本输入 | 可选 | 告诉它以什么角度分析图片 | 系统级别的分析角色 | "你是专业的图片分析师" |
| 服务器地址 | host | 文本输入 | http://localhost:11434 | Ollama服务器的位置 | Ollama API的访问地址 | 本地使用默认即可 |
| 温度 | temperature | 数值 | 0.7 | 控制分析的"创意程度" | 生成文本的随机性参数 | 0.1=很客观,0.9=很有想象力 |
| 最大输出长度 | max_tokens | 数值 | 1000 | 限制分析结果的字数 | 生成文本的最大长度 | 500字简单描述,2000字详细分析 |
| 详细程度 | detail_level | 文本选择 | normal | 分析的详细程度 | 图像分析的细节级别 | low=简单,high=详细 |
| 流式输出 | stream | 布尔值 | true | 是否实时显示分析过程 | 是否启用流式响应 | 开启后可以看到逐字生成 |
| 启用日志 | enable_logging | 布尔值 | false | 是否保存分析记录 | 是否记录分析日志 | 开启后可以查看历史记录 |
4. 使用技巧和建议
4.1 模型选择建议
- 新手推荐: phi3(小巧快速,中文支持还行)
- 中文优选: qwen2(专门为中文优化)
- 看图必备: llava(能看图说话的神器)
- 专业写作: llama3(写作能力强大)
4.2 提示词技巧
- 要清楚明确,别绕弯子
- 可以给例子,比如"像这样写:..."
- 指定输出格式,比如"用列表形式回答"
- 设置角色,比如"你是专业编辑"
4.3 性能优化
- 温度设置:写事实用0.1-0.3,创意写作用0.7-0.9
- 输出长度:根据需要调整,太长会变慢
- 流式输出:想看过程就开启,追求速度就关闭
5. 常见问题解答
Q1: 为什么连接不上 Ollama?
A: 检查 Ollama 是否正在运行,命令行输入 ollama serve 启动服务。
Q2: 模型回答很慢怎么办?
A: 可能是模型太大,试试用 phi3 这种小模型,或者增加电脑内存。
Q3: 中文回答质量不好?
A: 在系统提示中加上"请用中文回答",或者换用专门的中文模型。
Q4: Vision 节点看不懂图片?
A: 确保使用的是支持视觉的模型(如 llava),并且图片格式正确。
Q5: 怎么安装更多模型?
A: 使用命令 ollama pull 模型名,比如 ollama pull llama3。
6. 进阶玩法
6.1 文本处理流水线
可以把多个节点串联起来: 1. 用 Concatenate Text 组装指令 2. 用 Ollama Chat 生成初稿 3. 再用另一个 Ollama Chat 润色
6.2 图文结合创作
- 用 Ollama Vision 分析图片
- 把分析结果传给 Ollama Chat
- 让它基于图片内容写故事或文案
6.3 多轮对话
通过连接多个 Ollama Chat 节点,可以实现"接龙式"对话,让回答更加深入。
7. 总结
这个插件就像给 ComfyUI 装了个"万能助手",能写能看能聊天。记住几个要点: - 先装好 Ollama 软件 - 选对模型很重要 - 提示词要清楚明确 - 多试试不同参数组合
有了这个插件,你的 ComfyUI 工作流会变得更加智能和高效!