ComfyUI-decadetw-auto-prompt-llm 插件完整教程
1. 插件简介
ComfyUI-decadetw-auto-prompt-llm 是一个超强的自动提示词生成插件,GitHub地址:https://github.com/xlinx/ComfyUI-decadetw-auto-prompt-llm
这个插件简单来说就是一个"智能助手",它能帮你:
- 把简单的几个词变成超级详细的提示词,就像把"一个女孩"变成"一个穿着华丽礼服的女孩在舞台上唱歌,灯光闪烁,观众欢呼"
- 看图说话,分析你的图片然后生成新的提示词
- 像聊天一样连续生成一系列相关的图片,制作图片故事
- 自动发消息到你的手机(支持LINE、Telegram、Discord)
2. 如何安装
方法一:通过ComfyUI Manager(推荐)
- 打开ComfyUI,点击右侧的"Manager"按钮
- 选择"Install Custom Nodes"
- 在搜索框输入"auto"
- 找到"ComfyUI-decadetw-auto-prompt-llm",点击Install
- 重启ComfyUI
方法二:手动安装
- 进入ComfyUI的custom_nodes文件夹
- 运行命令:
git clone https://github.com/xlinx/ComfyUI-decadetw-auto-prompt-llm.git - 重启ComfyUI
前置条件
使用前需要先安装以下任意一个大语言模型服务:
- LM Studio (支持Windows、Mac、Linux) - 推荐新手使用
- Ollama (支持Windows、Mac、Linux)
- KoboldCpp
3. 节点详解
3.1 Auto-LLM-Text 节点
这个节点就像一个"文字魔法师",你给它几个关键词,它就能帮你编出一大段详细的描述。
3.1.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| LLM服务器地址 | llm_server_url | 文本输入 | http://localhost:1234/v1 | 就像你家的门牌号,告诉插件去哪里找大脑(AI模型) | LLM服务的API端点地址 | 如果用LM Studio,默认就是这个地址 |
| 模型名称 | model_name | 文本输入 | llama-3.1-8b-instruct | 就像选择哪个助手来帮你,不同助手有不同特长 | 指定使用的语言模型名称 | 根据你安装的模型填写,比如"qwen1.5-4b-chat" |
| 用户提示词 | user_prompt | 文本输入 | 一个超级明星在舞台上 | 你想要的画面描述,越简单越好 | 用户输入的原始提示内容 | 比如"一个女孩在花园里" |
| 系统提示词 | system_prompt | 文本输入 | 你是一个专业的提示词工程师... | 告诉AI它的身份和工作方式,像给它一个工作说明书 | 定义AI助手的角色和行为规范 | 默认的就很好用,不用改 |
| 最大生成长度 | max_tokens | 数字 | 512 | 限制AI最多能说多少个词,就像给它一个字数限制 | 控制生成文本的最大长度 | 太小会截断,太大会浪费时间,512刚好 |
| 温度 | temperature | 小数 | 0.7 | 控制AI的创意程度,越高越天马行空 | 控制生成文本的随机性和创造性 | 0.7有创意又不会太离谱 |
| 保留前缀 | keep_prefix | 布尔值 | True | 是否保留你原来的提示词在新生成的前面 | 是否在生成内容前保留原始提示 | 选True能保持一致性 |
| 翻译语言 | translate_to | 文本输入 | chinese | 把生成的英文翻译成你想要的语言 | 目标翻译语言 | 填"chinese"会翻译成中文 |
3.2 Auto-LLM-Vision 节点
这个节点就像一个"看图说话专家",你给它一张图片,它就能分析图片内容然后生成新的提示词。
3.2.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| LLM服务器地址 | llm_server_url | 文本输入 | http://localhost:1234/v1 | 就像你家的门牌号,告诉插件去哪里找大脑(AI模型) | LLM服务的API端点地址 | 如果用LM Studio,默认就是这个地址 |
| 视觉模型名称 | vision_model_name | 文本输入 | llava-llama-3.1-8b | 专门用来看图片的AI模型,就像一个专业的图片分析师 | 指定使用的视觉语言模型名称 | 需要支持图片分析的模型 |
| 输入图像 | input_image | 图像 | - | 你要让AI分析的图片 | 需要处理的输入图像 | 拖拽图片或连接其他节点的图片输出 |
| 用户提示词 | user_prompt | 文本输入 | 描述这张图片里的内容 | 告诉AI你想让它从图片中看到什么 | 用户对图像分析的具体要求 | 比如"这个人在做什么动作?" |
| 系统提示词 | system_prompt | 文本输入 | 你是一个专业的图像分析师... | 告诉AI它的身份和分析方式 | 定义AI在图像分析中的角色 | 默认的就很好用,不用改 |
| 最大生成长度 | max_tokens | 数字 | 512 | 限制AI最多能说多少个词 | 控制生成文本的最大长度 | 512个词足够描述大部分图片了 |
| 温度 | temperature | 小数 | 0.7 | 控制AI描述的创意程度 | 控制生成文本的随机性 | 0.7让描述既准确又有趣 |
| 翻译语言 | translate_to | 文本输入 | chinese | 把生成的英文翻译成你想要的语言 | 目标翻译语言 | 填"chinese"会翻译成中文 |
3.3 Auto-LLM-Text-Vision 节点
这个节点是前两个节点的组合版,既能处理文字也能处理图片,就像一个"全能助手"。
3.3.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| LLM服务器地址 | llm_server_url | 文本输入 | http://localhost:1234/v1 | 就像你家的门牌号,告诉插件去哪里找大脑(AI模型) | LLM服务的API端点地址 | 如果用LM Studio,默认就是这个地址 |
| 文本模型名称 | text_model_name | 文本输入 | llama-3.1-8b-instruct | 处理文字的AI模型 | 指定用于文本处理的语言模型 | 根据你安装的文本模型填写 |
| 视觉模型名称 | vision_model_name | 文本输入 | llava-llama-3.1-8b | 处理图片的AI模型 | 指定用于图像处理的视觉语言模型 | 需要支持图片分析的模型 |
| 输入图像 | input_image | 图像 | - | 你要让AI分析的图片 | 需要处理的输入图像 | 拖拽图片或连接其他节点的图片输出 |
| 用户提示词 | user_prompt | 文本输入 | 根据图片生成新的创意 | 告诉AI你想要什么样的结果 | 用户对处理结果的具体要求 | 比如"结合图片内容,创作一个故事" |
| 系统提示词 | system_prompt | 文本输入 | 你是一个创意大师... | 告诉AI它的身份和工作方式 | 定义AI助手的角色和行为规范 | 默认的就很好用,不用改 |
| 最大生成长度 | max_tokens | 数字 | 512 | 限制AI最多能说多少个词 | 控制生成文本的最大长度 | 512个词足够创作一个小故事 |
| 温度 | temperature | 小数 | 0.7 | 控制AI的创意程度 | 控制生成文本的随机性和创造性 | 0.7让创意既有趣又不会太离谱 |
| 翻译语言 | translate_to | 文本输入 | chinese | 把生成的英文翻译成你想要的语言 | 目标翻译语言 | 填"chinese"会翻译成中文 |
3.4 Auto-LLM-Chat 节点
这个节点像一个"聊天机器人",可以和AI进行连续对话,非常适合创作连续的故事或者深入探讨某个主题。
3.4.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| LLM服务器地址 | llm_server_url | 文本输入 | http://localhost:1234/v1 | 就像你家的门牌号,告诉插件去哪里找大脑(AI模型) | LLM服务的API端点地址 | 如果用LM Studio,默认就是这个地址 |
| 模型名称 | model_name | 文本输入 | llama-3.1-8b-instruct | 用来聊天的AI模型 | 指定使用的对话模型名称 | 根据你安装的模型填写 |
| 聊天消息 | chat_message | 文本输入 | 你好,我想创作一个故事 | 你想对AI说的话,就像微信聊天 | 用户发送给AI的消息内容 | 比如"继续刚才的故事" |
| 聊天历史 | chat_history | 文本输入 | 空 | 之前的对话记录,让AI记住前面聊过什么 | 保存的对话历史记录 | 可以连接前一个Chat节点的输出 |
| 系统提示词 | system_prompt | 文本输入 | 你是一个友好的助手... | 告诉AI它的身份和聊天风格 | 定义AI在对话中的角色 | 默认的就很好用,不用改 |
| 最大生成长度 | max_tokens | 数字 | 512 | 限制AI每次回复的字数 | 控制单次回复的最大长度 | 512个词足够一次完整的回复 |
| 温度 | temperature | 小数 | 0.7 | 控制AI回复的创意程度 | 控制生成文本的随机性 | 0.7让对话既自然又有趣 |
3.5 Auto-Msg 节点
这个节点就像一个"消息推送器",能把生成的结果发送到你的手机上,支持LINE、Telegram、Discord等平台。
3.5.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 消息平台 | platform | 选择框 | telegram | 选择你想发送到哪个平台 | 目标消息发送平台 | 选择你常用的聊天软件 |
| 机器人令牌 | bot_token | 文本输入 | - | 就像你的身份证,让平台知道是你在发消息 | 平台API的认证令牌 | 需要在对应平台申请机器人获取 |
| 聊天ID | chat_id | 文本输入 | - | 收消息的人的ID号码 | 目标接收者的唯一标识 | 可以是你自己的ID或群组ID |
| 消息内容 | message | 文本输入 | - | 要发送的消息内容 | 实际发送的消息文本 | 通常连接其他节点的输出 |
| 启用发送 | enabled | 布尔值 | True | 是否真的发送消息,调试时可以关闭 | 控制是否实际发送消息 | 调试时设False,正式使用设True |
3.6 Before-After Script 节点
这个节点就像一个"定时执行器",可以在AI处理前后自动执行一些命令,比如清理内存、保存文件等。
3.6.1 参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 前置脚本 | before_script | 文本输入 | 空 | 在AI开始工作前要做的事情 | LLM处理前执行的脚本命令 | 比如清理临时文件的命令 |
| 后置脚本 | after_script | 文本输入 | 空 | 在AI完成工作后要做的事情 | LLM处理后执行的脚本命令 | 比如释放内存的命令 |
| 脚本类型 | script_type | 选择框 | command | 选择脚本的类型 | 指定脚本的执行方式 | command(命令行)或javascript |
| 启用执行 | enabled | 布尔值 | True | 是否真的执行脚本 | 控制是否实际执行脚本 | 调试时设False,正式使用设True |
4. 使用技巧和建议
4.1 提示词编写技巧
- 简洁明了:用最少的词描述核心概念,比如"一个女孩在花园里"而不是"一个美丽的女孩穿着白色裙子站在充满鲜花的花园里"
- 关键词优先:把最重要的元素放在前面,让AI抓住重点
- 预留空间:不要把所有细节都写完,给AI发挥的空间
4.2 模型选择建议
- 新手推荐:使用4B参数的模型,内存占用小,速度快
- 质量优先:使用7B-8B参数的模型,效果更好但需要更多内存
- 视觉任务:必须使用支持图片的模型,如llava系列
4.3 工作流程建议
- 单次测试:先用Auto-LLM-Text测试基本功能
- 图文结合:用Auto-LLM-Vision分析参考图片
- 故事创作:用Auto-LLM-Chat创作连续故事
- 批量生成:设置好参数后批量生成图片
4.4 性能优化
- 内存管理:使用After Script释放模型内存
- 并发控制:不要同时运行多个LLM节点
- 网络稳定:确保LLM服务器连接稳定
5. 常见问题解答
5.1 安装问题
Q:安装后找不到节点怎么办?
A:重启ComfyUI,如果还是找不到,检查custom_nodes文件夹是否有插件文件夹。
Q:显示"模型加载失败"怎么办?
A:确保LM Studio或Ollama正在运行,并且模型名称填写正确。
5.2 使用问题
Q:生成的提示词都是英文怎么办?
A:在translate_to参数中填写"chinese",插件会自动翻译。
Q:AI回复速度很慢怎么办?
A:可能是模型太大,尝试使用更小的模型,或者增加电脑内存。
Q:生成的内容质量不好怎么办?
A:调整温度参数,0.3-0.5更保守,0.7-0.9更有创意。
5.3 连接问题
Q:连接LM Studio失败怎么办?
A:检查LM Studio是否开启了服务器模式,默认端口是1234。
Q:Ollama连接不上怎么办?
A:确保Ollama服务正在运行,端口通常是11434。
6. 实际应用场景
6.1 艺术创作
- 概念艺术:从简单想法扩展出详细的视觉描述
- 角色设计:通过对话逐步完善角色设定
- 场景构建:利用视觉分析创建相关场景
6.2 故事创作
- 连环画:使用Chat节点创作连续故事
- 插画书:结合文本和视觉生成配套插图
- 概念设计:快速迭代创意想法
6.3 商业应用
- 产品展示:生成多样化的产品宣传图
- 广告创意:快速生成创意广告概念
- 内容营销:批量生成社交媒体内容
6.4 教育用途
- 教学演示:生成教学用的示例图片
- 创意启发:帮助学生扩展想象力
- 项目展示:快速制作项目演示材料
7. 进阶技巧
7.1 链式处理
将多个节点串联使用,形成复杂的处理流程:
- Auto-LLM-Text生成基础描述
- Auto-LLM-Vision分析参考图片
- Auto-LLM-Chat优化最终结果
7.2 批处理设置
使用Before-After Script节点实现自动化批处理:
- 前置脚本读取待处理列表
- 后置脚本清理临时文件
- 循环处理大量内容
7.3 多语言支持
利用翻译功能创作多语言内容:
- 英文生成质量更高
- 中文翻译便于理解
- 可以生成其他语言版本
这个插件功能强大,可以大大提高你的创作效率。记住,多试验、多调整参数,找到最适合你的使用方式。祝你创作愉快!