%20(1).png)
YALLM-LlamaVision 插件保姆级使用教程
1. 插件简介
YALLM-LlamaVision 是一个专门为 ComfyUI 设计的插件，它的作用就像是给你的 ComfyUI 装了一双"会看图说话的眼睛"。简单来说，你可以给它一张图片和一个问题，它就能像人一样看懂图片内容，然后用文字回答你的问题。
GitHub 原地址： https://github.com/asaddi/YALLM-LlamaVision
能带来什么效果：
- 让电脑像人一样"看懂"图片内容
- 自动生成图片描述文字
- 回答关于图片的各种问题
- 帮助你理解图片中的细节信息
想象一下，这就像是雇了一个很厉害的助手，你给他看任何图片，他都能告诉你图片里有什么，发生了什么事情。
2. 如何安装
方法一：手动安装（推荐新手）
1. 打开你的 ComfyUI 文件夹
2. 找到 custom_nodes 文件夹（就是放插件的地方）
3. 在这个文件夹里打开命令行窗口
4. 输入命令：git clone https://github.com/asaddi/YALLM-LlamaVision.git
5. 等待下载完成
方法二：通过 ComfyUI Manager 安装 1. 在 ComfyUI 界面中找到 Manager 按钮 2. 点击 "Install Custom Nodes" 3. 搜索 "YALLM-LlamaVision" 4. 点击安装
安装依赖包： 安装完插件后，你需要安装一些必要的"工具包"：
pip install -r YALLM-LlamaVision/requirements.txt
这个命令会自动安装所需的软件包，包括升级 Huggingface transformers 模块到 4.45 或更高版本。
3. 节点详细解析
基于插件的功能描述，这个插件主要包含以下几个核心节点：
3.1 Load Llama Vision Model 节点（加载模型节点）
这个节点就像是"请老师进教室"的过程。在开始让电脑看图说话之前，你得先把"会看图的老师"（也就是 Llama Vision 模型）请到你的电脑里。
参数详解：
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 模型名称 | model_name | 字符串 | unsloth/Llama-3.2-11B-Vision-Instruct-bnb-4bit | 选择你要用的"老师"是谁 | 指定要加载的预训练模型名称 | 就像选择请哪个老师来上课，默认选择已经"瘦身"过的老师（占用内存更少） |
| 量化方式 | quantization | nf4/int8/none | nf4 | 决定模型是"原版"还是"压缩版" | 选择模型的量化方式以节省显存 | nf4 就像把老师的书本压缩打包，占用空间更小但效果差不多 |
| 设备类型 | device | auto/cpu/cuda | auto | 选择用电脑的哪个部分来运行 | 指定模型运行的硬件设备 | auto 让电脑自己选择最合适的方式，通常会选择显卡 |
| 缓存目录 | cache_dir | 路径 | 默认路径 | 决定把模型文件放在哪里 | 指定模型文件的存储位置 | 就像决定把书放在哪个书架上 |
3.2 Llama Vision Captioner 节点（图片说话节点）
这个节点就是真正的"看图说话"功能。你把图片和问题给它，它就能像人一样回答你。
参数详解：
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 模型 | model | 模型对象 | - | 连接之前加载的"老师" | 接收来自加载节点的模型对象 | 必须连接上面的加载节点，就像确保老师已经进教室了 |
| 图片 | image | 图片对象 | - | 你要让它看的图片 | 输入要分析的图像数据 | 连接任何图片节点，比如加载图片节点 |
| 提示词 | prompt | 文本 | "请描述这张图片" | 你想问的问题 | 给模型的文本指令 | 可以问"图片里有什么？"、"这个人在做什么？"等等 |
| 最大长度 | max_length | 数字 | 256 | 回答最多能说多少个字 | 控制输出文本的最大长度 | 就像限制老师回答不能超过多少个字 |
| 随机性 | temperature | 0.0-2.0 | 0.6 | 回答的创意程度 | 控制文本生成的随机性 | 数字越大回答越有创意，越小回答越固定 |
3.3 LLM Sampler Settings 节点（回答设置节点）
这个节点就像是给"老师"设置讲课风格的工具。这个节点是完全可选的，不用它的话，模型会使用默认设置，通常是：温度 0.6，top-p 0.9。
参数详解：
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 温度 | temperature | 0.0-2.0 | 0.6 | 控制回答的创意程度 | 调节文本生成的随机性 | 0.1很严谨，1.0比较有创意，2.0很随性 |
| Top-p | top_p | 0.0-1.0 | 0.9 | 控制用词的丰富程度 | 控制词汇选择的多样性 | 0.5用词保守，0.9用词丰富 |
| Top-k | top_k | 数字 | 50 | 每次选择考虑多少个词 | 限制每步生成时考虑的词汇数量 | 就像老师每次说话时从多少个词里选择 |
| 重复惩罚 | repetition_penalty | 数字 | 1.0 | 避免重复说同样的话 | 减少输出文本中的重复内容 | 1.0正常，1.2轻微避免重复，1.5强力避免重复 |
| 最大新词数 | max_new_tokens | 数字 | 256 | 最多能生成多少个新词 | 控制输出文本的最大长度 | 就像限制老师最多能说多少个新词 |
4. 使用技巧和建议
显存要求： - 推荐至少 10GB 显存来获得最佳效果 - 如果显存不够，选择 nf4 量化版本的模型 - int8 量化需要大约 15-15.5GB 显存
模型选择建议： - 新手推荐：使用默认的 nf4 量化模型 - 如果你有足够显存：可以尝试原版模型获得更好效果 - 不建议使用 int8 量化，因为模型使用后无法释放显存
提示词技巧： - 问题要具体明确，比如"描述图片中人物的动作"而不是"说说这图片" - 可以要求特定格式，比如"用列表形式描述图片内容" - 尝试不同的问题角度，比如"从艺术角度分析这张图"
性能优化： - 第一次使用会比较慢，因为要下载模型 - 模型默认下载到 ComfyUI 的 models/LLM 目录 - 可以通过修改配置文件来改变模型存储位置
5. 常见问题解答
Q: 提示"显存不足"怎么办？ A: 选择 nf4 量化版本的模型，它占用的显存最少。如果还是不够，可以尝试关闭其他占用显存的程序。
Q: 模型下载很慢怎么办？ A: 这是正常现象，模型文件比较大。可以使用科学上网工具加速下载，或者在网络好的时候下载。
Q: 回答的内容不准确怎么办？ A: 尝试调整提示词，让问题更具体。也可以调整温度参数，降低温度会让回答更保守准确。
Q: 能处理中文提示词吗？ A: 可以，但英文提示词通常效果会更好，因为模型主要用英文训练。
Q: 支持哪些图片格式？ A: 支持常见的图片格式如 PNG、JPG、JPEG 等。
6. 实际应用场景
创意写作辅助： - 上传一张风景图，让它生成诗歌或故事开头 - 分析艺术作品，获得创作灵感
内容创作： - 为图片生成社交媒体文案 - 制作图片说明和标题
教育用途： - 帮助理解复杂图表或科学图像 - 分析历史照片或艺术作品
辅助工具： - 为视觉障碍人士描述图片内容 - 快速整理和分类图片素材
记住，这个插件就像是给你的 ComfyUI 装上了一双"智能眼睛"，让它能够像人一样理解和描述图片内容。多多练习和尝试，你会发现它在各种场景下都能发挥很大的作用！