ComfyUI_VisualAttentionMap 插件 - 让你看见AI是如何"理解"文字的神奇工具

1. 插件简介

插件地址： https://github.com/leeguandong/ComfyUI_VisualAttentionMap

这个插件就像给你的眼睛装上了"透视镜"，让你能够直接看到AI在生成图片时是如何"理解"和"关注"你输入的文字的。

想象一下，当你告诉AI画一只"红色的猫坐在蓝色的沙发上"时，AI的"大脑"会把注意力分配给不同的词汇——它会关注"红色"、"猫"、"蓝色"、"沙发"等。这个插件就像一个"读心术"工具，把AI的这种"注意力分配"过程用颜色图谱的方式展示出来，让你直观地看到AI最关注哪些词汇，以及这些词汇是如何影响最终图片生成的。

这对于想要精确控制AI绘画效果、理解为什么某些提示词没有生效的朋友来说，简直是一个宝藏工具！

2. 如何安装

方法一：使用ComfyUI Manager（推荐）

1. 打开ComfyUI
2. 找到Manager按钮点击进入
3. 搜索"VisualAttentionMap"
4. 点击安装并重启ComfyUI

方法二：手动安装

1. 找到你的ComfyUI安装文件夹
2. 进入custom_nodes文件夹
3. 打开命令行，输入：

   git clone https://github.com/leeguandong/ComfyUI_VisualAttentionMap.git
   

4. 重启ComfyUI

3. 节点逐一解析

3.1 HF ModelLoader - 模型加载器（就像给汽车加油）

这个节点就像一个"模型搬运工"，负责把AI模型从硬盘里搬到内存里，让AI能够开始工作。就像你要开车前必须先给车加油一样。

参数详解：

| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
| :— | :— | :— | :— | :— | :— | :— |
| 模型路径 | model_path | 文本输入 | 根据实际模型位置 | 告诉电脑AI模型藏在哪个文件夹里 | 指定Hugging Face格式模型的本地存储路径 | 输入：/models/stable-diffusion-v1-5 |
| 模型名称 | model_name | 文本输入 | 根据实际模型 | 给模型起个名字，方便识别 | 指定要加载的具体模型标识符 | 输入：runwayml/stable-diffusion-v1-5 |
| 设备类型 | device | 下拉选择 | auto | 选择用什么硬件来运行AI（就像选择用电脑还是手机） | 指定模型运行的硬件设备 | 选择：cuda(显卡)、cpu(处理器)、auto(自动) |

3.2 Text2Image Inference - 文字变图片的魔法师

这个节点就是整个插件的"大脑"，它接收你输入的文字描述，然后像一个魔法师一样把文字变成图片，同时还会记录下AI在这个过程中的"注意力分配"情况。

参数详解：

| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
| :— | :— | :— | :— | :— | :— | :— |
| 提示词 | prompt | 文本输入 | 根据需要 | 告诉AI你想画什么（就像给画家下订单） | 正向提示词，描述期望生成的图像内容 | 输入：a red cat sitting on blue sofa |
| 反向提示词 | negative_prompt | 文本输入 | 常见不想要的内容 | 告诉AI你不想要什么（就像告诉厨师不要放香菜） | 负向提示词，描述不希望出现的图像内容 | 输入：blurry, low quality, bad anatomy |
| 图片宽度 | width | 数字输入 | 512 | 决定图片有多宽（就像选择照片尺寸） | 生成图像的像素宽度 | 输入：512、768、1024 |
| 图片高度 | height | 数字输入 | 512 | 决定图片有多高（就像选择照片尺寸） | 生成图像的像素高度 | 输入：512、768、1024 |
| 推理步数 | num_inference_steps | 数字输入 | 20-50 | AI"思考"多少次才出结果（步数越多越精细，但越慢） | 扩散模型的去噪迭代次数 | 输入：20(快速)、50(精细) |
| 引导强度 | guidance_scale | 数字输入 | 7.5 | AI听话程度（数字越大越听你的话，但可能过度） | 分类器自由引导的强度系数 | 输入：7.5(标准)、15(更听话) |
| 随机种子 | seed | 数字输入 | -1 | 控制随机性的"密码"（相同种子=相同结果） | 随机数生成器的种子值 | 输入：-1(随机)、12345(固定) |

3.3 Decode Latent - 图片解码器（就像照片冲洗）

这个节点就像传统胶片相机的"冲洗机"，把AI内部的"潜在图像"（你看不懂的数据）转换成你能看懂的普通图片。

参数详解：

| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
| :— | :— | :— | :— | :— | :— | :— |
| 潜在图像 | latent | 连接输入 | 来自上一步 | 接收AI内部的"半成品图像" | 接收来自扩散模型的潜在空间表示 | 连接Text2Image Inference的输出 |
| VAE解码器 | vae | 连接输入 | 对应模型的VAE | 选择用哪个"冲洗机"来处理图像 | 变分自编码器，用于潜在空间到图像空间的转换 | 连接对应的VAE模型 |

3.4 Show Images - 图片展示台

这个节点就像一个"相册"，把生成的图片整齐地展示出来，让你能够看到最终的作品。

参数详解：

| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
| :— | :— | :— | :— | :— | :— | :— |
| 图片输入 | images | 连接输入 | 来自解码器 | 接收要展示的图片 | 接收解码后的图像张量 | 连接Decode Latent的输出 |
| 标题 | title | 文本输入 | 自定义 | 给图片起个标题（就像给照片写标签） | 图像显示时的标题文本 | 输入：Generated Image |

3.5 Show CrossAttn Map - 交叉注意力地图展示器

这个节点就像一个"读心术展示板"，显示AI在理解你的文字时，每个词汇对图片不同区域的"关注程度"。想象成一个热力图，红色表示AI很关注，蓝色表示AI不太关注。

参数详解：

| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
| :— | :— | :— | :— | :— | :— | :— |
| 注意力控制器 | attention_controller | 连接输入 | 来自推理节点 | 接收AI的"注意力记录本" | 接收存储注意力权重的控制器对象 | 连接Text2Image Inference的输出 |
| 词汇索引 | token_index | 数字输入 | 0 | 选择看哪个词汇的注意力（就像选择看哪个演员的特写） | 指定要可视化的词汇在序列中的位置 | 输入：0(第一个词)、3(第四个词) |
| 层级索引 | layer_index | 数字输入 | 8 | 选择看AI大脑的哪一层（就像选择看建筑的哪一层） | 指定要可视化的Transformer层级 | 输入：8(中间层)、15(深层) |
| 颜色映射 | colormap | 下拉选择 | viridis | 选择用什么颜色来表示关注度（就像选择地图的配色方案） | 指定注意力热力图的颜色映射方案 | 选择：viridis、hot、cool |

3.6 Show SelfAttn Map - 自注意力地图展示器

这个节点展示的是AI内部不同区域之间的"对话"，就像看一个会议室里每个人都在关注谁说话。它显示图片的各个区域是如何相互影响的。

参数详解：

| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
| :— | :— | :— | :— | :— | :— | :— |
| 注意力控制器 | attention_controller | 连接输入 | 来自推理节点 | 接收AI的"注意力记录本" | 接收存储注意力权重的控制器对象 | 连接Text2Image Inference的输出 |
| 头部索引 | head_index | 数字输入 | 0 | 选择看AI的哪个"思考角度"（就像选择从哪个角度看问题） | 指定要可视化的注意力头索引 | 输入：0(第一个头)、7(第八个头) |
| 层级索引 | layer_index | 数字输入 | 8 | 选择看AI大脑的哪一层（就像选择看建筑的哪一层） | 指定要可视化的Transformer层级 | 输入：8(中间层)、15(深层) |
| 分辨率 | resolution | 数字输入 | 64 | 决定注意力图的清晰度（就像选择显示器分辨率） | 注意力图的空间分辨率 | 输入：32(模糊)、64(清晰) |
| 颜色映射 | colormap | 下拉选择 | viridis | 选择用什么颜色来表示关注度（就像选择地图的配色方案） | 指定注意力热力图的颜色映射方案 | 选择：viridis、hot、cool |

4. 使用技巧和建议

4.1 推荐的工作流程

1. 先连接HF ModelLoader：就像开车前先发动引擎
2. 设置Text2Image Inference：这是核心，要仔细调参数
3. 同时连接两个Show节点：这样可以同时看到不同类型的注意力图
4. 多试几个layer_index：不同层级会显示不同的信息，就像从不同楼层看风景

4.2 参数调优建议

• 推理步数：新手建议20-30步，够用且速度快
• 引导强度：7.5是万金油，如果效果不明显可以调到12-15
• 词汇索引：从0开始试，逐个查看每个词汇的影响
• 层级索引：中间层（8-12层）通常效果最明显

4.3 注意力图解读技巧

• 颜色越亮：表示AI越关注这个区域
• CrossAttn Map：看文字对图片区域的影响
• SelfAttn Map：看图片区域之间的相互作用
• 对比不同词汇：可以发现哪些词汇最有"发言权"

5. 常见问题解答

Q1：为什么我的注意力图看起来很乱？

A1： 可能是layer_index设置不对。试试8-12这个范围，这些层级的注意力图通常最清晰。

Q2：CrossAttn Map全是一个颜色，没有变化怎么办？

A2： 检查token_index是否正确。记住索引从0开始，如果你的提示词是"red cat"，那么0代表"red"，1代表"cat"。

Q3：生成速度很慢怎么办？

A3： 降低num_inference_steps到20，或者把图片尺寸调小到512x512。

Q4：模型加载失败？

A4： 检查model_path是否正确，确保路径中没有中文字符，模型文件确实存在。

Q5：注意力图看不清楚？

A5： 试试不同的colormap，推荐使用"hot"或"viridis"。同时可以调整resolution参数。

6. 进阶玩法

6.1 对比实验

• 使用相同的图片生成参数，只改变提示词中的一个词汇
• 对比不同词汇的注意力图，找出哪个词汇最影响最终效果
• 这就像科学实验中的"控制变量法"

6.2 找出"废话"词汇

• 观察每个词汇的注意力图强度
• 如果某个词汇的注意力图很暗淡，说明它对最终结果影响很小
• 可以考虑在提示词中删除这些"废话"词汇

6.3 精确控制生成区域

• 通过观察注意力图，了解不同词汇影响的图片区域
• 调整提示词的顺序和组合，让重要词汇的影响区域更精确
• 这就像一个"词汇定位系统"

6.4 模型行为分析

• 对比不同模型在相同提示词下的注意力图
• 了解不同模型的"理解方式"差异
• 为选择合适的模型提供科学依据

这个插件就像给你的AI绘画工具装上了"透视镜"，让原本神秘的AI"思考过程"变得可见可控。掌握了这些技巧，你就能像一个经验丰富的AI驯兽师一样，精确地控制AI的创作过程！