ComfyUI_ExtraModels 插件完整教程

1. 插件简介

插件地址： https://github.com/city96/ComfyUI_ExtraModels

这个插件就像是给 ComfyUI 装了一个超级模型扩展包，让你能使用各种各样的新型 AI 模型。如果说原版 ComfyUI 只能用标准的 Stable Diffusion 模型，那这个插件就像是给你的工具箱里添加了各种专业工具，让你能玩转更多类型的 AI 模型。

主要功能：

• 支持 PixArt 模型：专门用 T5 文本编码器的高质量图片生成模型
• 支持 DiT 模型：用类别标签而不是文字描述来生成图片的模型
• 支持 HunYuan DiT：腾讯开发的中英文双语图片生成模型
• 支持 Sana 模型：新一代高效图片生成模型
• 支持 MiaoBi 模型：专门针对中文优化的图片生成模型
• 支持各种特殊 VAE：包括一致性解码器等高级图片解码器
• 支持 T5 文本编码器：比 CLIP 更强大的文本理解模型
• 支持 Gemma 文本模型：用于高级文本处理

2. 如何安装

1. 打开命令行/终端
2. 进入 ComfyUI 的 custom_nodes 文件夹
3. 运行命令：git clone https://github.com/city96/ComfyUI_ExtraModels.git
4. 安装依赖：pip install -r requirements.txt
5. 重启 ComfyUI

3. 节点详细解析

3.1 DiT 模型节点

DiT 模型是一种特殊的图片生成模型，它不用文字描述，而是用类别标签来生成图片，就像给 AI 一个分类目录，让它按照类别来画图。

3.1.1 DitCheckpointLoader 节点

这个节点就像一个专门的 DiT 模型加载器，把 DiT 模型文件读取到内存里准备使用。

3.1.2 DiTCondLabelSelect 节点

这个节点就像一个类别选择器，从 ImageNet 的1000个类别中选择一个，告诉 AI 要画什么类型的东西。

3.1.3 DiTCondLabelEmpty 节点

这个节点就像一个空白标签，用于负面条件，告诉 AI 不要生成什么。

3.2 PixArt 模型节点

PixArt 是一个使用 T5 文本编码器的高质量图片生成模型，它能更好地理解复杂的文字描述。

3.2.1 PixArtCheckpointLoader 节点

这个节点是 PixArt 模型的专用加载器，就像一个专门读取 PixArt 模型的阅读器。

3.2.2 PixArtCheckpointLoaderSimple 节点

这是简化版的 PixArt 加载器，会自动识别模型类型，使用更简单。

3.2.3 PixArtResolutionSelect 节点

这个节点就像一个分辨率选择器，帮你选择 PixArt 模型支持的标准分辨率。

3.2.4 PixArtLoraLoader 节点

这个节点就像一个 LoRA 插件安装器，给 PixArt 模型安装额外的风格插件。

3.2.5 PixArtResolutionCond 节点

这个节点就像一个分辨率信息添加器，告诉模型要生成多大的图片。

3.2.6 PixArtControlNetCond 节点

这个节点是为 PixArt 的 ControlNet 功能准备的条件处理器。

3.2.7 PixArtT5TextEncode 节点

这个节点是 PixArt 专用的文本编码器，使用 T5 模型来理解文字描述。

3.2.8 PixArtT5FromSD3CLIP 节点

这个节点可以从 SD3 的 CLIP 模型中提取 T5 部分给 PixArt 使用。

3.3 T5 文本编码器节点

T5 是比 CLIP 更强大的文本理解模型，能更好地理解复杂的文字描述。

3.3.1 T5v11Loader 节点

这个节点就像一个 T5 模型的专用加载器，把 T5 模型读取到内存里。

3.3.2 T5TextEncode 节点

这个节点是 T5 的文本编码器，把文字转换成 AI 能理解的格式。

3.4 VAE 相关节点

VAE 是负责图片编码和解码的组件，这个插件支持多种特殊的 VAE 模型。

3.4.1 ExtraVAELoader 节点

这个节点就像一个万能 VAE 加载器，能加载各种特殊的 VAE 模型。

3.4.2 EmptyDCAELatentImage 节点

这个节点创建 DCAE 类型的空白潜在空间，用于特殊模型的图片生成。

3.5 HunYuan DiT 节点

HunYuan DiT 是腾讯开发的中英文双语图片生成模型。

3.5.1 HYDiTCheckpointLoader 节点

这个节点是 HunYuan DiT 模型的专用加载器。

3.5.2 HYDiTTextEncoderLoader 节点

这个节点加载 HunYuan DiT 需要的双文本编码器。

3.5.3 HYDiTTextEncode 节点

这个节点使用双文本编码器处理中英文文本。

3.5.4 HYDiTTextEncodeSimple 节点

这是简化版的 HunYuan 文本编码器，用同一段文本给两个编码器。

3.5.5 HYDiTSrcSizeCond 节点

这个节点为 HunYuan DiT 添加尺寸条件信息。

3.6 MiaoBi 模型节点

MiaoBi 是专门针对中文优化的图片生成模型。

3.6.1 MiaoBiCLIPLoader 节点

这个节点加载 MiaoBi 专用的中文 CLIP 编码器。

3.6.2 MiaoBiDiffusersLoader 节点

这个节点从 Diffusers 格式加载完整的 MiaoBi 模型。

3.7 Sana 模型节点

Sana 是新一代高效的图片生成模型。

3.7.1 SanaCheckpointLoader 节点

这个节点加载 Sana 模型文件。

3.7.2 EmptySanaLatentImage 节点

这个节点创建 Sana 专用的空白潜在空间。

3.7.3 SanaResolutionSelect 节点

这个节点选择 Sana 模型支持的标准分辨率。

3.7.4 SanaResolutionCond 节点

这个节点为 Sana 添加分辨率条件信息。

3.7.5 SanaTextEncode 节点

这个节点使用 Gemma 模型为 Sana 编码文本。

3.8 Gemma 文本模型节点

Gemma 是用于高级文本处理的语言模型。

3.8.1 GemmaLoader 节点

这个节点加载 Gemma 语言模型。

3.8.2 GemmaTextEncode 节点

这个节点使用 Gemma 模型编码文本。

3.9 设备控制节点

这些节点用于控制模型运行在哪个设备上。

3.9.1 OverrideCLIPDevice 节点

这个节点强制指定 CLIP 模型运行的设备。

3.9.2 OverrideVAEDevice 节点

这个节点强制指定 VAE 模型运行的设备。

4. 使用技巧和建议

4.1 模型选择建议

• PixArt：适合需要高质量图片和复杂文字描述的场景
• DiT：适合按类别生成图片，不需要复杂描述
• HunYuan DiT：适合中文用户，支持中英文双语
• Sana：新一代模型，效率更高
• MiaoBi：专门针对中文优化，中文理解能力强

4.2 设备配置建议

• CPU 运行：适合显存不足的情况，速度较慢但稳定
• GPU 运行：速度快但占用显存多
• 多 GPU：可以用第二块显卡运行文本编码器

4.3 内存管理

• T5 模型很大，建议使用 4bit 量化版本节省显存
• 可以使用设备控制节点将不同模型分配到不同设备

5. 常见问题解答

Q1: 为什么 T5 模型加载很慢？

A: T5 模型文件很大（约22GB），建议使用转换后的 FP16 或 BF16 版本，文件更小加载更快。

Q2: PixArt 生成的图片质量不好怎么办？

A: 建议安装 xformers 优化库，没有优化的话图片质量会明显下降。

Q3: DiT 模型只能生成固定类别的图片吗？

A: 是的，DiT 模型基于 ImageNet 的1000个类别，不能生成任意内容，适合特定用途。

Q4: HunYuan DiT 需要下载哪些文件？

A: 需要下载中文 CLIP 编码器、mT5 编码器和主模型文件，还需要 SDXL VAE。

Q5: Sana 模型有什么特殊要求？

A: Sana 需要特殊的 DCAE VAE 和 Gemma 文本编码器，压缩比例是32倍。

Q6: 如何选择合适的数据类型？

A: CPU 只能用 FP32，GPU 可以用 FP16 节省显存，BF16 兼容性更好。

6. 高级功能

6.1 多模型组合

• 可以组合使用不同的文本编码器和图片生成模型
• 支持 LoRA 微调模型的加载和使用
• 可以使用 ControlNet 进行精确控制

6.2 分辨率优化

• 每个模型都有推荐的分辨率设置
• 使用分辨率选择节点可以获得最佳效果
• 注意不同模型的分辨率要求不同

6.3 性能优化

• 合理分配模型到不同设备
• 使用量化版本节省显存
• 根据需要选择合适的数据类型

这个插件为 ComfyUI 带来了丰富的模型支持，让你能体验各种最新的 AI 图片生成技术。每个模型都有其特色和适用场景，建议根据具体需求选择合适的模型使用。