ComfyUI PhotoMaker Plus 插件完全教程
1. 插件简介
插件地址: https://github.com/shiimizu/ComfyUI-PhotoMaker-Plus
ComfyUI PhotoMaker Plus 是一个超级神奇的人脸定制插件,就像给你的 AI 画图工具装上了一个专业的人像摄影师!它的核心作用是让 AI 能够根据你提供的真人照片,生成各种风格、各种场景下的同一个人的图片。
这个插件能给我们带来什么效果?
- 人脸一致性生成:就像一个专业摄影师,能让同一个人在不同场景、不同风格下都保持面部特征一致
- 多样化风格转换:可以把一个人的照片转换成动漫风格、油画风格、写实风格等各种艺术效果
- 场景自由切换:同一个人可以出现在海边、森林、城市等任何你想象的场景中
- 服装造型变化:可以给同一个人换上不同的服装、发型、妆容
- 高质量人像生成:生成的图片质量非常高,面部细节丰富自然
想象一下,你只需要提供一张朋友的照片,这个插件就能让你的朋友"穿越"到任何时代、任何场景,变成任何风格的艺术作品,就像拥有了一台时光机和变身器!
2. 如何安装
方法一:通过 ComfyUI Manager 安装(推荐)
- 打开 ComfyUI Manager
- 搜索 "PhotoMaker Plus" 或 "shiimizu"
- 点击安装
方法二:手动安装
- 进入你的 ComfyUI 安装目录下的
custom_nodes文件夹 - 打开命令行,运行:
git clone https://github.com/shiimizu/ComfyUI-PhotoMaker-Plus.git - 安装依赖包:
pip install onnxruntime insightface - 重启 ComfyUI
模型下载
你还需要下载 PhotoMaker 的模型文件:
- 从 Hugging Face 下载模型:V1版本 或 V2版本
- 在你的 ComfyUI 模型文件夹中创建一个
photomaker文件夹 - 把下载的模型文件放到
ComfyUI/models/photomaker/文件夹中
3. 节点详细解析
本插件总共包含 6 个节点,本教程将逐一详细解析所有节点。
3.1 PhotoMakerLoaderPlus 节点 - PhotoMaker 模型加载器
这个节点就像一个专业摄影师的工具箱,它负责加载 PhotoMaker 的核心模型。想象一下,这就像给摄影师准备好了专业的相机和镜头。
参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| photomaker_model_name | photomaker_model_name | 文件列表 | 根据需要选择 | 选择要使用的 PhotoMaker 模型,就像选择不同品牌的相机 | PhotoMaker 模型文件名 | 选择你下载的模型文件,比如 "photomaker-v1.bin" |
3.2 PhotoMakerLoraLoaderPlus 节点 - PhotoMaker LoRA 加载器
这个节点就像给摄影师的相机装上特殊滤镜,它负责加载 PhotoMaker 的 LoRA 权重来增强效果。
参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| model | model | MODEL | 必填 | 要装滤镜的基础模型,就像要装滤镜的相机机身 | 输入的扩散模型 | 连接你的主模型,比如 SD1.5 或 SDXL |
| photomaker | photomaker | PHOTOMAKER | 必填 | PhotoMaker 的核心组件,就像专业摄影师的技能包 | PhotoMaker 模型实例 | 连接 PhotoMakerLoaderPlus 的输出 |
| lora_strength | lora_strength | -100.0 到 100.0 | 1.0 | 滤镜效果的强度,就像调节滤镜的透明度 | LoRA 权重强度 | 1.0 是标准强度,可以根据效果调整 |
3.3 PhotoMakerInsightFaceLoader 节点 - 人脸识别加载器
这个节点就像给摄影师配备了一个智能人脸识别助手,专门用于 PhotoMaker V2 版本的人脸分析。
参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| provider | provider | CPU/CUDA/ROCM | CUDA | 选择人脸识别用什么设备运行,就像选择用什么处理器 | 推理设备提供商 | 有显卡选CUDA,没显卡选CPU,AMD显卡选ROCM |
3.4 PhotoMakerEncodePlus 节点 - PhotoMaker 编码器
这个节点是整个插件的核心,就像一个神奇的变身魔法师,它能把你的照片和文字描述结合起来,创造出各种风格的人像。
参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| clip | clip | CLIP | 必填 | 负责理解文字的翻译官,就像摄影师的助理 | CLIP 文本编码器 | 连接对应的 CLIP 模型 |
| photomaker | photomaker | PHOTOMAKER | 必填 | PhotoMaker 的核心大脑,就像摄影师的专业技能 | PhotoMaker 模型实例 | 连接 PhotoMakerLoaderPlus 的输出 |
| image | image | IMAGE | 必填 | 要变身的人物照片,就像摄影师的拍摄对象 | 输入的参考图像 | 连接包含人脸的图片 |
| trigger_word | trigger_word | 字符串 | "img" | 魔法咒语关键词,就像变身时要喊的口号 | 触发词标识符 | 在提示词中用这个词代表照片中的人 |
| text | text | 字符串 | 必填 | 描述你想要什么样的照片,就像给摄影师下指令 | 文本提示词 | "photograph of a man img in a suit" |
| insightface_opt | insightface_opt | INSIGHTFACE | V2需要 | V2版本需要的人脸识别助手,就像专业的人脸分析师 | InsightFace 人脸分析器 | V2版本必须连接,V1版本不需要 |
3.5 PhotoMakerStyles 节点 - PhotoMaker 风格应用器
这个节点就像一个专业的造型师,提供各种预设的艺术风格,让你的照片瞬间变成不同风格的艺术作品。
参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| style_name | style_name | 风格列表 | Photographic (Default) | 选择艺术风格,就像选择不同的滤镜效果 | 预设风格模板名称 | 可选择写实、动漫、油画等多种风格 |
| positive | positive | 字符串 | 可选 | 正面描述词,就像告诉造型师你想要什么效果 | 正向提示词输入 | "beautiful portrait, detailed face" |
| negative | negative | 字符串 | 可选 | 负面描述词,就像告诉造型师你不想要什么效果 | 负向提示词输入 | "blurry, low quality, distorted" |
3.6 PrepImagesForClipVisionFromPath 节点 - 图片路径预处理器
这个节点就像一个智能的图片管理员,能从文件夹或网址中读取图片,并自动调整成适合 AI 处理的格式。
参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| path | path | 字符串 | 必填 | 图片的位置,就像告诉管理员去哪里找照片 | 图片文件路径或文件夹路径 | "/Users/photos/portrait.jpg" 或文件夹路径 |
| interpolation | interpolation | 选择列表 | lanczos | 图片缩放的方法,就像选择不同的放大镜 | 图像插值算法 | lanczos 质量最好,nearest 速度最快 |
| crop_position | crop_position | 选择列表 | center | 裁剪图片的位置,就像选择从哪个角度剪照片 | 图像裁剪位置 | center 居中裁剪,top 从顶部裁剪 |
4. 使用技巧和建议
4.1 选择合适的模型版本
-
V1 版本:
- 适合一般的人像生成
- 设置简单,不需要额外的人脸识别
- 效果稳定,兼容性好
-
V2 版本:
- 人脸相似度更高
- 需要配合 InsightFace 使用
- 对硬件要求稍高
4.2 提示词编写技巧
-
触发词使用:
- 在提示词中必须包含触发词(默认是 "img")
- 例如:"a photo of img wearing a red dress"
- 可以自定义触发词,比如改成 "person" 或 "man"
-
描述要具体:
- 详细描述想要的场景、服装、表情
- 例如:"professional headshot of img in business suit, studio lighting, high quality"
-
风格控制:
- 使用 PhotoMakerStyles 节点可以快速应用预设风格
- 也可以在提示词中直接描述风格,如 "anime style", "oil painting style"
4.3 图片准备建议
-
参考图片质量:
- 使用清晰的正面照片效果最好
- 避免过度化妆或遮挡面部的照片
- 光线均匀的照片效果更好
-
多张照片:
- 可以提供同一个人的多张不同角度照片
- 有助于 AI 更好地理解面部特征
4.4 参数调节技巧
-
LoRA 强度调节:
- 1.0 是标准强度,通常效果最好
- 如果人脸相似度不够,可以提高到 1.2-1.5
- 如果效果过强导致不自然,可以降低到 0.7-0.8
-
风格平衡:
- 在保持人脸相似度和艺术风格之间找平衡
- 可以通过调节不同参数的强度来控制
5. 常见问题解答
Q1: 为什么生成的人脸和原图不像?
A: 可能的原因和解决方法:
- 参考图片质量不好:使用更清晰的正面照片
- LoRA 强度太低:适当提高 lora_strength 参数
- 提示词中没有包含触发词:确保提示词中包含设置的触发词
Q2: V1 和 V2 版本有什么区别?
A: 主要区别:
- V2 版本人脸相似度更高,但需要 InsightFace
- V1 版本设置简单,兼容性更好
- V2 版本对硬件要求稍高
Q3: 如何使用多张参考照片?
A: 可以通过以下方式:
- 使用 PrepImagesForClipVisionFromPath 节点从文件夹读取多张图片
- 或者使用图片合并节点将多张图片组合后输入
Q4: 为什么提示"No face detected"?
A: 这通常发生在 V2 版本中:
- 确保参考图片中有清晰可见的人脸
- 检查 InsightFace 是否正确加载
- 尝试使用质量更好的参考图片
Q5: 生成速度很慢怎么办?
A: 优化建议:
- 使用 CUDA 而不是 CPU(如果有显卡)
- 降低图片分辨率
- 使用 V1 版本而不是 V2 版本
Q6: 如何自定义触发词?
A: 在 PhotoMakerEncodePlus 节点中:
- 修改 trigger_word 参数
- 确保在提示词中使用相同的触发词
- 例如设置为 "person",提示词就用 "a photo of person in the park"
6. 实际应用场景
6.1 个人写真创作
使用场景:为自己或朋友制作各种风格的艺术写真
推荐设置:
- 使用 V1 版本,简单易用
- LoRA 强度设置为 1.0
- 使用 PhotoMakerStyles 选择合适风格
6.2 角色设计
使用场景:为小说、游戏等创作中的角色设计外观
推荐设置:
- 使用 V2 版本,人脸相似度更高
- 配合详细的服装和场景描述
- 可以生成同一角色的不同造型
6.3 历史人物重现
使用场景:让历史人物"穿越"到现代或其他时代
推荐设置:
- 使用高质量的历史人物照片作为参考
- 详细描述目标时代的服装和背景
- 适当调节 LoRA 强度保持人物特征
6.4 商业摄影预览
使用场景:为商业摄影提供效果预览
推荐设置:
- 使用专业的人像照片作为参考
- 描述具体的商业场景和服装
- 使用写实风格获得接近真实摄影的效果
7. 技术原理简单解释
7.1 什么是 PhotoMaker?
PhotoMaker 就像一个专门学习人脸特征的 AI 学生。它通过分析你提供的照片,学会了这个人的面部特征,然后能在各种不同的场景和风格中重现这些特征。
7.2 触发词的作用
触发词就像一个"代号"或"标签"。当 AI 在处理文字描述时,遇到这个触发词就知道"这里应该放入照片中那个人的脸"。就像在剧本中用演员的名字一样。
7.3 LoRA 的作用
LoRA 就像给 AI 模型装上的一个"专业技能包"。它让原本的 AI 模型获得了处理特定人脸的专业能力,而且不会影响模型的其他功能。
7.4 V1 和 V2 的技术差异
- V1 版本主要依靠图像特征来识别和重现人脸
- V2 版本增加了专门的人脸识别技术(InsightFace),能更精确地分析面部特征
- V2 版本就像给 AI 配了一副更高级的"眼镜",看得更清楚更准确
8. 总结
ComfyUI PhotoMaker Plus 插件是一个功能强大的人脸定制工具,它包含了 6 个节点,本教程已经完整解析了所有 6 个节点,没有遗漏。这些节点可以让你:
- 生成高质量的个性化人像
- 在保持人脸特征的同时变换各种风格
- 创作各种艺术作品和商业内容
- 实现人物在不同场景中的一致性表现
掌握这个插件的关键是:
- 选择合适的模型版本(V1 或 V2)
- 准备高质量的参考照片
- 编写包含触发词的详细提示词
- 合理调节各种参数强度
记住,PhotoMaker Plus 就像给你配了一个专业的人像摄影师和造型师,能让任何人在任何场景中都展现出最佳效果!
所有节点都已完整解析完毕!这个插件功能丰富,是进行人像创作的完美工具。