ComfyUI_SVFR 插件保姆级教程
1. 插件简介
插件地址: https://github.com/smthemex/ComfyUI_SVFR
ComfyUI_SVFR 是一个专门用来修复和增强人脸视频的超级工具!它就像一个"视频美容师",能够让你的视频中的人脸变得更清晰、更好看。这个插件基于SVFR(统一视频人脸修复框架),可以同时处理多种人脸问题。
这个插件能给我们带来什么效果?
- 🎭 人脸修复:让模糊、低质量的人脸变得清晰自然
- 🌈 视频上色:给黑白视频自动添加自然的颜色
- 🔧 缺陷修补:自动修复视频中人脸的瑕疵、划痕等问题
- 🎨 组合处理:可以同时进行修复+上色,或修复+上色+修补的组合操作
- 📹 批量处理:一次性处理整个视频的所有帧,保持人脸的一致性
简单来说,就像给你的视频请了一个专业的化妆师和修图师,让视频中的每一张脸都变得完美!
2. 如何安装
方法一:通过ComfyUI管理器安装(推荐)
- 打开ComfyUI
- 点击右下角的"Manager"按钮
- 选择"Install Custom Nodes"
- 搜索"SVFR"
- 找到"ComfyUI_SVFR"点击安装
- 重启ComfyUI
方法二:手动安装
- 打开你的ComfyUI安装目录
- 进入
custom_nodes文件夹 - 在这里打开命令行/终端
- 输入命令:
git clone https://github.com/smthemex/ComfyUI_SVFR.git - 安装依赖:
pip install -r requirements.txt - 重启ComfyUI
必需的模型文件
这个插件需要下载一些专门的模型文件才能工作:
3.1 SVFR核心模型(必须下载)
从谷歌云盘下载以下文件,放到ComfyUI/models/SVFR/文件夹:
id_linear.pth- 身份识别模型insightface_glint360k.pth- 人脸特征提取模型unet.pth- 核心生成模型yoloface_v5m.pt- 人脸检测模型
3.2 基础视频模型(必须下载)
从Hugging Face下载以下文件:
svd_xt.safetensors或svd_xt_1_1.safetensors放到ComfyUI/models/checkpoints/svd.vae.fp16.safetensors放到ComfyUI/models/vae/
3. 节点详解
本插件总共包含 3 个节点,本教程将全部详细介绍:
3.1 SVFR_LoadModel 节点 - 模型加载管家
这个节点就像一个"模型管家",负责把所有需要的AI模型都加载到内存里,为后续的人脸处理做准备。就像开餐厅前要先准备好所有的厨具和食材一样。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| Checkpoints | checkpoints | 模型文件列表 | svd_xt.safetensors | 选择主要的视频生成模型,像选择主厨 | 基础扩散模型检查点 | 从下拉菜单选择你下载的SVD模型 |
| VAE | vae | VAE模型列表 | svd.vae.fp16.safetensors | 选择图像编解码器,像选择翻译官 | 变分自编码器模型 | 选择对应的VAE模型文件 |
| Unet | unet | Unet模型列表 | unet.pth | 选择核心处理模型,像选择大脑 | U-Net网络模型文件 | 选择下载的unet.pth文件 |
| Yolo Ckpt | yolo_ckpt | YOLO模型列表 | yoloface_v5m.pt | 选择人脸检测器,像选择眼睛 | YOLO人脸检测模型 | 选择下载的yoloface模型 |
| ID Ckpt | id_ckpt | ID模型列表 | id_linear.pth | 选择身份识别器,像选择记忆 | 身份特征提取模型 | 选择下载的id_linear.pth文件 |
| Insightface | insightface | 人脸模型列表 | insightface_glint360k.pth | 选择人脸分析器,像选择专家 | InsightFace人脸识别模型 | 选择下载的insightface模型 |
| Dtype | dtype | fp16/bf16/fp32 | fp16 | 选择计算精度,像选择画笔粗细 | 模型权重数据类型 | fp16省显存,fp32质量更好 |
3.2 SVFR_Sampler 节点 - 视频处理大师
这是整个插件的核心节点,就像一个超级厉害的"视频美容师"。它接收你的视频,然后根据你的要求进行人脸修复、上色、修补等各种处理。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| Image | image | IMAGE类型 | 视频帧序列 | 要处理的原始视频,像待美容的照片 | 输入的图像序列 | 连接你要处理的视频帧 |
| Model | model | MODEL_SVFR | 加载的模型 | 之前准备好的工具箱,像化妆师的工具包 | 已加载的SVFR模型组合 | 连接SVFR_LoadModel的输出 |
| Seed | seed | 0到很大的数字 | 77 | 随机种子,像掷骰子的起始点 | 随机数生成种子 | 相同数字产生相同效果,便于复现 |
| Width | width | 128-2048 | 512 | 输出视频的宽度,像画布的宽 | 生成视频的像素宽度 | 建议512或768,太大会很慢 |
| Height | height | 128-2048 | 512 | 输出视频的高度,像画布的高 | 生成视频的像素高度 | 建议和宽度一样,保持方形 |
| Decode Chunk Size | decode_chunk_size | 4-128 | 16 | 每次处理多少帧,像每次洗几张照片 | 解码时的批次大小 | 显存小用8,显存大用32 |
| N Sample Frames | n_sample_frames | 8-100 | 16 | 一次生成多少帧,像一次拍几张照片 | 单次采样的帧数 | 16帧比较平衡,太多会显存不足 |
| Steps | steps | 1-4096 | 50 | 处理的精细程度,像打磨的次数 | 扩散模型采样步数 | 50步质量好,20步速度快 |
| Noise Aug Strength | noise_aug_strength | 0.0-1.0 | 0.0 | 添加噪声的强度,像加点随机性 | 噪声增强强度 | 0.0最稳定,0.1-0.3增加变化 |
| Overlap | overlap | 1-64 | 3 | 帧之间的重叠度,像拼图的重叠部分 | 时间窗口重叠帧数 | 3-5比较好,保证连贯性 |
| Min Appearance Guidance Scale | min_appearance_guidance_scale | 0.1-10.0 | 2.0 | 最小外观引导强度,像化妆的轻重 | 最小外观引导系数 | 1.5-3.0比较自然 |
| Max Appearance Guidance Scale | max_appearance_guidance_scale | 0.1-10.0 | 2.0 | 最大外观引导强度,像化妆的上限 | 最大外观引导系数 | 通常和最小值相同 |
| I2I Noise Strength | i2i_noise_strength | 0.1-1.0 | 1.0 | 图像转换的噪声强度,像重绘的程度 | 图像到图像的噪声强度 | 1.0完全重绘,0.5保留更多原图 |
| Infer Mode | infer_mode | 5种模式 | bfr | 选择处理模式,像选择美容项目 | 推理模式选择 | bfr修复,colorization上色,inpainting修补 |
| Save Video | save_video | True/False | False | 是否保存视频文件,像是否打包带走 | 是否保存输出视频 | True会在输出文件夹生成mp4文件 |
| Crop Face Region | crop_face_region | True/False | True | 是否只处理人脸区域,像是否局部美容 | 是否裁剪人脸区域处理 | True效果更好但可能改变构图 |
| Mask | mask | MASK类型(可选) | 遮罩图像 | 指定要修补的区域,像告诉哪里需要修复 | 用于修补任务的遮罩 | 只有inpainting模式需要连接 |
处理模式详解:
- bfr:只进行人脸修复,让模糊的脸变清晰
- colorization:只进行上色,给黑白视频加颜色
- inpainting:只进行修补,修复指定区域的缺陷
- bfr_color:同时进行修复和上色
- bfr_color_inpaint:同时进行修复、上色和修补(全套服务)
3.3 SVFR_img2mask 节点 - 遮罩制作助手
这个节点就像一个"遮罩制作师",能够从普通图片中自动生成遮罩。遮罩就像一个模板,告诉系统哪些地方需要修补,哪些地方不用动。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| Image | image | IMAGE类型 | 单张图片 | 要制作遮罩的原图,像要描边的图片 | 输入的源图像 | 连接一张黑白对比明显的图片 |
| Threshold | threshold | 0-254 | 0 | 黑白分界线,像调节敏感度 | 二值化阈值 | 0自动判断,可以手动调节分界点 |
| Center Crop | center_crop | True/False | False | 是否居中裁剪,像是否剪成正方形 | 是否进行中心裁剪 | True会裁剪成指定尺寸的正方形 |
| Width | width | 128-2048 | 512 | 输出遮罩的宽度,像模板的宽 | 输出遮罩宽度 | 建议和处理视频的尺寸一致 |
| Height | height | 128-2048 | 512 | 输出遮罩的高度,像模板的高 | 输出遮罩高度 | 建议和处理视频的尺寸一致 |
4. 使用技巧和建议
🎯 基础使用流程
- 准备素材:确保视频中有清晰可见的人脸(至少8帧以上)
- 加载模型:先用SVFR_LoadModel加载所有必需的模型文件
- 选择模式:根据需求选择合适的处理模式(修复/上色/修补)
- 调整参数:从默认参数开始,逐步调整到满意效果
- 开始处理:连接好所有节点,点击生成
💡 参数调优建议
- 显存优化:显存不足时降低decode_chunk_size和n_sample_frames
- 质量优化:想要更好效果可以增加steps到80-100
- 速度优化:赶时间可以降低steps到20-30,使用fp16精度
- 稳定性:第一次使用建议所有参数都用默认值
🚀 进阶技巧
- 批量处理:可以将多个视频片段合并后一起处理
- 遮罩制作:使用SVFR_img2mask制作精确的修补遮罩
- 模式组合:bfr_color_inpaint模式可以一次性解决所有问题
- 参数实验:保存好的参数组合,方便重复使用
⚡ 性能优化
- 显存管理:处理完成后模型会自动释放显存
- 文件管理:及时清理输出文件夹中的临时文件
- 模型缓存:模型加载后会保持在内存中,避免重复加载
5. 常见问题解答
Q1: 提示"need choice ckpt in menu"怎么办?
A: 这说明你没有选择完整的模型文件。检查以下几点:
- 确保所有必需的模型文件都已下载到正确位置
- 在SVFR_LoadModel节点中,所有下拉菜单都不能选择"none"
- 重启ComfyUI让系统重新扫描模型文件
Q2: 显存不够用怎么办?
A: 尝试以下方法:
- 降低decode_chunk_size到8或更小
- 减少n_sample_frames到8-12
- 使用fp16精度而不是fp32
- 降低输出分辨率到256×256
Q3: 处理后的视频人脸不一致怎么办?
A:
- 确保输入视频中的人脸清晰可见
- 增加overlap参数到5-8
- 开启crop_face_region选项
- 使用相同的seed值保持一致性
Q4: 上色效果不自然怎么办?
A:
- 调整appearance_guidance_scale到1.5-2.5之间
- 降低i2i_noise_strength到0.7-0.8
- 确保输入的黑白视频质量足够好
Q5: 修补效果不理想怎么办?
A:
- 检查遮罩是否准确标记了需要修补的区域
- 尝试使用SVFR_img2mask制作更精确的遮罩
- 调整threshold参数优化遮罩质量
Q6: 处理速度太慢怎么办?
A:
- 减少steps到20-30
- 降低输出分辨率
- 使用更小的n_sample_frames
- 确保使用GPU而不是CPU处理
6. 实际应用场景
🎬 视频修复场景
- 老电影修复:修复老电影中模糊的人脸镜头
- 监控视频增强:提升监控录像中人脸的清晰度
- 家庭录像修复:修复家庭老录像中的珍贵画面
🌈 视频上色场景
- 历史影像上色:为黑白历史影像添加自然色彩
- 艺术创作:为黑白艺术视频添加创意色彩
- 纪录片制作:为纪录片中的历史素材上色
🔧 视频修补场景
- 去除水印:移除视频中不需要的水印或标识
- 修复划痕:修复老胶片视频中的划痕和污点
- 内容替换:替换视频中不合适的内容
🎨 创意应用场景
- 风格转换:将现代视频转换成复古风格
- 特效制作:为影视作品制作特殊的人脸效果
- 社交媒体:制作有趣的人脸变换视频
7. 总结
ComfyUI_SVFR插件是一个功能强大的视频人脸处理工具,它集成了修复、上色、修补三大核心功能,能够显著提升视频中人脸的质量。虽然需要下载较多的模型文件,但一旦配置完成,就能处理各种复杂的人脸视频任务。
记住这几个要点:
- 确保所有模型文件都正确下载和放置
- 从默认参数开始,逐步调整优化
- 根据显存大小合理设置批次参数
- 选择合适的处理模式,避免不必要的计算
- 保持输入视频的质量,垃圾进垃圾出
希望这份教程能帮助你快速掌握这个强大的视频人脸处理工具,让你的视频作品更加完美!