ComfyUI_VideoEditing 插件完全使用指南
1. 插件简介
ComfyUI_VideoEditing 是一个专门用于视频编辑和生成的插件,GitHub地址:https://github.com/leeguandong/ComfyUI_VideoEditing
这个插件的主要作用是: - 把视频文件拆分成一张张图片,方便我们进行处理 - 结合ControlNet和Stable Diffusion技术,让视频保持前后画面的一致性 - 就像给视频做美颜滤镜一样,但更加智能和强大
能给我们带来什么效果? - 视频风格转换:把真实视频转换成动漫风格、油画风格等 - 视频一致性增强:确保视频每一帧之间的连贯性,不会出现闪烁或跳跃 - 视频内容编辑:在保持原有动作的基础上改变视频内容
2. 如何安装
方法一:使用ComfyUI Manager(推荐)
- 打开ComfyUI界面
- 点击Manager按钮
- 搜索"VideoEditing"
- 点击安装
- 重启ComfyUI
方法二:手动安装
- 打开ComfyUI安装目录
- 进入
custom_nodes文件夹 - 在地址栏输入命令:
git clone https://github.com/leeguandong/ComfyUI_VideoEditing.git - 重启ComfyUI
3. 节点逐一解析
3.1 Load Video to Images 节点
这个节点就像一个视频分解器,把一个完整的视频文件切成一张张单独的图片。就好比把一本翻页书拆散,每一页都是一张静态图片。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
| :— | :— | :— | :— | :— | :— | :— |
| Video Path | video_path | 文件路径 | 无 | 告诉程序你的视频文件放在哪里 | 指定待处理视频文件的存储路径 | 选择你要处理的MP4文件,比如"C:\Videos\myvideo.mp4" |
| Frame Rate | frame_rate | 数字 | 25 | 决定每秒取多少张图片 | 控制视频采样的帧率 | 设置为25意思是每秒取25张图片 |
| Start Frame | start_frame | 数字 | 0 | 从视频的第几帧开始处理 | 指定处理的起始帧位置 | 设置为100表示跳过前100帧开始处理 |
| End Frame | end_frame | 数字 | -1 | 处理到视频的第几帧结束 | 指定处理的结束帧位置 | 设置为-1表示处理到视频结尾 |
| Image Format | image_format | 文本 | PNG | 输出图片的格式 | 指定输出图像的文件格式 | 选择PNG格式图片质量更好,JPG格式文件更小 |
3.2 Image to Canny 节点
这个节点就像一个轮廓描边器,把彩色图片变成只有黑白线条的轮廓图。就像用铅笔在纸上描出物体的边缘一样。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
| :— | :— | :— | :— | :— | :— | :— |
| Image | image | 图片 | 无 | 要处理的原始图片 | 输入待处理的图像数据 | 连接上一个节点输出的图片 |
| Low Threshold | low_threshold | 数字 | 100 | 线条敏感度的下限 | Canny算法的低阈值参数 | 数值越小,检测到的细节线条越多 |
| High Threshold | high_threshold | 数字 | 200 | 线条敏感度的上限 | Canny算法的高阈值参数 | 数值越大,只保留最明显的边缘线条 |
| Kernel Size | kernel_size | 数字 | 3 | 线条粗细程度 | 高斯模糊核的大小 | 数值越大,线条越平滑但细节越少 |
3.3 ControlNet Model Loader 节点
这个节点就像一个智能画家的大脑,它能理解轮廓图的含义,知道如何根据线条来画出完整的画面。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
| :— | :— | :— | :— | :— | :— | :— |
| Model Name | model_name | 文本 | 无 | 选择要使用的ControlNet模型 | 指定ControlNet模型文件名 | 选择"control_v11p_sd15_canny.pth"用于边缘控制 |
| Model Path | model_path | 文件路径 | 无 | ControlNet模型文件的存放位置 | 指定模型文件的完整路径 | 一般放在ComfyUI/models/controlnet/文件夹里 |
3.4 VEDit Model Loader 节点
这个节点就像一个画家的工具箱,里面装着各种画笔和颜料,决定了最终画出来的图片是什么风格。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
| :— | :— | :— | :— | :— | :— | :— |
| Model Name | model_name | 文本 | 无 | 选择要使用的Stable Diffusion模型 | 指定SD模型文件名 | 选择"v1-5-pruned-emaonly.safetensors"用于写实风格 |
| Model Path | model_path | 文件路径 | 无 | SD模型文件的存放位置 | 指定模型文件的完整路径 | 一般放在ComfyUI/models/checkpoints/文件夹里 |
| VRAM Usage | vram_usage | 选项 | auto | 显卡内存使用模式 | 控制模型在GPU内存中的加载方式 | 选择"auto"让程序自动决定,"low"节省显存 |
3.5 VEdit Sampler 节点
这个节点就像一个魔法师,它把所有前面准备好的材料(轮廓图、模型、参数)组合起来,变出最终的图片。就像按下相机快门的那一刻。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
| :— | :— | :— | :— | :— | :— | :— |
| Model | model | 模型 | 无 | 从模型加载器传来的SD模型 | 接收预训练的扩散模型 | 连接VEDit Model Loader的输出 |
| ControlNet | controlnet | 控制网络 | 无 | 从ControlNet加载器传来的控制模型 | 接收ControlNet模型用于条件控制 | 连接ControlNet Model Loader的输出 |
| Canny Image | canny_image | 图片 | 无 | 轮廓线条图片 | 用于控制生成的边缘检测图像 | 连接Image to Canny的输出 |
| Positive Prompt | positive_prompt | 文本 | 无 | 描述你想要的画面内容 | 正向提示词,描述期望生成的内容 | 输入"beautiful girl, anime style, high quality" |
| Negative Prompt | negative_prompt | 文本 | 无 | 描述你不想要的画面内容 | 负向提示词,描述不希望出现的内容 | 输入"blurry, low quality, distorted" |
| Steps | steps | 数字 | 20 | 画画的精细程度 | 扩散过程的迭代步数 | 数值越大画面越精细,但时间越长 |
| CFG Scale | cfg_scale | 数字 | 7.5 | 听话程度 | 分类器自由引导强度 | 数值越大越严格按照提示词生成 |
| Seed | seed | 数字 | -1 | 随机种子 | 控制随机性的种子值 | 设置为-1随机生成,固定数字可重复结果 |
| Sampler | sampler | 选项 | euler | 生成算法 | 选择扩散采样算法 | euler算法速度快,dpm2算法质量好 |
| Scheduler | scheduler | 选项 | normal | 生成节奏 | 控制采样过程的调度器 | normal为标准节奏,karras为改进节奏 |
| Denoise | denoise | 数字 | 1.0 | 改变程度 | 去噪强度,控制对原图的修改程度 | 1.0完全重新生成,0.7保留更多原图特征 |
| Reference Frame | reference_frame | 数字 | 0 | 参考帧编号 | 用作参考的帧序号 | 设置为0使用第一帧作为参考 |
| Attention Weight | attention_weight | 数字 | 1.0 | 一致性强度 | 控制帧间一致性的权重 | 数值越大帧间越一致,但可能失去变化 |
4. 使用技巧和建议
基础使用流程
- 视频准备:选择一个短视频(建议10秒以内),确保视频清晰度适中
- 参数设置:首次使用建议使用默认参数,熟悉后再调整
- 逐步测试:先处理几帧图片看效果,满意后再处理整个视频
- 硬件考虑:确保显卡内存足够,必要时调整VRAM使用模式
参数调优建议
- Steps参数:新手建议15-25,追求质量可以设置到50
- CFG Scale:7-12之间效果较好,太高可能过度拟合
- Denoise强度:0.6-0.8保持原视频特征,0.8-1.0创造性更强
- Attention Weight:0.8-1.2之间,太低会不一致,太高会僵硬
提示词技巧
- 正向提示词:描述具体风格,如"anime style, oil painting, watercolor"
- 负向提示词:必须包含"blurry, low quality, distorted, inconsistent"
- 长度控制:提示词不要太长,重点词汇放在前面
5. 常见问题解答
Q1:为什么处理视频时显存不够?
A1:降低显存占用的方法: - 在VEDit Model Loader中设置VRAM Usage为"low" - 减少一次处理的帧数 - 降低输入视频的分辨率
Q2:生成的视频为什么会闪烁?
A2:视频闪烁的解决方法: - 增加Attention Weight参数值 - 降低CFG Scale避免过度拟合 - 确保Reference Frame设置正确
Q3:处理速度太慢怎么办?
A3:加速处理的方法: - 减少Steps参数值 - 选择更快的Sampler算法(如euler) - 降低输入视频的帧率
Q4:生成效果不理想?
A4:改善效果的方法: - 调整提示词,更具体地描述想要的效果 - 尝试不同的ControlNet模型 - 微调Denoise参数找到最佳平衡点
Q5:某些帧处理失败?
A5:处理失败的解决方法: - 检查视频文件是否完整 - 确认模型文件路径正确 - 重启ComfyUI重新加载插件
6. 进阶应用场景
视频风格化
使用不同的Stable Diffusion模型可以实现: - 动漫风格转换 - 油画风格转换 - 水彩画风格转换 - 素描风格转换
视频修复
结合适当的提示词可以: - 提升视频画质 - 修复模糊画面 - 增强视频细节 - 统一视频色调
创意应用
- 将真人视频转换成动画角色
- 创建艺术风格的音乐视频
- 制作概念设计视频
- 生成训练数据集
7. 注意事项
- 版权问题:请确保您有权处理和分发相关视频内容
- 计算资源:视频处理需要较强的显卡性能,建议使用RTX 3060或更高配置
- 文件管理:处理后的图片和视频文件较大,注意磁盘空间管理
- 版本兼容:确保ComfyUI版本与插件版本兼容,建议使用最新版本
这个插件为ComfyUI带来了强大的视频处理能力,通过合理的参数调整和创意应用,可以创造出令人惊艳的视频效果。建议新手从简单的短视频开始练习,逐步掌握各个参数的作用,最终能够熟练运用这个工具创作出属于自己的艺术作品。