【版权严正声明】
本文系作者 [编程界的小学生] 原创,并拥有完整、独立的著作权。
未经本人 书面授权 ,任何单位、平台或个人, 严禁 以任何形式(包括但不限于转载、复制、摘编、修改、链接、转贴、建立镜像等)使用本文的全部或部分内容。
任何无视本声明的侵权行为,本人将依据《中华人民共和国著作权法》等相关法律法规,采取一切必要的法律手段,追究其侵权责任,要求其 立即停止侵权、赔礼道歉、消除影响,并赔偿因此造成的一切经济损失及维权成本(包括但不限于律师费、诉讼费、公证费等)。
侵权必究,切勿以身试法!
1. 插件简介
插件地址: https://github.com/aigc-apps/VideoX-Fun
这个插件就像是一个超级强大的"视频魔法师"!它能把文字变成视频,把图片变成动画,还能控制摄像机运动,就像给你一个专业的电影制作工具箱。
能给我们带来什么效果?
2. 如何安装
方法一:命令行安装(推荐)
cd ComfyUI/custom_nodes/git clone https://github.com/aigc-apps/VideoX-Fun.git
方法二:手动下载
访问 https://github.com/aigc-apps/VideoX-Fun
下载ZIP文件并解压到 ComfyUI/custom_nodes/ 目录
3. 节点详细解析
当前插件包含节点总数:23个 本次输出节点数:23个 剩余未输出节点数:0个
3.1 FunTextBox 节点
这个节点就像一个"文字输入框",专门用来输入你想要生成视频的描述文字。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
提示词 | prompt | 字符串 | - | 告诉AI你想要什么样的视频,就像给导演下指令 | 文本提示词输入 | 输入"一只猫在草地上奔跑"生成对应视频 |
3.2 FunRiflex 节点
这个节点就像一个"加速器开关",能让视频生成变得更快更省显存。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
加速参数 | riflex_k | 整数 | 6 | 控制生成速度的"档位",数值越大越快但质量可能下降 | RiFlex加速算法参数 | 6是平衡点,显存不够可以调到8-10 |
3.3 LoadCogVideoXFunModel 节点
这个节点就像一个"模型加载器",负责把AI视频生成的"大脑"装载到系统里。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
模型 | model | 选择列表 | CogVideoX-Fun-V1.1-2b-InP | 选择要使用的AI"大脑"型号 | 预训练模型选择 | 2b版本适合普通显卡,5b版本质量更好 |
模型类型 | model_type | 选择列表 | Inpaint | 选择模型的"工作模式" | 模型功能类型 | Inpaint用于图生视频,Control用于条件控制 |
显存模式 | GPU_memory_mode | 选择列表 | model_cpu_offload | 显存不够时的"省电模式" | GPU内存管理策略 | 显存小用sequential_cpu_offload |
精度 | precision | 选择列表 | fp16 | 计算精度,影响质量和速度 | 浮点数精度 | fp16省显存,bf16质量好 |
3.4 LoadCogVideoXFunLora 节点
这个节点就像给AI"换装",让它学会特定的风格或技能。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
模型 | cogvideoxfun_model | FunModels类型 | - | 要"换装"的AI模型 | 基础模型输入 | 连接LoadCogVideoXFunModel的输出 |
Lora名称 | lora_name | 文件列表 | - | 要给AI穿的"衣服"名称 | LoRA权重文件 | 选择训练好的风格文件 |
强度 | strength_model | 浮点数 | 1.0 | "衣服"穿得有多紧,影响风格强度 | LoRA权重强度 | 0.5-1.5之间,太高可能过拟合 |
缓存 | lora_cache | 布尔值 | False | 是否记住"换装",避免重复加载 | LoRA缓存机制 | 频繁切换时开启可提速 |
3.5 CogVideoXFunT2VSampler 节点
这个节点就像一个"文字变视频的魔法师",把你的文字描述变成真实的视频。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
模型 | cogvideoxfun_model | FunModels类型 | - | 用来生成视频的AI"大脑" | 模型输入 | 连接加载好的模型 |
正面提示词 | prompt | 字符串 | - | 告诉AI你想要什么 | 正向提示词 | "美丽的日落海滩" |
负面提示词 | negative_prompt | 字符串 | - | 告诉AI你不想要什么 | 负向提示词 | "模糊,低质量" |
视频长度 | video_length | 整数 | 49 | 视频有多少帧,就像胶片的长度 | 视频帧数 | 49帧约6秒,85帧约10秒 |
宽度 | width | 整数 | 1008 | 视频画面的宽度 | 视频宽度像素 | 建议16的倍数 |
高度 | height | 整数 | 576 | 视频画面的高度 | 视频高度像素 | 建议16的倍数 |
生成图片 | is_image | 布尔值 | False | 是否只生成单张图片 | 图像生成模式 | True生成图片,False生成视频 |
随机种子 | seed | 整数 | 43 | 控制随机性的"骰子" | 随机种子 | 相同种子产生相同结果 |
步数 | steps | 整数 | 50 | AI"思考"的次数,越多越精细 | 采样步数 | 20-50步平衡质量和速度 |
CFG强度 | cfg | 浮点数 | 6.0 | AI听从指令的"专注度" | 分类器自由引导 | 6-8比较合适 |
调度器 | scheduler | 选择列表 | DDIM | AI工作的"节奏" | 采样调度器 | DDIM稳定,Euler快速 |
3.6 CogVideoXFunInpaintSampler 节点
这个节点就像一个"图片变视频的魔术师",能把静态图片变成动态视频。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
模型 | cogvideoxfun_model | FunModels类型 | - | 用来生成视频的AI"大脑" | 模型输入 | 连接加载好的模型 |
正面提示词 | prompt | 字符串 | - | 描述你想要的视频内容 | 正向提示词 | "人物在微笑挥手" |
负面提示词 | negative_prompt | 字符串 | - | 描述不想要的内容 | 负向提示词 | "静止不动,模糊" |
视频长度 | video_length | 整数 | 49 | 生成视频的帧数长度 | 视频帧数 | 49帧约6秒视频 |
基础分辨率 | base_resolution | 选择列表 | 768 | 视频的基础分辨率大小 | 基础分辨率 | 768适合大部分情况 |
随机种子 | seed | 整数 | 43 | 控制生成结果的随机性 | 随机种子 | 固定种子可重现结果 |
步数 | steps | 整数 | 50 | AI处理的精细程度 | 采样步数 | 30-50步质量较好 |
CFG强度 | cfg | 浮点数 | 6.0 | 提示词的影响强度 | 分类器自由引导 | 6-8效果最佳 |
调度器 | scheduler | 选择列表 | DDIM | 生成过程的调度方式 | 采样调度器 | DDIM质量稳定 |
起始图片 | start_img | 图片类型 | - | 视频的第一帧图片 | 起始帧图像 | 连接要动画化的图片 |
结束图片 | end_img | 图片类型 | - | 视频的最后一帧图片 | 结束帧图像 | 可选,控制视频结尾 |
3.7 CogVideoXFunV2VSampler 节点
这个节点就像一个"视频改造师",能根据控制条件改造现有视频。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
模型 | cogvideoxfun_model | FunModels类型 | - | 用来处理视频的AI模型 | 模型输入 | 连接加载好的模型 |
正面提示词 | prompt | 字符串 | - | 描述想要的视频效果 | 正向提示词 | "变成卡通风格" |
负面提示词 | negative_prompt | 字符串 | - | 描述不想要的效果 | 负向提示词 | "真实照片风格" |
视频长度 | video_length | 整数 | 49 | 输出视频的长度 | 视频帧数 | 与输入视频匹配 |
基础分辨率 | base_resolution | 选择列表 | 768 | 处理时的分辨率 | 基础分辨率 | 根据显卡性能选择 |
随机种子 | seed | 整数 | 43 | 控制变化的随机性 | 随机种子 | 固定可重现效果 |
步数 | steps | 整数 | 50 | 处理的精细程度 | 采样步数 | 步数越多质量越好 |
CFG强度 | cfg | 浮点数 | 6.0 | 提示词的控制强度 | 分类器自由引导 | 6-8平衡效果 |
去噪强度 | denoise_strength | 浮点数 | 0.70 | 改变原视频的程度 | 去噪强度 | 0.5保守,0.8激进 |
调度器 | scheduler | 选择列表 | DDIM | 处理过程的调度方式 | 采样调度器 | DDIM效果稳定 |
参考视频 | validation_video | 图片类型 | - | 要改造的原始视频 | 输入视频 | 连接视频帧序列 |
控制视频 | control_video | 图片类型 | - | 控制条件视频 | 控制条件 | 边缘、深度等控制信息 |
3.8 LoadWanModel 节点
这个节点就像一个"万象模型加载器",专门加载Wan系列的视频生成模型。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
模型 | model | 选择列表 | Wan2.1-T2V-1.3B | 选择要加载的Wan模型 | 预训练模型选择 | 1.3B适合普通显卡 |
显存模式 | GPU_memory_mode | 选择列表 | model_cpu_offload | 显存管理策略 | GPU内存管理 | 显存不够用cpu_offload |
配置文件 | config | 选择列表 | wan2.1/wan_civitai.yaml | 模型配置文件 | 模型配置 | 使用默认配置即可 |
精度 | precision | 选择列表 | fp16 | 计算精度设置 | 浮点精度 | fp16节省显存 |
3.9 LoadWanLora 节点
这个节点给Wan模型添加特殊技能,就像给AI"装插件"。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
模型 | funmodels | FunModels类型 | - | 要添加技能的基础模型 | 基础模型输入 | 连接LoadWanModel输出 |
Lora名称 | lora_name | 文件列表 | - | 要添加的技能包名称 | LoRA权重文件 | 选择训练好的Lora文件 |
强度 | strength_model | 浮点数 | 1.0 | 技能的影响强度 | LoRA权重强度 | 1.0是标准强度 |
缓存 | lora_cache | 布尔值 | False | 是否缓存技能包 | LoRA缓存 | 频繁切换时开启 |
3.10 WanT2VSampler 节点
这个节点是Wan模型的"文字变视频生成器",专门处理文字到视频的转换。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
模型 | funmodels | FunModels类型 | - | 用于生成的Wan模型 | 模型输入 | 连接加载好的Wan模型 |
正面提示词 | prompt | 字符串 | - | 描述想要的视频内容 | 正向提示词 | "飞翔的鸟儿" |
负面提示词 | negative_prompt | 字符串 | - | 描述不想要的内容 | 负向提示词 | "静止,模糊" |
视频长度 | video_length | 整数 | 81 | 生成视频的帧数 | 视频帧数 | 81帧约5秒 |
宽度 | width | 整数 | 832 | 视频画面宽度 | 视频宽度 | 建议16的倍数 |
高度 | height | 整数 | 480 | 视频画面高度 | 视频高度 | 建议16的倍数 |
生成图片 | is_image | 布尔值 | False | 是否只生成单帧图片 | 图像模式 | False生成视频 |
随机种子 | seed | 整数 | 43 | 控制随机性 | 随机种子 | 固定种子可重现 |
步数 | steps | 整数 | 50 | 生成的精细程度 | 采样步数 | 25-50步平衡速度质量 |
CFG强度 | cfg | 浮点数 | 6.0 | 提示词影响强度 | 分类器自由引导 | 6-8效果好 |
调度器 | scheduler | 选择列表 | Flow | 生成过程调度 | 采样调度器 | Flow是Wan专用 |
缓存阈值 | teacache_threshold | 浮点数 | 0.10 | 加速缓存的触发阈值 | TeaCache阈值 | 0.1平衡速度质量 |
启用缓存 | enable_teacache | 布尔值 | True | 是否启用加速缓存 | TeaCache开关 | True可提升速度 |
跳过步数 | num_skip_start_steps | 整数 | 5 | 开始几步不使用缓存 | 缓存跳过步数 | 5步是经验值 |
缓存卸载 | teacache_offload | 布尔值 | True | 缓存是否卸载到CPU | 缓存卸载 | True节省显存 |
加速参数 | riflex_k | 整数 | 0 | RiFlex加速参数 | RiFlex加速 | 6-10可加速生成 |
3.11 WanI2VSampler 节点
这个节点是Wan模型的"图片变视频生成器",专门把静态图片变成动态视频。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
模型 | funmodels | FunModels类型 | - | 用于生成的Wan模型 | 模型输入 | 连接加载好的Wan模型 |
正面提示词 | prompt | 字符串 | - | 描述想要的动作效果 | 正向提示词 | "人物在走路" |
负面提示词 | negative_prompt | 字符串 | - | 描述不想要的效果 | 负向提示词 | "静止不动" |
视频长度 | video_length | 整数 | 81 | 生成视频的帧数 | 视频帧数 | 81帧约5秒 |
基础分辨率 | base_resolution | 选择列表 | 640 | 处理时的基础分辨率 | 基础分辨率 | 640适合大部分情况 |
随机种子 | seed | 整数 | 43 | 控制随机性 | 随机种子 | 固定种子可重现 |
步数 | steps | 整数 | 50 | 生成的精细程度 | 采样步数 | 25-50步平衡速度质量 |
CFG强度 | cfg | 浮点数 | 6.0 | 提示词影响强度 | 分类器自由引导 | 6-8效果好 |
调度器 | scheduler | 选择列表 | Flow | 生成过程调度 | 采样调度器 | Flow是Wan专用 |
缓存阈值 | teacache_threshold | 浮点数 | 0.10 | 加速缓存的触发阈值 | TeaCache阈值 | 0.1平衡速度质量 |
启用缓存 | enable_teacache | 布尔值 | True | 是否启用加速缓存 | TeaCache开关 | True可提升速度 |
跳过步数 | num_skip_start_steps | 整数 | 5 | 开始几步不使用缓存 | 缓存跳过步数 | 5步是经验值 |
缓存卸载 | teacache_offload | 布尔值 | True | 缓存是否卸载到CPU | 缓存卸载 | True节省显存 |
起始图片 | start_img | 图片类型 | - | 要动画化的起始图片 | 起始帧图像 | 连接要动画化的图片 |
加速参数 | riflex_k | 整数 | 0 | RiFlex加速参数 | RiFlex加速 | 6-10可加速生成 |
3.12 LoadWanFunModel 节点
这个节点是加载增强版Wan模型的"超级加载器",支持更多功能。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
模型 | model | 选择列表 | Wan2.1-Fun-1.3B-InP | 选择要加载的增强模型 | 预训练模型 | Fun版本功能更强 |
模型类型 | model_type | 选择列表 | Inpaint | 选择模型的工作模式 | 模型功能类型 | Inpaint图生视频,Control控制生成 |
显存模式 | GPU_memory_mode | 选择列表 | model_cpu_offload | 显存管理策略 | GPU内存管理 | 显存不够用cpu_offload |
配置文件 | config | 选择列表 | wan2.1/wan_civitai.yaml | 模型配置文件 | 模型配置 | 使用默认配置即可 |
精度 | precision | 选择列表 | fp16 | 计算精度设置 | 浮点精度 | fp16节省显存 |
3.13 LoadWanFunLora 节点
这个节点给增强版Wan模型添加特殊技能,功能更强大。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
模型 | funmodels | FunModels类型 | - | 要添加技能的基础模型 | 基础模型输入 | 连接LoadWanFunModel输出 |
Lora名称 | lora_name | 文件列表 | - | 要添加的技能包名称 | LoRA权重文件 | 选择训练好的Lora文件 |
强度 | strength_model | 浮点数 | 1.0 | 技能的影响强度 | LoRA权重强度 | 1.0是标准强度 |
缓存 | lora_cache | 布尔值 | False | 是否缓存技能包 | LoRA缓存 | 频繁切换时开启 |
3.14 WanFunT2VSampler 节点
这个节点是增强版的"文字变视频生成器",功能更强大。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
模型 | funmodels | FunModels类型 | - | 用于生成的增强模型 | 模型输入 | 连接加载好的WanFun模型 |
正面提示词 | prompt | 字符串 | - | 描述想要的视频内容 | 正向提示词 | "美丽的风景" |
负面提示词 | negative_prompt | 字符串 | - | 描述不想要的内容 | 负向提示词 | "模糊,低质量" |
视频长度 | video_length | 整数 | 81 | 生成视频的帧数 | 视频帧数 | 81帧约5秒 |
宽度 | width | 整数 | 832 | 视频画面宽度 | 视频宽度 | 建议16的倍数 |
高度 | height | 整数 | 480 | 视频画面高度 | 视频高度 | 建议16的倍数 |
生成图片 | is_image | 布尔值 | False | 是否只生成单帧图片 | 图像模式 | False生成视频 |
随机种子 | seed | 整数 | 43 | 控制随机性 | 随机种子 | 固定种子可重现 |
步数 | steps | 整数 | 50 | 生成的精细程度 | 采样步数 | 25-50步平衡速度质量 |
CFG强度 | cfg | 浮点数 | 6.0 | 提示词影响强度 | 分类器自由引导 | 6-8效果好 |
调度器 | scheduler | 选择列表 | Flow | 生成过程调度 | 采样调度器 | Flow是Wan专用 |
缓存阈值 | teacache_threshold | 浮点数 | 0.10 | 加速缓存的触发阈值 | TeaCache阈值 | 0.1平衡速度质量 |
启用缓存 | enable_teacache | 布尔值 | True | 是否启用加速缓存 | TeaCache开关 | True可提升速度 |
跳过步数 | num_skip_start_steps | 整数 | 5 | 开始几步不使用缓存 | 缓存跳过步数 | 5步是经验值 |
缓存卸载 | teacache_offload | 布尔值 | True | 缓存是否卸载到CPU | 缓存卸载 | True节省显存 |
加速参数 | riflex_k | 整数 | 0 | RiFlex加速参数 | RiFlex加速 | 6-10可加速生成 |
3.15 WanFunInpaintSampler 节点
这个节点是增强版的"图片变视频生成器",支持更精细的控制。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
模型 | funmodels | FunModels类型 | - | 用于生成的增强模型 | 模型输入 | 连接加载好的WanFun模型 |
正面提示词 | prompt | 字符串 | - | 描述想要的动作效果 | 正向提示词 | "人物在微笑" |
负面提示词 | negative_prompt | 字符串 | - | 描述不想要的效果 | 负向提示词 | "静止不动" |
视频长度 | video_length | 整数 | 81 | 生成视频的帧数 | 视频帧数 | 81帧约5秒 |
基础分辨率 | base_resolution | 选择列表 | 640 | 处理时的基础分辨率 | 基础分辨率 | 640适合大部分情况 |
随机种子 | seed | 整数 | 43 | 控制随机性 | 随机种子 | 固定种子可重现 |
步数 | steps | 整数 | 50 | 生成的精细程度 | 采样步数 | 25-50步平衡速度质量 |
CFG强度 | cfg | 浮点数 | 6.0 | 提示词影响强度 | 分类器自由引导 | 6-8效果好 |
调度器 | scheduler | 选择列表 | Flow | 生成过程调度 | 采样调度器 | Flow是Wan专用 |
缓存阈值 | teacache_threshold | 浮点数 | 0.10 | 加速缓存的触发阈值 | TeaCache阈值 | 0.1平衡速度质量 |
启用缓存 | enable_teacache | 布尔值 | True | 是否启用加速缓存 | TeaCache开关 | True可提升速度 |
跳过步数 | num_skip_start_steps | 整数 | 5 | 开始几步不使用缓存 | 缓存跳过步数 | 5步是经验值 |
缓存卸载 | teacache_offload | 布尔值 | True | 缓存是否卸载到CPU | 缓存卸载 | True节省显存 |
起始图片 | start_img | 图片类型 | - | 要动画化的起始图片 | 起始帧图像 | 连接要动画化的图片 |
结束图片 | end_img | 图片类型 | - | 视频的最后一帧图片 | 结束帧图像 | 可选,控制视频结尾 |
加速参数 | riflex_k | 整数 | 0 | RiFlex加速参数 | RiFlex加速 | 6-10可加速生成 |
3.16 WanFunV2VSampler 节点
这个节点是增强版的"视频控制生成器",支持多种控制条件。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
模型 | funmodels | FunModels类型 | - | 用于生成的增强模型 | 模型输入 | 连接加载好的WanFun模型 |
正面提示词 | prompt | 字符串 | - | 描述想要的视频效果 | 正向提示词 | "人物在跳舞" |
负面提示词 | negative_prompt | 字符串 | - | 描述不想要的效果 | 负向提示词 | "静止,模糊" |
视频长度 | video_length | 整数 | 81 | 输出视频的帧数 | 视频帧数 | 81帧约5秒 |
基础分辨率 | base_resolution | 选择列表 | 640 | 处理时的基础分辨率 | 基础分辨率 | 640适合大部分情况 |
随机种子 | seed | 整数 | 43 | 控制随机性 | 随机种子 | 固定种子可重现 |
步数 | steps | 整数 | 25 | 生成的精细程度 | 采样步数 | 25步速度快 |
CFG强度 | cfg | 浮点数 | 7.0 | 提示词影响强度 | 分类器自由引导 | 7.0适合控制生成 |
去噪强度 | denoise_strength | 浮点数 | 0.70 | 改变原视频的程度 | 去噪强度 | 0.7中等改变 |
调度器 | scheduler | 选择列表 | Flow | 生成过程调度 | 采样调度器 | Flow是Wan专用 |
缓存阈值 | teacache_threshold | 浮点数 | 0.10 | 加速缓存的触发阈值 | TeaCache阈值 | 0.1平衡速度质量 |
启用缓存 | enable_teacache | 布尔值 | True | 是否启用加速缓存 | TeaCache开关 | True可提升速度 |
跳过步数 | num_skip_start_steps | 整数 | 5 | 开始几步不使用缓存 | 缓存跳过步数 | 5步是经验值 |
缓存卸载 | teacache_offload | 布尔值 | True | 缓存是否卸载到CPU | 缓存卸载 | True节省显存 |
参考视频 | validation_video | 图片类型 | - | 要改造的原始视频 | 输入视频 | 连接视频帧序列 |
控制视频 | control_video | 图片类型 | - | 控制条件视频 | 控制条件 | 边缘、深度等控制信息 |
起始图片 | start_image | 图片类型 | - | 视频的第一帧图片 | 起始帧图像 | 可选,控制视频开始 |
参考图片 | ref_image | 图片类型 | - | 作为参考的图片 | 参考图像 | 可选,提供风格参考 |
摄像机条件 | camera_conditions | 字符串 | - | 摄像机运动参数 | 摄像机控制数据 | 连接摄像机轨迹节点 |
加速参数 | riflex_k | 整数 | 0 | RiFlex加速参数 | RiFlex加速 | 6-10可加速生成 |
3.17 VideoToCanny 节点
这个节点就像一个"边缘提取器",能把视频中的边缘轮廓提取出来。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
输入视频 | input_video | 图片类型 | - | 要提取边缘的原始视频 | 输入视频帧 | 连接视频帧序列 |
低阈值 | low_threshold | 整数 | 100 | 边缘检测的"敏感度下限" | Canny低阈值 | 100适合大部分情况 |
高阈值 | high_threshold | 整数 | 200 | 边缘检测的"敏感度上限" | Canny高阈值 | 200适合大部分情况 |
视频长度 | video_length | 整数 | 81 | 处理的视频帧数 | 处理帧数 | 81帧约5秒 |
3.18 VideoToDepth 节点
这个节点就像一个"深度探测器",能把视频中的远近关系提取出来。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
输入视频 | input_video | 图片类型 | - | 要提取深度的原始视频 | 输入视频帧 | 连接视频帧序列 |
视频长度 | video_length | 整数 | 81 | 处理的视频帧数 | 处理帧数 | 81帧约5秒 |
3.19 VideoToOpenpose 节点
这个节点就像一个"姿态识别器",能把视频中人物的姿态动作提取出来。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
输入视频 | input_video | 图片类型 | - | 要提取姿态的原始视频 | 输入视频帧 | 连接视频帧序列 |
视频长度 | video_length | 整数 | 81 | 处理的视频帧数 | 处理帧数 | 81帧约5秒 |
3.20 CreateTrajectoryBasedOnKJNodes 节点
这个节点就像一个"轨迹绘制器",能根据坐标点绘制出运动轨迹。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
坐标点 | coordinates | 字符串 | - | 运动轨迹的坐标点列表 | 轨迹坐标数据 | 连接坐标生成节点 |
遮罩 | masks | 遮罩类型 | - | 用于定位的遮罩信息 | 遮罩数据 | 连接遮罩生成节点 |
3.21 ImageMaximumNode 节点
这个节点就像一个"图像合并器",能把两个视频的亮度最大值合并。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
视频1 | video_1 | 图片类型 | - | 第一个要合并的视频 | 输入视频A | 连接第一个视频源 |
视频2 | video_2 | 图片类型 | - | 第二个要合并的视频 | 输入视频B | 连接第二个视频源 |
3.22 CameraBasicFromChaoJie 节点
这个节点就像一个"基础摄像机控制器",能模拟各种基本的摄像机运动。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
摄像机姿态 | camera_pose | 选择列表 | Static | 摄像机的运动方式 | 摄像机运动类型 | Static静止,Pan平移,Zoom缩放 |
速度 | speed | 浮点数 | 1.0 | 摄像机运动的快慢 | 运动速度 | 1.0正常速度,2.0加速 |
视频长度 | video_length | 整数 | 16 | 摄像机运动的帧数 | 运动帧数 | 16帧约2秒 |
3.23 CameraCombineFromChaoJie 节点
这个节点就像一个"组合摄像机控制器",能同时使用多种摄像机运动。
参数详解
参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|
摄像机姿态1 | camera_pose1 | 选择列表 | Static | 第一种摄像机运动 | 摄像机运动A | 选择一种运动方式 |
摄像机姿态2 | camera_pose2 | 选择列表 | Static | 第二种摄像机运动 | 摄像机运动B | 选择第二种运动 |
摄像机姿态3 | camera_pose3 | 选择列表 | Static | 第三种摄像机运动 | 摄像机运动C | 选择第三种运动 |
摄像机姿态4 | camera_pose4 | 选择列表 | Static | 第四种摄像机运动 | 摄像机运动D | 选择第四种运动 |
速度 | speed | 浮点数 | 1.0 | 所有运动的统一速度 | 运动速度 | 1.0正常速度 |
视频长度 | video_length | 整数 | 16 | 摄像机运动的帧数 | 运动帧数 | 16帧约2秒 |
4. 使用技巧和建议
4.1 新手入门建议
从CogVideoX-Fun-V1.1-2b-InP模型开始
视频长度先用49帧测试
分辨率从512x512开始
4.2 性能优化
显存不够用sequential_cpu_offload
开启RiFlex加速
使用fp16精度
4.3 质量提升
详细的提示词描述
合适的负面提示词
调整CFG强度
5. 常见问题解答
Q1: 显存不够怎么办?
A: 使用sequential_cpu_offload模式,开启RiFlex加速
Q2: 生成速度太慢?
A: 减少步数到20-30,使用2b模型,开启加速
Q3: 视频质量不好?
A: 增加步数,使用5b模型,优化提示词
6. 总结
VideoX-Fun是一个功能强大的视频生成插件,支持文字生成视频、图片生成视频、视频控制等多种功能。通过合理的参数设置和优化,可以生成高质量的AI视频内容。