ComfyUI 魔法书 Logo
🏠 首页
👥 加群
😎 大帅比
登录 →
ComfyUI 魔法书 Logo
🏠 首页 👥 加群 😎 大帅比
登录
  1. 首页
  2. 🧩 插件工坊 (Plugin Workshop)
  3. ComfyUI插件FramePackWrapper_Plus使用教程 从入门到精通

ComfyUI插件FramePackWrapper_Plus使用教程 从入门到精通

0
  • 🧩 插件工坊 (Plugin Workshop)
  • 发布于 2025-07-01
  • 26 次阅读
编程界的小学生
编程界的小学生

ComfyUI-FramePackWrapper_Plus 插件保姆级教程

1. 插件简介

插件地址: https://github.com/ShmuelRonen/ComfyUI-FramePackWrapper_Plus

ComfyUI-FramePackWrapper_Plus 是一个超级强大的视频生成插件,就像给你的 ComfyUI 装上了一个专业的视频制作工厂。这个插件能做什么呢?

  • 图片转视频:给它一张图片,它就能生成一段流畅的视频,就像让静态照片活起来
  • 时间轴控制:可以在不同时间点设置不同的描述,就像给视频写剧本一样
  • LoRA 支持:可以加载各种风格模型,让视频呈现不同的艺术效果
  • F1 采样器:使用最新的 F1 技术,生成的视频更流畅、质量更高
  • 长视频生成:不像其他插件只能生成几秒钟,这个可以生成任意长度的视频
  • 智能分辨率:自动找到最适合的视频尺寸,避免变形

这个插件基于 FramePack 项目,专门为 HunyuanVideo 模型优化,就像是专门为某种高级相机设计的镜头一样。

2. 如何安装

第一步:下载插件

# 进入你的 ComfyUI 插件目录
cd ComfyUI/custom_nodes

# 下载插件
git clone https://github.com/ShmuelRonen/ComfyUI-FramePackWrapper_Plus.git

第二步:安装依赖包

# 进入插件目录
cd ComfyUI-FramePackWrapper_Plus

# 安装必需的包
pip install -r requirements.txt

第三步:下载模型文件

你需要下载以下模型文件:

主要模型:

  • FramePackI2V_HY_fp8_e4m3fn.safetensors - 优化版本(文件较小)
  • FramePackI2V_HY_bf16.safetensors - 高质量版本

必需组件:

  • CLIP Vision: sigclip_vision_384
  • 文本编码器和VAE: HunyuanVideo_repackaged

3. 节点详细解析

3.1 DownloadAndLoadFramePackModel 节点

这个节点就像一个智能下载管家,它会自动从网上下载模型文件并加载到内存中,省去你手动下载的麻烦。

参数详解:

参数名 (UI显示)参数名 (代码里)参数值建议值通俗解释 (能干嘛的)专业解释怎么用/举个例子
modelmodellllyasviel/FramePackI2V_HYlllyasviel/FramePackI2V_HY选择要下载的模型,就像选择要用哪个画家的风格指定要从HuggingFace下载的预训练模型ID目前只有一个选项,直接用默认值就行
base_precisionbase_precisionfp32/bf16/fp16bf16设置计算精度,就像调节画笔的精细度设置模型权重的数据类型,影响显存占用和计算精度bf16 最省显存且效果好,fp32 最精确但占用显存多
quantizationquantizationdisabled/fp8_e4m3fn/fp8_e4m3fn_fast/fp8_e5m2disabled压缩模型大小的方法,就像把大文件压缩成小文件模型量化方法,可以减少显存占用但可能影响质量显存不够时可以选择 fp8_e4m3fn,正常情况用 disabled
attention_modeattention_modesdpa/flash_attn/sageattnsdpa注意力计算方式,就像大脑思考问题的不同方法选择注意力机制的实现方式,影响速度和显存占用sdpa 兼容性最好,flash_attn 速度更快但需要特定环境
compile_argscompile_argsFRAMEPACKCOMPILEARGS对象None编译优化设置,就像给程序装上加速器PyTorch编译优化参数,可以提升推理速度可选参数,不连接就用默认设置

3.2 LoadFramePackModel 节点

这个节点就像一个本地模型管家,负责加载你已经下载好的模型文件,比自动下载节点更灵活。

参数详解:

参数名 (UI显示)参数名 (代码里)参数值建议值通俗解释 (能干嘛的)专业解释怎么用/举个例子
modelmodel文件列表根据你的文件选择本地模型文件,就像从书架上选一本书从diffusion_models文件夹中选择模型文件选择你下载的 FramePackI2V_HY 模型文件
base_precisionbase_precisionfp32/bf16/fp16bf16设置计算精度,和上面节点一样的作用设置模型权重的数据类型bf16 是最佳平衡选择
quantizationquantizationdisabled/fp8_e4m3fn/fp8_e4m3fn_fast/fp8_e5m2disabled模型压缩方式,和上面节点一样模型量化方法显存紧张时选择 fp8_e4m3fn
load_deviceload_devicemain_device/offload_devicemain_device选择模型加载到哪个设备,就像选择把东西放在桌上还是抽屉里控制模型初始化时的设备位置main_device 速度快,offload_device 省显存
attention_modeattention_modesdpa/flash_attn/sageattnsdpa注意力计算方式,同上注意力机制实现方式sdpa 最稳定
compile_argscompile_argsFRAMEPACKCOMPILEARGS对象None编译优化设置,同上PyTorch编译优化参数可选参数
loraloraFPLORA对象NoneLoRA 风格模型,就像给画家换不同的画笔加载的LoRA适配器列表连接 FramePackLoraSelect 节点的输出

3.3 FramePackLoraSelect 节点

这个节点就像一个风格选择器,让你可以给视频添加不同的艺术风格,比如动漫风格、写实风格等。

参数详解:

参数名 (UI显示)参数名 (代码里)参数值建议值通俗解释 (能干嘛的)专业解释怎么用/举个例子
loraloraLoRA文件列表根据你的文件选择风格文件,就像选择滤镜从loras文件夹中选择LoRA模型文件选择你想要的风格文件,比如 anime_style.safetensors
strengthstrength浮点数1.0风格强度,就像调节滤镜的浓度LoRA模型的影响强度1.0 是标准强度,0.5 是轻微效果,1.5 是强烈效果
fuse_lorafuse_lora布尔值True是否融合风格到主模型,就像决定是临时贴纸还是永久印刷是否将LoRA权重融合到基础模型中True 性能更好,False 更灵活
prev_loraprev_loraFPLORA对象None前一个风格设置,用于叠加多个风格用于链接多个LoRA的前置输入想用多个风格时连接前一个 FramePackLoraSelect 节点

3.4 FramePackFindNearestBucket 节点

这个节点就像一个智能裁缝,会根据你的图片找到最合适的视频尺寸,避免视频变形或拉伸。

参数详解:

参数名 (UI显示)参数名 (代码里)参数值建议值通俗解释 (能干嘛的)专业解释怎么用/举个例子
imageimageIMAGE对象来自图片加载节点输入的参考图片,就像给裁缝看要做什么尺寸的衣服用于计算最佳分辨率的输入图像连接 Load Image 节点的输出
base_resolutionbase_resolution整数640基础分辨率,就像设定衣服的基本尺码用于计算的基础分辨率值640 适合大多数情况,显存不够可以调到 512

3.5 FramePackSampler 节点

这个节点是传统的视频生成器,就像一个经典的电影制作机,按照固定的方式生成视频。

参数详解:

参数名 (UI显示)参数名 (代码里)参数值建议值通俗解释 (能干嘛的)专业解释怎么用/举个例子
modelmodelFramePackMODEL对象来自模型加载节点加载好的模型,就像准备好的画家预加载的FramePack模型对象连接模型加载节点的输出
positivepositiveCONDITIONING对象来自文本编码节点正面描述,告诉模型你想要什么正向条件编码,指导生成内容连接 CLIP Text Encode 节点的输出
negativenegativeCONDITIONING对象来自文本编码节点负面描述,告诉模型你不想要什么负向条件编码,避免不想要的内容连接负面提示的 CLIP Text Encode 节点
start_latentstart_latentLATENT对象来自潜在空间节点起始潜在空间,就像画布的初始状态用于图像到视频转换的初始潜在表示连接 VAE Encode 节点的输出
stepssteps整数30生成步数,就像画家画画的笔画次数扩散模型的推理步数30 步通常够用,质量要求高可以调到 50
use_teacacheuse_teacache布尔值True是否使用缓存加速,就像记住之前的计算结果启用TeaCache优化以提升采样速度True 可以显著提升速度
teacache_rel_l1_threshteacache_rel_l1_thresh浮点数0.15缓存阈值,控制缓存的敏感度TeaCache的相对L1损失阈值0.15 是平衡值,调小更精确但慢一些
cfgcfg浮点数1.0分类器自由引导强度,控制描述的影响力Classifier-Free Guidance强度1.0 是标准值,调高让描述影响更强
guidance_scaleguidance_scale浮点数10.0引导强度,控制生成质量扩散引导的强度系数10.0 是好的起点,可以根据效果调整
shiftshift浮点数0.0时间偏移,调整生成的时间特性时间步长的偏移参数通常保持 0.0,特殊情况才调整
seedseed整数0随机种子,控制生成的随机性随机数生成器的种子值相同种子产生相同结果,想要不同效果就改变数字
latent_window_sizelatent_window_size整数9潜在窗口大小,控制每次处理的帧数每个处理窗口的潜在帧数9 是标准值,显存不够可以调小到 5
total_second_lengthtotal_second_length浮点数5.0视频总长度(秒),就像设定电影的时长生成视频的总时长(秒)5 秒是好的开始,可以根据需要调整
gpu_memory_preservationgpu_memory_preservation浮点数6.0显存保留量,就像给其他程序留出空间为其他进程保留的GPU内存量(GB)6.0 适合大多数情况,显存小可以调到 4.0
samplersamplerunipc_bh1/unipc_bh2unipc_bh1采样器类型,不同的生成算法扩散采样器的算法选择unipc_bh1 通常效果更好
image_embedsimage_embedsCLIP_VISION_OUTPUT对象来自CLIP Vision节点图片的视觉特征,帮助模型理解图片内容输入图像的CLIP视觉编码连接 CLIP Vision Encode 节点的输出
end_latentend_latentLATENT对象可选结束潜在空间,用于设定视频的结束状态视频结束时的潜在表示可选参数,用于控制视频结尾
end_image_embedsend_image_embedsCLIP_VISION_OUTPUT对象可选结束图片的视觉特征结束图像的CLIP视觉编码配合 end_latent 使用
embed_interpolationembed_interpolationdisabled/weighted_average/lineardisabled图片特征插值方式,控制图片影响如何变化图像嵌入的插值方法linear 可以让图片影响平滑过渡
start_embed_strengthstart_embed_strength浮点数1.0起始图片影响强度起始图像嵌入的权重强度1.0 是完全影响,0.5 是一半影响
initial_samplesinitial_samplesLATENT对象可选初始采样,用于视频到视频的转换用于video2video的初始潜在样本高级功能,一般不用
denoise_strengthdenoise_strength浮点数1.0去噪强度,控制对原始内容的保留程度去噪过程的强度系数1.0 是完全重新生成,0.5 是保留一半原始内容

3.6 FramePackSampler_F1 节点

这个节点是新一代的视频生成器,使用 F1 技术,就像从老式胶片机升级到数字摄像机,生成质量更高、更流畅。

参数详解:

参数名 (UI显示)参数名 (代码里)参数值建议值通俗解释 (能干嘛的)专业解释怎么用/举个例子
modelmodelFramePackMODEL对象来自模型加载节点加载好的模型,必须是 F1 类型的模型预加载的FramePack F1模型对象连接 F1 模型加载节点的输出
positive_timed_datapositive_timed_dataTIMED_CONDITIONING_WITH_METADATA对象来自时间文本编码节点带时间轴的描述数据,就像电影剧本包含时间戳的条件编码数据连接 FramePackTimestampedTextEncode 节点的输出
negativenegativeCONDITIONING对象来自文本编码节点负面描述,告诉模型避免什么内容负向条件编码连接负面提示的文本编码节点
stepssteps整数30生成步数,影响质量和速度扩散模型的推理步数30 步是好的平衡点
use_teacacheuse_teacache布尔值True是否使用缓存加速技术启用TeaCache优化True 可以显著提升速度
teacache_rel_l1_threshteacache_rel_l1_thresh浮点数0.15缓存阈值,控制缓存精度TeaCache的相对L1损失阈值0.15 是推荐值
cfgcfg浮点数1.0分类器自由引导强度Classifier-Free Guidance强度1.0 是标准值
guidance_scaleguidance_scale浮点数10.0引导强度,控制生成质量扩散引导强度10.0 是好的起点
shiftshift浮点数0.0时间偏移参数时间步长偏移通常保持 0.0
seedseed整数0随机种子,控制结果的可重现性随机数生成器种子相同种子产生相同结果
gpu_memory_preservationgpu_memory_preservation浮点数6.0显存保留量(GB)为其他进程保留的GPU内存6.0 适合大多数情况
samplersamplerunipc_bh1/unipc_bh2unipc_bh1采样器算法选择F1采样器的具体算法unipc_bh1 通常效果更好
start_latentstart_latentLATENT对象可选起始潜在空间,用于图像到视频初始潜在表示连接 VAE Encode 节点输出
start_image_embedsstart_image_embedsCLIP_VISION_OUTPUT对象可选起始图片的视觉特征起始图像的CLIP视觉编码连接 CLIP Vision Encode 节点
end_latentend_latentLATENT对象可选结束潜在空间视频结束时的潜在表示高级功能,控制视频结尾
end_image_embedsend_image_embedsCLIP_VISION_OUTPUT对象可选结束图片的视觉特征结束图像的CLIP视觉编码配合 end_latent 使用
embed_interpolationembed_interpolationdisabled/weighted_average/lineardisabled图片特征插值方式图像嵌入插值方法linear 可以实现平滑过渡
start_embed_strengthstart_embed_strength浮点数1.0起始图片影响强度起始图像嵌入权重1.0 是完全影响
initial_samplesinitial_samplesLATENT对象可选初始采样,用于视频到视频转换video2video的初始样本高级功能
denoise_strengthdenoise_strength浮点数1.0去噪强度去噪过程强度1.0 是完全重新生成

3.7 FramePackTimestampedTextEncode 节点

这个节点就像一个智能剧本编辑器,可以让你为视频的不同时间段设置不同的描述,实现动态的视频内容。

参数详解:

参数名 (UI显示)参数名 (代码里)参数值建议值通俗解释 (能干嘛的)专业解释怎么用/举个例子
clipclipCLIP对象来自CLIP加载节点文本理解模型,就像翻译官CLIP文本编码器模型连接 Load CLIP 节点的输出
texttext多行文本带时间戳的描述带时间轴的描述文本,就像电影剧本包含时间戳的提示词文本例如:"[0s: 一只猫在草地上] [3s: 猫开始奔跑] [5s: 猫跳到树上]"
negative_textnegative_text文本空或负面描述不想要的内容描述负向提示词例如:"模糊,低质量,变形"
total_second_lengthtotal_second_length浮点数5.0视频总时长(秒)视频的总持续时间根据你想要的视频长度设置
latent_window_sizelatent_window_size整数9潜在窗口大小,影响时间戳对齐采样器的处理窗口大小需要和采样器节点的设置保持一致
prompt_blend_sectionsprompt_blend_sections整数0提示词混合段数,控制过渡的平滑度提示词变化时的混合段数0 是突然变化,2-3 是平滑过渡

3.8 FramePackTorchCompileSettings 节点

这个节点就像一个性能调优师,可以让模型运行得更快,但需要一定的技术基础。

参数详解:

参数名 (UI显示)参数名 (代码里)参数值建议值通俗解释 (能干嘛的)专业解释怎么用/举个例子
backendbackendinductor/cudagraphsinductor编译后端,就像选择不同的加速引擎PyTorch编译的后端选择inductor 兼容性更好,cudagraphs 速度更快但要求更高
fullgraphfullgraph布尔值False是否编译整个计算图启用完整图模式编译False 更稳定,True 可能更快但容易出错
modemodedefault/max-autotune/max-autotune-no-cudagraphs/reduce-overheaddefault编译模式,不同的优化策略编译优化模式选择default 最稳定,max-autotune 最快但可能不稳定
dynamicdynamic布尔值False是否启用动态模式启用动态形状编译False 更稳定,True 适合变化的输入尺寸
dynamo_cache_size_limitdynamo_cache_size_limit整数64缓存大小限制Dynamo缓存的大小限制64 是默认值,内存多可以调大
compile_single_blockscompile_single_blocks布尔值True是否编译单个块编译单个transformer块True 可以提升速度
compile_double_blockscompile_double_blocks布尔值True是否编译双重块编译双重transformer块True 可以提升速度

4. 使用技巧和建议

4.1 显存优化技巧

  • 显存不够用? 选择 fp8 量化模式,能节省大量显存
  • 还是不够? 调小 latent_window_size 到 5 或 7
  • 模型加载慢? 使用 load_device 设为 offload_device
  • 生成过程卡顿? 增加 gpu_memory_preservation 的值

4.2 质量提升技巧

  • 使用高质量起始图片:输入图片至少要 512x512 像素
  • 合理设置步数:30 步是平衡点,50 步质量更高但慢很多
  • 启用 TeaCache:可以显著提升速度且几乎不影响质量
  • 选择合适的采样器:unipc_bh1 通常效果最好

4.3 时间轴控制技巧

时间戳格式说明:

[0s: 描述内容]           # 从0秒开始,持续到下一个时间戳
[3s-5s: 描述内容]        # 从3秒到5秒的特定时间段
[5s: 新的描述内容]       # 从5秒开始的新内容

实用例子:

一只小猫在阳光下睡觉 [2s: 小猫慢慢睁开眼睛] [4s-6s: 小猫伸懒腰] [6s: 小猫开始玩毛线球]

4.4 LoRA 使用技巧

  • 风格强度:从 0.8 开始尝试,根据效果调整
  • 多个 LoRA:可以叠加使用,但总强度不要超过 2.0
  • 融合设置:fuse_lora 设为 True 可以提升性能

5. 常见问题解答

Q1: 为什么生成的视频很短?

A: 检查 total_second_length 参数,这个控制视频总长度。同时确保你的显存足够支持长视频生成。

Q2: 时间戳不起作用怎么办?

A:

  1. 确保使用 FramePackTimestampedTextEncode 节点
  2. 检查时间戳格式是否正确([0s: 内容])
  3. 确保连接到 FramePackSampler_F1 节点而不是普通的 FramePackSampler

Q3: 显存不够怎么办?

A: 按以下顺序尝试:

  1. 使用 fp8 量化模式
  2. 减小 latent_window_size 到 5
  3. 降低 base_resolution 到 512
  4. 缩短视频长度

Q4: 生成速度太慢怎么办?

A:

  1. 启用 use_teacache
  2. 减少生成步数到 20
  3. 使用编译优化(FramePackTorchCompileSettings)
  4. 选择 fp8_e4m3fn_fast 量化模式

Q5: LoRA 加载失败怎么办?

A:

  1. 确保 LoRA 文件是 .safetensors 格式
  2. 检查 LoRA 是否兼容 HunyuanVideo
  3. 尝试降低 LoRA 强度到 0.5
  4. 检查 ComfyUI/models/loras 文件夹路径

Q6: F1 采样器和普通采样器有什么区别?

A:

  • F1 采样器:支持时间轴控制,质量更高,适合复杂场景
  • 普通采样器:更简单直接,兼容性更好,适合基础使用

6. 工作流程示例

基础图片转视频工作流程:

  1. 添加 Load Image 节点加载起始图片
  2. 添加 VAE Encode 节点编码图片
  3. 添加 CLIP Vision Encode 节点提取图片特征
  4. 添加 LoadFramePackModel 节点加载模型
  5. 添加 CLIP Text Encode 节点编码描述文字
  6. 添加 FramePackSampler 节点生成视频
  7. 添加 VAE Decode 节点解码为视频

高级时间轴控制工作流程:

  1. 使用 FramePackTimestampedTextEncode 节点替代普通文本编码
  2. 使用 FramePackSampler_F1 节点替代普通采样器
  3. 在文本中使用时间戳格式:[0s: 开始场景] [3s: 变化场景]
  4. 设置合适的 prompt_blend_sections 实现平滑过渡

LoRA 风格化工作流程:

  1. 添加 FramePackLoraSelect 节点选择风格
  2. 将 LoRA 节点连接到模型加载节点
  3. 调整 strength 参数控制风格强度
  4. 可以串联多个 LoRA 节点实现风格叠加

7. 总结

ComfyUI-FramePackWrapper_Plus 是一个功能强大的视频生成插件,它就像给你的 ComfyUI 装上了一个专业的视频制作工厂。通过合理使用不同的节点组合,你可以实现从简单的图片转视频到复杂的时间轴控制视频生成。

记住几个关键点:

  • 显存不够就用量化和小窗口
  • 想要高质量就用 F1 采样器和足够的步数
  • 时间轴控制需要专门的节点组合
  • LoRA 可以让视频呈现不同的艺术风格
  • 耐心调试参数,找到最适合你需求的设置

希望这个教程能帮助你快速掌握这个强大的视频生成插件!

标签: #插件 2338
相关文章

ComfyUI错误修复插件详解:轻松解决常见问题 2025-07-10 18:25

ComfyUI-CustomMenu插件使用教程:高效自定义工作流指南 2025-07-10 17:50

ComfyUI图像合并插件comfyui-merge使用教程 2025-07-03 22:44

ComfyUI 图像合并插件教程 (comfyui-merge) 1. 插件简介 这是一个专门用来合并图片的 ComfyUI 插件,就像用 PS 把多张图片叠在一起那样。它的特别之处在于你精确控制每张图片的混合方式。 GitHub 地址:https://github.com/LingSss9/com

ComfyUI WAN 2.2视频插件教程:万相AI提示词全攻略 2025-07-31 11:47

ComfyUI WAN 2.2视频插件教程:万相AI提示词实战指南 2025-07-29 20:10

ComfyUI HeyGem数字人插件教程:零基础快速精通指南 2025-07-22 14:10

目录

从节点基础到高阶工作流,我们为你绘制最清晰的 ComfyUI 学习路径。告别困惑,让每一次连接都充满创造的魔力,轻松驾驭 AI 艺术的无限可能。

  • 微信
  • B站
  • GitHub
Copyright © 2025 AIX All Rights Reserved. Powered by AIX.
隐私政策
津ICP备2024019312号