%20(1).png)
ComfyUI-Lumina-Video 插件保姆级教程
1. 插件简介
ComfyUI-Lumina-Video 是一个基于 Lumina Video 模型的视频生成插件，专门为 ComfyUI 设计。简单来说，这个插件就像一个"魔法视频工厂"，你只需要输入一段文字描述，它就能自动生成对应的视频内容。
插件地址： https://github.com/greengerong/ComfyUI-Lumina-Video
这个插件能给我们带来什么效果？
- 把你的文字描述变成真实的视频画面，就像给AI讲故事，它帮你拍成电影
- 可以自己调整视频的清晰度和长短，想要多长多清晰都可以
- 支持设置"不想要什么"的反向提示，让生成的视频更符合你的要求
- 自动下载和管理需要的模型文件，省去手动操作的麻烦
2. 如何安装
方法一：使用Git命令（推荐）
- 打开命令行工具（Windows用户可以使用CMD或PowerShell）
- 进入你的ComfyUI文件夹下的custom_nodes目录
- 输入以下命令：
cd ComfyUI/custom_nodes
git clone https://github.com/greengerong/ComfyUI-Lumina-Video.git
pip install -r requirements.txt
方法二：手动下载
- 访问 https://github.com/greengerong/ComfyUI-Lumina-Video
- 点击绿色的"Code"按钮，选择"Download ZIP"
- 解压到 ComfyUI/custom_nodes/ 目录下
- 在命令行中进入插件目录，运行
pip install -r requirements.txt
额外加速组件（可选）
为了获得更快的生成速度，你还可以安装：
- flash-attn
- Apex
具体安装方法可以参考：https://github.com/Alpha-VLLM/Lumina-Video/blob/main/INSTALL.md
安装完成后，重启ComfyUI即可。
3. 模型文件管理
自动下载（推荐）
插件会在首次运行时自动下载所需的模型文件，就像手机App第一次运行时会自动下载一些必要文件一样。
手动下载
如果自动下载太慢，你也可以手动下载：
网盘下载地址： https://pan.quark.cn/s/7663d2202040
需要下载的模型文件：
- Lumina-Video-f24R960：主要的视频生成模型，放到
/ComfyUI/models/Lumina-Video/Lumina-Video-f24R960 - gemma-2-2b：文字理解模型，放到
/ComfyUI/models/LLM/gemma-2-2b - CogVideoX-2b vae：视频编码模型，放到
/ComfyUI/models/CogVideo/CogVideoX-2b
4. 节点详细解析
根据插件的功能描述，这个插件主要包含以下几个核心节点：
4.1 LuminaVideoTextToVideo 节点（文字转视频节点）
这个节点就像一个"视频魔法师"，你告诉它你想要什么样的视频，它就能帮你制作出来。
参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 提示词 | prompt | 文本输入 | 详细描述 | 就像给导演讲故事，告诉AI你想要什么样的视频内容 | 文本到视频生成的输入提示 | "一只可爱的小猫在花园里追蝴蝶" |
| 负面提示词 | negative_prompt | 文本输入 | 空白或简单描述 | 告诉AI你不想要什么，就像告诉厨师不要放辣椒 | 用于约束生成结果的反向提示 | "模糊，低质量，扭曲" |
| 系统提示词 | system_prompt | 文本输入 | 默认设置 | 给AI设定一个总的创作风格，就像给画家定一个画风 | 系统级别的提示词设置 | "请生成高质量的写实风格视频" |
| 宽度 | width | 数值 | 512-1024 | 视频的宽度，就像调整电视屏幕的宽度 | 生成视频的水平像素数 | 768（必须是32的倍数） |
| 高度 | height | 数值 | 512-1024 | 视频的高度，就像调整电视屏幕的高度 | 生成视频的垂直像素数 | 512（必须是32的倍数） |
| 帧数 | num_frames | 数值 | 16-64 | 视频有多少张画面，就像翻页书有多少页 | 生成视频的总帧数 | 24帧（约1秒的视频） |
| 精度模式 | precision | 选择 | bf16 | 计算精度，就像选择画笔的粗细，影响质量和速度 | 模型计算的数值精度 | bf16（平衡质量和速度） |
| 随机种子 | seed | 数值 | 随机或固定 | 就像抽奖的号码，相同号码会生成相似的结果 | 随机数生成器的种子值 | 42（固定种子确保结果可重复） |
| 引导强度 | guidance_scale | 数值 | 5.0-15.0 | 控制AI多严格按照你的要求来，数值越大越严格 | 分类器自由引导的强度 | 7.5（适中的引导强度） |
| 推理步数 | num_inference_steps | 数值 | 20-50 | AI思考的步数，就像画家画画的笔数，越多越细致 | 扩散模型的推理迭代次数 | 30（平衡质量和速度） |
4.2 LuminaVideoLoader 节点（模型加载节点）
这个节点就像一个"工具箱管理员"，负责把生成视频需要的各种工具准备好。
参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 模型路径 | model_path | 文件路径 | 自动检测 | 告诉插件去哪里找视频生成的主要工具 | Lumina模型的文件路径 | 通常自动检测，无需手动设置 |
| 设备类型 | device | 选择 | auto | 选择用什么硬件来工作，就像选择用手工还是机器 | 计算设备类型选择 | auto（自动选择最佳设备） |
| 精度模式 | precision | 选择 | bf16 | 选择计算的精确度，影响速度和质量 | 模型推理的数值精度 | bf16（推荐设置） |
| 内存优化 | memory_efficient | 布尔值 | True | 是否节约内存使用，就像选择是否要节约用电 | 内存使用优化开关 | True（推荐开启） |
4.3 LuminaVideoVAEDecode 节点（视频解码节点）
这个节点就像一个"视频翻译官"，把AI生成的数据翻译成我们能看懂的视频。
参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 隐空间数据 | latents | 数据输入 | 来自生成节点 | 接收AI生成的原始数据，就像接收密码本 | 来自扩散模型的隐空间表示 | 连接到LuminaVideoTextToVideo节点的输出 |
| VAE模型 | vae | 模型输入 | CogVideoX-2b | 选择解码工具，就像选择翻译软件 | 变分自编码器模型 | 使用CogVideoX-2b VAE |
| 输出格式 | output_format | 选择 | mp4 | 选择视频的保存格式，就像选择文件类型 | 视频文件的输出格式 | mp4（通用格式） |
4.4 LuminaVideoSave 节点（视频保存节点）
这个节点就像一个"视频管家"，负责把生成的视频整理好保存起来。
参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| 视频数据 | video | 视频输入 | 来自解码节点 | 接收解码后的视频数据 | 处理后的视频数据流 | 连接到VAEDecode节点的输出 |
| 保存路径 | save_path | 文件路径 | 默认输出目录 | 决定视频保存在哪个文件夹 | 视频文件的保存路径 | ComfyUI/output/videos/ |
| 文件名前缀 | filename_prefix | 文本 | "lumina_video" | 给视频文件起个名字前缀，方便管理 | 文件名的前缀字符串 | "my_video_" |
| 帧率 | fps | 数值 | 8-24 | 视频播放的速度，就像调整播放倍速 | 视频的帧率设置 | 8（较慢但文件小）到24（流畅但文件大） |
| 质量 | quality | 数值 | 80-100 | 视频的清晰度，数值越高越清晰但文件越大 | 视频编码质量参数 | 90（高质量） |
5. 使用技巧和建议
5.1 提示词编写技巧
- 具体化描述：不要只写"一只猫"，要写"一只橘色的短毛猫在绿色的草地上慢慢走路"
- 加入动作描述：视频需要动作，记得描述"走路"、"飞翔"、"旋转"等动作
- 环境描述：描述背景环境，如"在阳光明媚的公园里"、"在夜晚的城市街道上"
- 情绪表达：可以加入情绪词汇，如"快乐地"、"悲伤地"、"兴奋地"
5.2 参数调整建议
- 新手建议：首次使用时，宽度和高度都设为512，帧数设为16，这样生成速度快，便于测试
- 追求质量：想要更好效果时，可以将宽度高度调到768x512，帧数调到24-32
- 节省显存：如果显存不够，选择bf16精度模式，并开启内存优化
5.3 常见参数组合
- 快速测试：512x512，16帧，20步，引导强度7.5
- 标准质量：768x512，24帧，30步，引导强度7.5
- 高质量：1024x768，32帧，40步，引导强度10.0
6. 常见问题解答
Q1: 插件安装后找不到节点？
A: 重启ComfyUI后，在节点列表中搜索"Lumina"或"Video"关键词。如果还是找不到，检查custom_nodes目录下是否有ComfyUI-Lumina-Video文件夹。
Q2: 生成视频时提示显存不足？
A:
- 降低分辨率（比如从1024x768改为512x512）
- 减少帧数（比如从32帧改为16帧）
- 使用bf16精度模式
- 开启内存优化选项
Q3: 生成的视频质量不好？
A:
- 增加推理步数（从20步增加到40步）
- 提高引导强度（从7.5增加到10.0）
- 使用更具体和详细的提示词
- 添加质量相关的关键词如"高清"、"细节丰富"
Q4: 视频生成速度太慢？
A:
- 降低分辨率和帧数
- 减少推理步数
- 确保使用GPU而不是CPU
- 安装flash-attn等加速组件
Q5: 生成的视频内容和描述不符？
A:
- 使用更具体和详细的提示词
- 适当使用负面提示词排除不想要的内容
- 调整引导强度，让AI更严格按照提示词生成
- 可以尝试不同的随机种子
7. 实际使用示例
示例1：生成一个简单的动物视频
- 在LuminaVideoTextToVideo节点中输入提示词："一只可爱的小狗在绿色的草地上奔跑，阳光明媚，画面清晰"
- 设置尺寸为512x512，帧数为16
- 连接到VAEDecode节点和Save节点
- 运行工作流程
示例2：生成风景视频
- 提示词："美丽的海边日落，海浪轻柔地拍打着沙滩，天空中有彩色的云朵慢慢飘过"
- 设置尺寸为768x512，帧数为24
- 引导强度设为8.0，获得更好的效果
示例3：生成科幻风格视频
- 提示词："未来城市的夜景，有飞行汽车在高楼大厦之间穿梭，霓虹灯闪烁"
- 负面提示词："模糊，低质量，扭曲，不真实"
- 设置较高的引导强度（10.0）确保科幻效果
8. 进阶技巧
8.1 批量生成
- 使用不同的随机种子可以基于相同提示词生成不同变化的视频
- 可以准备多个提示词，依次生成不同主题的视频
8.2 工作流程优化
- 建议先用低分辨率快速测试效果，满意后再用高分辨率生成最终版本
- 可以保存常用的参数组合作为预设，方便重复使用
8.3 创意应用
- 结合其他ComfyUI节点，可以对生成的视频进行后处理
- 可以生成一系列相关联的短视频，组成更长的故事
记住，视频生成是一个需要耐心和实验的过程。不要害怕尝试不同的参数组合，每次实验都会让你更加熟练地使用这个强大的工具！