ComfyUI-LumaAI-API 插件保姆级教程
1. 插件简介
插件地址: https://github.com/lumalabs/ComfyUI-LumaAI-API
这个插件就像是给 ComfyUI 装了一个超级厉害的视频制作工具!它能让你直接在 ComfyUI 里面使用 Luma AI 的强大功能。想象一下,你只需要写几个字,就能生成一段精美的视频,或者上传一张图片,就能让图片动起来变成视频!
这个插件能给我们带来什么效果:
- 📝 文字变视频:就像写作文一样,你写一段描述,它就能帮你生成对应的视频
- 🖼️ 图片变视频:把你的静态图片变成会动的视频,就像哈利波特里的魔法照片
- 🎬 视频接龙:把两个视频片段自然地连接起来
- 📏 视频放大:让模糊的视频变得更清晰
- 🎵 加背景音:给视频配上合适的音效
- 🎨 图片生成:根据你的描述生成各种风格的图片
2. 如何安装
方法一:手动安装(推荐新手)
-
找到你的 ComfyUI 文件夹
- 打开你电脑上的 ComfyUI 文件夹
- 进入
custom_nodes文件夹(这就像是插件的家)
-
下载插件
git clone https://github.com/lumalabs/ComfyUI-LumaAI-API.git如果你不会用命令行,也可以直接去网站下载压缩包解压到这个文件夹
-
安装依赖包(就像给插件装上必要的零件)
- Windows 用户:在 ComfyUI 文件夹里运行
.\python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-LumaAI-API\requirements.txt - Mac/Linux 用户:
cd ComfyUI-LumaAI-API && pip install -r requirements.txt
- Windows 用户:在 ComfyUI 文件夹里运行
-
配置密钥(这就像是你的身份证)
- 去 Luma AI 官网 申请一个密钥
- 在插件文件夹里找到
config.ini文件,把密钥填进去
-
重启 ComfyUI,就能看到新的节点了!
方法二:用 ComfyUI-Manager 安装
- 打开 ComfyUI-Manager
- 搜索 "ComfyUI-LumaAI-API"
- 点击安装即可
3. 节点详细解析
3.1 LumaAIClient 节点 - 连接器
这个节点是干嘛的?
就像是一把钥匙,用来打开 Luma AI 服务的大门。所有其他节点都需要通过它来工作,就像你要用任何 App 都得先登录一样。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| API Key | api_key | 字符串 | 你的密钥 | 这就像你的身份证号,证明你有权限使用服务 | LumaAI API 的认证令牌 | 填入从官网申请的密钥,如 "luma_sk_xxx..." |
3.2 LumaText2Video 节点 - 文字变视频魔法师
这个节点是干嘛的?
这就是最神奇的功能!你只需要用文字描述你想要的画面,它就能帮你生成对应的视频。就像是有个超级厉害的画家,能把你脑海中的想象画成会动的视频。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| Client | client | 连接器 | 必填 | 这是连接 Luma AI 的通道 | LumaAI 客户端实例 | 连接 LumaAIClient 节点的输出 |
| Model | model | 选择列表 | ray-flash-2 | 选择不同的视频生成引擎,就像选择不同品牌的相机 | 视频生成模型版本 | ray-flash-2(快速)、ray-2(平衡)、ray-1.6(经典) |
| Prompt | prompt | 多行文本 | 详细描述 | 用文字描述你想要的视频内容,越详细越好 | 文本提示词 | "一只可爱的小猫在花园里追蝴蝶,阳光明媚" |
| Duration | duration | 选择列表 | 5s | 视频的长度,就像设置录像时间 | 视频持续时间 | 5s(短视频) 或 9s(长一点) |
| Loop | loop | 开关 | False | 让视频能够无缝循环播放,就像 GIF 图 | 是否生成循环视频 | 开启后视频结尾会自然连接到开头 |
| Aspect Ratio | aspect_ratio | 选择列表 | 16:9 | 视频的宽高比例,就像选择横屏还是竖屏 | 视频宽高比 | 16:9(横屏)、9:16(竖屏)、1:1(正方形) |
| Resolution | resolution | 选择列表 | 720p | 视频的清晰度,就像选择高清还是标清 | 视频分辨率 | 540p(标清) 或 720p(高清) |
| Save | save | 开关 | True | 是否把生成的视频保存到电脑里 | 是否保存到本地 | 建议开启,这样你就能找到生成的视频文件 |
| Filename | filename | 文本 | 空 | 给视频起个名字,不填就用系统自动生成的名字 | 保存文件名 | 可以写 "我的第一个视频" |
3.3 LumaImage2Video 节点 - 图片变视频魔法师
这个节点是干嘛的?
把静态图片变成会动的视频!就像是给照片施了魔法,让里面的人物和景物都动起来。你可以选择图片作为视频的开头或结尾。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| Client | client | 连接器 | 必填 | 连接 Luma AI 的通道 | LumaAI 客户端实例 | 连接 LumaAIClient 节点 |
| Prompt | prompt | 多行文本 | 描述动作 | 描述你希望图片如何动起来 | 动画描述提示词 | "让图片中的人物挥手微笑" |
| Model | model | 选择列表 | ray-flash-2 | 选择视频生成引擎 | 视频生成模型 | 同上面的模型选择 |
| Duration | duration | 选择列表 | 5s | 视频长度 | 视频持续时间 | 5s 或 9s |
| Loop | loop | 开关 | False | 是否循环播放 | 循环视频选项 | 适合制作 GIF 效果 |
| Resolution | resolution | 选择列表 | 720p | 视频清晰度 | 视频分辨率 | 540p 或 720p |
| Save | save | 开关 | True | 是否保存视频 | 本地保存选项 | 建议开启 |
| Init Image URL | init_image_url | 文本链接 | 可选 | 作为视频开头的图片网址 | 初始帧图片URL | 需要先用 ImgBB 上传图片获得链接 |
| Final Image URL | final_image_url | 文本链接 | 可选 | 作为视频结尾的图片网址 | 结束帧图片URL | 可以设置视频的结束画面 |
| Filename | filename | 文本 | 空 | 视频文件名 | 保存文件名 | 自定义文件名 |
3.4 LumaInterpolateGenerations 节点 - 视频接龙大师
这个节点是干嘛的?
把两个不同的视频片段自然地连接起来,就像做视频接龙游戏。它会自动生成中间的过渡画面,让两个视频看起来像是一个完整的故事。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| Client | client | 连接器 | 必填 | 连接服务的通道 | LumaAI 客户端 | 连接 LumaAIClient |
| Prompt | prompt | 多行文本 | 过渡描述 | 描述两个视频之间应该如何过渡 | 插值过渡描述 | "从白天平滑过渡到夜晚" |
| Model | model | 选择列表 | ray-flash-2 | 选择处理引擎 | 视频生成模型 | 推荐用最新的 ray-flash-2 |
| Resolution | resolution | 选择列表 | 720p | 输出视频的清晰度 | 视频分辨率 | 720p 效果更好 |
| Save | save | 开关 | True | 是否保存结果 | 本地保存选项 | 建议保存 |
| Generation ID 1 | generation_id_1 | 文本 | 必填 | 第一个视频的编号(从其他节点获得) | 第一个视频的生成ID | 从前面节点的输出获取 |
| Generation ID 2 | generation_id_2 | 文本 | 必填 | 第二个视频的编号 | 第二个视频的生成ID | 从另一个节点的输出获取 |
| Filename | filename | 文本 | 空 | 合成视频的文件名 | 保存文件名 | "视频接龙作品" |
3.5 LumaExtendGeneration 节点 - 视频延长器
这个节点是干嘛的?
给现有的视频加长度,就像给故事续写章节。你可以选择在视频前面加内容,或者在后面加内容,让故事更完整。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| Client | client | 连接器 | 必填 | 服务连接通道 | LumaAI 客户端 | 连接 LumaAIClient |
| Prompt | prompt | 多行文本 | 延续描述 | 描述你想要添加的内容 | 扩展内容描述 | "在视频结尾添加日落场景" |
| Model | model | 选择列表 | ray-flash-2 | 处理引擎选择 | 视频生成模型 | 选择合适的模型 |
| Loop | loop | 开关 | False | 是否让扩展后的视频能循环 | 循环播放选项 | 根据需要开启 |
| Resolution | resolution | 选择列表 | 720p | 输出清晰度 | 视频分辨率 | 保持高质量 |
| Save | save | 开关 | True | 是否保存扩展后的视频 | 本地保存选项 | 建议保存 |
| Init Image URL | init_image_url | 文本链接 | 可选 | 作为扩展开头的图片 | 初始扩展图片 | 用于在视频前面添加内容 |
| Final Image URL | final_image_url | 文本链接 | 可选 | 作为扩展结尾的图片 | 结束扩展图片 | 用于在视频后面添加内容 |
| Init Generation ID | init_generation_id | 文本 | 可选 | 要扩展的原始视频编号 | 初始视频ID | 从其他节点获取 |
| Final Generation ID | final_generation_id | 文本 | 可选 | 目标视频编号 | 目标视频ID | 扩展到指定视频 |
| Filename | filename | 文本 | 空 | 扩展后视频的文件名 | 保存文件名 | "扩展版视频" |
3.6 LumaUpscaleGeneration 节点 - 视频清晰度提升器
这个节点是干嘛的?
把模糊的视频变得更清晰,就像给视频戴上了高清眼镜。特别适合把低分辨率的视频提升到更高的清晰度。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| Client | client | 连接器 | 必填 | 服务连接 | LumaAI 客户端 | 连接 LumaAIClient |
| Generation ID | generation_id | 文本 | 必填 | 要提升清晰度的视频编号 | 源视频生成ID | 从其他节点获取视频ID |
| Resolution | resolution | 选择列表 | 1080p | 目标清晰度级别 | 目标分辨率 | 540p、720p、1080p、4k |
| Save | save | 开关 | True | 是否保存高清版本 | 本地保存选项 | 建议保存高清版 |
| Filename | filename | 文本 | 空 | 高清视频的文件名 | 保存文件名 | "高清版_视频名" |
3.7 LumaAddAudio2Video 节点 - 视频配音师
这个节点是干嘛的?
给无声的视频配上合适的背景音乐或音效,就像给电影配音一样。让你的视频更有感染力和氛围感。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| Client | client | 连接器 | 必填 | 服务连接 | LumaAI 客户端 | 连接 LumaAIClient |
| Generation ID | generation_id | 文本 | 必填 | 要配音的视频编号 | 目标视频ID | 从视频生成节点获取 |
| Prompt | prompt | 多行文本 | 音效描述 | 描述你想要什么样的音效或音乐 | 音频生成提示 | "轻松愉快的背景音乐" |
| Negative Prompt | negative_prompt | 多行文本 | 不要的音效 | 描述你不想要的音效类型 | 负面音频提示 | "不要刺耳的噪音" |
| Save | save | 开关 | True | 是否保存带音频的视频 | 本地保存选项 | 建议保存 |
| Filename | filename | 文本 | 空 | 带音频视频的文件名 | 保存文件名 | "配音版_视频名" |
3.8 LumaPreviewVideo 节点 - 视频预览器
这个节点是干嘛的?
在 ComfyUI 界面里直接预览生成的视频,就像是一个小电视屏幕。不用跳出软件就能看到视频效果。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| Video URL | video_url | 文本链接 | 必填 | 要预览的视频网址 | 视频URL地址 | 从其他节点的视频输出连接 |
3.9 ImgBBUpload 节点 - 图片上传助手
这个节点是干嘛的?
把你电脑里的图片上传到网上,获得一个网址链接。因为 Luma AI 只能使用网上的图片链接,所以这个节点就像是一个图片快递员。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| Image | image | 图片 | 必填 | 要上传的图片 | 图片数据 | 从其他节点连接图片输出 |
| API Key | api_key | 文本 | 必填 | ImgBB 服务的密钥 | ImgBB API 密钥 | 去 ImgBB 官网申请免费密钥 |
| Expire | expire | 开关 | False | 图片链接是否会过期 | 链接过期设置 | 关闭表示永久有效 |
| Expiration Time | expiration_time | 数字 | 60 | 图片链接多久后过期(秒) | 过期时间设置 | 60秒到15552000秒之间 |
3.10 Reference 节点 - 参考图片制作器
这个节点是干嘛的?
把图片变成一个"参考样本",告诉 AI 你希望生成的内容要参考这张图片的风格或内容。就像给 AI 看样品一样。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| Image URL | image_url | 文本链接 | 必填 | 参考图片的网址 | 参考图片URL | 从 ImgBB 上传后获得的链接 |
| Weight | weight | 小数 | 1.0 | 这张参考图片的影响力大小 | 参考权重值 | 0.0-1.0,越大影响越强 |
3.11 ConcatReferences 节点 - 参考图片组合器
这个节点是干嘛的?
把多张参考图片组合在一起,就像制作一个参考图片的合集。让 AI 同时参考多张图片的特点。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| Reference 1 | reference_1 | 参考对象 | 可选 | 第一张参考图片 | 第一个参考对象 | 从 Reference 节点连接 |
| Reference 2 | reference_2 | 参考对象 | 可选 | 第二张参考图片 | 第二个参考对象 | 从 Reference 节点连接 |
| Reference 3 | reference_3 | 参考对象 | 可选 | 第三张参考图片 | 第三个参考对象 | 从 Reference 节点连接 |
| Reference 4 | reference_4 | 参考对象 | 可选 | 第四张参考图片 | 第四个参考对象 | 从 Reference 节点连接 |
3.12 CharacterReference 节点 - 角色参考制作器
这个节点是干嘛的?
专门用来创建角色参考,告诉 AI 你想要生成的人物应该长什么样。就像给 AI 看身份证照片一样,让它记住这个人的特征。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| Character Image URL 1 | character_image_url_1 | 文本链接 | 可选 | 角色的第一张照片网址 | 第一张角色图片URL | 正面照片链接 |
| Character Image URL 2 | character_image_url_2 | 文本链接 | 可选 | 角色的第二张照片网址 | 第二张角色图片URL | 侧面照片链接 |
| Character Image URL 3 | character_image_url_3 | 文本链接 | 可选 | 角色的第三张照片网址 | 第三张角色图片URL | 不同表情照片 |
| Character Image URL 4 | character_image_url_4 | 文本链接 | 可选 | 角色的第四张照片网址 | 第四张角色图片URL | 不同角度照片 |
3.13 LumaImageGeneration 节点 - 图片生成大师
这个节点是干嘛的?
根据你的文字描述生成各种风格的图片,就像是一个超级画家,能画出任何你想象得到的画面。还能参考其他图片的风格。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| Client | client | 连接器 | 必填 | 服务连接 | LumaAI 客户端 | 连接 LumaAIClient |
| Model | model | 选择列表 | photon-1 | 选择图片生成引擎 | 图片生成模型 | photon-1 或 photon-flash-1 |
| Prompt | prompt | 文本 | 必填 | 描述你想要的图片内容 | 图片生成提示词 | "一只在月光下的白猫" |
| Aspect Ratio | aspect_ratio | 选择列表 | 1:1 | 图片的宽高比例 | 图片宽高比 | 1:1(正方形)、16:9(横图)等 |
| Image Ref | image_ref | 参考组合 | 可选 | 参考图片组合 | 图片参考对象 | 从 ConcatReferences 连接 |
| Style Ref | style_ref | 参考对象 | 可选 | 风格参考图片 | 风格参考对象 | 从 Reference 节点连接 |
| Character Ref | character_ref | 角色参考 | 可选 | 角色参考 | 角色参考对象 | 从 CharacterReference 连接 |
| Filename | filename | 文本 | 空 | 图片文件名 | 保存文件名 | "我的作品" |
3.14 LumaModifyImage 节点 - 图片修改器
这个节点是干嘛的?
对现有的图片进行修改和调整,就像是一个图片编辑器。你可以告诉它要怎么改,它就会按照你的要求修改图片。
参数详解:
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| Client | client | 连接器 | 必填 | 服务连接 | LumaAI 客户端 | 连接 LumaAIClient |
| Model | model | 选择列表 | photon-1 | 图片处理引擎 | 图片生成模型 | 选择合适的模型 |
| Prompt | prompt | 文本 | 必填 | 描述你想要的修改内容 | 修改指令提示词 | "把背景改成蓝天白云" |
| Modify Image Ref | modify_image_ref | 参考对象 | 必填 | 要修改的原始图片 | 待修改图片参考 | 从 Reference 节点连接 |
3.15 前端扩展功能
除了上面的 14 个主要节点,这个插件还包含了 2 个前端增强功能:
3.15.1 视频预览增强 (previewVideo.js)
- 功能:让视频在 ComfyUI 界面里更好地显示
- 作用:自动调整视频大小,支持循环播放,让预览更流畅
3.15.2 生成ID显示器 (showGenerationId.js)
- 功能:在节点上显示生成任务的编号
- 作用:方便你追踪每个生成任务的状态,就像快递单号一样
4. 使用技巧和建议
4.1 新手入门建议
- 先从简单开始:建议先用 Text2Video 节点练手,写简单的描述词
- 描述要具体:不要只写"一只猫",要写"一只橘色的小猫在阳光下打哈欠"
- 保存设置:记得把 Save 选项打开,这样就能找到生成的文件
- 密钥管理:把密钥写在 config.ini 文件里,这样更安全
4.2 进阶使用技巧
- 组合使用:先用 Text2Video 生成基础视频,再用 ExtendGeneration 加长
- 参考图片:使用 Reference 节点可以让生成效果更符合预期
- 分辨率选择:测试时用 540p,最终作品用 720p 或更高
- 循环视频:制作 GIF 效果时记得开启 Loop 选项
4.3 质量优化建议
- 提示词技巧:使用英文描述通常效果更好
- 模型选择:ray-flash-2 速度快,ray-2 质量高
- 时长控制:短视频(5s)通常质量更稳定
- 批量处理:可以同时运行多个节点,提高效率
5. 常见问题解答
5.1 安装相关问题
Q: 安装后找不到节点怎么办?
A: 检查以下几点:
- 确认插件文件夹在正确位置
- 重启 ComfyUI
- 检查依赖包是否安装成功
Q: 提示缺少依赖包怎么办?
A: 重新运行安装命令:
pip install -r requirements.txt
5.2 使用相关问题
Q: 提示 API Key 错误怎么办?
A: 检查以下几点:
- 确认密钥是否正确复制
- 检查密钥是否已过期
- 确认账户是否有足够余额
Q: 生成速度很慢怎么办?
A: 这是正常现象,因为:
- 视频生成需要大量计算
- 服务器可能有排队
- 可以选择 ray-flash-2 模型提高速度
Q: 生成的视频质量不好怎么办?
A: 尝试以下方法:
- 使用更详细的描述词
- 选择更高的分辨率
- 使用参考图片
- 尝试不同的模型
5.3 技术相关问题
Q: 图片上传失败怎么办?
A: 检查以下几点:
- 确认 ImgBB 密钥是否正确
- 检查网络连接
- 确认图片格式是否支持
Q: 视频无法预览怎么办?
A: 可能的解决方案:
- 检查视频链接是否有效
- 尝试右键"Open Image"在新窗口查看
- 确认浏览器支持视频格式
6. 总结
这个 ComfyUI-LumaAI-API 插件就像是给 ComfyUI 装上了一个超级强大的视频制作工厂!通过 15 个不同功能的节点,你可以:
- 🎬 创作视频:从文字到视频,从图片到视频
- 🔧 编辑视频:延长、连接、提升清晰度
- 🎵 完善作品:添加音效,预览效果
- 🖼️ 生成图片:创作和修改各种图片
- 📤 辅助工具:上传图片,管理参考
无论你是想制作短视频、动画 GIF,还是想创作艺术作品,这个插件都能帮你实现。记住,好的作品需要耐心和练习,多尝试不同的参数组合,你会发现更多有趣的可能性!
最重要的是:这个插件让复杂的 AI 视频生成变得像搭积木一样简单。每个节点都有自己的专门功能,你只需要把它们连接起来,就能创造出令人惊艳的作品!
现在就开始你的创作之旅吧!🚀