%20(1).png)
Ruyi-Models 插件完全教程 - AI图片转视频神器
1. 插件简介
插件地址： https://github.com/IamCreateAI/Ruyi-Models
Ruyi-Models 是一个超级强大的AI图片转视频插件，就像一个魔法师，能把静态图片变成动态视频！它可以生成电影级别的高质量视频，分辨率高达768像素，每秒24帧，总共5秒120帧的视频。
这个插件能给我们带来什么效果？
- 图片变视频：把任何静态图片变成动态视频
- 镜头控制：可以控制摄像机的移动方向（左右上下）
- 运动幅度控制：调节画面中物体的运动强度
- 高质量输出：生成电影级别的流畅视频
- 支持多种分辨率：512和768像素两种选择
想象一下，你有一张美丽的风景照片，用这个插件就能让云朵飘动、树叶摇摆，瞬间变成一段生动的视频！
⚠️ 重要提醒：这个插件需要强大的显卡支持，建议使用RTX 3090或RTX 4090！
2. 如何安装
方法一：通过 ComfyUI Manager 安装（推荐）
- 先安装 ComfyUI Manager
- 启动 ComfyUI，打开 Manager
- 选择 "Custom Nodes Manager"
- 搜索 "Ruyi"
- 找到 "ComfyUI-Ruyi" 并点击安装
- 同时搜索并安装 "ComfyUI-VideoHelperSuite"（用于显示视频）
- 重启 ComfyUI
方法二：手动安装
- 打开终端/命令提示符
- 进入 ComfyUI 的 custom_nodes 文件夹
- 运行以下命令：
git clone https://github.com/IamCreateAI/Ruyi-Models.git
cd Ruyi-Models
pip install -r requirements.txt
- 安装视频显示插件：
git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite.git
pip install -r ComfyUI-VideoHelperSuite/requirements.txt
- 重启 ComfyUI
安装过程说明：
- 插件会自动下载AI模型文件（约17GB）
- 首次使用时需要等待模型下载完成
- 确保网络连接稳定
3. 节点详细解析
3.1 Ruyi_LoadModel 节点（模型加载器）
这个节点就像一个"视频制作工厂的启动开关"，它负责加载制作视频所需的所有AI模型。就像你要用视频编辑软件之前，需要先打开软件一样。
参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| model | model | 下拉选择 | "Ruyi-Mini-7B" | 选择要使用的AI模型，就像选择不同的视频制作引擎 | 指定使用的预训练模型版本 | 目前只有Ruyi-Mini-7B可选，直接用默认值 |
| auto_download | auto_download | 下拉选择 | "yes" | 是否自动下载模型，就像自动更新软件 | 控制是否自动从网络下载模型文件 | 选"yes"让插件自动下载，选"no"需要手动下载 |
| auto_update | auto_update | 下拉选择 | "yes" | 是否自动检查更新，就像软件自动更新 | 控制是否自动检查并下载模型更新 | 选"yes"保持最新版本，选"no"使用本地版本 |
| fp8_quant_mode | fp8_quant_mode | 下拉选择 | "none" | 显存优化模式，就像调节画质来节省内存 | 控制模型量化程度以节省GPU显存 | none最高质量，extreme最省显存但质量稍降 |
| fp8_data_type | fp8_data_type | 下拉选择 | "auto" | 数据精度类型，就像选择图片压缩格式 | 指定量化时使用的数据类型 | 用auto让系统自动选择最合适的 |
3.2 Ruyi_LoadLora 节点（风格加载器）
这个节点就像一个"滤镜盒子"，可以给你的视频添加特殊的风格效果。就像美图秀秀里的各种滤镜一样。
参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| ruyi_model | ruyi_model | 连接输入 | 无 | 连接上面模型加载器的输出，就像插电源线 | 接收预加载的模型数据 | 必须连接Ruyi_LoadModel节点的输出 |
| lora_name | lora_name | 下拉选择 | None | 选择要使用的风格文件，就像选择滤镜 | 指定LoRA模型文件名 | 从loras文件夹中选择想要的风格文件 |
| strength_model | strength_model | 小数输入 | 1.0 | 风格强度，就像调节滤镜的浓淡程度 | 控制LoRA效果的强度 | 1.0是标准强度，0.5是一半效果，2.0是双倍效果 |
3.3 Ruyi_TeaCache 节点（加速优化器）
这个节点就像一个"智能缓存管家"，它能记住一些计算结果，让视频生成更快。就像浏览器缓存网页一样，第二次访问更快。
参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| ruyi_model | ruyi_model | 连接输入 | 无 | 连接模型数据，就像接水管 | 接收模型管道数据 | 连接前面节点的输出 |
| enable | enable | 布尔选择 | True | 是否启用加速功能，就像开关 | 控制是否启用TeaCache加速 | True开启加速，False关闭加速 |
| threshold | threshold | 小数输入 | 0.10 | 缓存阈值，就像设置缓存的敏感度 | 控制缓存触发的相似度阈值 | 0.10缓存6-8步，0.15缓存10-12步 |
| skip_start_steps | skip_start_steps | 整数输入 | 3 | 开始几步不用缓存，就像预热阶段 | 前n步不使用缓存机制 | 3表示前3步正常计算，不使用缓存 |
| skip_end_steps | skip_end_steps | 整数输入 | 1 | 结束几步不用缓存，就像收尾阶段 | 后n步不使用缓存机制 | 1表示最后1步正常计算，确保质量 |
| offload_cpu | offload_cpu | 布尔选择 | True | 是否把缓存放到内存里节省显存 | 将缓存数据转移到CPU内存 | True节省显存但可能稍慢，False占用更多显存 |
3.4 Ruyi_EnhanceAVideo 节点（画质增强器）
这个节点就像一个"画质提升器"，能让生成的视频看起来更清晰、更自然。就像电视上的画质增强功能。
参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| ruyi_model | ruyi_model | 连接输入 | 无 | 连接模型数据 | 接收模型管道数据 | 连接前面节点的输出 |
| enable | enable | 布尔选择 | True | 是否启用画质增强，就像开关 | 控制是否启用Enhance-A-Video功能 | True开启增强，False关闭增强 |
| weight | weight | 小数输入 | 1.0 | 增强强度，就像调节锐化程度 | 控制画质增强的权重强度 | 1.0是标准强度，建议不超过5或10 |
| skip_start_steps | skip_start_steps | 整数输入 | 0 | 开始几步不增强 | 前n步不使用画质增强 | 0表示从第一步就开始增强 |
| skip_end_steps | skip_end_steps | 整数输入 | 0 | 结束几步不增强 | 后n步不使用画质增强 | 0表示直到最后一步都使用增强 |
3.5 Ruyi_I2VSampler 节点（视频生成器）
这是插件的核心节点，就像一个"魔法视频工厂"。你给它一张图片和各种设置，它就能生成一段精彩的视频。
参数详解
| 参数名 (UI显示) | 参数名 (代码里) | 参数值 | 建议值 | 通俗解释 (能干嘛的) | 专业解释 | 怎么用/举个例子 |
|---|---|---|---|---|---|---|
| ruyi_model | ruyi_model | 连接输入 | 无 | 连接模型数据，就像连接发动机 | 接收预处理的模型管道 | 连接前面节点的输出 |
| video_length | video_length | 整数输入 | 72 | 视频长度（帧数），就像设置视频时长 | 生成视频的总帧数 | 72帧约3秒，120帧约5秒，8的倍数 |
| base_resolution | base_resolution | 整数输入 | 512 | 基础分辨率，就像设置视频清晰度 | 视频的基础分辨率大小 | 512适合大多数情况，768更清晰但需要更多显存 |
| seed | seed | 整数输入 | 42 | 随机种子，就像抽奖的号码 | 控制随机性的种子值 | 相同种子产生相同结果，不同种子产生不同效果 |
| steps | steps | 整数输入 | 25 | 生成步数，就像画画的笔画数 | AI生成过程的迭代步数 | 25步是平衡点，更多步数质量更好但更慢 |
| cfg | cfg | 小数输入 | 7.0 | 引导强度，就像AI听话程度 | 分类器自由引导强度 | 7.0是标准值，越高越按要求做，越低越自由发挥 |
| scheduler | scheduler | 下拉选择 | "DDIM" | 采样器类型，就像选择绘画工具 | 控制生成过程的调度算法 | DDIM稳定，Euler快速，DPM++质量好 |
| motion | motion | 下拉选择 | "2" | 运动幅度，就像调节动作大小 | 控制画面中物体的运动强度 | 1最小动作，4最大动作，auto自动选择 |
| camera_direction | camera_direction | 下拉选择 | "static" | 镜头方向，就像摄像机移动方向 | 控制虚拟摄像机的移动方向 | static静止，left左移，right右移，up上移，down下移 |
| GPU_memory_mode | GPU_memory_mode | 下拉选择 | "normal_mode" | 显存使用模式，就像选择性能模式 | 控制GPU显存的使用策略 | normal_mode速度快，low_memory_mode省显存但慢 |
| GPU_offload_steps | GPU_offload_steps | 下拉选择 | "0" | 显存卸载步数，就像分批处理 | 控制模型在GPU和内存间的转移 | 0不卸载最快，10卸载最多最省显存 |
| start_img | start_img | 图片输入 | 无 | 起始图片，就像视频的第一帧 | 作为视频起始帧的输入图像 | 上传你想要制作成视频的图片 |
| end_img | end_img | 图片输入 | 无 | 结束图片，就像视频的最后一帧（可选） | 作为视频结束帧的输入图像 | 可选参数，提供结束帧可以控制视频走向 |
4. 使用技巧和建议
4.1 硬件配置建议
- 推荐显卡：RTX 3090、RTX 4090或更高
- 最低显存：12GB（使用低显存模式）
- 推荐显存：24GB或更高
- 系统内存：至少16GB
4.2 参数调优技巧
- 新手设置：使用默认参数即可获得不错效果
- 质量优先：增加steps到50，使用normal_mode
- 速度优先：减少steps到15，启用TeaCache
- 显存不足：使用low_memory_mode，增加GPU_offload_steps
4.3 图片准备建议
- 分辨率：建议使用高分辨率清晰图片
- 内容：避免过于复杂的场景
- 构图：主体明确的图片效果更好
- 格式：支持常见图片格式（JPG、PNG等）
4.4 运动控制技巧
- motion参数：从小到大尝试，找到合适的运动幅度
- camera_direction：根据图片内容选择合适的镜头移动
- 组合使用：可以同时使用运动和镜头控制
5. 常见问题解答
Q1：为什么提示显存不足？
A：
- 这个插件需要大量显存，建议至少12GB
- 尝试使用low_memory_mode
- 增加GPU_offload_steps到5或10
- 降低base_resolution到384或更低
- 减少video_length
Q2：生成速度太慢怎么办？
A：
- 启用TeaCache加速
- 减少生成步数到15-20
- 使用normal_mode而不是low_memory_mode
- 降低分辨率和帧数
Q3：生成的视频质量不好？
A：
- 增加生成步数到30-50
- 启用Enhance-A-Video
- 使用更高的分辨率
- 调整cfg值，尝试5.0-10.0之间
- 确保输入图片质量足够高
Q4：如何控制视频的运动效果？
A：
- 调整motion参数（1-4）控制运动幅度
- 使用camera_direction控制镜头移动
- 提供end_img可以更精确控制视频走向
- 尝试不同的scheduler获得不同效果
Q5：模型下载失败怎么办？
A：
- 检查网络连接是否稳定
- 尝试手动下载模型到指定目录
- 确保有足够的磁盘空间（至少20GB）
- 可以使用代理或镜像站点
6. 性能优化指南
6.1 显存优化策略
- fp8量化：使用lite或strong模式节省显存
- 分批处理：增加GPU_offload_steps
- 低显存模式：启用low_memory_mode
- 缓存优化：合理设置TeaCache参数
6.2 速度优化策略
- TeaCache：启用并调整threshold
- 调度器选择：Euler通常比DDIM快
- 步数平衡：在质量和速度间找平衡点
- 分辨率选择：根据需求选择合适分辨率
6.3 质量优化策略
- Enhance-A-Video：启用画质增强
- 高精度模式：使用fp8_quant_mode为none
- 充足步数：使用30-50步生成
- 合适引导：cfg在7.0-10.0之间
7. 创意应用场景
7.1 内容创作
- 社交媒体：制作吸引眼球的动态内容
- 广告制作：快速制作产品展示视频
- 艺术创作：将静态艺术作品动态化
- 教育内容：制作生动的教学素材
7.2 商业应用
- 电商展示：产品图片转动态展示
- 房地产：建筑图片转虚拟漫游
- 旅游推广：风景照片转动态宣传
- 品牌营销：logo和海报动态化
8. 工作流程建议
8.1 基础工作流
- 加载模型：使用Ruyi_LoadModel
- 可选增强：连接TeaCache和EnhanceAVideo
- 生成视频：使用Ruyi_I2VSampler
- 保存输出：连接VideoHelperSuite保存
8.2 高级工作流
- 模型加载：配置合适的量化模式
- 风格应用：使用Ruyi_LoadLora添加风格
- 性能优化：配置TeaCache和EnhanceAVideo
- 批量生成：使用不同参数生成多个版本
- 后期处理：结合其他节点进行后期
9. 注意事项和限制
9.1 硬件限制
- 需要强大的GPU支持
- 大量显存和内存需求
- 生成时间较长
9.2 使用建议
- 合理设置参数避免显存溢出
- 保存重要的参数配置
- 定期清理缓存文件
10. 总结
Ruyi-Models 是一个功能强大的图片转视频插件，虽然对硬件要求较高，但能够生成高质量的动态视频。通过合理的参数配置和优化策略，可以在不同硬件条件下获得满意的效果。
记住这几个要点：
- 确保硬件配置足够（至少12GB显存）
- 根据硬件情况选择合适的优化模式
- 准备高质量的输入图片
- 合理设置运动和镜头参数
- 善用加速和增强功能提升效果
现在就开始你的AI视频创作之旅吧！让静态图片在AI的魔法下动起来！