ComfyUI-LTXVideo 使用指南:把 LTX-2 视频生成跑进本地 ComfyUI
【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo
ComfyUI-LTXVideo 是一组面向 LTX-2 视频生成模型的 ComfyUI 自定义节点,由 Lightricks 官方维护。LTX-2 本身已内置于 ComfyUI 核心,这个仓库提供了额外的采样器、IC-LoRA 控制节点和整套示例工作流,覆盖文生视频、图生视频、视频编辑、上采样、HDR 与纯音频生成。适合已装好 ComfyUI、想在本地完成 AI 视频生成与二次加工的创作者和工程师。
环境准备与安装
LTX-2 是 22B 参数级的音视频联合模型,对硬件有明确门槛,先确认再动手:
| 项目 | 官方要求 | 说明 |
|---|---|---|
| GPU 显存 | 32GB 及以上(CUDA 兼容) | README 的最低标准;显存不足可配合低显存加载方案(见后文) |
| 磁盘空间 | 100GB 以上可用 | 用于存放模型文件与缓存 |
| 软件 | 已安装的 ComfyUI | 建议保持最新版本 |
安装走 ComfyUI Manager 最省事:打开 ComfyUI,按 Ctrl+M 进入 Manager,选择 Install Custom Nodes,搜索 "LTXVideo" 安装后重启,节点会出现在 "LTXVideo" 分类下。偏好手动安装的话,执行:
cd ComfyUI/custom_nodes git clone https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo cd ComfyUI-LTXVideo pip install -r requirements.txtrequirements.txt 中的依赖包括colour-science、kornia、openimageio(HDR EXR 读写需要)等,装完后重启 ComfyUI 即可。
模型文件清单与存放位置
示例工作流首次打开时,Workflow Overview 面板会列出 Missing Models,点 Download all 可自动拉取;也可以按下面的清单手动放入对应目录。
| 模型 | 文件名(示例) | 存放目录(相对 ComfyUI 根目录) |
|---|---|---|
| 主模型 | ltx-2.3-22b-dev.safetensors或ltx-2.3-22b-distilled-1.1.safetensors | models/checkpoints/ |
| 空间上采样器 | ltx-2.3-spatial-upscaler-x2-1.1.safetensors | models/latent_upscale_models/ |
| 时间上采样器 | ltx-2.3-temporal-upscaler-x2-1.0.safetensors | models/latent_upscale_models/ |
| 蒸馏 LoRA | ltx-2.3-22b-distilled-lora-384-1.1.safetensors | models/loras/ |
| Gemma 文本编码器 | gemma-3-12b-it-qat-q4_0-unquantized全套文件 | models/text_encoders/gemma-3-12b-it-qat-q4_0-unquantized/ |
| IC-LoRA(按需) | 如ltx-2.3-22b-ic-lora-union-control-ref0.5.safetensors | models/loras/ |
选主模型时看用途:distilled(蒸馏版)采样步数少、出片快,适合日常迭代;dev(完整版)精度更高,用于最终输出。仓库自带的 IC-LoRA 包括 Union Control、Motion Track、HDR、Dub-It、Pixel Spatial Upscaler、In/Outpainting、Ingredients、Day-to-Night 等,按需下载即可,不必全下。
场景一:文字或图片生成视频
这是使用频率最高的路径,仓库在example_workflows/2.3/和example_workflows/2.5/下提供了开箱即用的工作流,核心选择只有两个:单阶段还是双阶段、要不要上采样。
| 工作流 | 阶段数 | 流程 | 适用 |
|---|---|---|---|
LTX-2.5_T2V_I2V_Single_Stage_Distilled.json | 1 | 一次蒸馏采样,无上采样 | 快速预览、低显存 |
LTX-2.5_T2V_I2V_Two_Stage_Distilled.json | 2 | 基础分辨率生成,2× 空间上采样后做 3 步精修 | 追求空间细节的默认选择 |
LTX-2.3_T2V_I2V_Two_Stage_Distilled.json | 2 | 同上,2.3 版本 | 使用 2.3 主模型时 |
操作流程:拖入.json工作流 → 补全 Missing Models → 在 Inputs 区域填提示词(可选首帧图、时长)→ 运行。图生视频时只需提供一张图片作为首帧条件。两个实用约束值得记住:
- 帧数必须是
1 + 8 的倍数(如 97 帧),工作流里按 fps × 秒数换算,可能与输入值略有出入。 - 提示词写法可以参考 LTX 官方的 prompting guide;T2V 的入门流程文档也在 LTX 开源文档站。
场景二:编辑与增强已有视频
有现成素材时,用 IC-LoRA(在上下文中注入 LoRA,让参考视频/图像引导生成)配合 V2V 工作流,按控制类型选文件即可,均在example_workflows/2.5/下:
| 需求 | 工作流 | 输入 |
|---|---|---|
| 按深度/边缘/姿态控制结构 | LTX-2.5_ICLoRA_Union_Control_Distilled.json | 参考视频,默认接深度标注,可在图内切换 |
| 保留画面、改外观(换装、改人物等) | LTX-2.5_V2V_ICLoRA_Single_Stage_Distilled.json | 源视频,原音轨冻结保留 |
| 填充画面局部区域 | LTX-2.5_ICLoRA_Inpaint_Two_Stage_Distilled.json | 视频 + 掩码视频 |
| 扩展画面画幅 | LTX-2.5_ICLoRA_Outpaint_Two_Stage_Distilled.json | 视频 + 目标尺寸 |
| 从静态图驱动指定运动路径 | LTX-2.5_ICLoRA_Motion_Track_Distilled.json | 首帧图 + 手工绘制的稀疏运动轨迹 |
| 换台词/多语种配音 | LTX-2.3_ICLoRA_DubIt_Two_Stage_Distilled.json | 源视频 + 目标台词文本 |
以 Union Control 为例:它把深度和 Canny 边缘两种控制条件合并进同一个 LoRA,并且在降采样后的 latent 尺寸上工作,省显存且推理更快。V2V 类工作流的关键节点是LTXAddVideoICLoRAGuide,负责把引导视频、LoRA 与 latent 组合好;Dub-It 则在第二阶段冻结音频做上采样,参考音频 token 保证说话人音色一致。
场景三:长视频与大分辨率上采样
默认工作流受显存和训练窗口限制,做更长的片子或 4K/8K 输出时需要专门的采样器。仓库提供两套互补机制:
**LTXVTiledFusionSampler:超大画布 IC-LoRA 的逐块融合采样。**它保留单一 latent 画布和单一噪声场,每个去噪步骤在重叠的空间块上运行模型,再用高斯混合把结果贴回画布,因此块与块之间不会形成接缝。峰值显存只跟空间块大小和时间窗口相关,与最终画布大小无关,所以 FullHD/4K/8K 的上采样才有可行解。使用要点(详见tiled_fusion_sampler.md):
- 对应工作流:
LTX-2.5_V2V_TiledFusion_Upscale.json(FullHD/4K/8K 细节精修)、LTX-2.5_V2V_TiledFusion_Native_4K_8K.json(FullHD 起步,latent ×2 或 ×4 到 4K/8K)。 overlap_frac保持 0.5 或更高,否则规则内容上会出现周期性网格伪影。- 引导节点的
use_tiled_encode必须为 false;视频长于训练窗口时,引导与采样器两端开use_streaming并设相同tile_frames(LTX 常用 97)。 - 采样器用
euler等离散步方法,带历史记忆的多步采样器会丢失状态,不能融合。 - 上采样阶段的提示词只描述观感(光线、调色、锐度),不要点名场景里的具体物体,否则该细节可能在每个空间块里重复出现。
**LTXVLoopingSampler:时间/空间双维度分块,用于超长视频。**它把视频切成重叠的时间段,每个新片段以上一段尾帧为条件继续生成,配合空间分块可生成高于基础分辨率的输出(详见looping_sampler.md)。常用参数:temporal_tile_size(默认 80,建议按片长取 80–200)、temporal_overlap(取块大小的 25%–30%,保证运动连续)、adain_factor(长序列设 0.1–0.3 防止色彩过饱和)。配MultiPromptProvider节点可以按时间块换提示词(prompt1|prompt2|prompt3竖线分隔),让叙事在长视频里推进。
场景四:HDR 输出与纯音频
HDR:HDR IC-LoRA 把 SDR 视频升级为 ACEScct 工作空间的 HDR,适合调色、EXR 导出和 HLG 母版。单阶段走LTX-2.3_ICLoRA_HDR_Distilled.json,4K/8K 走LTX-2.5_V2V_TiledFusion_SDR_to_HDR.json。链路里LTXVHDRDecodePostprocess把 LogC3 压缩空间解回线性 HDR,同时输出 Reinhard 映射的 SDR 预览和原始线性张量;可选写 16/32 位 EXR 序列(依赖openimageio)。原生 HDR→HDR 精修则用LTXVLoadEXRSequence读 EXR、LTXVVAEForceFloat32保持精度、LTXVSaveHLG导出,注意原生 HDR 路径要设img_compression = 0,避免压缩让高光变暗。
纯音频:LTX-2 是音视频联合 transformer,LTXVAudioOnlyModel节点可把它切到仅音频模式(关闭run_vx与两个跨模态注意力),用LTXVAudioOnlyEmptyVideoLatent(64×64 单帧占位,零参数)经LTXVConcatAVLatent满足模型的位置输入,再由LTXVAudioVAEDecode提取音频、内置 Save Audio 节点保存。对应工作流LTX-2.5_T2A_Single_Stage_Distilled.json,不加载视频 VAE 和上采样器,开销最小。
显存不足时的三个调整方向
如果显存低于 32GB,仓库给出三条递进的缓解手段:
- 顺序加载模型。
low_vram_loaders.py提供LowVRAMCheckpointLoader、LowVRAMAudioVAELoader、LowVRAMLatentUpscaleModelLoader三个节点,带dependencies输入把多个加载器串成链,强制模型依次加载卸载,README 明确该方案可让生成在 32GB 内跑完。 - 启动参数预留显存。
python -m main --reserve-vram 5给系统留出 5GB,按需调数值。 - **调小解码块。**2.5 工作流的默认值按低显存机器调过,显存充裕时增大 Decode 子图里的 tile size(更少、更大的块,速度更快但吃显存),这是官方文档给出的提速方式。
另外,分块解码节点LTXVTiledVAEDecode用于大分辨率视频的解码环节,与采样侧的分块配合,覆盖"生成时"和"解码时"两个显存高峰。
资源清单
后续深入时按这份清单找文件,都在仓库内,路径相对ComfyUI/custom_nodes/ComfyUI-LTXVideo/:
- 全部示例工作流:example_workflows/,按 2.0 / 2.3 / 2.5 三个版本分目录,2.5 自带 README.md 含"选哪张图"的决策树和参数对照表
- 分块融合采样器原理与参数:tiled_fusion_sampler.md
- 长视频循环采样器参数表:looping_sampler.md
- STG 进阶预设:presets/stg_advanced_presets.json,配合
STGAdvancedPresets节点使用 - 低显存加载器实现:low_vram_loaders.py
- 依赖清单:requirements.txt
节点命名规律简单:静态映射在__init__.py的NODE_CLASS_MAPPINGS里可查,界面显示名带 "🅛🅣🅧" 前缀,按LTXV关键字即可在节点菜单里筛出本仓库的全部节点。
【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考