企业官网建设流程全解析

单张图生成 5 秒视频：Open-Sora 2.0 单卡图生视频实战指南

【免费下载链接】Open-SoraOpen-Sora: Democratizing Efficient Video Production for All项目地址: https://gitcode.com/GitHub_Trending/op/Open-Sora

想拿一张静态图做出 5 秒视频、又不想付 API 费用，可以在自己的 GPU 卡上完成 Open-Sora 2.0 本地部署：11B 视频生成模型，一份权重同时支持文生视频与图生视频，256px 与 768px 两档分辨率，无在线 Demo、无托管 API。

🖥️ 你的卡能不能跑：单卡显存与耗时档位

先判断硬件门槛。官方效率数据在 H100/H800 上测得，50 步去噪：

开源程度上，Open-Sora 2.0 把权重、训练代码、数据管线全部公开，官方标注的训练成本约 20 万美元——意味着你部署完不只跑推理，还能用自己的数据微调出私有模型。

从零到第一条视频：环境、权重与首条命令

一步装好 Python 3.10 环境

要求 torch ≥2.4.0，xformers、flash-attn需按你的 CUDA 版本安装，下面这条命令一次装完：

conda create -n opensora python=3.10 conda activate opensora git clone https://gitcode.com/GitHub_Trending/op/Open-Sora cd Open-Sora pip install -v . pip install xformers flash-attn --no-build-isolation

拉取权重（默认落到 ./ckpts）

pip install "huggingface_hub[cli]" huggingface-cli download hpcai-tech/Open-Sora-v2 --local-dir ./ckpts

注意：t2i2v 管线除主扩散模型外还依赖 flux 图像模型——先用文生图生成一张参考图再转视频。这些权重都在同一个下载目录里，不需要单独再拉；所有推理配置默认指向./ckpts，下到这里就不用改路径。

第一条视频：t2i2v 管线 60 秒出片

官方推荐入口是 t2i2v：flux 先文生图、再走 I2V，质量比纯 T2V 稳定得多。这条命令生成一条 16:9 的 256px 视频：

torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py configs/diffusion/inference/t2i2v_256px.py --save-dir samples --prompt "raining, sea"

预期产物：50 步去噪、129 帧，按 24fps 保存约 5.4 秒；视频落在samples/video_256px/，flux 生成的中间参考图在同目录的generated_condition/里。看到 mp4 落盘，环境就算通了。想上 768px：单卡用t2i2v_768px.py，多卡换768px.py（自带序列并行插件）起 8 卡。

🛠️ 常见场景问答：从锁首帧到显存优化

怎么把参考图固定成视频首帧

--cond_type i2v_head配合--ref，会把视频第一帧直接替换成这张图，后续帧从它往外延展。下面是仓库自带的猪示例，prompt 可换成自己的描述：

torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py configs/diffusion/inference/256px.py --cond_type i2v_head --prompt "A plump pig wallows in a muddy pond on a rustic farm" --ref assets/texts/i2v.png

除i2v_head外，配置还支持i2v_tail（从图片往前接）、i2v_loop（两张图之间过渡）、v2v_head_half/v2v_tail_half（视频续写），都只需改--cond_type一个参数。

怎么按 csv 批量生成

把 prompt 写进 csv（格式参考 assets/texts/example.csv），用--dataset.data-path指过去；再加--num-sample k，每个 prompt 会生成 k 条不同 seed 的视频：

torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py configs/diffusion/inference/t2i2v_256px.py --save-dir samples --dataset.data-path assets/texts/example.csv --num-sample 2

画幅和帧数怎么定

画面动多少由谁控制

运动强度是以文本条件注入 prompt 的，默认 4：

guidance 过了或生成太慢，调哪个参数

两个旋钮。引导：T2V 文本引导默认guidance=7.5，I2V 图像引导默认guidance_img=3.0；调太高画面过饱和、容易出现伪影，调太低 prompt 不跟；想看更柔和的效果试--sampling_option.guidance 5.5。步数：默认num_steps50 步，压到 30 步耗时省约四成，代价是细节和运动连贯性下降，适合先粗看构图再回来精跑。对比参数差异时加--sampling_option.seed 42 --seed 42固定随机性，否则每次结果不同，很难判断是哪个参数起了作用。

CUDA out of memory 怎么办

OOM 是最常见的报错：加--offload True把模型在 CPU/GPU 之间搬运，峰值显存明显下降，代价是时长约翻倍。这条就是 256px t2i2v 的显存节省版：

torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py configs/diffusion/inference/t2i2v_256px.py --save-dir samples --prompt "raining, sea" --offload True

再深入：微调、Web UI 与配置文件

• 要用自己的数据微调，看 docs/train.md：csv 数据集格式、stage1/stage2 配置、从 v2 checkpoint 微调的命令都有。
• 想在浏览器里点着玩，跑 gradio/app.py 起 Web UI。
• 各分辨率与并行策略对应的配置都在 configs/diffusion/inference/ 下，调参时可对照参数名。

接下来练什么

两个马上能做的小实验：

1. 把猪的参考图留着，prompt 改成下雨场景，重跑一遍i2v_head，对比首帧与后续帧的一致性表现；
2. 同一命令只把--motion-score从 4 拉到 7，看飞溅效果变化。

【免费下载链接】Open-SoraOpen-Sora: Democratizing Efficient Video Production for All项目地址: https://gitcode.com/GitHub_Trending/op/Open-Sora