【免费下载链接】SoulX-FlashHead
SoulX-FlashHead: A unified 1.3B-parameter framework designed for high-fidelity, infinite-length, and real-time streaming portrait video generation.
SoulX-FlashHead 是一个 1.3B 参数的高保真、无限长度、实时流式数字人视频生成框架:给一张人像图片加一段音频,就能生成口型同步的说话头视频,单张 RTX 4090 上 Lite 模型可跑到 96 FPS。本文整理 SoulX-FlashHead 安装全流程中的常见坑点,覆盖 Conda 环境搭建、FlashAttention 编译、Hugging Face 模型下载三大环节,帮你一次装通、少踩弯路。
🧭 安装前你需要知道什么
SoulX-FlashHead 由两大模型组成:
| 模型 | 说明 | 硬件参考 |
|---|---|---|
| Model_Lite | 单张 RTX 4090 可达 96 FPS,或 3 并发实时(25+ FPS)流式推理 | 单卡 4090 |
| Model_Pro | 单卡 RTX 4090 约 10.8 FPS;双卡 RTX 5090 + SageAttention 可实时 | 单卡/双卡 |
核心代码位于 flash_head/inference.py,推理入口是 generate_video.py,默认推理参数(512×512 分辨率、25 FPS、16k 采样率)定义在 flash_head/configs/infer_params.yaml。
避坑提示 1:模型权重放在models/SoulX-FlashHead-1_3B,音频特征模型放在models/wav2vec2-base-960h,两个路径是推理脚本的默认值,下载时请保持一致,否则会直接报assert失败。
🐍 一键安装步骤:Conda 环境搭建
1️⃣ 创建 Python 3.10 的 Conda 环境
conda create -n flashhead python=3.10 conda activate flashhead避坑提示 2:Python 版本必须锁定 3.10。mediapipe、xformers 等依赖对新旧 Python 版本支持不一,用 3.11/3.12 容易在后续pip install阶段出现无可用 wheel 的报错。
2️⃣ 安装 CUDA 版 PyTorch
pip install torch==2.7.1 torchvision==0.22.1 --index-url https://download.pytorch.org/whl/cu128避坑提示 3:--index-url指向的是 CUDA 12.8 的 wheel 源。如果漏掉这个参数,pip 会装出 CPU 版 torch,后面所有 GPU 推理全部失效。装完可以用python -c "import torch; print(torch.cuda.is_available())"验证应输出True。
3️⃣ 安装其余依赖
pip install -r requirements.txt依赖清单见 requirements.txt,关键版本已固定:transformers==4.57.3、xformers==0.0.31、mediapipe==0.10.9、gradio==5.50.0。
避坑提示 4:xformers==0.0.31与torch==2.7.1是配套版本,不要单独升级其中任何一个,否则加载模型时会抛NotImplementedError之类的算子错误。
⚡ 最快 FlashAttention 编译方法
FlashAttention 是本项目推理加速的关键,官方流程分两步:
pip install ninja pip install flash_attn==2.8.0.post2 --no-build-isolation避坑提示 5:--no-build-isolation不能省。FlashAttention 编译过程需要直接读取当前环境里的 torch 头文件,隔离构建环境会导致CUDA toolkit error或找不到torch的编译失败。
避坑提示 6:源码编译通常需要 20 分钟以上。如果编译卡住或超时,更快的手动方式是:到 Flash-Attention 官方 Release(v2.8.0.post2)页面,根据自己 CUDA/Python/torch 版本选择对应的预编译.whl文件,然后直接安装:
pip install flash_attn-2.8.0.post2+cu12...whl避坑提示 7(可选加速):双卡实时推理场景可以额外安装 SageAttention:
pip install sageattention==2.2.0 --no-build-isolation单卡 Lite 模型不装也不影响使用。
🎬 FFmpeg:最容易被漏掉的一步
生成视频时,程序会调用系统级ffmpeg把视频帧和音频合并成 mp4(见 generate_video.py 中的save_video函数)。缺少它时推理能跑但最后一步直接崩。
# Ubuntu / Debian apt-get install ffmpeg # CentOS / RHEL yum install ffmpeg ffmpeg-devel # 或无需 root 的 Conda 方式 conda install -c conda-forge ffmpeg==7🤗 HF 模型下载:两个权重一个都不能少
需要下载两组模型:SoulX-FlashHead-1_3B(主体模型)和facebook/wav2vec2-base-960h(音频编码器)。
# 中国大陆用户先执行这一行,否则下载大概率超时 export HF_ENDPOINT=https://hf-mirror.com pip install "huggingface_hub[cli]" huggingface-cli download Soul-AILab/SoulX-FlashHead-1_3B --local-dir ./models/SoulX-FlashHead-1_3B huggingface-cli download facebook/wav2vec2-base-960h --local-dir ./models/wav2vec2-base-960h避坑提示 8:--local-dir指定的路径必须与推理脚本中的--ckpt_dir、--wav2vec_dir完全一致,默认是./models/下的两个目录。国内环境务必先设置HF_ENDPOINT镜像变量,否则huggingface-cli download会反复重试或 403。
🚀 安装验证:跑通第一条视频
环境装好后,用官方脚本验证(示例图片与音频已内置在examples/目录):
# 单卡 Lite 模型(4090 可实时) bash inference_script_single_gpu_lite.sh # 单卡 Pro 模型 bash inference_script_single_gpu_pro.sh # 双卡 Pro 模型(torchrun 多卡) bash inference_script_multi_gpu_pro.sh脚本内部调用的是 generate_video.py,核心参数为--model_type pro/lite、--cond_image(人像图)、--audio_path(16k 音频)、--audio_encode_mode stream(流式编码模式)。成功后视频输出在sample_results/目录。
也可以直接启动 Gradio 网页界面(推荐 Chrome):
python gradio_app.py # 普通模式 python gradio_app_streaming.py # 流式模式(仅单卡)❓ 高频坑点速查清单
| 现象 | 原因 | 解决 |
|---|---|---|
torch.cuda.is_available()为 False | 装成 CPU 版 torch | 重新执行带--index-url的安装命令 |
| flash_attn 编译 1 小时仍失败 | 缺 ninja / 缺--no-build-isolation | 补装 ninja,或改用预编译 wheel |
| 下载权重一直超时 | 未设置 HF 镜像 | 先执行export HF_ENDPOINT=https://hf-mirror.com |
| 生成到最后一步崩溃 | 缺 FFmpeg | conda install -c conda-forge ffmpeg==7 |
| 推理时 assert 报错 | 模型目录名不对 | 检查models/下两个目录名是否与参数一致 |
👥 加入技术交流
安装或使用中遇到问题,可以加入官方微信群获取技术支持:
按照这份清单依次执行:Python 3.10 环境 → CUDA 版 torch → requirements → FlashAttention(wheel 优先)→ FFmpeg → 镜像下载双权重,基本可以一次通过验证推理。祝你的第一条实时数字人视频顺利生成!
【免费下载链接】SoulX-FlashHead
SoulX-FlashHead: A unified 1.3B-parameter framework designed for high-fidelity, infinite-length, and real-time streaming portrait video generation.
相关推荐
huggingface_hub 安装指南:Python 3.10+ 环境下 pip、conda 与源码安装全攻略
huggingface_hub 安装指南:Python 3.10+ 环境下 pip、conda 与源码安装全攻略 本指南完整讲解官方 Python 客户端 hu
开发工具CLI机器学习【Mac专属】Rerank模型安装避坑指南:从环境配置到性能调优全攻略
【Mac专属】Rerank模型安装避坑指南:从环境配置到性能调优全攻略 你是否在Mac上部署Xorbits Inference的Rerank模型时遭遇过"Imp
模型推理服务大模型人工智能本地部署LLM 网关后端开发者必备:Hunter与CMakeLists.txt的无缝协作技巧
开发者必备:Hunter与CMakeLists.txt的无缝协作技巧 Hunter是一款基于CMake的跨平台C/C++包管理器,它能帮助开发者轻松管理项目依赖
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考