企业官网建设流程全解析

24G显卡微调FLUX LoRA，三步出第一个模型

【免费下载链接】ai-toolkitThe ultimate training toolkit for finetuning diffusion models项目地址: https://gitcode.com/GitHub_Trending/ai/ai-toolkit

想在自家显卡上给 FLUX 训一个角色 LoRA，却被十几个超参数和显存告急劝退？AI Toolkit 就是为消费级显卡打造的扩散模型训练套件，GUI、CLI 都能跑，从 Stable Diffusion 到 FLUX、Wan 视频模型基本全覆盖。

🎯 它到底能帮你做什么

如果你攒了一堆角色照片，想让 FLUX 学会画这个人，那么它可以让你只填 LoRA 名字和触发词，用 Florence-2 自动给每张图配文，训练完直接在页面里翻采样图。全程不用打开一个 Python 文件。

如果你显卡显存吃紧，或者想跑 SDXL、Qwen-Image 这类非 FLUX 模型，那么它可以在配置里开启 8bit 量化混合精度训练，把底座压缩着加载；显存实在不够时还有low_vram模式进一步压低加载峰值。

如果你本地干脆没有显卡，或者想训 Wan 这类视频模型，那么它可以把同一套配置丢到 Modal、RunPod 云上跑，任务进度、loss 曲线、采样结果都在 Web 界面里盯着。

从零到出图：三步跑通

1. 克隆仓库，一键装环境。git clone https://gitcode.com/GitHub_Trending/ai/ai-toolkit，Linux 直接跑./run_linux.sh，Windows 双击run_windows.bat。它会自动探测硬件、装对应版本的 PyTorch 和 UI 依赖，所有东西都装在仓库文件夹里，不污染系统。
2. 准备数据集和配置。图片放进一个文件夹，每张配一个同名.txt写配文（webp 暂不支持），图片不用手动裁剪，加载器会按宽高比自动分桶。从 config/examples/ 挑一份现成的，比如 train_lora_flux_24gb.yaml，改掉模型路径、数据集路径和触发词。
3. 启动训练，等出图。命令行python run.py config/我的lora.yml，或在 Web 界面点启动（界面在 ui/ 下npm run build_and_start跑起来，浏览器开http://localhost:8675）。每 250 步自动出一批采样图，权重和图都落在output/里；中途ctrl+c停了也没事，续训会从上个 checkpoint 自动接上。

它是怎么做到的

挑两个我觉得最聪明的设计说。

量化训练，说白了就是"把 4K 母带压成低码率塞进剪辑软件，只在你导出时才还原全精度"。配置里quantize: true让 FLUX 底座以 8bit 混合精度加载，而真正要学的 LoRA 权重保持高精度。这样 24G 显卡才装得下这个 12B 参数的大模型；low_vram: true再把加载峰值压一截，代价只是启动稍慢。

第二个是微分引导（Differential Guidance）。普通训练像只朝正前方一个目标点走，模型只修正当前认知和目标之间的差距；微分引导在更远处多立一个参照点，等于把路标拉长，梯度能覆盖更多优化方向，出图质量上限更高。它是可选策略，适合愿意多花训练时间换质量的场景。

此外它默认开启 EMA 平滑权重更新，抑制训练过程的抖动；每个噪声时间步也按曲线差异化加权，实现放在 toolkit/timestep_weighing/。这些"隐形调参"都替你做好了。

不同需求，不同打法

⚠️ 容易踩的坑

⚠️ FLUX 训练显存不到 24G 就别硬上。FAQ 写得很直白：FLUX LoRA 至少 24G。低于这个数，要么把quantize、low_vram全打开，要么换 SDXL、Wan-1B 这类目标更小的模型。

⚠️ 写 checkpoint 的几秒钟别按ctrl+c。我在保存写盘时中断过一次，那个 checkpoint 直接废了。想停随时可以停，等日志走完保存再停，它下次会从上个好 checkpoint 续上。

⚠️ 别提前手动裁剪、统一图片尺寸。加载器自带分桶，不同宽高比自动处理；webp 格式目前有已知问题，数据集统一用 jpg、jpeg、png。

打开终端，敲下第一条命令，今晚就能看到第一张采样图。

【免费下载链接】ai-toolkitThe ultimate training toolkit for finetuning diffusion models项目地址: https://gitcode.com/GitHub_Trending/ai/ai-toolkit