【免费下载链接】DeepSeek-V4-Flash-DSpark-w8a8
DeepSeek-V4-Flash-DSpark-w8a8 是一个面向 Ascend 硬件的 W8A8 量化模型仓库,本文将带你完整梳理它的文件结构:74 个 safetensors 权重分片、索引文件、量化描述文件各是什么、为什么这样拆分,以及下载后如何快速验证完整性。
🗂️ 目录总览:一张表看懂所有文件
整个仓库只有 4 类文件:权重分片、索引与描述、模型配置、分词器。先看全景地图:
| 文件 / 目录 | 实际大小(LFS 记录) | 作用 |
|---|---|---|
| quant_model_weights-00001-of-00074.safetensors 等 74 个分片 | 每个约 1.97~4.00 GiB,合计约293 GiB | 模型权重的量化存储,核心数据 |
| quant_model_weights.safetensors.index.json | 约 10 MB | 权重索引:每个张量存于哪个分片 |
| quant_model_description.json | 约 6.7 MB | 量化模型元数据描述 |
| config.json | 约 2 KB | 模型架构超参数 |
| tokenizer.json / tokenizer_config.json | 约 6.4 MB | 分词器(支持 1M 上下文长度) |
| DeepSeek-V4-Flash-DSpark_best_practice.yaml | 约 2 KB | W8A8 量化"最佳实践"配方 |
| optional/quarot.safetensors | 约 64 MiB | 可选的 QuaRot 量化张量 |
| .gitattributes | 约 4 KB | Git LFS 大文件管理规则 |
💾 74 个权重分片:safetensors 是怎么拆的?
为什么是 74 个分片?
大模型权重动辄数百 GiB,无法放在单个文件里传输。这个仓库把全部权重切成了74 个分片,命名规则为:
quant_model_weights-00001-of-00074.safetensors ... quant_model_weights-00074-of-00074.safetensors其中-00001-是分片序号,-of-00074-表示总片数。这个"每片 4 GB"的切法并非随意——DeepSeek-V4-Flash-DSpark_best_practice.yaml 中的保存配置写得很清楚:
save: - type: ascendv1_saver part_file_size: 4 # 每片 4GB,于是拆成 74 片⚠️ 新手必知:克隆下来为什么只有 135 字节?
本仓库的 74 个分片、索引文件和 tokenizer 都通过Git LFS管理(规则见 .gitattributes)。刚执行git clone后,这些位置只会存一个约 135 字节的 LFS 指针文本,例如:
version https://git-lfs.github.com/spec/v1 oid sha256:7b9e6c8e466304af5a8944c3beb3656ddab02b8b3277a2b61032817bf619d4f7 size 4287158928指针里的size字段(如 4287158928 字节 ≈ 4 GiB)才是分片的真实体积。执行git lfs pull拉取二进制实体后,才会得到完整权重。
💡 验证技巧:
size字段总和约为 293 GiB(十进制约 314 GB)。如果你的磁盘空间不足 350 GB,请先预留余量。
🔍 索引与描述:两张"地图"文件
- quant_model_weights.safetensors.index.json:
weight_map索引,记录每个张量名 → 所在分片的映射。推理框架加载模型时先读它,再按图索骥逐片读取,避免全量加载。 - quant_model_description.json:量化模型的元数据描述(约 6.7 MB),记录量化配置、scale 信息等,供 Ascend 推理后端识别 W8A8 格式。
⚙️ 配置文件解读:这个模型"多大、多强"
config.json 是理解模型规格的关键,几个核心参数:
| 参数 | 值 | 含义 |
|---|---|---|
architectures | DeepseekV4ForCausalLM | 模型类 |
num_hidden_layers | 43 | 主干层数 |
hidden_size | 4096 | 隐藏维度 |
n_routed_experts/num_experts_per_tok | 256 / 6 | MoE 专家总数 / 每 token 激活数 |
n_shared_experts | 1 | 共享专家数量 |
max_position_embeddings | 1048576 | 1M 超长上下文 |
torch_dtype/expert_dtype | bfloat16 / fp4 | 精度配置 |
dspark_target_layer_ids | [40, 41, 42] | DSpark 目标层 |
此外,configuration.json 声明框架为 Pytorch、任务为text-generation;generation_config.json 给出默认采样参数(temperature: 1.0、top_p: 1.0)。
🧮 W8A8 量化配方:best_practice.yaml 里写了什么
DeepSeek-V4-Flash-DSpark_best_practice.yaml 是这套权重的"生产配方",定义了量化流程:
- quarot:
block_size: 32的旋转量化预处理(对应 optional/quarot.safetensors); - linear_quant × 4 组:对注意力(
*attn*)、FFN(*ffn*)、共享专家与 MTP 层分别做int8 权重 + int8 激活量化,权重用 per-channel、激活用 per-token 的对称 minmax 方法; - 保存:
ascendv1_saver按 4 GB 切分输出。
文件末尾的metadata还能看到质检信息:config_id为deepseek_v4_flash_dspark_w8a8、score: 90.0、w_bit: 8 / a_bit: 8,并已验证适配vLLM-Ascend + Atlas A3 推理卡。
🚀 快速上手:下载与完整性检查
git clone https://gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-V4-Flash-DSpark-w8a8.git cd DeepSeek-V4-Flash-DSpark-w8a8 git lfs pull # 拉取 293 GiB 真实权重拉取完成后,按这份清单核对即可确认目录完整:
- ✅ 74 个
quant_model_weights-000XX-of-00074.safetensors,编号 00001~00074 无缺漏 - ✅ quant_model_weights.safetensors.index.json 与各分片都在
- ✅ config.json、tokenizer.json、generation_config.json 等配置文件齐全
- ✅ 磁盘占用合计约 293 GiB(可用
du -sh quant_model_weights*.safetensors抽查)
❓ 常见问题 FAQ
Q:74 个分片可以只下载一部分吗?不行。索引文件要求按weight_map定位每个张量,缺任何一片都无法完整加载模型。
Q:为什么权重文件叫quant_model_weights而不是model?因为这是量化后导出的权重(W8A8 int8),与原始 bf16 权重文件分开命名,quant_model_description.json则承载对应的量化元数据。
Q:optional/目录是必须的吗?optional/quarot.safetensors 存放 QuaRot 旋转张量(约 64 MiB),目录名已提示其为可选组件;但建议保留,以保证与量化配方的一致性。
Q:普通 GPU 能直接加载吗?这套权重由ascendv1_saver面向 Ascend 后端导出,元数据中明确验证环境为 vLLM-Ascend + Atlas A3,推荐在对应环境下部署。
📌 小结
一句话记住这张"目录地图":74 个 safetensors 分片是模型本体,index.json 是导航图,description.json 是量化身份证,config.json 是架构说明书,best_practice.yaml 是生产配方。理解了这 5 组文件,你就能读懂绝大多数量化模型仓库的结构了。
【免费下载链接】DeepSeek-V4-Flash-DSpark-w8a8
相关推荐
10分钟看懂DeepSeek-V4-Flash-0731-w8a8文件结构:75个safetensors分片与quarot文件大揭秘
10分钟看懂DeepSeek V4 Flash 0731 w8a8文件结构:75个safetensors分片与quarot文件大揭秘 正在下载 DeepSeek
DeepSeek-V4-Flash-DSpark-w8a8 config.json 逐参数解读:MoE、MLA 与 1M 上下文架构全解析
DeepSeek V4 Flash DSpark w8a8 config.json 逐参数解读:MoE、MLA 与 1M 上下文架构全解析 📌 一句话速览 D
DeepSeek-V3.2-4layers文件清单完全解读:6个safetensors分片与22.9GB权重分布图
DeepSeek V3.2 4layers文件清单完全解读:6个safetensors分片与22.9GB权重分布图 DeepSeek V3.2 4layers
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考