企业官网建设流程全解析

Llama-3.2-3B_rai_1.8.0_npu_16K 是AMD Ryzen AI NPU 优化的 Llama 3.2 3B 大模型包，支持 16K 上下文、采用 AWQ UINT4 量化部署。打开目录，你会看到 model.onnx、model.bin、model.onnx.data 以及一批命名很长的dd_metastate_*文件——它们各管什么？哪些绝不能删？本文按"权重组 → 编译产物 → 配置 → 分词器"的顺序逐一讲清。📦

一、30秒看懂这个模型包

这个模型包的生产链路在 README.md 中写明：

源模型 Llama-3.2-3B →Quark 量化（AWQ / Group 128 / 非对称 / BF16 激活 / UINT4 权重）→OGA Model Builder导出 →NPU 部署后处理（Token Fusion，16K 上下文）

从 config.json 可以读出模型的核心参数，一眼记住这 4 个数字即可：

量化策略在 config.json 的quantization_config中：quant_method: quark、name: awq、权重uint4、group_size: 128、非对称（symmetric: false）。

二、核心权重文件四件套：model.onnx、model.bin 与它们的搭档

这是整个包里"最值钱"的部分，四个文件分工如下（大小为 Git LFS 下载后的真实体积）：

💡新手常见疑问：为什么 model.onnx 才 500KB？因为 ONNX 采用"图与权重分离"设计：model.onnx只存网络拓扑（哪些算子、怎么连），权重数据外挂到model.onnx.data。二者必须放在一起，缺一不可。

运行时如何找到它们？答案在 genai_config.json：

• decoder.filename:model.onnx—— 声明用哪个 ONNX 图；
• provider_options中 RyzenAI 的external_data_file:model.pb.bin—— 声明 NPU 子图的外部数据；
• hybrid_opt_token_backend: npu、hybrid_opt_max_seq_length: 4096—— 单 token 解码走 NPU，混合优化最长 4096。

而model.bin（约 1.7GB）则是经过融合后处理的大权重，与dd_metastate_*.fconst体量相当，共同构成 NPU 直接可用的权重数据。

三、dd_metastate 文件详解：NPU 离线编译产物 🧩

目录里最"劝退"的就是这批长文件名。先拆命名规则，以这个为例：

dd_metastate_Llm_Token_Token_modellayers.0input_layernormMLADFRMSNORM_attention_mask_padded_256_.ctrlpkt └─前缀─┘ └─模型名─┘└─子图名────────────┘ └─动态形状 256──┘ └─后缀

• dd_metastate：NPU 离线编译生成的"元状态"（metastate）文件组前缀；
• Llm/Token：模型名与子图名（Token 子图对应逐 token 解码路径）；
• modellayers.0input_layernormMLADFRMSNORM：对应融合算子路径/model/layers.0/input_layernorm/MLADFRMSNORM（第 0 层输入归一化融合算子）；
• attention_mask_padded_256_：动态形状版本，即 attention mask 填充到 256 长度时的专属编译产物。

7 个动态形状版本

文件名中的数字对应 7 种序列长度：256 / 512 / 1024 / 2048 / 3072 / 4096 / 16384。推理时实际序列长度会就近匹配一个版本，这正好支撑包名里的16K 上下文（16384即 16K）。

每种后缀各管什么

配套元数据：cache/ 目录

cache/Token_modellayers.0input_layernormMLADFRMSNORM_meta.json 是可读的 JSON 清单，包含 254 个 NPU 融合算子（FLATMHA、FlatMLP、FlatRMSAdd、MLADFRMSNORM、MladfMatMul）、张量映射tensor_map，以及dynamic_shape_list（正好是上面那 7 个长度）。同目录的txn_bins.zip为编译事务包。

✅实用结论：dd_metastate_*全部是运行期编译产物，不需要打开、不需要修改，只需保证文件完整。任何一个缺失，NPU 推理都可能直接失败。

四、4 个 JSON 配置文件各管一摊

🔑上下文长度由谁决定？三处配合：genai_config.json的max_length: 16384定生成上限，rai_config.json按 Ryzen AI 版本限制单条提示长度，dd_metastate的 16384 版本则提供对应的编译产物——这就是包名后缀npu_16K的由来。

五、分词器与文档文件

六、上手实操：正确下载并校验文件完整性 🚀

本仓库的大文件通过Git LFS存储——克隆后如果每个"大文件"只有约 130 字节，说明只拉到了指针，需要补齐：

git clone https://gitcode.com/hf_mirrors/amd/Llama-3.2-3B_rai_1.8.0_npu_16K cd Llama-3.2-3B_rai_1.8.0_npu_16K git lfs pull

校验方式（两条命令，5 秒出结果）：

# 1. 查看哪些 LFS 文件尚未拉取（有输出说明不完整） git lfs ls-files | head # 2. 抽查关键文件大小，应接近：model.bin ≈ 1.7GB，model.onnx.data ≈ 815MB ls -lh model.bin model.onnx.data model.onnx

七、新手 FAQ 三连 ❓

Q1：dd_metastate_*文件能删掉以省空间吗？不能。它们是 NPU 运行时必需的编译产物（含 ~1.7GB 的.fconst融合常量），删除后模型无法在 Ryzen AI NPU 上运行。

Q2：model.onnx和model.bin二选一？不行。model.onnx+model.onnx.data负责 CPU/通用推理路径的图与权重，model.bin是 NPU 融合部署权重，两条路径各有分工。

Q3：为什么我的提示词超长会被截断？看 rai_config.json：当前 RAI 版本对应的max_prompt_length是 2048 或 4096，超过部分会被截断；完整 16K 能力由genai_config.json的max_length与 16384 编译版本共同支撑。

📌一句话总结：model.onnx（图）+model.onnx.data（权重）构成 ONNX 模型本体，model.bin是 NPU 融合权重，dd_metastate_*是 7 档序列长度的 NPU 编译产物，4 个 JSON 分别管结构、运行时、采样与版本限制——文件都在，模型就能跑。