企业官网建设流程全解析

• 大模型
• 模型量化
• 模型优化
• 多模态
• Qwen

Qwen3.8-Flash-Next-Quark-MXFP4-PLEFP8 是 AMD 面向 MI350 / MI355 GPU 发布的量化推理模型检查点：它基于 Qwen3.8-Flash-Next，用 MXFP4 量化全部 MoE 专家层、FP8 量化 PLE 嵌入表，配合 SGLang 即可在 AMD ROCm 平台上快速跑通多模态推理。本文面向新手，10 分钟带你从环境准备、模型下载到跑通第一条推理请求。

这个模型是什么？30 秒看懂 Qwen3.8 量化版

这是一份开箱即用的量化检查点（checkpoint），而不是需要自己训练的源码项目。它的核心信息如下：

💡 简单理解：量化（Quantization）就是用更少的位数存储模型权重。MXFP4 意味着每个权重只占 4 位，显存占用大幅下降、推理更快，而精度几乎不损失。

量化到底动了哪些层？

根据 README.md 的说明，这份检查点的量化策略非常讲究：

• 量化了：语言模型中所有 MoE 专家（包括 shared expert），权重用静态 MXFP4，激活用动态 MXFP4；PLE 嵌入表用 Per-Tensor FP8
• 保持 bf16 不动：全部自注意力、线性注意力投影、路由门控、视觉塔、MTP 头等敏感模块

完整的量化配置可以在 config.json 的quantization_config字段中查看，量化排除列表（exclude数组）列出了所有保持高精度的层。

环境要求：AMD MI350/MI355 硬件清单

⚠️ 这个模型是原生为 AMD GPU 验证的，请确认你的环境与下表一致，否则容易踩坑：

建议直接使用官方验证过的 Docker 容器镜像，省去自己配环境的麻烦。

下载模型权重的最快方法

模型权重共131 个 safetensors 分片，文件清单如下：

如果本地有 git 且已配置 Git LFS，可以直接克隆整个模型目录：

git clone https://gitcode.com/hf_mirrors/amd/Qwen3.8-Flash-Next-Quark-MXFP4-PLEFP8

提示：下载完成后可以用git lfs ls-files确认权重文件已完整拉取，而不是只拉到了 LFS 指针文件。

一条命令启动推理服务（SGLang 部署步骤）

官方在 MI350X / MI355X 上验证过的启动命令如下，4 卡张量并行：

sglang serve --model-path amd/Qwen3.8-Flash-Next-Quark-MXFP4-PLEFP8 \ --tp 4 \ --attention-backend triton

三个关键参数解读：

服务默认监听在http://localhost:30000，提供 OpenAI 兼容的/v1/chat/completions接口。

验证首次推理：发送第一个请求

服务启动完成后，用一条 curl 请求即可验证模型是否正常工作：

curl http://localhost:30000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model": "amd/Qwen3.8-Flash-Next-Quark-MXFP4-PLEFP8", "messages": [{"role": "user", "content": "你好，请介绍一下你自己"}], "chat_template_kwargs": {"enable_thinking": false}}'

看到返回的choices里出现模型回复文本，就代表首次推理跑通了✅

量化后精度会掉吗？GSM8K 实测数据

很多新手担心量化会影响效果。官方在 MI355X 上用 lm-evaluation-harness 做了 GSM8K（5-shot）基准测试，结论是精度恢复度达99.5%：

也就是说，用 MXFP4 换来显存和速度上的大幅收益，几乎不影响数学推理能力，可以放心用于生产场景。

新手常见问题排查（FAQ）

总结

🎉 恭喜！你已经掌握了 Qwen3.8-Flash-Next-Quark-MXFP4-PLEFP8 量化模型的完整部署流程。接下来可以进一步阅读 README.md 了解量化脚本细节，或查阅 config.json 探索模型架构参数。

• 大模型
• 模型量化
• 模型优化
• 多模态
• Qwen