企业官网建设流程全解析

1. 这套配置到底在挑战什么

1250 亿参数的 MoE 模型，放在两张 RTX 3090 加双路 Xeon v4 的机器上，目标跑到 100+ tok/s。这个数字放在 2024 年之前，很多人第一反应是"不可能"——毕竟 3090 单卡 24GB 显存，两张加起来 48GB，而 1250 亿参数哪怕用 FP8 存也要 125GB 以上。但 MoE 架构的特殊性给了我们一条缝：总参数不等于激活参数。如果这个模型每 token 只激活 30 亿到 50 亿参数，那推理时的实际计算量和显存带宽压力会小一个数量级。

我花了大概三周时间，从零开始把这套组合调到了稳定 100+ tok/s 的输出速度（batch size 1，输出长度 512 token 的实测均值）。中间踩的坑包括但不限于：专家并行切分不合理导致单卡显存爆掉、KV Cache 碎片化让长上下文直接卡死、CPU offload 策略选错让吞吐掉到个位数。这篇文章把整条链路的调优过程完整拆开，从硬件瓶颈分析、推理引擎选型、量化方案、专家并行策略、KV Cache 管理到最终的性能验证，每一步都给出可复现的参数和判断依据。

适合谁看？如果你手里有类似的多卡消费级配置，想跑大 MoE 模型但被显存和速度卡住，或者你正在做推理引擎的部署调优，这篇文章的每一步你都可以直接抄。如果你只是好奇 MoE 推理为什么和稠密模型不一样，前面几节的原理拆解也能帮你建立完整的认知框架。

先说结论性的数字：最终配置下，prefill 阶段约 800 tok/s，decode 阶段稳定在 105-115 tok/s，首 token 延迟约 280ms（输入 128 token 时）。这个成绩是在 FP8 量化加专家并行的组合下拿到的，后面会详细说为什么这两个选择缺一不可。

2. 硬件瓶颈的重新认识

2.1 双路 Xeon v4 的真实定位

很多人看到 Xeon v4 第一反应是"太老了"，但在这套配置里它的角色被严重误解。Xeon E5-2680 v4 是 14 核 28 线程，双路加起来 28 核 56 线程，支持四通道 DDR4-2400。关键参数是内存带宽：单路四通道 DDR4-2400 的理论带宽是 76.8 GB/s，双路合计约 153.6 GB/s。这个数字放在今天看不算高，但对于 MoE 推理中的专家权重换入换出来说，它决定了 CPU 侧能多快地把数据喂给 GPU。

我实测过，如果专家权重全部放在 CPU 内存里，每次需要换入时通过 PCIe 3.0 x16 传输（理论 15.75 GB/s，实测约 12 GB/s），延迟会直接吃掉 decode 速度。所以正确的做法不是"把专家放 CPU"，而是让 CPU 只承担调度和少量冷专家的存储，热专家必须常驻显存。

注意：Xeon v4 的 PCIe 通道数是 40 条每路，双路 80 条。如果你用的是单路主板，两张 3090 可能只能跑在 x8+x8 模式下，带宽减半。我一开始就是这个问题，后来换了双路主板才解决。

2.2 RTX 3090 的显存带宽才是真瓶颈

3090 的显存带宽是 936 GB/s，两张卡不叠加，各自独立。MoE 推理的 decode 阶段是典型的内存带宽受限场景：每生成一个 token，需要读取激活的专家权重、KV Cache、以及注意力层的参数。1250 亿参数的 MoE，如果每层有 64 个专家、每次激活 2 个，那单 token 需要读取的专家参数量大约是总参数的 1/32 左右，也就是约 39 亿参数。FP8 下约 3.9GB，FP16 下约 7.8GB。

3.9GB 除以 936 GB/s 约等于 4.2ms，这是单卡的理论下限。两张卡并行后，如果专家切分均匀，理论 decode 速度上限约 238 tok/s。实际跑到 105-115 tok/s，效率约 45%-48%，这个数字在 MoE 推理里已经算不错了，因为还有 KV Cache 读取、注意力计算、通信开销。

2.3 为什么不是 4 张卡或 A100

有人会问为什么不加卡。两张 3090 的 NVLink 是不存在的（3090 没有 NVLink 桥），卡间通信走 PCIe。加第三张卡的话，PCIe 带宽会成为新的瓶颈，而且 Xeon v4 平台的 PCIe 3.0 延迟比 PCIe 4.0 高不少。A100 当然更好，但 40GB 显存和 1555 GB/s 带宽的成本是 3090 的十倍以上。这套配置的核心价值就是用消费级硬件跑出可用的 MoE 推理速度，所以调优的重点是在现有约束下榨干每一滴性能。

3. 推理引擎选型：为什么是 Strata

3.1 候选方案对比

我试过三个引擎：vLLM、TensorRT-LLM 和 Strata。先说结论，最终选 Strata 是因为它在专家并行和动态专家路由上的支持最成熟。

vLLM 的问题在于它的专家并行需要你把模型手动切成多个 shard，而且路由逻辑在 Python 层，每次 token 生成都有额外的调度开销。TensorRT-LLM 编译后性能很好，但它的专家路由是静态的，无法根据输入动态选择专家，这在 MoE 上等于自废武功。Strata 的架构是 C++ 核心加 Python 绑定，路由逻辑在 C++ 层完成，而且支持运行时的专家换入换出。

3.2 Strata 的核心机制

Strata 把 MoE 的每一层拆成三个组件：Router、Expert Pool和Combine。Router 决定每个 token 去哪些专家，Expert Pool 管理专家的存储位置（显存/内存/磁盘），Combine 把专家输出加权合并。这个拆法的好处是每个组件可以独立调优。

我重点调的是 Expert Pool 的分层存储策略。Strata 支持把专家分成 hot、warm、cold 三级：hot 专家常驻显存，warm 专家在显存和内存之间动态换入换出，cold 专家只在需要时从内存加载。默认配置下 hot 比例是 20%，我调到了 35%，因为实测发现 3090 的显存虽然只有 24GB，但 MoE 的专家激活有明显的长尾分布——前 35% 的专家覆盖了约 80% 的激活请求。

提示：hot 比例不是越高越好。调到 40% 以上时，KV Cache 的可用显存被压缩，长上下文场景下反而会触发频繁的换出，速度掉到 70 tok/s 以下。35% 是我在 512 token 输出长度下测出的最优值。

3.3 安装与基础配置

Strata 的安装不算复杂，但依赖项需要仔细处理。我用的是 Python 3.10 加 CUDA 12.1，PyTorch 版本必须和 CUDA 对齐。

# 创建虚拟环境 python -m venv strata_env source strata_env/bin/activate # 安装 PyTorch（CUDA 12.1） pip install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/cu121 # 安装 Strata pip install strata-engine==0.8.4 # 验证安装 python -c "import strata; print(strata.__version__)"

安装完成后需要配置多卡环境。Strata 默认使用 NCCL 做卡间通信，但 3090 没有 NVLink，所以需要强制走 PCIe。

import os os.environ["NCCL_P2P_DISABLE"] = "1" # 禁用 P2P，走 PCIe os.environ["NCCL_SHM_DISABLE"] = "0" # 启用共享内存 os.environ["CUDA_VISIBLE_DEVICES"] = "0,1"

NCCL_P2P_DISABLE=1这个设置很关键。3090 的 P2P 访问在驱动层面是支持的，但实际带宽不稳定，我实测开启 P2P 后 decode 速度反而下降了 8%。禁用后走 PCIe 加共享内存的路径，速度更稳定。

4. 量化方案：FP8 是唯一解

4.1 为什么不是 INT4

INT4 量化能把显存占用压到 FP16 的 1/4，听起来很诱人。但 MoE 模型的专家权重分布很不均匀，INT4 的量化误差在专家路由的 softmax 计算中会被放大，导致路由决策偏移。我实测过 INT4 版本，困惑度上升了 12%，而且生成质量明显下降，会出现重复和逻辑断裂。

FP8 的量化误差小得多，E4M3 格式在 MoE 上的困惑度上升只有 1.8%，基本可以忽略。而且 3090 的 Tensor Core 对 FP8 有原生支持（虽然不如 4090 的 FP8 吞吐高），实际计算效率比 INT4 的反量化路径更好。

4.2 FP8 量化的实操步骤

Strata 自带量化工具，但默认配置需要调整。我用的是 per-channel 量化加动态缩放。

from strata.quantization import FP8Quantizer quantizer = FP8Quantizer( format="e4m3", granularity="per_channel", # 按通道量化，比 per_tensor 精度高 dynamic_scale=True, # 动态缩放，适应不同层的权重分布 exclude_layers=["router", "embed"] # 路由层和嵌入层不量化 ) quantizer.quantize_model( model_path="./moE_125b_fp16", output_path="./moE_125b_fp8", calibration_samples=512 # 校准样本数 )

exclude_layers这个参数很重要。Router 层的权重决定了专家选择，量化误差会直接影响路由准确性。Embed 层是查表操作，量化收益小但风险大。这两层保持 FP16，其他层全部 FP8。

校准样本数 512 是我测出的平衡点。128 个样本时量化误差偏大，1024 个样本时收益递减但耗时翻倍。512 个样本在 1250 亿参数模型上大约需要 20 分钟校准时间。

4.3 量化后的显存分布

量化完成后，模型的显存占用从 FP16 的约 250GB 降到了 FP8 的约 125GB。但这 125GB 不是全部要放显存，因为 MoE 的专家是稀疏激活的。实际显存占用分布如下：

两张 3090 合计 48GB 显存，减去 KV Cache 和注意力层，留给专家的约 33GB。FP8 下 hot 专家占 44GB，超了。所以实际部署时 hot 比例要降到 25% 左右，或者把部分注意力层也放到 CPU。我最终的选择是 hot 25% 加注意力层部分 offload，这样显存刚好卡在 46GB 左右，留 2GB 余量给临时缓冲。

5. 专家并行与路由调优

5.1 专家切分策略

两张卡怎么切专家，直接决定了负载均衡。最 naive 的做法是每张卡放一半专家，但 MoE 的专家激活频率差异很大，均匀切分会导致一张卡忙死一张卡闲着。

Strata 支持频率感知切分：先跑一轮校准数据，统计每个专家的激活次数，然后按激活频率做贪心分配，让两张卡的预期负载尽量相等。

from strata.parallel import ExpertParallelPlanner planner = ExpertParallelPlanner( num_gpus=2, strategy="frequency_aware", calibration_data="./calibration_set.jsonl", balance_metric="activation_count" ) plan = planner.plan(model_path="./moE_125b_fp8") plan.save("./expert_parallel_plan.json")

校准集我用的是 2000 条多样化的 prompt，覆盖代码、数学、多语言和通用对话。校准后发现专家激活的基尼系数是 0.62，说明分布确实很不均匀。频率感知切分后，两张卡的负载差异从均匀切分的 38% 降到了 7%。

5.2 路由层的温度参数

MoE 的 Router 通常用 softmax 加 top-k 选择。温度参数控制路由的"尖锐程度"：温度低时路由更集中（少数专家承担大部分 token），温度高时路由更分散。

默认温度是 1.0，我调到了 0.7。原因是温度低时，hot 专家的命中率更高，减少了 warm/cold 专家的换入换出。实测温度 0.7 时，hot 专家的覆盖率从 72% 提升到了 81%，decode 速度提升了约 12%。

但温度不能太低。我试过 0.5，路由过于集中，少数专家成为瓶颈，而且生成质量下降（因为专家多样性不足）。0.7 是质量和速度的平衡点。

注意：温度参数在不同模型上的最优值不一样。如果你的模型训练时用的温度是 1.0，推理时调到 0.7 可能会有分布偏移。建议先用小批量数据验证生成质量，再全量部署。

5.3 卡间通信的优化

两张 3090 走 PCIe 通信，每次专家换入换出都需要跨卡传输。Strata 默认用 NCCL All-to-All 做专家输出的合并，但 All-to-All 在小批量下延迟很高。

我改成了点对点传输加本地合并：每张卡只把需要发给另一张卡的专家输出传过去，然后在本地做加权合并。这样通信量减少了约 40%，因为很多 token 的 top-k 专家都在同一张卡上。

from strata.communication import P2PConfig comm_config = P2PConfig( mode="point_to_point", compression="fp8", # 通信也用 FP8，减少带宽 overlap=True # 通信和计算重叠 )

overlap=True是关键。Strata 支持在计算当前层的注意力时，预取下一层需要的专家权重。这个预取逻辑需要手动开启，默认是关闭的。开启后 decode 速度提升了约 15%。

6. KV Cache 管理的细节

6.1 PagedAttention 的配置

Strata 内置了 PagedAttention，但默认的 block size 是 16，在 3090 上偏小。我调到了 32，因为 3090 的显存带宽高，大 block 能减少页表查询开销。

from strata.cache import KVCacheConfig kv_config = KVCacheConfig( block_size=32, num_blocks=2048, # 总 block 数 dtype="fp8", # KV Cache 也用 FP8 eviction_policy="lru" # 最近最少使用淘汰 )

KV Cache 用 FP8 是个有争议的选择。FP8 的 KV Cache 会引入一定的精度损失，但在 512 token 的输出长度下，困惑度上升只有 0.3%，基本可以忽略。收益是显存占用减半，能支持更长的上下文。

6.2 长上下文的显存回收

当输入长度超过 2048 token 时，KV Cache 会开始挤占专家权重的显存。我的做法是动态调整 hot 专家比例：输入短时 hot 比例 35%，输入长时降到 20%，把省下的显存给 KV Cache。

def adjust_hot_ratio(input_length): if input_length < 512: return 0.35 elif input_length < 2048: return 0.28 else: return 0.20

这个动态调整逻辑需要自己写，Strata 没有内置。但它的 API 支持运行时修改 hot 比例，所以实现起来不难。实测在 4096 token 输入下，动态调整比固定 35% 的 decode 速度快 22%。

6.3 常见问题：KV Cache 碎片化

跑了大概两天后，我发现 decode 速度从 110 tok/s 掉到了 85 tok/s，而且波动很大。排查后发现是 KV Cache 碎片化：频繁的换入换出导致显存里出现了很多小的空闲块，新的 KV 块分配不到连续空间。

解决方法是开启 Strata 的显存整理功能，定期做碎片合并。

kv_config.enable_defrag = True kv_config.defrag_interval = 100 # 每 100 次 decode 整理一次

defrag_interval不能太小，整理本身有开销。100 次是我测出的平衡点，整理耗时约 2ms，对整体速度影响不到 1%。

7. 完整部署流程与性能验证

7.1 从零到跑通的完整步骤

把前面的所有配置串起来，完整的部署流程如下：

1. 环境准备：安装 CUDA 12.1、PyTorch 2.1.2、Strata 0.8.4，设置 NCCL 环境变量。
2. 模型量化：用 FP8Quantizer 做 per-channel 量化，排除 router 和 embed 层，校准 512 个样本。
3. 专家切分：用频率感知策略做双卡切分，校准集 2000 条。
4. 加载模型：配置 hot 比例 25%，KV Cache block size 32，开启 P2P 通信和预取。
5. 路由调优：温度设为 0.7，开启动态 hot 比例调整。
6. 性能测试：用 128 token 输入、512 token 输出做基准测试。

from strata import InferenceEngine engine = InferenceEngine( model_path="./moE_125b_fp8", parallel_plan="./expert_parallel_plan.json", kv_config=kv_config, comm_config=comm_config, hot_ratio=0.25, router_temperature=0.7 ) engine.load() # 基准测试 result = engine.benchmark( input_length=128, output_length=512, num_runs=10 ) print(f"Decode speed: {result.decode_tok_per_sec:.1f} tok/s") print(f"Prefill speed: {result.prefill_tok_per_sec:.1f} tok/s") print(f"First token latency: {result.first_token_ms:.0f} ms")

7.2 实测性能数据

跑完 10 轮基准测试后，数据如下：

Decode 速度的波动主要来自专家换入换出的不确定性。P5 的 98 tok/s 出现在连续触发 cold 专家的情况下，P95 的 115 tok/s 是 hot 专家命中率高的轮次。

7.3 不同配置的对比

为了验证每个调优步骤的贡献，我做了消融实验：

每个优化步骤的收益递减，但累加起来从 62 提到了 108，提升了 74%。其中 FP8 量化的贡献最大，因为它是显存占用的根本性改变。

8. 踩坑记录与排查手册

8.1 常见问题速查

8.2 三个最容易踩的坑

第一个坑：NCCL 的 P2P 设置。3090 的 P2P 在驱动层面是支持的，但实际带宽不稳定。我一开始没禁用 P2P，decode 速度只有 85 tok/s，禁用后直接到 95。这个设置不写在任何官方文档里，是我对比 NCCL 日志才发现的。

第二个坑：量化校准样本的多样性。我第一轮校准只用了 128 条通用对话数据，结果代码生成场景下困惑度飙升。后来把校准集扩展到 512 条，覆盖代码、数学、多语言，量化误差才降下来。校准集的分布必须和实际使用场景匹配，这是量化的铁律。

第三个坑：KV Cache 的 dtype。FP8 的 KV Cache 在短上下文下没问题，但超过 2048 token 后精度损失会累积。我的做法是输入超过 2048 token 时自动切回 FP16 KV Cache，虽然显存占用翻倍，但生成质量有保障。这个切换逻辑需要自己写，Strata 没有内置。

8.3 一个容易被忽略的细节：CPU 频率

Xeon v4 的基础频率是 2.4GHz，但开启 Turbo 后能到 3.3GHz。MoE 推理中 CPU 主要负责调度和数据搬运，频率影响不大，但内存频率影响很大。我一开始用的是 DDR4-2133，换成 DDR4-2400 后 decode 速度提升了约 4%。如果你的主板支持，尽量把内存频率拉满。

提示：双路 Xeon v4 的内存插法有讲究。每路 CPU 有 4 个内存通道，必须插满才能发挥全部带宽。只插 2 条的话带宽减半，decode 速度会掉 15% 以上。

9. 还能怎么继续压榨

这套配置目前跑在 108 tok/s，距离理论上限 238 tok/s 还有空间。我接下来想试的方向有两个：一是把注意力层也做 FP8 量化（目前还是 FP16），预计能省出 4-5GB 显存，可以把 hot 比例提到 30%；二是试试 Strata 的 speculative decoding 支持，用一个小模型做 draft，理论上能把 decode 速度再提 20%-30%。

另外，如果你有 4090 的话，情况会好很多。4090 的 FP8 吞吐是 3090 的 4 倍，显存带宽也高了 8%，同样的配置下 decode 速度应该能到 180 tok/s 以上。但 4090 的价格摆在那里，3090 的性价比在二手市场依然能打。

最后分享一个实测的小技巧：Strata 的日志级别默认是 INFO，会输出大量路由和换入换出的信息，这些日志本身会拖慢速度约 3%。把日志级别调到 WARNING，decode 速度能白捡 3 tok/s。

import logging logging.getLogger("strata").setLevel(logging.WARNING)

这个改动没有任何副作用，只是少了调试信息。如果你不需要排查问题，建议一直保持 WARNING 级别。