企业官网建设流程全解析

各位做本地大模型的朋友，这两年应该有一个共同的感受：模型跑得动跑不动，瓶颈早就不在代码层面了。DeepSeek和Qwen（通义千问）这两大开源系列的权重满天飞，各种量化版、蒸馏版恨不得一天更新一次，但真正拦住大家的永远是同一件事——机器能不能扛得住。我先后在好几台工作站上折腾过这两套模型的本地部署，从7B的小模型一路玩到70B以上的大家伙，最后把主力环境固定在了UltraLAB上。这台机器让我实打实体会到，硬件选型如果没做对，软件层面再怎么调参都是白搭。

这篇内容不是官网参数的复读，而是把我自己踩过的坑、跑通的配置、以及推理性能和预算之间的平衡方案全部摊开来说。适合正在纠结“到底该买多大显存”“CPU到底要不要上多路”“量化版和原版差距有多大”这些问题的人。不管你是想本地跑一个私有化的代码助手，还是准备基于Qwen做LoRA微调，甚至是折腾ComfyUI这种吃显存的图像工作流，这轮硬件选型思路都能直接套用。

1. 本地部署的整体思路与方案拆解

1.1 为什么偏偏是DeepSeek和Qwen

市面上的开源大模型不少，但真正常年被拿出来做本地部署的，翻来覆去就是这两家。原因很简单：DeepSeek和Qwen的权重文件在国内获取最方便，中文能力在开源阵营里属于第一梯队，而且它们的开源许可对商业使用相对友好。

先说DeepSeek，这个系列的模型在代码生成和数学推理上表现非常突出，尤其是DeepSeek-Coder系列，在我实际测试里，用它做代码补全和Bug定位，准确率明显比同参数量级的通用模型高出一截。而且DeepSeek给出的API接口风格和OpenAI高度兼容，这意味着你用它替换掉项目里原来的GPT调用时，几乎不用改业务代码，改个base_url就完事。

再说Qwen，这个系列的覆盖面非常广，从0.5B的玩具模型一路到72B的大家伙都有。Qwen最让我喜欢的一点是它在中文指令遵循方面的表现极其稳定，不会突然冒出一段英文来回答中文问题。而且Qwen系列的周边生态相当完善，从量化工具到微调脚本，再到各种第三方工具链的支持，全都很全。如果你打算做完部署之后还要接Dify做Agent流程，或者用LoRA做领域微调，Qwen会顺滑很多。这两家模型搭配在一起，基本覆盖了日常技术工作中“代码能力”和“语言能力”两个核心场景。

1.2 硬件选型的核心理念：显存决定天花板，算力决定速度

做本地大模型部署的人，最容易犯的一个错误是上来就看GPU的算力（TFLOPs），然后盯着旗舰卡流口水。但实际部署过几次之后你会发现，真正决定你“能跑什么模型”的，是显存容量；决定你“跑得多快”的，才是算力。

这个道理可以打个比方：显存就是你的办公桌桌面，模型参数和推理过程中的临时数据全都要摊在这张桌子上。桌面只有那么大，你非要把一份几百页的文件（70B模型的权重）放上来，桌子放不下，系统就只能把一部分内容挪到旁边的柜子里（内存），用的时候再拿过来。这一来一回，速度自然就垮了。我在UltraLAB上跑Qwen-72B量化版的时候，有几次因为显存紧张导致部分层被换到内存里，生成速度直接从每秒几十个token掉到个位数，那种体验用“卡成PPT”来形容一点不夸张。

所以我的核心理念很明确：先算清楚你想跑的模型需要多少显存，再倒推买什么显卡。算力的选择排在显存之后，在预算有限时优先保显存容量，算力次之。而在UltraLAB这种专业工作站上，它的价值就在于整机配置的平衡性——电源、散热、PCIe通道分配都是厂家调好的，不会出现你自己攒机时那种“猛卡配弱U”的畸形组合。这也是我选择UltraLAB作为主力测试环境的根本原因。

2. UltraLAB硬件配置全维度拆解

2.1 GPU选型：显存与算力的平衡点在哪里

如果你问我UltraLAB工作站上最值得花心思的部件是什么，我的回答一定是GPU，没有之一。整个大模型推理和微调流程中，GPU承担了绝大部分计算任务，选错了卡，整台机器都白搭。

以跑DeepSeek-7B和Qwen-7B为例，这两个模型的全精度FP16权重大概需要14GB显存。考虑到推理过程中还有KV Cache和中间激活值，我实测下来，保险的显存下限是20GB。这也意味着，如果你预算只够买一块12GB显存的卡，那就只能跑量化到Int4甚至Int3的版本，效果打折不说，折腾起来也费劲。所以我的建议很简单：从24GB显存起步，也就是RTX 3090或RTX 4090这个规格。

如果你目标更高，想本地跑DeepSeek-33B或者Qwen-72B，那需求就完全不同。72B模型哪怕量化到Int4，权重也要差不多40GB。再加上推理时的开销，单卡80GB（如A100 80G或UltraLAB可选的NVIDIA专业卡）才能真正跑起来不憋屈。UltraLAB在这方面的优势很明显，它能选配多路专业级GPU，整机的PCIe通道数和供电设计比普通PC扎实得多，双卡甚至四卡并行时不会出现带宽瓶颈。

我在选GPU时还特别注意了一个细节：显存带宽。同样都是24GB显存，带宽高的卡跑大模型的速度上限明显更高。因为推理过程本质上是不断从显存里读数据喂给计算单元，带宽不够，GPU的计算核心再多也是饿着肚子干活。

2.2 CPU与主板：别让“外围部件”拖后腿

很多人把注意力全放在GPU上，忽略了CPU和主板，这是我在实际使用中最想提醒的点。大模型推理虽然主要靠GPU，但数据加载、预处理、API服务调度这些活全都在CPU上跑。如果你CPU太弱，GPU就会频繁等待数据，利用率上不去，速度照样不快。

在UltraLAB的配置选型中，我建议CPU核心数至少16核起步，主频最好能到4.0GHz以上。原因有两点：一是要满足数据加载和前后处理的并行需求，二是在运行Agent类应用（比如通过Dify搭建的流程）时，会有大量逻辑判断和工具调用的任务在CPU上执行。我实测过，当我在一台CPU性能较弱的工作站上跑Qwen-14B加Dify的Agent流程时，整个响应时间中有将近四成耗在了CPU处理上，GPU反而在排队等着。这种事情一旦发生，你就会明白为什么整机平衡比单点堆料更重要。

主板方面，UltraLAB这种整机方案基本上不存在自己攒机时那种“几块M.2固态抢PCIe通道”的问题。但我还是要提醒一点：如果你确定后期要上双卡甚至四卡，现在就选支持足够PCIe通道数的主板，否则后续升级的时候要么得换主板，要么只能牺牲部分通道带宽。

2.3 内存、存储与散热：稳定性拼图

大模型推理对内存的需求比想象中要大得多。即使显存足够放下模型，推理过程中的一些中间数据、Batch处理的结果、以及API服务的并发请求缓存，都会占用大量内存。我之前在一台只有32GB内存的机器上跑Qwen-14B时，只要并发请求一多，内存就报警。后来换到128GB内存的UltraLAB上，这个问题彻底消失。所以我的建议是：内存容量按“显存容量的两倍”作为底线，但最好直接一步到位上128GB。

存储方面，模型权重的加载速度经常被忽视。一个20GB的模型文件，从机械硬盘加载要一分钟以上，从高性能NVMe固态加载只需十几秒。如果你需要频繁切换DeepSeek和Qwen的不同版本，存储速度会直接影响你的工作效率。我建议至少准备1TB的NVMe固态专门放模型文件，不要和系统盘混在一起，方便管理和备份。

散热这块要说句实话：大模型推理时GPU会长时间处于高负载状态，这比打游戏的压力还大。我自己踩过坑，早期在一台散热设计普通的工作站上连续推理几个小时后，GPU温度飙到85度以上，随后出现卡顿和显存频率下降。UltraLAB这种专业工作站一般会配工业级散热方案，但如果你是自攒机，一定要重视机箱风道和显卡散热，别在这上面省钱。

3. 软件部署与工具链选型

3.1 推理框架选型：Ollama、LM Studio还是vLLM

软件层面的第一个选择是推理框架。现在主流的本地部署方案有Ollama、LM Studio、vLLM，各有各的适用场景，我自己的使用经验是这样的。

如果你追求“开箱即用”，Ollama是首选。它的命令极其简单，一条ollama run qwen2.5:14b就能把模型拉下来并启动一个交互式对话环境。Ollama对显存的管理做得不错，会自动选择是否部分加载到GPU，对新手非常友好。我在UltraLAB上装Ollama，从零到能跑起Qwen-7B对话，前后不超过十分钟。但它的问题也很明显：并发能力一般，适合个人使用和小团队试用，扛不住高并发的生产场景。

LM Studio则更适合喜欢图形界面操作的人。它可以在界面上直接下载模型、调节加载参数、做模型对比测试。我一般会用LM Studio来做模型效果比测，因为它可以同时加载好多个模型，随切随用，特别方便。但它和Ollama一样，在上线部署这个层面都比较“玩具”，不是生产级的选择。

如果你打算把本地模型做成服务给团队或者业务系统调用，那vLLM是更专业的选择。它的PagedAttention机制能在推理时显著降低显存占用，支持高并发请求，API接口兼容OpenAI格式。我在UltraLAB上跑Qwen-72B量化版时，用的就是vLLM，并发能力和吞吐量比Ollama高了一个数量级。代价是配置更复杂一些，需要写启动参数、处理模型目录结构，上手门槛高一些，但用熟了之后基本回不去Ollama了。

3.2 配套工具链：Dify、Codex接入与API调用

模型跑起来只是第一步，真正让大模型融入日常工作流的，是配套工具链。我在这块花了不少时间和精力，老实说，踩坑次数比部署模型本身还多。

先说Dify，这是一个开源的大模型应用开发平台，可以理解成“可视化的大模型Agent编排工具”。你可以通过拖拽流程块，把大模型、知识库、工具函数串成一条自动化流水线。我尝试过在UltraLAB上本地部署Dify，然后接入跑在Ollama上的Qwen模型。流程大致是：先安装Docker和Docker Compose，然后拉取Dify的编排文件，启动容器组，最后在Dify后台把模型供应商配置为Ollama的本地API地址。整个过程不算复杂，但要注意网络环境，Dify的镜像比较多，第一次拉取会花点时间。

再说Codex。这里说的Codex是指开源的代码生成工具链，比如Continue这类VS Code插件，它支持把后端模型配置成DeepSeek或Qwen。我试着把VS Code接入DeepSeek的本地API，用来做代码补全和单元测试生成。效果超出预期，DeepSeek-Coder在代码补全上确实有真功夫，而且因为是本地部署，响应速度完全取决于机器性能，没有任何网络等待。在UltraLAB这种配置下，补全几乎是即时的。另外，DeepSeek的API兼容OpenAI格式，所以你在VS Code插件里只需要改掉base_url和模型名，就能无缝切换，这个大家在自己机器上也可以试试。

4. 实操过程：从零部署到跑通推理

4.1 环境准备与驱动安装

以UltraLAB装好系统后为例，第一步是安装NVIDIA驱动和CUDA工具包。这一步看似基础，但我遇到过几次因为驱动版本和CUDA版本不匹配导致推理框架无法识别GPU的情况。我的建议是：直接用NVIDIA官网的驱动检测工具自动匹配，或者安装UltraLAB出厂时推荐的驱动版本，避免踩兼容性坑。

驱动装好后，用nvidia-smi命令确认GPU被识别。你会看到显卡型号、显存大小和当前驱动版本。这里我有个习惯：把显存大小记在便签上贴在机箱上，选模型版本时随时参考。

接下来是Python环境的准备。我强烈建议用Miniconda，不要直接往系统Python里装东西。创建独立的虚拟环境可以避免不同项目之间的依赖冲突。比如部署DeepSeek和Qwen各用一个环境，互不干扰。

# 创建独立虚拟环境 conda create -n llm python=3.10 -y conda activate llm

Python版本我推荐3.10或3.11，目前大多数主流推理框架和依赖库对这两个版本支持最稳定。

4.2 DeepSeek本地部署实操

部署DeepSeek最快捷的方式依然是Ollama。我在UltraLAB上实测，整个流程非常顺畅。

# 安装Ollama（Linux版本） curl -fsSL https://ollama.com/install.sh | sh # 拉取DeepSeek-Coder模型 ollama pull deepseek-coder:6.7b # 启动交互式对话 ollama run deepseek-coder:6.7b

这里我详细说明一下量化版本的选择。Ollama上的模型带不同后缀，比如deepseek-coder:6.7b-instruct-q4_K_M，q4_K_M表示4-bit量化。实测下来，4-bit量化和全精度在普通编码任务上差距很小，但在复杂代码推理上会有轻微下降。如果你的显存足够（比如24GB），我建议优先用q8_0量化或者干脆上更大参数的模型，推理质量更好。

如果你要把DeepSeek部署成API服务供其他工具调用，可以这样启动：

# 以服务模式运行 ollama serve # 在其他终端验证API curl http://localhost:11434/api/generate -d '{ "model": "deepseek-coder:6.7b", "prompt": "用Python写一个快速排序" }'

这也是VS Code接DeepSeek的方式：把Continue插件或Cline之类的配置里，模型API地址指向http://localhost:11434，模型名填deepseek-coder:6.7b即可。

4.3 Qwen本地部署实操

Qwen的部署步骤和DeepSeek类似，但有一个差异点：Qwen系列版本命名多，容易搞混。以我现在常用的Qwen2.5系列为例：

# 拉取Qwen2.5 14B指令版（Int4量化） ollama pull qwen2.5:14b # 启动对话 ollama run qwen2.5:14b

这里要注意，qwen2.5:14b默认是Q4_K_M量化，大约占用9GB显存，24GB显卡轻松跑起来。如果你视觉相关任务比较多，比如用Qwen-VL看图，那要单独拉取VL版本：

# 拉取Qwen2.5-VL 7B ollama pull qwen2.5vl:7b

我自己在实际使用中，会把Qwen-VL作为本地图片理解工具，配合ComfyUI工作流出图后自动用Qwen-VL做质量评估和标签生成。这个流程在UltraLAB上跑得很顺，一张图从出图到VLM分析完成，大概几秒钟时间。

如果你想做LoRA微调，Qwen系列的生态最成熟。官方提供了微调脚本，可以针对特定领域数据做增量训练。我在UltraLAB上用单卡跑过Qwen-7B的LoRA微调，训练数据是几千条客服对话。整个微调过程大概两小时，显存占用在18GB左右。微调完的模型可以用ollama create打包成本地模型，方便后续使用。

# 微调后的模型打包成Ollama格式 ollama create qwen-custom -f Modelfile

其中Modelfile文件内容大致是：

FROM /path/to/fine-tuned/weights

4.4 用vLLM部署生产级服务

如果是要给团队用或者接入业务系统，我上面提到的Ollama方式不太够用，还是建议上vLLM。vLLM启动一个OpenAI兼容API服务的命令大致如下：

# 安装vLLM pip install vllm # 启动Qwen2.5 14B服务（Int4 AWQ量化版） python -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen2.5-14B-Instruct-AWQ \ --served-model-name qwen-14b \ --max-model-len 8192

启动成功后，客户端只要把OpenAI SDK的base_url指向http://localhost:8000/v1，模型名填qwen-14b即可。这意味着你原来写的所有调用GPT的代码，几乎不用改动就能切换到本地模型。这个兼容性设计是我认为最值得点赞的一点。

5. 常见问题与排查技巧实录

5.1 显存不足和OOM问题

这是所有人第一次跑本地模型都会遇到的问题。我的经验是：看到OOM不要慌，按顺序排查。

第一步，确认模型大小类型。检查模型文件是FP16还是量化版，FP16的7B模型需要约14GB，4-bit量化只需约4GB。如果你的显存只有12GB，果断换量化版才是正道。

第二步，调整推理参数。Ollama里可以设置num_gpu参数控制有多少层加载到GPU，剩下的层用CPU算。虽然速度会下降，但至少能跑起来。vLLM则可以通过--max-model-len降低上下文长度来减少KV Cache占用。

第三步，考虑FlashAttention和量化后端。vLLM的AWQ或GPTQ量化与FlashAttention组合，能让显存占用显著下降。我在UltraLAB上实测，Qwen2.5-14B的FP16需要28GB显存，AWQ量化版只需约12GB，而且推理速度几乎没下降多少。

5.2 推理速度不达预期

跑是跑起来了，但一个字一个字往外蹦，急死人。速度慢首先建议查显存带宽，如果显存带宽低，再多的核心也发挥不出来。其次检查模型加载方式，如果模型部分层被放到CPU上，速度必然慢。通过Ollama的日志或者nvidia-smi看GPU利用率，如果GPU利用率不高但速度慢，多半是数据喂送瓶颈，也可能是CPU预处理太慢。

还有一个容易被忽略的因素：上下文长度。当你开启超长上下文（比如32K以上）时，KV Cache会占用大量显存和带宽，导致生成速度大幅下降。解决方法是根据实际任务调整上下文窗口，不追求“大而全”，够用就好。

5.3 开发工具接入失败

把DeepSeek接入VS Code或Dify时偶尔会遇到连不上的情况。我的排查思路是这样的：

先在浏览器或curl里直接访问API地址，确认服务真的在跑。如果服务没问题，再看工具的配置格式，有些工具要填http://localhost:11434，有些要填http://localhost:11434/v1，这取决于工具怎么解析。第三，查防火墙，UltraLAB作为工作站可能开了系统防火墙，导致非本机访问被拦，如果要从局域网其他机器访问，记得放行端口。

另外，现在很多工具同时兼容OpenAI和Ollama的接口形式，配置前先看文档确认用的是哪一种格式，能少走弯路。

6. 聊聊后续扩展方向

这套基于UltraLAB的本地部署方案，能做的事情其实远不止跑个对话模型。我自己正在尝试的方向，是把DeepSeek和Qwen接进个人知识库系统，让本地模型基于我积累的技术笔记来回答问题。再加上Dify的工作流编排，就能实现一个完全私有化、不依赖外网的智能助手。

如果你也想往这个方向走，我的建议是：先从Ollama加Qwen的小模型开始，跑通流程后再逐步升级到更大的模型和更复杂的工具链。硬件上留好升级空间，UltraLAB这种整机方案的好处就是后期加卡换卡相对省心。

最后分享一个小技巧：部署完成后，写一个简单的测试脚本，把DeepSeek和Qwen对同一批问题的回答都存下来，定期对比。这样你换模型版本或者调整微调数据时，才能有据可依地判断是变好了还是变差了。这个习惯帮我避免了很多“感觉好像变聪明了”的错觉，也让每一次配置调整都有明确的反馈方向。

现在你就可以打开自己的机器，跑一下ollama run deepseek-coder:6.7b，看看你的硬件能释放出多少潜力来。