企业官网建设流程全解析

前言

本文完整整理在 Windows 平台本地部署中文写作大模型的落地方案 , 覆盖

• 硬件摸底 ,
• 磁盘规划 ,
• 模型选型 ,
• Ollama 程序与模型文件的自定义安装位置 ,
• GPU 加速验证 ,
• 前端界面

六大板块 ;

所有命令均可直接复制执行 , 全文以一台 i7-8700K 加 32 GB 内存加 GTX 1080 Ti 的参考机器为例 , 你的硬件不同时按比例套用即可 ;

一、准备工作 : 硬件摸底与整体规划

1、参考机器配置

关键结论 :

参考机器比常见的参考配置 ( i7-10700F 加 16 GB ) 高一档 , 直接命中 " 32 GB 内存 加 11 GB 显存 " 双甜点位 ;

最大优势在于14B 级别的 Q4 量化模型可以几乎整体塞进 1080 Ti 的 11 GB 显存 ,速度比纯 CPU 快数倍 ;

2、磁盘分区规划

模型文件体积普遍在 5 GB 到 19 GB , 装在哪块盘必须提前规划 , 迁移一次的成本很高 :

• 推荐盘位 :D 盘剩余 750 GB , 作为程序与模型存放的主战场 ;
• 容量不足 :E 盘仅剩 1.5 GB , 放不下任何完整模型 , 直接淘汰 ;
• 不建议 :Y 盘属于工作盘 , 存放业务数据 , 不建议再装软件 ;
• 路径规范 :路径一律不要包含中文和空格 , 否则部分加载器会解析失败 ;

3、核心结论

选型逻辑一句话 :写作模型看内存和 CPU , 显存锦上添花 ; 三条结论展开如下 :

• 14B 级别模型 :Q4 量化后约 9 GB ,在 11 GB 显存的机器上可以整体或大部分放入显存 ,速度可达 20 字每秒以上 ;
• MoE 30B 模型 :32 GB 内存的甜点位 , 激活参数只有 3 B, 纯 CPU 也有 8 到 12 字每秒 ;
• 稠密 20B 以上模型 :内存装得下 , 但纯 CPU 每秒只出一两个字 , 实用性差 , 不建议 ;

二、中文写作大模型选型

1、量化格式怎么选

同样的模型 , 不同的量化版本 , 体积与质量差距巨大 , 三条通用规则 :

• 老显卡认准 GGUF :Pascal 架构不支持 FP8 与 BF16 , 加载会直接报错 ,一律下载 GGUF 量化版本 ;
• 默认推荐 Q4_K_M :体积与质量的最佳平衡点, 低于 Q4 的版本不建议 ;
• 追求更好质量 :Q4_K_XL 通常优于 Q4_K_M , 再往上可选 Q5 或 Q6 , 代价是内存与显存占用同步增加 ;

2、16 GB 内存机器推荐 ( 纯 CPU )

按可用内存约 10.5 GB 计算 , 量化统一为 Q4_K_M :

3、32 GB 内存机器推荐 ( 含显存加速 )

32 GB 内存的甜点位是 MoE 架构模型 , 稠密模型装得下但纯 CPU 跑不动 :

4、参考机器综合推荐清单

按优先级排序 , 直接对号入座 :

非官方模型 :

5、选型建议

分场景给出四条明确路线 :

• 追求体验流畅 :11 GB 显存机器首选 Qwen3-14B , 大部分层进显存后 20 字每秒以上, 日常写作最舒服 ;
• 追求质量上限 :32 GB 内存机器直接上 Qwen3-30B-A3B ,这是纯 CPU 也能流畅跑的中文写作天花板 ;
• 追求中文文笔 :GLM-4-9B 的中文文笔目前口碑最好, 显存装得下时速度也可接受 , 可以先从它试起 ;
• 对比验证法 :先用官方版跑一个实际题材 , 若输出符合预期就不必折腾 , 频繁出现拒答或文风不对再换社区版本二次对比 ;

6、内存预算分配 ( 以 30B MoE 为例 )

25 GB 可用内存的分配方案 :

• 模型权重 :约 18.5 GB ;
• KV 缓存 :8K 到 16K 上下文约 2 GB 到 3 GB , 长文创作够用 ;
• 系统预留 :约 5 GB , 已计入总内存 32 GB 的盘算 ;
• 核心提醒 :上下文不要拉满 128K, 那会额外多吃 8 GB 以上直接顶爆内存 ,写作场景 上下文 控制在 8K 到 16K 即可 ;

三、Ollama 部署 : 程序与模型都放 D 盘

1、安装 Ollama 到指定目录

Ollama 安装包默认把程序装进 C 盘 , 必须改用命令行方式指定目录 , 关键是不要双击安装包 :

1、浏览器访问ollama.com/download, 下载 Windows 版OllamaSetup.exe( 约 1.5G ) , 保存到D:\Ollama;

点击 " Download manually " 链接 , 可以手动下载 OllamaSetup.exe ;

下载 OllamaSetup.exe 完毕后 , 运行该安装文件 , 点击 " Install " 按钮 , 可以直接安装 ,

但是这里我们不直接安装 , 先修改一下 安装目录 , C 盘没有位置了 , 不能再往 C 盘安装程序了 ;

特别注意 , 在 PowerShell 中 执行

irm https://ollama.com/install.ps1|iex

命令 , 这是一键安装命令 , 走的是Ollama 默认安装路径 ( C:\Users\用户名\AppData\Local\Programs\Ollama + 模型存 C 盘 .ollama ) ,不支持 /DIR 自定义目录 ;

2、将 OllamaSetup.exe 拷贝到 D:\Ollama\ 目录下 , 地址栏 输入cmd回车 , 打开命令行 , 执行以下命令 :

"D:\Ollama\OllamaSetup.exe" /DIR="D:\Ollama"

命令行参数解析 :

• Ollama 的安装包是 Inno Setup 打包的 , 而/DIR 是 Inno Setup 的标准命令行参数 ;
• “D:\Ollama\OllamaSetup.exe” 参数 :先启动安装包 ;它本身是一个自解压 + 安装向导程序 , 双击和命令行启动是同一份程序, 区别只在 " 有没有带参数 " ;
• /DIR=“D:\Ollama” 参数 :在启动安装包的同时 , 把一个参数传进去 ;Inno Setup 会读取这个参数 , 把它当作默认安装目录 ,跳过 " 让用户自己选文件夹 " 这一步 ;
• 如果是 双击安装 , 则没有这个 /DIR 参数, 安装包就按内置默认值走——也就是 C:\Users\你的用户名\AppData\Local\Programs\Ollama ;

执行完上述命令后 , 会自动弹出 OllamaSetup.exe 的 安装界面 ;

3、点击 " Install " 按钮安装 , 安装界面和平时一样点下一步 , 但程序会装到D:\Ollama而不是 C 盘 ;

4、安装完成后Ollama 会自动在托盘启动 , 右下角出现小羊驼图标 ;

安装完毕后 ,系统会自动将 Ollama 路径设置到 Path 环境变量中 ,在任意目录都可以执行 ollama 命令 ;

5、打开一个新的命令行窗口验证安装 :

ollama --version

输出结果 :

MicrosoftWindows[版本10.0.19045.7725](c)MicrosoftCorporation。保留所有权利。D:\Ollama>ollama--version ollama versionis0.40.4D:\Ollama>

原理补充 :Ollama 安装包是 Inno Setup 打包的 ,/DIR参数用于指定安装目录 ;以后升级新版本时同样带上/DIR参数运行安装包 , 即可保留自定义位置 ;

2、设置模型存放位置

Ollama 默认把模型存在C:\Users\用户名\.ollama\models, 通过环境变量OLLAMA_MODELS改到 D 盘 , 这一操作必须在拉取模型之前完成 :

方法 A , 命令行一行搞定 ( 推荐 ) :

setx OLLAMA_MODELS "D:\Ollama\models"

进入环境变量中 , 可以看到 该环境变量 被设置到了 用户环境变量 中 ;

方法 B , 图形界面操作 :

• 步骤一 :按Win + R输入sysdm.cpl回车 , 切到 " 高级 " 选项卡 , 点击 " 环境变量 " ;
• 步骤二 :在上半部分 " 用户变量 " 区域点击 " 新建 " ;
• 步骤三 :变量名填OLLAMA_MODELS, 变量值填D:\Ollama\models, 一路确定 ;

设置完必须重启 Ollama 才生效 :右键点击右下角托盘的小羊驼图标选择退出 , 再从开始菜单重新打开 ;

3、验证模型是否写入 D 盘

1、命令行执行ollama ls, 然后随便拉一个小模型做测试 :

ollama pull smollm2:360m

2、打开D:\Ollama\models目录 , 出现blobs和manifests两个文件夹 , 即代表模型已存到 D 盘 , C 盘的.ollama目录不再增长 ;

执行ollama list命令 , 查看已安装的大模型 ;

D:\Ollama>ollama list NAME ID SIZE MODIFIED smollm2:360m297281b699fc725MBAbouta minute ago

执行ollama run smollm2:360m命令 , 运行上述模型 ;

D:\Ollama>ollama run smollm2:360m>>>>>>你好Hello!>>>>>>早上好Goodmorning!>>>你叫什么名字I'mSmolLM,but you can call meSmol.>>>Senda message(/?forhelp)

执行/?查询命令 ;

>>>/?AvailableCommands:/setSetsession variables/showShowmodel information/load<model>Loada session or model/save<model>Saveyour current session/clearClearsession context/byeExit/?,/helpHelpfora command/?shortcutsHelpforkeyboard shortcutsUse"""to begin a multi-line message.>>>Senda message

执行/bye退出大模型 ;

3、测试通过后删除这个测试模型 :

ollama rm smollm2:360m

4、拉取正式模型 一

按自己的硬件档位选一条命令执行 , 首次运行会自动下载 :

# 32 GB 内存机器首选 : MoE 架构 , 吃内存约 18.5 GB , 跑之前关掉大程序ollama run hf.co/mradermacher/Qwen3-30B-A3B-GGUF:Q4_K_M# 11 GB 显存机器首选 : 大部分层进显存 , 20 字每秒以上ollama run hf.co/mradermacher/Qwen3-14B-GGUF:Q4_K_M# 中文文笔优先 : 官方版 , 先跑一周再决定是否更换ollama run glm4:9b# 海外社区微调版 : 显密友好 , 中文能力一般ollama pull dolphin-mistral

下载完成会自动进入对话 , 直接打字即可测试 , 输入/bye退出 ;

5、拉取正式模型 二

执行ollama run hf.co/mradermacher/Qwen3-14B-abliterated-GGUF:Q4_K_M命令 , 下载 Qwen3-14B-abliterated-GGUF 模型 ;

D:\Ollama>ollama run hf.co/mradermacher/Qwen3-14B-abliterated-GGUF:Q4_K_M pulling manifest pulling b36d0edb573c:100%▕██████████████████████████████████████████████████████████▏9.0GB pulling4a6ce91d86a8:100%▕██████████████████████████████████████████████████████████▏99Bpulling6031c63420f0:100%▕██████████████████████████████████████████████████████████▏549Bverifying sha256 digest writing manifest successThinking...嗯，用户发来“你好”，看起来是个简单的问候。我需要先回应他的问候，保持友好。可能他只是测试一下，或者想开始聊天。我应 该用中文回复，保持自然，不要太正式。可以问问他有什么需要帮忙的，或者有没有什么话题想聊。不过用户可能没有明确的需求， 所以先打个招呼，然后询问是否需要帮助。确保回复简洁，符合之前的例子。检查有没有拼写错误，保持口语化。好的，准备回复。...done thinking.你好！很高兴见到你。有什么我可以帮你的吗？>>>Senda message(/?forhelp)

6、验证 GPU 是否被利用

执行 下面的命令 , 可以查看 GPU 是否被利用 ;

# 查看运行中模型的负载分布ollamaps

输出结果 :

D:\Ollama>ollama ps NAME ID SIZE PROCESSOR CONTEXT RUNNER UNTIL hf.co/mradermacher/Qwen3-14B-abliterated-GGUF:Q4_K_M bebe6732b2df9.4GB100%GPU4096llamacpp4minutes from nowD:\Ollama>

输出中PROCESSOR列的三种解读 :

• 显示100% GPU:模型整体进入显存 , 速度最快 ;
• 显示xx%/xx% CPU/GPU:显存装不下全部层 , Ollama 自动分层混合计算, 速度介于两者之间 , 属于正常现象 ;
• 显示100% CPU:显存完全没被利用, 处理方式是先确认驱动版本不低于 580 ( 参考机器 581.63 已满足 ) , 再针对 14B 模型在环境变量里设置OLLAMA_GPU_LAYERS提高卸载层数 ;

7、常用管理命令

ollama list# 查看已下载的全部模型ollamarm模型名# 删除不需要的模型 , 释放磁盘空间ollamaps# 查看运行中模型的 CPU/GPU 占用

四、前端界面与进阶方案

1、LM Studio ( 图形界面 )

适合完全不想碰命令行的用户 :

• 步骤一 :访问lmstudio.ai下载安装 ;
• 步骤二 :内置搜索框直接搜Qwen3 30B A3B GGUF, 选择 Q4_K_M 量化下载 ;
• 步骤三 :加载模型后在右侧把上下文长度调到 8192 到 16384 , 点击对话即可 ;
• 优点 :全程图形操作 , 自动适配显卡 offload 策略 ;缺点 :部分社区魔改模型搜索不到 , 需要手动导入 GGUF 文件 ;

2、Open WebUI ( 网页版界面 )

Ollama 装好后加一个网页前端 , 整体体验大幅提升 , 前提是已安装 Docker Desktop :

dockerrun-d-p3000:8080 --add-host=host.docker.internal:host-gateway-vopen-webui:/app/backend/data--nameopen-webui ghcr.io/open-webui/open-webui:main

浏览器访问localhost:3000注册账号 , 在设置里选择 Ollama 后端 , 即可看到已拉取的全部模型 ;

3、SillyTavern 加 KoboldCpp ( 严肃长篇创作 )

长篇连载与角色扮演场景的标准配置 :

• 职责分工 :SillyTavern 负责世界观设定 , 角色卡 , 多轮记忆管理 ; KoboldCpp 负责底层推理 ;
• 适用场景 :需要长期连载 , 人物设定固定 , 章节上下文统一管理的严肃创作 ;
• 学习建议 :该组合的学习成本高于 Open WebUI , 建议先用 Ollama 加 Open WebUI 跑通 , 再迁移到这套 ;

4、商业云端替代方案

不想折腾硬件时的两个选择 :

• API 路线 :硅基流动 , OpenRouter 等聚合平台按量付费调用开源模型 , 无需本地硬件 , 适合偶尔使用的轻度用户 ;
• 云 GPU 租用 :RunPod , Vast.ai , AutoDL 租 RTX 4090 约 3 到 5 元每小时 , 开机即用 , 自带 ComfyUI 或 Ollama 镜像 , 适合临时跑大任务 ;

五、注意事项与避坑

部署过程中最容易踩的坑全部整理在这里 :

• 上下文不要拉满 :写作场景控制在 8K 到 16K 即可, 拉到 128K 会额外多吃 8 GB 以上内存直接顶爆 ;
• 跑 30B 前先腾内存 :确保可用内存不低于 20 GB, 启动前关闭浏览器多标签页 , 游戏等大型软件 ;
• 量化版本选择 :同名模型优先选 Q4_K_M 及以上量化, Q4_K_XL 通常比 Q4_K_M 质量更好 , 低于 Q4 的版本不建议 ;
• 输出质量下降的处理 :社区微调版本如果出现逻辑变差 , 遗忘前文 , 中文文笔退化 , 先换更高精度量化 , 再回头与官方版本做对比 ;
• 显存不足的处理 :遇到爆显存就降低上下文长度 , 或让 Ollama 自动分层 , 混合计算的速度依然可观 ;
• 磁盘预留 :每个模型 5 GB 到 19 GB , 建议同时保留不超过 2 到 3 个模型 , 目标盘预留 60 GB 以上比较从容 ;

总结

本文给出一套可直接落地的本地部署方案 :

• 选型层面,
• 16 GB 内存机器用 Ollama 跑 GLM-4-9B 或 Qwen3-8B ,
• 32 GB 内存机器首选 Qwen3-30B-A3B ( 8 到 12 字每秒 ) ,
• 11 GB 显存机器优先让 Qwen3-14B 进显存拿到 20 字每秒以上的体验 ,
• 稠密 20B 以上模型一律不推荐 ;
• 部署层面,程序通过安装包的/DIR参数,模型通过OLLAMA_MODELS环境变量, 两者都能自定义到任意磁盘 , 全程不占用 C 盘空间 ;
• 体验层面,
• LM Studio 适合零命令行用户 ,
• Open WebUI 提供网页版对话界面 ,
• SillyTavern 加 KoboldCpp面向严肃长篇创作 ,

三者按自身需求逐级进阶即可 ;