企业官网建设流程全解析

30 分钟跑通 LocalAI：本地部署第一个 OpenAI 兼容大模型

【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI

LocalAI 是本地部署大模型的推理引擎：一个容器跑在自己机器上，就能得到 OpenAI 兼容的 API，聊天、生图、语音全部跑在本地硬件上，不需要 GPU。跟着走完一遍，你会确认环境、拉起服务、装上第一个模型、发出第一个请求。全程不超过半小时，结束时你手上会有一套真正跑在自己机器上的大模型服务。

准备 LocalAI 运行环境：硬件与 Docker 检查清单

先说结论：纯 CPU 的机器也能跑。LocalAI 的设计目标就是让大模型落在任意硬件上，普通笔记本就能推动 1B 到 3B 的小模型。

硬件上记住两条：8GB 内存的机器，可以舒服地跑 1B 到 3B 的量化模型；想上 7B 到 8B，16GB 以上更稳妥。核心数越多，推理越快，后面提速时用得上。

再检查两件事。一是 Docker 在正常运行：执行docker ps不报错就算过关，返回空列表没关系。二是 8080 端口没被别的服务占着——如果你机器上已经跑了监听 8080 的程序，LocalAI 会因为抢不到端口而起不来。先把它腾出来，或者后面启动时把端口映射到别的号上。

还没装 Docker 的话，先去把它装好再回来，后面所有步骤都建立在容器之上。

拉取 LocalAI 镜像并启动本地大模型服务

🐳 没有显卡的机器用默认镜像，一条命令就够：

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest

有 N 卡的话，把标签换成latest-gpu-nvidia-cuda-12并加上--gpus all，其余不变。

启动过程最容易碰两种状况。一种是镜像拉取慢甚至卡住：多半是网络问题，在/etc/docker/daemon.json里给镜像源列表加一个国内可达的地址，然后重启 Docker 再试。另一种是容器起来后很快退出、页面打不开：先执行docker logs local-ai看日志找线索；看不出原因，就加-e DEBUG=true重启一次，拿到详细输出再判断。

有个容易困惑的点：这个核心镜像其实只是调度层，模型真正依赖的推理后端是按需拉取的。所以你会看到第一次装模型时慢，之后的操作都快——原因就在这个"按需"上。

用模型库给 LocalAI 装上第一个模型

服务起来后，浏览器打开localhost:8080。看到欢迎页，说明实例已经在跑；顺手访问/health，返回 OK 表示服务健康。

装模型不用手写配置。在 WebUI 的 Models 页切到 Explore，搜索qwen3-4b——它体积小、吃内存少，还支持工具调用，适合新手——点 Install。页面顶部出现进度条，装完后切到 Installed 标签确认。

习惯命令行也一样方便：

local-ai models install qwen3-4b

还有个更快的办法：把模型名直接拼在docker run命令末尾，服务启动前会自动完成下载和安装，省掉单独这一步。

想钻研细节的话，仓库的 gallery 目录里每个模型都有一份配置文件，后端、模板、上下文参数都写在里面，比如 gallery/phi-2-chat.yaml，照着改就能复现任何行为。

对 OpenAI 兼容接口发出第一个聊天请求

切到 Chat 页，下拉框里选中qwen3-4b，发一句"你好"，几秒内就能收到回复——你的第一次对话完成了。

但 LocalAI 真正的价值在接口上。把下面这个标准 OpenAI 请求打给它：

curl http://localhost:8080/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model":"qwen3-4b","messages":[{"role":"user","content":"你好"}]}'

收到带回复的 JSON，就大功告成了。此后任何 OpenAI SDK 都把 base_url 换成localhost:8080/v1，现有代码原样跑；请求里加上流式开关还能逐字返回。想确认当前有哪些模型，直接访问/v1/models。

LocalAI 响应慢怎么提速：卡顿排查与调优三步

⚡ 第一句回复慢是常态。第一次用某个模型时，要拉取推理后端、做预热，偶尔还有编译动作。稍等一会儿，或先发一句短消息"热身"，后面的速度会明显上来。

还是慢，就按顺序调三件事：

换更小的量化模型

同一款模型，q4量化比f16快得多，内存占用也小。内存紧张时，这一步的收益最立竿见影。

缩小上下文窗口

context_size是内存和速度的大头。日常对话用 2048 到 4096 足够，盲目开大只会拖慢。

线程数对齐物理核心

threads设得比实际核心数多，反而互相抢核拖慢。设为物理核心数即可。这几项都改在模型配置文件里，一行一项，保存后重新加载模型生效。

如果服务直接被杀掉、容器自己重启，多半是内存不够：先换小模型，机器实在紧张就加几 GB 交换空间缓一缓。问题定位不了时，开-e DEBUG=true拿全量日志再去问人，比干猜有效。最后提醒一句：机器上有显卡却还在用 CPU 镜像的话，换成对应 GPU 镜像才是最大的一档提速。

延伸资源

• 快速开始指南：从安装到 API 调用的完整路径
• 模型装载与配置文档：模型库、Hugging Face、YAML 配置等多种装法
• 故障排查：启动和加载问题的官方排查顺序
• 模型库配置示例：现成的模型配置文件，照着改就能用

【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI