如何3分钟部署本地AI环境:self-hosted-ai-starter-kit自托管新手指南
【免费下载链接】self-hosted-ai-starter-kitThe Self-hosted AI Starter Kit is an open-source template that quickly sets up a local AI environment. Curated by n8n, it provides essential tools for creating secure, self-hosted AI workflows.项目地址: https://gitcode.com/GitHub_Trending/se/self-hosted-ai-starter-kit
self-hosted-ai-starter-kit 是一个开源模板,把 n8n、Ollama、Qdrant、PostgreSQL 打包进一个 compose 文件,几分钟就能完成本地AI环境部署。适合希望数据不出本机、又想快速搭起 AI 工作流的个人和开发者。
什么时候需要自托管 AI 工作流
云端 API 调用有两个绕不开的问题:按量计费,以及数据离开你的机器。如果团队的文档、日志或客户数据不允许交给第三方,自托管几乎是唯一解。这个模板把低代码编排、本地模型服务、向量库一次配齐,核心就是一条 compose 命令,价值在于整条链路都留在你自己的硬件上。
部署前环境核对清单
动手前先逐项核对,缺一项都会让后面的步骤卡住:
| 核对项 | 要求 | 备注 |
|---|---|---|
| Docker | 已安装 Docker 与 Compose v2 | 执行docker compose version确认 |
| 内存 | 至少 8GB | 推荐 16GB 以上,Ollama 推理是主要消耗 |
| 磁盘 | 20GB 以上可用空间 | 用于镜像和本地模型权重 |
| 网络 | 稳定可用 | 首次运行需拉取多个镜像并下载模型 |
⚡ Docker Compose 一键启动步骤
- 克隆仓库并进入项目目录:
git clone https://gitcode.com/GitHub_Trending/se/self-hosted-ai-starter-kit cd self-hosted-ai-starter-kit- 复制环境变量模板,并把里面的密码、密钥改成自己的值:
cp .env.example .env- 用 CPU 配置文件启动全部服务。首次运行会拉取 n8n、ollama、postgres、qdrant 镜像并自动下载 Llama3.2 模型,看到终端输出
Editor is now accessible via: http://localhost:5678/即完成:
docker compose --profile cpu up服务启动验证
- 浏览器打开
http://localhost:5678/,完成一次性的 n8n 账号注册。 - 打开预置演示工作流
http://localhost:5678/workflow/srOnR8PAY3u4RSwb,点击画布底部的Chat按钮。 - 若 Ollama 端口可用,
http://localhost:11434/能返回模型列表;Qdrant 向量库监听6333端口。
模型选择与资源调优
仓库布局很直接:docker-compose.yml 定义全部服务,n8n/demo-data/ 存放演示数据。
- 资源分配:按硬件换启动参数即可,无 GPU 用
--profile cpu,NVIDIA 显卡用--profile gpu-nvidia,AMD 用--profile gpu-amd,Mac 用户直接走 cpu 配置。 - 模型选择:默认自动拉取 Llama3.2。想换模型,对 ollama 容器执行
ollama pull 模型名,再在 n8n 的 Ollama 节点里选择它。 - 更新方式:
docker compose --profile cpu pull拉新镜像,随后docker compose create && docker compose --profile cpu up重建容器。
常见故障排障速查
服务起不来?运行docker compose logs 服务名看日志。最常见的是端口冲突(5678、11434、6333 被占用)或 Docker 可用内存不足,先释放端口、调高资源配额。
第一次对话为什么响应很慢?Ollama 首次运行要下载 Llama3.2 的模型权重。用docker compose logs ollama确认下载进度,拉取完成后延迟会恢复正常。
自己的工作流怎么导入?把工作流 JSON 放进 n8n/demo-data/workflows/ 目录。下次启动时导入任务会自动读取并加载。
环境跑起来后,模型、编排、向量存储整条链路都在本地。打开 compose 文件挑好 profile,开始搭第一条工作流吧。
【免费下载链接】self-hosted-ai-starter-kitThe Self-hosted AI Starter Kit is an open-source template that quickly sets up a local AI environment. Curated by n8n, it provides essential tools for creating secure, self-hosted AI workflows.项目地址: https://gitcode.com/GitHub_Trending/se/self-hosted-ai-starter-kit
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考