企业官网建设流程全解析

1. 为什么需要Docker+Ollama构建AI开发环境？

在AI项目开发中，环境配置一直是令人头疼的问题。不同模型对系统依赖、库版本、硬件驱动的要求各异，传统的开发方式往往导致"在我的机器上能跑"的经典问题。这正是Docker容器技术的用武之地——通过将应用及其依赖打包成标准化单元，实现"一次构建，处处运行"。

而Ollama作为专为本地运行大语言模型设计的工具，解决了模型权重管理、推理服务暴露等痛点。但它的安装过程涉及CUDA驱动、Python版本等复杂依赖，这正是Docker能完美解决的场景。二者结合后，开发者可以：

• 快速复制完全一致的开发环境（包括特定版本的CUDA、Python等）
• 避免污染主机环境，保持系统干净
• 轻松分享配置好的环境给团队成员
• 实现开发环境与生产环境的高度一致

实测在配备NVIDIA显卡的Ubuntu 22.04主机上，从零开始配置可运行Llama 2的Ollama环境平均需要2小时（包含各种依赖冲突的解决时间），而使用Docker方案仅需15分钟。

2. 基础环境准备与工具安装

2.1 安装Docker与NVIDIA容器工具包

对于Linux系统（以Ubuntu为例），建议使用官方脚本安装Docker：

# 卸载旧版本 sudo apt-get remove docker docker-engine docker.io containerd runc # 安装依赖 sudo apt-get update sudo apt-get install ca-certificates curl gnupg # 添加Docker官方GPG密钥 sudo install -m 0755 -d /etc/apt/keyrings curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg sudo chmod a+r /etc/apt/keyrings/docker.gpg # 设置仓库 echo \ "deb [arch="$(dpkg --print-architecture)" signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \ "$(. /etc/os-release && echo "$VERSION_CODENAME")" stable" | \ sudo tee /etc/apt/sources.list.d/docker.list > /dev/null # 安装Docker引擎 sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

对于Windows/macOS用户，直接下载Docker Desktop安装包更便捷。安装完成后，务必确认Docker服务正常运行：

sudo systemctl enable docker sudo systemctl start docker docker --version # 应显示版本号如Docker version 24.0.5

NVIDIA显卡用户需要额外安装nvidia-container-toolkit：

distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \ && curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -fsSL https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update sudo apt-get install -y nvidia-container-toolkit sudo nvidia-ctk runtime configure --runtime=docker sudo systemctl restart docker

验证GPU是否能在容器中使用：

docker run --rm --gpus all nvidia/cuda:11.8.0-base-ubuntu22.04 nvidia-smi

2.2 Git的安装与基础配置

虽然本教程主要关注Docker+Ollama，但Git作为版本控制工具不可或缺。Linux下安装：

sudo apt-get update sudo apt-get install git

Windows用户建议下载Git for Windows，安装时勾选"Git from the command line and also from 3rd-party software"选项。安装后配置用户信息：

git config --global user.name "Your Name" git config --global user.email "your.email@example.com" git config --global core.editor "code --wait" # 使用VS Code作为默认编辑器

3. Ollama容器的构建与运行

3.1 获取Ollama官方镜像

Ollama官方提供了Docker镜像，但直接拉取可能较慢。建议先配置国内镜像源：

sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json <<-'EOF' { "registry-mirrors": ["https://docker.mirrors.ustc.edu.cn"] } EOF sudo systemctl restart docker

然后拉取Ollama镜像：

docker pull ollama/ollama:latest

3.2 编写Docker Compose文件

为方便管理，建议使用docker-compose.yml定义服务：

version: '3.8' services: ollama: image: ollama/ollama:latest container_name: ollama ports: - "11434:11434" volumes: - ollama_data:/root/.ollama deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] restart: unless-stopped volumes: ollama_data:

关键配置说明：

• ports将容器内的11434端口映射到主机，这是Ollama的API端口
• volumes持久化模型数据，避免容器重建后重新下载
• deploy.resources确保容器能使用GPU加速

启动服务：

docker compose up -d

3.3 验证Ollama运行状态

检查容器日志：

docker logs ollama

正常应看到类似输出：

time=2023-08-15T09:30:45.000Z level=INFO msg="Starting Ollama server" version=0.1.0 time=2023-08-15T09:30:45.500Z level=INFO msg="Listening on 0.0.0.0:11434"

测试API接口：

curl http://localhost:11434/api/tags

4. 模型管理与使用实战

4.1 下载与管理大语言模型

通过Ollama CLI操作容器内的模型：

# 进入容器 docker exec -it ollama bash # 查看可用模型 ollama list # 下载Llama 2 7B模型（约4GB） ollama pull llama2:7b # 也可以直接通过API操作 curl -X POST http://localhost:11434/api/pull -d '{"name": "llama2:13b"}'

国内用户如果下载缓慢，可以：

1. 使用代理（需自行解决网络问题）
2. 通过第三方下载模型文件后手动导入

4.2 运行模型进行推理

直接在容器内运行：

ollama run llama2:7b >>> 你好，我是Llama 2...

或者通过API调用：

curl -X POST http://localhost:11434/api/generate -d '{ "model": "llama2:7b", "prompt": "用Python写一个快速排序算法", "stream": false }'

4.3 模型微调与自定义

Ollama支持基于已有模型的微调。准备Modelfile：

FROM llama2:7b # 设置系统提示词 SYSTEM """ 你是一个专业的Python程序员助手，回答时优先给出可直接运行的代码。 """ # 添加训练数据 TEMPLATE """ {{ if .System }}<|system|> {{ .System }}</s>{{ end }}{{ if .Prompt }}<|user|> {{ .Prompt }}</s>{{ end }}{{ if .Response }}<|assistant|> {{ .Response }}</s>{{ end }} """ PARAMETER num_ctx 4096

构建自定义模型：

ollama create mypython -f Modelfile ollama run mypython

5. 高级配置与性能优化

5.1 GPU资源分配策略

对于多GPU环境，可以指定使用特定显卡：

# 修改docker-compose.yml deploy: resources: reservations: devices: - driver: nvidia device_ids: ['0', '1'] # 使用前两块GPU capabilities: [gpu]

监控GPU使用情况：

docker stats ollama watch -n 1 nvidia-smi

5.2 模型缓存与版本控制

Ollama下载的模型存储在/root/.ollama目录，建议定期备份：

# 备份模型 docker exec ollama tar czvf /tmp/models.tar.gz -C /root/.ollama . docker cp ollama:/tmp/models.tar.gz . # 恢复模型 docker cp models.tar.gz ollama:/tmp/ docker exec ollama tar xzvf /tmp/models.tar.gz -C /root/.ollama

5.3 安全配置建议

生产环境应考虑：

1. 启用API认证
2. 限制可访问IP
3. 使用HTTPS加密

可以通过Nginx反向代理实现：

server { listen 443 ssl; server_name ai.yourdomain.com; ssl_certificate /path/to/cert.pem; ssl_certificate_key /path/to/key.pem; location / { proxy_pass http://ollama:11434; proxy_set_header Host $host; # 基础认证 auth_basic "Ollama API"; auth_basic_user_file /etc/nginx/.htpasswd; # IP白名单 allow 192.168.1.0/24; deny all; } }

6. 典型问题排查指南

6.1 容器启动失败排查

常见错误1：NVIDIA驱动问题

docker logs ollama # 出现"could not select device driver"等错误

解决方案：

1. 确认nvidia-smi能正常显示GPU信息
2. 重新安装nvidia-container-toolkit
3. 重启Docker服务

常见错误2：端口冲突

netstat -tulnp | grep 11434 # 如果端口被占用

解决方案：

1. 修改docker-compose.yml中的端口映射
2. 或停止占用端口的进程

6.2 模型下载失败处理

现象：ollama pull速度极慢或失败

解决方案：

1. 设置容器内代理（需先解决网络连通性问题）：

docker exec -it ollama bash export http_proxy=http://host.docker.internal:1080 export https_proxy=http://host.docker.internal:1080 ollama pull llama2:7b

2. 手动下载模型文件后导入：

# 获取模型下载链接（需查看Ollama源码或文档） wget https://ollama.ai/models/llama2:7b -O model.bin # 导入模型 docker cp model.bin ollama:/root/.ollama/models/ docker exec ollama ollama create mymodel -f /path/to/Modelfile

6.3 性能优化技巧

1. 使用--gpus=all参数时，默认会使用所有GPU。对于大模型，建议显式指定设备：

docker run --gpus '"device=0,1"' ...

2. 对于7B以上模型，建议配置足够的交换空间：

sudo fallocate -l 16G /swapfile sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile # 永久生效：在/etc/fstab添加/swapfile swap swap defaults 0 0

3. 调整Docker资源限制：

# 在docker-compose.yml中 deploy: resources: limits: cpus: '4' memory: 16G

7. 项目实战：构建AI问答服务

7.1 基于FastAPI搭建Web接口

创建app/main.py：

from fastapi import FastAPI from pydantic import BaseModel import httpx app = FastAPI() class Query(BaseModel): question: str model: str = "llama2:7b" @app.post("/ask") async def ask(query: Query): async with httpx.AsyncClient() as client: resp = await client.post( "http://ollama:11434/api/generate", json={ "model": query.model, "prompt": query.question, "stream": False }, timeout=30.0 ) return resp.json()

对应的Dockerfile：

FROM python:3.9-slim WORKDIR /app COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt COPY . . CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8000"]

7.2 编写前端交互界面

使用HTML+JavaScript创建简单的聊天界面：

<!DOCTYPE html> <html> <head> <title>AI问答助手</title> <style> #chatbox { height: 400px; overflow-y: scroll; border: 1px solid #ccc; padding: 10px; } .user { color: blue; } .ai { color: green; } </style> </head> <body> <h1>Llama 2问答助手</h1> <div id="chatbox"></div> <input type="text" id="question" placeholder="输入你的问题..."> <button onclick="askAI()">提问</button> <script> async function askAI() { const question = document.getElementById('question').value; if (!question) return; const chatbox = document.getElementById('chatbox'); chatbox.innerHTML += `<p class="user">你: ${question}</p>`; const response = await fetch('http://localhost:8000/ask', { method: 'POST', headers: { 'Content-Type': 'application/json' }, body: JSON.stringify({ question }) }); const data = await response.json(); chatbox.innerHTML += `<p class="ai">AI: ${data.response}</p>`; document.getElementById('question').value = ''; } </script> </body> </html>

7.3 完整服务部署

更新docker-compose.yml：

version: '3.8' services: ollama: image: ollama/ollama:latest container_name: ollama ports: - "11434:11434" volumes: - ollama_data:/root/.ollama deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] restart: unless-stopped api: build: ./app ports: - "8000:8000" depends_on: - ollama restart: unless-stopped volumes: ollama_data:

启动完整服务：

docker compose up -d --build

访问http://localhost:8000即可与AI对话。对于生产环境，建议添加Nginx反向代理和HTTPS支持。