企业官网建设流程全解析

南北阁Nanbeige 3B环境配置：从操作系统重装到模型服务上线全流程

如果你刚拿到一台新机器，或者想把旧机器彻底清理干净，从头开始搭建一个AI模型运行环境，那这篇文章就是为你准备的。整个过程听起来有点复杂，但别担心，我会带你一步步走完，从一块“白板”开始，直到南北阁Nanbeige 3B模型服务成功跑起来。

很多人卡在环境配置的第一步，比如驱动版本不对、依赖库冲突，或者干脆不知道从哪下手。今天这个教程，就是要把这些坑都提前填上。我们会从最底层的操作系统开始，一路装驱动、配环境、部署模型，最后让你看到一个可以正常访问的模型服务界面。整个过程就像搭积木，一块一块来，最终拼成一个完整的作品。

1. 准备工作：打造一个干净的起点

在开始任何技术操作之前，准备工作至关重要。一个干净、可控的起点能避免后续无数奇怪的问题。这里我们主要做两件事：准备操作系统安装介质和选择硬件平台。

1.1 操作系统选择与安装介质制作

对于深度学习环境，Linux系统通常是更稳定、更高效的选择，尤其是Ubuntu或CentOS这类发行版。如果你更习惯Windows，Windows 10/11的专业版或企业版也可以，但需要注意一些额外的配置步骤。这里我以Ubuntu 22.04 LTS为例，因为它有长期支持，社区资源丰富，对NVIDIA显卡的支持也比较好。

第一步，下载系统镜像。去Ubuntu官网下载22.04 LTS的ISO镜像文件。建议选择“服务器版”或“桌面版”都可以，服务器版更轻量，桌面版有图形界面，操作起来更直观一些，看个人喜好。

第二步，制作启动U盘。你需要一个至少8GB的U盘。在Windows上，可以用Rufus工具；在macOS上，可以用Etcher；在Linux上，直接用dd命令就行。这个过程就是把ISO文件“烧录”到U盘里，让它变成一个可以引导电脑安装系统的工具。制作完成后，记得安全弹出U盘。

1.2 硬件平台准备与考量

这次我们的目标是在星图GPU平台上部署，这意味着你本地可能是一台带有NVIDIA显卡的工作站，或者直接使用云端的GPU实例。核心硬件要求很简单：

• GPU：这是最重要的。需要一块支持CUDA的NVIDIA显卡。对于Nanbeige 3B这类规模的模型，一块显存8GB或以上的显卡（如RTX 3070, 3080, 4090，或A10, A100等）会有比较好的体验。显存越大，能处理的上下文长度越长，速度也可能更快。
• 内存：建议至少16GB系统内存。
• 存储：除了安装系统，还需要空间存放模型文件（几个GB）和Python环境，建议预留50GB以上的空闲空间。

如果你的机器本身没有GPU，或者想省去本地维护的麻烦，那么像星图这样的云GPU平台是个非常好的选择。它们通常已经预装了基础的驱动和环境，我们可以从更靠后的步骤开始，但为了教程的完整性，我们还是从最“原始”的状态讲起。

2. 操作系统安装与基础配置

现在，我们假设你面对的是一台需要彻底重装系统的机器。

2.1 全新安装Ubuntu 22.04

1. 引导启动：将制作好的Ubuntu安装U盘插入电脑，重启。在开机时按下特定的键（通常是F2, F12, Del或Esc，因主板而异）进入BIOS/UEFI设置界面，将启动顺序设置为从U盘优先启动，保存并退出。
2. 安装过程：电脑会从U盘启动进入Ubuntu安装界面。选择“Install Ubuntu”。
   • 语言和键盘：按喜好选择。
   • 安装类型：为了获得最干净的环境，建议选择“清除整个磁盘并安装Ubuntu”。注意：这会删除磁盘上所有现有数据，请务必提前备份重要文件！如果你有特殊的分区需求，可以选择“其他选项”进行手动分区。
   • 时区和用户：设置你所在的时区，并创建一个用户名和密码，记住它们。
3. 等待安装：点击“现在安装”，确认提示后，系统就会自动进行安装过程。安装完成后，会提示你重启，记得拔掉U盘。

2.2 安装后的首要操作

系统重启进入桌面后，先别急着装驱动，做几件小事让后续操作更顺畅。

• 更新软件源：打开终端（Ctrl+Alt+T），运行以下命令，这会从服务器获取最新的软件包列表。

  sudo apt update

• 升级现有软件：接着升级所有可以升级的软件包。

  sudo apt upgrade -y

• 安装基础工具：安装一些我们后续可能会用到的工具，比如用于解压的unzip，用于下载的wget和curl。

  sudo apt install -y wget curl git unzip

做完这些，你的系统就有了一个干净、最新的基础。

3. 深度学习环境基石：GPU驱动与CUDA

这是让显卡能为AI计算工作的关键一步。步骤顺序很重要：先装驱动，再装CUDA Toolkit。

3.1 安装NVIDIA显卡驱动

在Ubuntu上，有几种方法安装驱动。这里推荐使用系统自带的ubuntu-drivers工具，比较省心。

1. 检测可用的驱动版本：

   ubuntu-drivers devices

   这个命令会列出推荐的和可用的驱动版本。通常安装推荐（recommended）的版本即可。
2. 自动安装推荐驱动：

   sudo ubuntu-drivers autoinstall

   或者，你也可以手动指定一个版本安装，比如：

   sudo apt install nvidia-driver-535

3. 重启系统：驱动安装完成后，必须重启电脑才能生效。

   sudo reboot

4. 验证驱动：重启后，打开终端，输入：

   nvidia-smi

   如果看到显卡信息、驱动版本和CUDA版本（注意，这里显示的CUDA版本是驱动支持的最高版本，不是我们已安装的），说明驱动安装成功。

3.2 安装CUDA Toolkit

CUDA Toolkit是NVIDIA提供的并行计算平台和编程模型。我们不需要安装nvidia-smi里显示的最高版本，选择一个与后续深度学习框架兼容的稳定版本即可。对于当前主流的PyTorch，CUDA 11.8或12.1都是常见选择。这里以CUDA 11.8为例。

1. 前往NVIDIA CUDA Toolkit存档页面，找到CUDA 11.8的安装指令。对于Ubuntu 22.04，命令通常如下：

   wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600 wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda-repo-ubuntu2204-11-8-local_11.8.0-520.61.05-1_amd64.deb sudo dpkg -i cuda-repo-ubuntu2204-11-8-local_11.8.0-520.61.05-1_amd64.deb sudo cp /var/cuda-repo-ubuntu2204-11-8-local/cuda-*-keyring.gpg /usr/share/keyrings/ sudo apt-get update sudo apt-get -y install cuda-11-8

2. 配置环境变量：安装完成后，需要将CUDA添加到系统的PATH中。编辑你的shell配置文件（如~/.bashrc）：

   echo 'export PATH=/usr/local/cuda-11.8/bin${PATH:+:${PATH}}' >> ~/.bashrc echo 'export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}' >> ~/.bashrc

   然后让配置立即生效：

   source ~/.bashrc

3. 验证CUDA：检查CUDA编译器是否可用。

   nvcc --version

   如果正确显示版本号（如11.8），则CUDA安装成功。

4. Python环境与模型服务框架搭建

有了底层驱动和CUDA，我们现在来搭建Python层面的环境。使用虚拟环境是个好习惯，可以隔离不同项目的依赖。

4.1 创建Python虚拟环境

Ubuntu 22.04通常自带Python 3.10。我们使用venv创建虚拟环境。

# 安装python3-venv包（如果尚未安装） sudo apt install -y python3-venv python3-pip # 创建一个名为`nanbeige_env`的虚拟环境 python3 -m venv nanbeige_env # 激活虚拟环境 source nanbeige_env/bin/activate

激活后，你的命令行提示符前面应该会出现(nanbeige_env)，表示你正在这个虚拟环境中工作。

4.2 安装PyTorch与基础依赖

PyTorch是运行大多数AI模型的核心框架。我们需要安装与CUDA 11.8兼容的版本。

1. 访问PyTorch官网，根据你的环境（Linux, Pip, Python, CUDA 11.8）生成安装命令。通常如下：

   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

   在激活的虚拟环境中执行上述命令。
2. 安装一些常用的数据处理和科学计算库：

   pip install numpy pandas scipy

4.3 安装模型服务与加速库

为了部署和高效运行Nanbeige模型，我们需要一些专门的库。

• Transformers：Hugging Face出品的库，提供了加载和使用预训练模型的统一接口。

  pip install transformers

• Accelerate：帮助优化模型在各类硬件（CPU，单GPU，多GPU）上的运行。

  pip install accelerate

• 模型服务框架：这里以FastChat为例，它是一个功能强大且易于使用的开源平台，用于部署和提供服务给大语言模型。

  pip install "fschat[model_worker,webui]"

  这个命令会安装FastChat的核心以及模型工作器和WebUI组件。

5. 部署与运行南北阁Nanbeige 3B模型

环境终于准备好了，现在让我们把主角——南北阁Nanbeige 3B模型请上场。

5.1 获取与加载模型

Nanbeige 3B模型可能在Hugging Face Model Hub或国内的模型社区上。假设我们从Hugging Face获取。

1. 我们可以使用transformers库直接在线加载，但更稳妥的方式是先下载到本地。可以使用snapshot_download（需要安装huggingface-hub）或git lfs。
   • 简单方式（在Python脚本中）：

     from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "nanbeige/nanbeige-3B" # 请替换为实际的模型ID model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="auto") tokenizer = AutoTokenizer.from_pretrained(model_name)

     首次运行时会自动下载模型。
   • 为了教程清晰，我们假设你已经将模型文件下载到了本地目录，例如~/models/nanbeige-3b。

5.2 使用FastChat启动模型服务

FastChat使得启动一个模型服务变得非常简单。它采用控制器（controller）、模型工作器（model worker）和Web服务器（gradio web server）分离的架构。

1. 启动控制器：打开第一个终端，激活虚拟环境，运行：

   source nanbeige_env/bin/activate python -m fastchat.serve.controller --host 0.0.0.0

   这会在后台启动一个调度控制器。

2. 启动模型工作器：打开第二个终端，激活同样的虚拟环境。这里需要指定你模型所在的路径。

   source nanbeige_env/bin/activate python -m fastchat.serve.model_worker \ --model-path ~/models/nanbeige-3b \ # 替换为你的实际模型路径 --host 0.0.0.0 \ --worker-address http://localhost:21002 \ --controller-address http://localhost:21001 \ --model-nanbeige-3b \ --device cuda

   • --model-path：指向你下载的模型文件夹。
   • --device cuda：指定使用GPU运行。
   • 工作器会向控制器（端口21001）注册自己。

3. 启动Web UI：打开第三个终端，激活虚拟环境，启动用户界面。

   source nanbeige_env/bin/activate python -m fastchat.serve.gradio_web_server --host 0.0.0.0 --port 7860

   这会在本地的7860端口启动一个Gradio交互界面。

5.3 验证服务与初步使用

完成以上三步后，所有服务都应该在运行了。

1. 打开你的浏览器，访问http://你的服务器IP地址:7860。
2. 你应该能看到FastChat的聊天界面。在模型选择下拉菜单中，应该能看到我们注册的“nanbeige-3b”模型。
3. 选择它，然后在底部的输入框里发送一条测试消息，比如“你好，请介绍一下你自己”。
4. 如果一切顺利，模型会生成回复并显示在对话框中。

至此，你已经成功地从一台裸机开始，完成了操作系统安装、驱动配置、深度学习环境搭建，最终将南北阁Nanbeige 3B模型作为一项服务部署并运行了起来。

6. 总结

走完这一整套流程，你可能觉得步骤不少，但每一步都有它的道理。从重装系统获得一个纯净环境，到安装驱动让硬件就位，再到配置Python和框架软件栈，最后部署模型服务，这其实是一条标准的AI模型工程化落地路径。

实际操作中，你可能会遇到网络问题导致下载慢，或者某个库的版本冲突。这时候别慌，根据错误信息去搜索，通常都能找到解决方案。在星图这类集成度高的GPU平台上，很多底层步骤（如驱动、CUDA）可能已经预先装好，你的起点会更高，可以直接从创建虚拟环境开始，效率会提升很多。

最关键的是，通过这样亲手搭建一遍，你对模型服务运行依赖的整个技术栈会有一个清晰的认识。下次再遇到其他模型，或者需要调整部署方式，你就有能力自己去摸索和解决了。这个环境就像你的一个实验基地，可以放心地在里面尝试不同的模型和配置。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。