企业官网建设流程全解析

• 人工智能
• 大模型
• 多模态
• AI Agent
• 工具调用
• 代码模型

Occamy-1.0 部署其实比想象中简单。这篇文章带你 10 分钟完成Occamy-1.0 大模型部署：先给出一份 8 卡 GPU 配置清单，再分别演示vLLM与SGLang两种推理引擎的一键启动命令，最后用 OpenAI 兼容接口完成调用验证。全程命令照抄即可，附常见问题速查表。

一、认识 Occamy-1.0：为什么值得自己部署？

Occamy-1.0 是 Accio-Lab 开源的35B-A3B MoE Agent 协作模型（总参数 35B，激活参数仅 3B），专为长时程、多步骤的"Co-work"任务设计：搜索、终端编码、工具调用、文件与 API 操作都能胜任，原生支持262,144 tokens（256K）长上下文。

得益于 MoE 架构"低激活、高容量"的特性，它的单任务推理成本远低于同级别大模型，落在性价比帕累托前沿的低成本区间：

关键数据（完整规格见 config.json）：

🎯一句话总结：它像一个"能干活的实习生"——擅长多步工具调用、终端修代码、长流程任务跟进，适合私有化部署成团队自己的 Agent 后端。

二、8卡部署清单：GPU、显存与版本要求

动手前，对照这张清单确认你的环境：

💡 只有 4 卡或单卡？改用FP8 / NVFP4 / GGUF量化版本（仓库说明见 README.md 的 Available Checkpoints 章节），并相应下调--max-model-len。

三、下载模型权重

huggingface-cli download Accio-Lab/Occamy-1.0 --local-dir ./occamy-1.0

模型分 13 个model-xxxxx-of-00013.safetensors分片加 1 个视觉编码器分片model-visual.safetensors，共约 70GB。下载后可用仓库自带的 MD5SUMS.txt 校验完整性，分片映射关系见 model.safetensors.index.json。

如果你手上已经有模型文件目录，跳过本步，把下面的模型路径直接指向你的目录即可。

四、vLLM 部署 Occamy-1.0：一条命令启动

确认pip install -U vllm版本 ≥ 0.19.0 后，执行：

vllm serve Accio-Lab/Occamy-1.0 \ --port 8000 \ --tensor-parallel-size 8 \ --max-model-len 262144 \ --reasoning-parser qwen3 \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder

参数速览：

• --tensor-parallel-size 8：8 卡张量并行，权重均分到每张卡；
• --max-model-len 262144：开启完整 256K 长上下文；
• --reasoning-parser qwen3：解析思考（reasoning）内容；
• --enable-auto-tool-choice+--tool-call-parser qwen3_coder：Agent 场景必配，让服务端自动识别并解析工具调用。

看到服务监听日志后，用一行命令验证接口存活：

curl http://localhost:8000/v1/models

五、SGLang 部署 Occamy-1.0：完整启动参数

SGLang 是官方推荐路线之一（要求 ≥ 0.5.10）：

python -m sglang.launch_server \ --model-path Accio-Lab/Occamy-1.0 \ --port 8000 \ --tp-size 8 \ --mem-fraction-static 0.8 \ --context-length 262144 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder

• --mem-fraction-static 0.8：预占 80% 显存做 KV Cache 池，长上下文场景的推荐值；
• --context-length 262144：与 vLLM 的--max-model-len作用一致。

两条命令最终都对外暴露OpenAI 兼容端点http://localhost:8000/v1，下游代码完全不用改。

六、部署后验证：OpenAI 兼容接口调用

用任意 OpenAI SDK 即可接入，推荐采样参数一并给出：

from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY") resp = client.chat.completions.create( model="Accio-Lab/Occamy-1.0", messages=[{"role": "user", "content": "检查这个仓库，修复失败的测试并说明改动。"}], max_tokens=32768, temperature=1.0, top_p=0.95, presence_penalty=1.5, extra_body={"top_k": 20, "chat_template_kwargs": {"enable_thinking": True}}, ) print(resp.choices[0].message.content)

✅ 能正常收到回复，说明 Occamy-1.0 部署成功。对话模板定义在 chat_template.jinja，分词器配置见 tokenizer_config.json。

七、多轮 Agent 会话的两个关键细节

1. 完整保留 assistant 消息：多轮任务中，要把服务端返回的 assistant 消息原样带回——包括 reasoning 内容和 tool calls，再按 OpenAI 标准格式追加工具执行结果。这是 Occamy 在长流程中保持执行上下文一致的关键。
2. 工具调用要闭环：模型发起 tool call 后，务必把执行结果以role: "tool"消息回传，形成"调用→执行→回传"闭环，它才能持续跟进多步骤任务。

八、常见问题速查（FAQ）

结语

到这里，Occamy-1.0 部署全部完成：8 卡环境确认 → 权重下载 → vLLM/SGLang 一键启动 → 接口验证，顺利的话 10 分钟就能跑通。模型以 Apache 2.0 开源（LICENSE），你可以直接把它接入现有 Agent 框架，作为私有化的 Co-work 执行后端。更多评测细节与训练方法，详见 README.md 全文。

• 人工智能
• 大模型
• 多模态
• AI Agent
• 工具调用
• 代码模型