企业官网建设流程全解析

• 大模型
• 人工智能
• AI Agent
• 多模态
• 模型量化

Agents-A1 是 InternScience 推出的 35B-A3B MoE 架构 Agent 模型，本仓库 Agents-A1-FP8 提供其 FP8 动态量化版本：单张 GPU 即可承载 262K 长上下文，原生支持工具调用与图文多模态输入，并兼容 vLLM、SGLang 等主流推理框架。本文给出一份从 Demo 验证到生产环境上线的完整部署优化清单，帮助新手快速搭建稳定、低成本的 Agent 服务。

一、Agents-A1 35B Agent 模型简介：单卡跑通 262K 长上下文

Agents-A1 是一款面向 Agent 场景训练的混合专家（Mixture-of-Experts）模型，总参数 35B、每 token 仅激活约 3B，推理成本显著低于同能力的稠密大模型。它同时具备以下企业级 Agent 核心能力：

• 长程搜索：在 BrowseComp、GAIA、Seal-0 等基准上取得同级最佳乃至总体 SOTA 成绩
• 工具调用（Tool Calling）：原生支持 function calling，可无缝对接 API、代码解释器、搜索引擎
• 指令遵循：IFEval 94.8、IFBench 80.6，能精确执行多约束复杂指令
• 科学推理：HiPhO、FrontierScience 等科研基准达到总体 SOTA

而本仓库 Agents-A1-FP8 的价值在于：FP8 量化让 35B 模型在单张 80GB 显存 GPU 上即可部署，同时保留 262144 token 的超长上下文，Apache 2.0 开源协议也让企业商用更安心。

二、部署前必看：Agents-A1-FP8 仓库文件清单

在动手部署前，先花 2 分钟了解仓库里的关键文件，后续排查问题时会反复用到：

三、FP8 量化方案解析：显存占用为何能减半

理解量化配置，才能判断生产环境该怎么调。查看 config.json 中的quantization_config可知，Agents-A1-FP8 采用FP8 动态量化（8 位浮点，权重体积约为 BF16 的一半）：

• 权重：按 channel 静态量化为 FP8；激活值：按 token 动态量化为 FP8
• 忽略清单（ignore）：视觉编码器、lm_head、门控（gate）、嵌入层、共享专家、线性注意力层等敏感模块均保留高精度

这一策略在显存与效果之间取得了平衡：35B 权重 FP8 化后约 35GB，一张 80GB 卡即可容纳权重 + KV Cache + 262K 上下文。recipe.yaml 中标注的scheme: FP8_DYNAMIC即对应这套方案。

四、最快启动方法：vLLM 与 SGLang 两条部署路线

两条路线最终都会生成 OpenAI 兼容 API（http://localhost:8000/v1），可无缝接入现有应用代码。

4.1 vLLM 路线（推荐生产环境）

uv pip install vllm --torch-backend=auto vllm serve InternScience/Agents-A1-FP8 \ --kv-cache-dtype fp8 \ --port 8000 \ --tensor-parallel-size 1 \ --max-model-len 262144 \ --reasoning-parser qwen3 \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder

4.2 SGLang 路线

uv pip install sglang python -m sglang.launch_server \ --model-path InternScience/Agents-A1-FP8 \ --port 8000 \ --tp-size 1 \ --mem-fraction-static 0.8 \ --context-length 262144 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder

启动后用一个简单请求验证服务可用：

curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model":"InternScience/Agents-A1-FP8","messages":[{"role":"user","content":"用一句话介绍你自己"}]}'

五、生产环境部署优化清单：8 个关键调优项

以下为从 Demo 走向生产环境时必须逐项核对的优化清单：

1. ✅启用 FP8 KV Cache：vLLM 加--kv-cache-dtype fp8，长上下文场景显存占用接近减半，直接提升并发上限
2. ✅纯文本业务跳过视觉塔：加--language-model-only，省去视觉编码器占用的显存
3. ✅按需设定上下文长度：--max-model-len 262144是能力上限而非默认值，业务若只需 32K，请调小以换取更高吞吐
4. ✅显存比例微调：SGLang 用--mem-fraction-static 0.8，OOM 时下调至 0.7
5. ✅采样参数照抄官方推荐（来自 README.md）：

6. ✅正确挂载解析器：--reasoning-parser qwen3保证思维链正确切分；工具调用需--tool-call-parser qwen3_coder（vLLM 还要加--enable-auto-tool-choice）
7. ✅多卡水平扩展：显存不够时将--tensor-parallel-size/--tp-size扩至 2 或 4；吞吐不足时叠加多副本 + 负载均衡
8. ✅监控与守护：把 GPU 显存、首 token 延迟（TTFT）、tokens/s 接入监控告警，服务进程用 systemd / 容器编排守护

六、上线前验证：三步确认 Agent 能力可用

建议用以下三步做冒烟测试，全部通过再放量：

1. 基础对话：调用/v1/chat/completions，确认流式输出与finish_reason正常
2. 工具调用：在请求中传入tools字段，确认模型返回结构化 function call JSON（解析依赖第四步的 tool parser）
3. 长上下文压测：发送超长文档或多轮对话，验证 100K+ token 下无 OOM、无质量劣化

如需更严格的回归评估，官方已开源统一的 Agent 评测框架（覆盖工具使用与多步推理），详见 README.md 的 "Agent Capability Evaluation" 一节，可在同一协议下对比不同模型。

七、常见问题排查：OOM、视觉输入与工具调用

写在最后

Agents-A1-FP8 用 FP8 动态量化 + MoE 架构的组合，把"35B 级 Agent 模型 + 262K 长上下文 + 原生工具调用"装进了单张 GPU，是成本敏感型企业落地 Agent 服务的务实选择。按本文清单完成配置与验证后，你就能在几小时内把 Demo 升级为可承接生产流量的 Agent 服务。

• 大模型
• 人工智能
• AI Agent
• 多模态
• 模型量化