企业官网建设流程全解析

三步跑通属于你自己的免费 LLM API：FreeLLMAPI 本地部署与接入完整教程

【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi

FreeLLMAPI 是一个 OpenAI 兼容的免费 LLM API 统一接口：请求打向本地一个 /v1 地址，由它分派到 34 家 AI 提供商的免费额度里——474 个模型家族、635 个免费端点，每月约 74 亿免费 token。各家免费层请求量少、限流规则还各不相同，34 套密钥、34 套 SDK 手工维护并不现实；FreeLLMAPI 把派单、限流切换和额度记账合并成一份本地服务，你只管一个地址、一把密钥。

读完本文你将拿到：

• 本地跑起来的 FreeLLMAPI 服务，第一条应答直接返回
• 一个只改两行代码就能接入的示例
• 一套能用一句话说清的路由派单逻辑

动手前：选一条适合你的部署路径

三条路径跑起来的是同一个服务，差别只在你愿意自己管多少东西。

一行命令：最快启动

主路径就是一条命令。它会建好~/freellmapi目录、生成加密密钥、拉取镜像并启动容器，服务跑在 3001 端口；重复执行等价于升级到最新版，已有配置不丢。

curl -fsSL https://freellmapi.co/install.sh | bash

启动后浏览器打开 http://localhost:3001 ，进密钥页做三件事：填提供商密钥（Google AI Studio、Groq、Mistral，或任意 OpenAI 兼容端点）；在Fallback Chain（回退链）里调整顺序，排靠前的优先被选中；复制页头的统一密钥（freellmapi-开头），之后所有应用只认这一把。真实密钥用 AES-256-GCM 加密存进本地 SQLite（轻量嵌入式数据库），仪表盘上看不到明文。

Docker Compose：自己保管密钥与数据卷

openssl rand -hex 32生成 64 位十六进制密钥，连同PORT=3001写进.env再启动：

git clone https://gitcode.com/GitHub_Trending/fr/freellmapi cd freellmapi ENCRYPTION_KEY="$(openssl rand -hex 32)" printf "ENCRYPTION_KEY=%s\nPORT=3001\n" "$ENCRYPTION_KEY" > .env docker compose up -d

SQLite 会持久化到具名卷里。升级时只要ENCRYPTION_KEY和数据卷保持不变，已存的密钥就能继续解开，两者任何一个变了，密文就解不动了。完整细节见 安装与部署文档。

桌面版：装进托盘，不用终端

桌面版把路由器和仪表盘整体装进系统托盘：不设账号密码，仪表盘自动登录，托盘弹窗里能看实时请求统计。从 Releases 下载即可，macOS 装.dmg，Windows 装.exe。

先验证再写码：确认路由器真的在切换

部署完别急着写代码，花一分钟在 Playground 里确认派单确实发生。

先打开 http://localhost:3001 的Playground页；再输入一句短话，比如"用一句话介绍你自己"，发送；看到回复气泡上标注出这次实际由哪家提供商、哪个模型应答、延迟多少，即完成 ✅。

这个标注就是路由发生的直接证据。如果你用代码发请求，响应里还会带X-Routed-Via: 提供商/模型头，可以逐次核对实际应答方；请求在提供商之间转移过，则同时出现X-Fallback-Attempts: N。

接入现有代码：把 base_url 指到本地

现有代码只要走 OpenAI 协议，要动的只有两个参数：base_url指到本地，api_key换成统一密钥。/v1 是 OpenAI 兼容接口（即任何 OpenAI SDK 客户端都能直连的协议面），SDK 原样保留。

from openai import OpenAI client = OpenAI(base_url="http://localhost:3001/v1", api_key="freellmapi-你的统一密钥") resp = client.chat.completions.create( model="auto", messages=[{"role": "user", "content": "一句话介绍你自己"}]) print(resp.choices[0].message.content)

model的取值决定这次请求怎么挑：auto交给路由器自决；auto:fast、auto:smart、auto:reliable让本次请求偏向速度、智能或近期成功率；也可以直接写具体模型名，例如gemini-2.5-flash。本地跑着的 Ollama、vLLM、LM Studio，可以在密钥页按自定义 OpenAI 兼容端点挂进来，和免费池一起参与路由。流式、工具调用、Embedding、图像/语音生成、Anthropic 协议面的完整用法见 REST API 参考。

给好奇的人：每次应答背后的派单逻辑

FreeLLMAPI 自己不做推理，只做派单：每个请求进来，它从池子里挑一个应答方。

打分是三维的：可靠性、速度、智能。评分来自近 7 天的实时流量，按 2 天半衰期指数衰减——越新的实测数据权重越高。可靠性取实测成功率，速度看吞吐和首字节时间，智能取模型静态能力档位。

分数最高的模型接单。响应带上X-Routed-Via: 提供商/模型头，你随时能核对是谁真正答的。

答砸了就走阶梯冷却：命中 429（限流）或 5xx（服务端错误）时，该密钥依次停用 2 分钟 → 10 分钟 → 1 小时 → 1 天，越连击停得越久；期间请求自动落到 Fallback Chain 的下一家，你这边无感知。

每一次调用都计入按密钥的额度统计。池子始终停在各家免费上限之内，靠的就是这套记账。

选模与评分的实现见 server/src/services/router.ts，429/5xx 的冷却重试循环在 server/src/lib/fallback-loop.ts；想读得更深，从 路由与评分架构文档 入手。

长期用法：三个页面、四个 FAQ、一条边界

日常管理集中在三个页面：密钥页管提供商密钥、Fallback Chain 顺序和统一密钥，一切密钥操作的入口；Models页是路由透视，每个模型带可靠性、速度、智能三个实时评分，列表顺序就是当前真实的路由顺序，整池月度 token 预算也在这里看；Analytics页记账，请求量、成功率、token 进出、按提供商拆分，延迟给到 p50/p95 与首 token 时间，数据默认保留 90 天。

仪表盘密码忘了怎么办？点登录页的Forgot password?，重置码打印在服务器日志里，15 分钟内有效。

局域网别的设备怎么访问？服务默认只绑127.0.0.1；用HOST_BIND=0.0.0.0启动即可暴露，仅限可信网络。

日志在哪里看？Docker 部署用docker compose logs -f freellmapi实时跟踪；桌面版在托盘菜单里选Open Logs Folder打开日志目录。

提供商密钥安全吗？真实密钥用 AES-256-GCM 加密存在本地 SQLite，请求经过时才在内存中解密，仪表盘任何位置都不露明文。

最后一条边界：这套免费池定位是个人实验与学习，免费层没有 SLA；真要上线的产品，发布前把密钥池换成付费 API。

上手之后，还有三件事值得做

请求fusion虚拟模型能拿到更稳的答案：多个免费模型并行起草，再由裁判模型合成一份，参与模型组在仪表盘Fusion页配置，接口用法见 REST API 参考 的 Fusion 一节。

把编程智能体指向统一接口：客户端与编程智能体文档 里有 Claude Code、Codex CLI、Cline 等工具的现成配方，一条命令就能把它指到本地。

想弄懂分数到底怎么算，从 路由与评分架构文档 读起，配合 server/src/services/router.ts 看评分与采样在代码里如何落地。

【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi