2026年9月2日,1Panel开源项目组面向社区用户正式开放1Panel AI网关。本次开放以官方镜像的方式提供AI网关独立部署能力,10人及以下规模的团队可免费使用完整的1Panel AI网关治理能力,无需付费即可实现企业级AI模型的统一接入、安全管控与精细化成本治理,助力小团队低成本落地AI规模化应用。
此次开放的1Panel AI网关尤其适合正在开发AI应用的创业团队、需要同时使用多家模型供应商的研发团队,以及希望集中管理API Key、模型权限和Token用量的内部AI应用小组。
一、部署方法
1Panel AI网关支持两种部署方式,用户可以按需快速搭建使用,无复杂配置。
方法1. 通过1Panel应用商店一键部署
依托1Panel原生应用商店,无需复杂命令,一键即可完成安装、部署与初始化,适配新手用户快速落地。
▲图1 1Panel 应用商店一键部署
方法2. 使用官方镜像手动部署
1Panel AI网关官方镜像地址为1panel/ai-gateway,未指定版本时默认使用latest最新版本,镜像版本与产品发布版本同步更新,保障功能完整性与稳定性。部署命令如下:
docker run--pull always-d \--name1panel-ai-gateway \--restart unless-stopped \-p8080:8080\-v/opt/ai-gateway:/opt/ai-gateway \1panel/ai-gateway首次启动会在容器日志中输出管理员临时密码,可以通过以下命令查看:
docker logs1panel-ai-gateway注意:首次登录1Panel AI网关后需要立即修改临时密码。8080端口访问建议限定在内网可信环境中使用,正式生产环境建议配置HTTPS反向代理,全面保障服务访问安全。
二、1Panel AI网关的价值
随着人工智能技术的快速普及,AI应用已经从行业尝鲜迈入规模化落地阶段,企业AI建设的核心痛点彻底转变为了“如何让更多业务安全、稳定、经济地使用大模型”。多数企业,尤其是中小团队的AI落地体系尚未完善,企业AI落地,正在面临以下四类问题:
■ API碎片化:接口协议和调用标准不统一,经常会出现重复开发、维护困难的问题,模型切换往往需要改造业务代码,效率较低;
■ 成本失控:业务场景无差别调用高价大模型,资源浪费严重。同时各部门、各项目缺乏独立的核算体系,Token消耗明细模糊,无法精准溯源、有效管控,AI投入成本居高不下;
■ 密钥分散:各类模型的API Key零散留存于业务代码、配置文件及员工设备中,极易出现泄露、滥用的问题。同时模型调用权限分散,无法统一回收、集中管控,数据与业务安全存在极大隐患;
■ 单点依赖:单一供应商或模型账号发生故障时,一旦出现供应商故障、账号受限、接口限流等问题,会直接导致业务中断。同时,模型调用高峰期缺乏并发保护机制,业务稳定性无法保障。
总结来说,现阶段企业AI落地的核心矛盾在于:AI应用场景快速扩张,而企业的治理能力没有同步跟上。
1Panel AI网关致力于为企业打造专属的AI统一接入与治理平台,提供从统一接入、智能路由到合规审计的全链路管控,让企业AI落地更安全、更高效、更可控。
▲图2 1Panel AI网关主界面
▲图3 1Panel AI模型广场
三、1Panel AI网关六大核心能力
1.统一接入与模型代理
AI应用客户端只需配置统一的Base URL和1Panel AI网关发放的API Key,即可通过标准接口访问后端不同形态的模型资源。用户不再需要分别维护每一家供应商的模型访问地址和真实凭据,也不必感知底层模型部署在哪里。
1Panel AI网关兼容OpenAI、Anthropic及本地化部署模型协议,支持公有云API、本地vLLM集群和轻量推理引擎的混合接入。通过模型映射,1Panel AI网关可以把对外模型名称动态关联至实际模型,在新增供应商、切换版本或调整底层资源时,尽可能减少对业务系统的影响。
企业用户可以将多个模型账号组成账号池,并且结合权重、优先级、实时负载和健康状态进行流量分配。当节点故障或账号容量达到限制时,1Panel AI网关可以自动选择其他可用资源,降低单点依赖。
▲图4 1Panel AI网关账号池管理页面
2.席位管理与权限控制
企业使用AI,需要回答三个问题,即谁可以调用、能够调用哪些模型、最多可以使用多少资源。1Panel AI网关以用户组、用户和API Key建立分层管控体系,让部门、项目和应用拥有清晰的资源边界。管理员可以为用户组设置最大并发、Token总配额、单API Key并发上限和模型白名单,用户自动继承所属用户组的权限与配额。研发、市场、客服等不同团队可以使用独立资源池,避免高成本或敏感模型被越权调用,也防止单个用户占满公共资源。
另外,用户的API Key支持创建、禁用、重置和回收。人员离职、密钥泄露或应用下线时,可以及时撤销对应凭据,不需要更换所有业务共用的上游密钥。
▲图5 1Panel AI网关支持席位管理与权限控制
3.智能路由与调用分发
不同任务对模型能力的要求并不相同。日常问答、信息提取和固定格式生成可以交给轻量模型,复杂推理、代码生成、长文理解和创意写作则需要能力更强的模型。
在1Panel AI网关中,AI应用客户端只需把model参数设置为auto,即可进入智能路由模式。1Panel AI网关首先将请求转换为语义向量,与预置的简单、复杂样本进行相似度匹配。当样本无法明确命中时,再通过规则进行兜底判断,最终把请求分发至对应的模型组。
需要说明的是,模型选择逻辑集中在网关侧,业务代码无需分别维护路由规则。团队可以在调用质量不下降的前提下,让大量简单任务优先使用成本更合理的模型,减少高价模型的非必要消耗。
▲图6 1Panel AI网关智能路由样本管理页面
▲图7 1Panel AI网关智能路由决策日志页面
4.智能负载与并发控制
1Panel AI网关从整体、用户组、API Key和模型账号四个层级限制活跃请求数量,防止单一用户或应用挤占全部资源,也可以有效避免请求超过上游服务的处理能力。流量调度时会结合模型账号的当前并发、最大并发、优先级和健康状态,优先选择利用率更为合理的模型资源。通过API Key与客户端IP识别会话,多轮对话中的相邻请求可以尽量落到同一模型账号,从而提高上游Prefix Cache的命中机会。
当用户组或API Key达到上限时,请求会被及时拒绝;当匹配账号暂时满载时,可以进入容量有限的短暂等待队列,在稳定性与响应速度之间取得平衡。
5.内容合规与安全治理
1Panel AI网关为企业AI应用搭建了“敏感词匹配+语义审核+内容审计”三层安全治理体系:
■ 动态敏感词拦截:支持自定义行业词库和黑白名单,并且通过归一化处理识别谐音、拆字、拼音等变形内容;
■ 向量语义审核:超越关键词匹配,从语境中识别潜在风险、诱导、越狱和伪装等违规意图;
■ 可追溯内容审计:记录请求ID、命中规则、处理动作和状态码等信息,并且支持将调用输入输出内容推送至Elasticsearch,满足检索、分析和审计的需要。
安全策略在1Panel AI网关入口统一执行,不同业务应用可以遵循同一套治理标准,有效减少重复建设、内容审核的成本。
▲图8 1Panel AI网关敏感词管理页面
6.用量统计与调用洞察
每一笔Token消耗都应该“有迹可循、可分析、可优化”。1Panel AI网关通过概览仪表盘、多维度分布统计、用量排行榜和全链路调用日志四大功能,帮助企业将AI资源从“黑盒消耗”转变为“精细化运营”。
通过1Panel AI网关,管理员可以实时查看API请求总量、Token消耗和缓存利用率等核心数据,并且按照模型供应商、模型版本、用户组和应用场景拆解资源消耗情况。用量排行榜可以快速识别高频用户和重度消耗账号,为部门核算和配额调整提供依据。
同时,调用日志可以精准记录Request ID、上下游模型参数和响应耗时,支持管理员从单条日志继续查看完整调用过程,快速排查异常请求、上游故障和Token损耗原因。
▲图9 1Panel AI网关用量统计页面
四、1Panel AI网关落地真实业务场景
在某互联网科技企业的实际使用中,1Panel AI网关服务约350人规模的团队。借助1Panel AI网关的分层模型组、多源账号池、语义智能路由和全链路审计等功能,该企业将云端模型资源与本地算力资源进行统一管理。
数据显示,该企业工作日每天处理了约2.5万次请求,Token总消耗超过23亿,本地模型调用占比超过80%,活跃用户145人,高峰并发为42个。通过会话亲和性与缓存优化机制,上游缓存命中率高达91%,大幅降低模型资源的调用成本,并且有效提升了响应效率。该案例充分验证了1Panel AI网关的统一调度和治理能力在规模化AI落地场景中的治理价值与稳定性优势。
▲图10 某公司1Panel AI网关单日应用统计