这消息刚出来那会儿,我身边几个在做智能体的朋友几乎都在转同一个判断:这是一次路线级的转向,不是某个产品组拍脑袋的临时决定。
一家长期深度绑定封闭式推理模型的软件巨头,绕开那套成体系的闭源 API,转向一个由国内团队开源出来的模型系列,把它作为构建自有决策模型的基座。拆开这个动作,你会发现里面藏着三层信号:一是对闭源模型服务定价权的质疑,二是对“模型必须自己可控”的重新评估,三是对开源权重模型成熟度的正面承认。
这事情对做模型落地的人而言,比“某家发布新模型”要有信息量得多。因为这不是又秀了一次肌肉,而是一个大体量玩家在认真算账之后,选择了另一条路。这篇文章我想把这条路上的关键决策点拆开聊一聊,包括为什么会有这个转向、为什么偏偏选中这个开源系列、所谓“基于开源模型打造自有模型”到底在改什么,以及普通团队能从中借鉴到什么。
1. 从闭源API到开源基座:这次“换底座”背后的动机拆解
1.1 token成本:决策类任务会把按量计费吃成固定成本
很多人一听到“巨头自研模型”就默认是秀肌肉,其实回到商业层面,第一推动力往往是成本结构出了问题。
闭源模型按 token 收费,生成一次回答、调用一次工具、走完一条多步任务链,你要为中间每一步的推理付费。聊天场景下用户问一句答一句,成本还能忍;但决策模型进入智能体场景后,模型需要反复规划、观察结果、修正动作,一次任务可能消费几万甚至几十万 token。而且这类任务不是偶发的,是高频的、自动化的、7×24 小时跑的。这时候按量计费就不是“用多少付多少”的弹性成本,而是变成了与业务量强绑定的刚性成本。
如果这个成本出现在一个已经拥有庞大用户基础和云计算基础设施的巨头身上,自研就是一个非常自然的成本重构动作。开源权重允许你直接把模型部署在自己的算力集群里,边际推理成本可以压到接近电费,而不是按 API 单价结算。
1.2 控制权:闭源接口的边界和变更完全不在自己手里
成本只是表面原因,控制权才是最大的深层变量。
做决策模型的人都有一个体会:模型的行为边界、输出格式、推理强度、禁止项策略,这些是要被调来调去的。用闭源 API 的时候,你能调的只有提示词和几个公开参数,模型的更新节奏、能力取舍、策略调整,全由服务方决定。今天能用某个推理特性,明天可能就下线;今天觉得某个输出格式很稳定,下一次版本更新就变了。
这对做企业级产品的团队来说是致命的。你不可能把整套智能体系统建立在一个自己无法控制的沙地上。开源基座则把所有控制权还给了使用方:权重在自己手里,行为可以自己调,推理策略可以自己定义,哪怕要加一个特殊的输出约束,也能通过微调写进模型参数里,而不是靠提示词去“求”模型配合。
1.3 合规与私有化:数据出域问题在Agent场景被无限放大
还有一个很务实的原因是数据出域问题。
做决策模型往往要接企业内部系统:读邮件、管日历、操作内部工单、查内部知识库。这些数据在走闭源 API 的时候,无论协议怎么写,都要经过第三方服务。你可能觉得“加密传输就算安全”,但很多企业的安全合规团队不这么想,他们要求的是数据完全不出域。尤其当任务链路越来越长、模型需要读取的上下文越来越多,数据出域的风险面也随之变大。
方案就两条:要么自训练一整套模型,要么在开源权重基础上做私有化部署。前者成本高到离谱,后者几乎是唯一兼顾“模型能力”和“数据不出域”的路。这也是这次“换底座”事件里最容易被忽略、却最实际的动因。
2. 为什么是这个开源系列:模型授权、能力覆盖和生态厚度的三重筛选
2.1 授权边界干净:商用、改权重、蒸馏都写得清清楚楚
现在开源模型很多,但真正能拿来当战略底座的没几个。第一个门槛就是授权协议。
某些开源模型“开源”得并不彻底,要么限制商用,要么禁止修改权重,要么对衍生品有额外要求。这类模型拿来玩玩可以,拿来当产品底座就是定时炸弹。而这个开源系列之所以能进入大厂视野,首先是授权足够干净:允许商用、允许修改、允许蒸馏、允许基于它做二次开发。这些条款看起来基础,但对企业法务来说就是能不能立项的分界线。
我接触过一些想自建模型的团队,方案评审时第一个问题不是“模型能力强不强”,而是“这个权重用了会不会有法律风险”。这个系列能过这关,说明背后的运营方在开源合规上想得很清楚,这种清晰本身就是工程安全感的来源。
2.2 能力覆盖:大中小尺寸全都有,决策链路可以整体在一棵模型树上选型
第二个原因,是这套模型家族覆盖的尺寸范围太全了。
从几十亿参数的小模型,到千亿级别的旗舰模型,全都有。这对决策系统的架构设计非常重要:一个复杂的智能体系统里,不同环节对模型的要求不一样。高频低成本的环节可以用小模型,比如意图识别、规则匹配;复杂推理环节用大模型,比如拆解目标、规划任务序列;中间还可以用中等尺寸模型做工具调用的结果校验。
如果这些模型都出自同一个开源系列,意味着你可以用同一套底座做全链路的选型,不用在几个不同生态之间来回迁就数据格式、推理范式和训练工具。对于要长期维护一个自建模型体系的团队来说,这种“一棵树上摘果子”的一致性,比单个模型的惊艳表现更值钱。
2.3 生态厚度:不只有模型权重,还有一整套可继承的工具链
第三个原因是生态。模型权重只是冰山一角,真正决定落地效率的,是围绕这个模型系列长出来的周边工具。
微调脚本、量化部署方案、推理框架适配、蒸馏工具链、评测基准、社区实践案例,这些东西对一个要快速上手的团队来说是实打实的杠杆。你不需要从零摸索“怎么把模型部署成服务”“怎么量化到能跑”“怎么构建训练数据”,社区已经把坑踩过一遍了。
有句玩笑话说,开源模型有两种:一种是“开源了权重”,另一种是“开源了全套解决方案”。这个系列明显属于后者。这也是为什么很多企业做技术选型时,最终选的未必是纸面指标最高的模型,而是生态最厚、上手成本最低的那个。
3. “基于开源基座打造自有决策模型”到底是在改模型还是在改行为?
3.1 底座给的是知识,你要改的是行为策略
很多人一听到“打造自有模型”,第一反应是“这不就是要重新训练一个大模型吗”。这里必须澄清一个概念:决策模型和通用大模型的优化目标完全不同。
通用大模型的强项是“知道得多”,知识面广、表达流畅;决策模型的强项是“做得对”,给一个目标,能把它拆解成可执行的步骤,能判断什么时候需要调用工具,能根据工具返回结果调整后续动作。前者比拼知识储备,后者比拼行为策略。开源基座已经把知识这块做到足够好了,你需要改的不是“它知道什么”,而是“它在任务链路里怎么表现”。
换句话说,你拿到的是一个知识量充沛、但行为模式还停留在“聊天助手”阶段的模型。你要做的,是把它调教成一个“会干活的员工”:知道什么时候该动手查数据,什么时候该问用户确认,什么时候该果断放弃一条走不通的路径。
3.2 三条工程路线:继续预训练、蒸馏、对齐微调,怎么选
基于开源基座做自有模型,工程上通常有三条路线,分别解决不同的问题。
第一条是继续预训练。把企业内部的专业语料灌进基座,增强它在某些垂直领域的知识密度。这条路线适合知识密集型场景,比如法律、医疗、金融。但成本最高,因为要继续跑预训练阶段,算力开销非常大,一般团队轻易不要碰。
第二条是蒸馏。让大尺寸的教师模型产出数据,把小尺寸模型训练成能力接近但体积小得多的学生模型。这条路线适合“把自己最强的能力浓缩到一个可控成本的小模型上”,是很多团队落地首选的路线。
第三条是对齐微调。保持基座的知识不动,只对行为层做约束和引导。用一批高质量的决策轨迹数据做监督微调,让模型学会在你期望的格式和流程里工作。这条路线是决策模型最常走的一条,也是性价比最高的。
大多数人想象中“基于开源模型打造自有模型”是第一条路线,实际工程里走的是第二条和第三条的叠加:先蒸馏出一个尺寸合适的基座,再通过对齐微调把决策行为固化下来。
3.3 决策模型训练里最重要的优化信号:可验证奖励
如果要给这个主题划一个最有价值的技术点,我会选“可验证奖励”。
传统的人类偏好对齐,依赖大量人工标注来判断“哪个回答更好”。但决策模型的输出不是一句话,而是一条动作序列。人类标注员很难对一整条任务轨迹里的所有动作都给出高质量偏好判断,标注成本极高且不一致。
于是现在更实用的做法,是用规则和程序自动判断模型的行为对错。比如模型调用工具时,参数格式是否符合接口规范;完成目标时,关键路径是否都被覆盖到了;失败重试时,是否避免了重复尝试同一个错误动作。这些判断不需要人,用代码就能实现,而且反馈信号极其稳定。
这就是可验证奖励为什么适合决策模型的原因:你的奖励信号来源于外部世界的真实反馈,而不是人类的主观偏好。把这类信号做成强化学习的奖励函数,模型会自己朝着“行为更合规、路径更高效”的方向收敛。这也是这个开源系列吸引人的原因之一——它不只是给你一个基座,连带把这类训练配方也放出来了,等于把最难的一步也摊开在桌面上。
4. 走进工程之后,那些文档里不会帮你写的坑
4.1 成本账要重算:开源的是权重,不便宜的是迭代
开源的基座权重本身不要钱,但自建模型的成本大头根本不在“买权重”,而在“迭代”。
我在帮团队做技术规划时算过一笔账:如果只是推理部署,自建确实比调 API 便宜,原因在于你不再为每次调用付费。但如果你要持续优化模型,在部署之上还要叠加数据生产、标注、训练、评测、回归这一整套流水线的成本。这条流水线里,算力租金是大头,数据准备的人力也是大头,而且这两项成本会随着你迭代轮次增加而线性甚至指数上升。
有个粗略的比例可以感受一下:一个自建决策模型项目,模型训练相关的算力成本可能只占三成,数据构建、标注和评测会占四成以上,剩下的是工程开发和运维。很多人只盯着“开源模型免费”就冲进来了,忘了数据工程才是真正的吞金兽。
如果只是想要一个稳定可用的决策模型,而不追求持续迭代,那自建的成本优势反而没那么明显。这个账,在立项之前就要算清楚。
4.2 蒸馏细节:硬标签和软标签的差距,在真实任务里特别明显
蒸馏这个坑,是我最想展开说的。
很多人拉蒸馏数据时,直接拿教师模型的输出当正确答案,原样喂给学生模型。这在简单任务上问题不大,但在决策任务上会翻车。原因在于教师模型的输出里包含大量“判断过程的中间分布”,比如它可能同时考虑了三个选项,最终选了 A,但在内部对 B 的概率也不是零。直接用硬标签,等于把这种内部判断过程全部抹掉,学生模型只会学到一个表面的答案,学不到判断的弹性。
用软标签做蒸馏,就是保留教师模型输出层的概率分布,让学生模型不仅学“选了 A”,还学“A 和 B 的置信度差距”。这个细节在实际训练里影响非常大——用硬标签蒸馏出来的学生模型,往往单点评测分数不错,一放到真实任务链路上就暴露“过度自信、不懂得转弯”的问题。
至于温度参数怎么设,我给一个经验参考:常规做法是把温度调在 2 到 4 之间,然后拿一个验证集反复试,不要指望一次跑完就能定下来。这个参数是所有蒸馏参数里最敏感的一个,它直接决定学生模型学到的分布是“尖锐”还是“平滑”。
4.3 评测体系不搭好,不要急着上强化学习
这个教训我反复讲过:在决策模型的迭代里,评测体系不是收尾工作,而是前置条件。
很多团队拿到基座后,第一步就是急着做强化学习,想一步到位把推理能力提上去。结果训练起来发现两个难题:一是没有可靠的自动评测指标,无法判断最新一轮训练到底变好了还是变坏了;二是模型开始“刷分”——它会在评测任务上表现很好,但放到真实场景就原形毕露,说明它是在利用评测规则里的漏洞,而不是真的学会了决策。
正确顺序应该是:先把评测体系搭成三层。第一层是规则校验,用代码检查输出格式、工具调用参数是否合规;第二层是轨迹回放,把模型在真实任务里的动作序列记录下来,人工抽查关键节点的决策质量;第三层是回归基准,准备一组成熟任务集,每轮训练后跑一遍,对比前后差异。
有了这个三层体系,再上强化学习,才知道每一步调整的收益到底是什么。没有这个地基就上强化学习,训练出来的模型很容易变成一个“应试高手”,而不是一个“业务干将”。
4.4 基座版本升级要当成内部项目来管,别随手追新
这是很多自建模型团队最容易忽略的坑。
开源基座是会持续更新的,新版本往往在能力上有提升。但这不是你升级的充分理由。每换一次基座,你之前做的所有行为约束、工具调用规范、蒸馏配方、评测结果,全部要重新验证一遍。这不是一次简单的权重替换,而是一次完整的回归测试。
我见过一个团队为了追求新版本能力,在没有任何业务需求的情况下升级了基座,结果原来调试好的工具调用格式全变了,模型开始不按约定的 schema 输出,业务方三天两头报故障。最后版本回退,白白浪费了两周时间。
实际做法应该是:把基座升级当成一个独立项目来管理,有明确的需求、测试项、上线标准和回滚方案。不要因为“出新版了”就升,只有当你确认新版本能解决当前真实存在的模型短板时,才启动升级流程。
5. 普通团队能抄到什么:三条基于这个信号的可执行动作
5.1 先判断自己到底要的是“模型”还是“能力”
从这次事件里,普通团队能抄的第一个作业,是停止把“自研模型”当作一个面子里子问题,而是当成一个工程问题。
多数团队其实根本不需要自建模型。如果你的场景就是客服问答、内容摘要、信息抽取这类任务,调成熟的开源模型推理服务或者闭源 API 就够了,自建反而是纯粹的负担。你需要自建决策模型,得先具备几个特征:数据不能出域、推理调用量级已经大到按 API 计费不划算、模型行为必须深度定制、且你有一支能做数据工程和模型训练的小团队。
四个条件缺一个,我都建议你慎重。自建不是目的,稳定可控的模型能力才是目的。
5.2 最小工程链路:从监督微调开始,不要张口就强化学习
如果有人问我“想快速验证开源基座能不能满足业务需求”,我给的最小链路是这样的:
第一步,把适合你场景尺寸的基座模型部署起来,跑通一个最小推理服务。第二步,从真实业务日志里捞几千条任务轨迹,做清洗和标注,把“好的决策过程”和“坏的决策过程”标记出来。第三步,用这批数据做一轮监督微调,只调行为层,不碰基座知识。第四步,搭一个规则评测集,用代码自动判断工具调用参数、输出格式、任务完成度,跑模型在评测集上的表现。
这一轮走下来,你就能判断这条路值不值得深入。如果微调后决策准确率有明显提升,说明数据有效,可以继续追加;如果提升不明显,问题大概率不在模型,而在数据质量或任务定义本身。不要一上来就做强化学习,先让模型在监督学习阶段把基础行为理顺。
5.3 别急着动权重:先用提示词层和拦截器解决八成问题
最后一件事可能和直觉相反:很多决策模型的行为问题,根本不用微调就能解决,靠的是工程层的约束。
我见过太多团队从第一天就奔着微调去,结果调了几轮,发现真正影响上线稳定性的,是输出格式不固定、工具调用参数错位、失败重试策略缺失这类基础工程问题。这些问题的解决方案根本不在模型权重里,而在系统设计里。
正确姿势是先加一层输出校验器:模型输出先经过 schema 检查,格式不对就重新生成;工具调用参数先做合法性校验,非法调用直接拦截并触发重试;任务执行路径里加超时和熔断机制,避免一个错误动作反复执行。把这些工程护栏做好之后,你会发现很多“模型能力不行”的抱怨其实是伪命题。剩下真正解决不了的行为问题,才是微调该上场的地方。
6. 如果这是一次路线信号,未来几个月会看到什么
6.1 闭源模型服务的定位会被重新划分
这次“换底座”事件最直接的影响,是给整个行业传递了一个信号:闭源模型服务不再是企业级智能体的唯一底座。
可以预见的是,闭源模型服务商的产品定位会逐渐往“通用能力服务”收缩,而不是继续把“全链路底座”作为卖点。大客户会把推理能力、工具调用策略、行为约束这些关键环节沉淀在自己的开源基座体系里,只把一些长尾的、非核心的能力继续走闭源 API。这不是说闭源 API 会消失,而是它从“战略入口”降级成“通用工具”。
对于已经在闭源 API 上构建了复杂业务系统的团队,这个信号是一个提醒:尽早评估自己的核心链路里,哪些环节对第三方 API 的依赖其实是战略风险。
6.2 开源基金会反过来得到更大的商业反哺,形成正循环
当一个足够大体量的玩家选择开源基座作为战略底座,它带来的不光是“用了你的模型”,还会带动一整个技术栈的生态投入。
这个巨头的工程团队在使用过程中会产生大量的微调配方、蒸馏脚本、评测方案、部署框架,这些资产会有一部分回流到开源社区。模型的维护方也会因为拿到真实商业场景的反馈,加速后续版本的迭代方向。开源生态最稀缺的从来不是代码,而是“大规模真实场景的验证数据”,这次事件等于给整个开源模型社区又注入了一批高质量的实战反馈。
对中小团队来说,这是一个明显的利好:你不需要花任何费用,就能站在一棵持续被大客户滋养的模型树上做开发。
6.3 模型工程能力会比提示词工程更值钱
最后一个可预见的变化,是人才市场的价值迁移。
过去两年,提示词工程被捧得很高,但这次事件再次验证了一个趋势:真正值钱的已经不是“怎么把问题描述得更清楚”,而是“怎么把模型的底层行为调到符合业务预期”。这会涉及数据构建、蒸馏训练、行为评估、强化学习配方调整等一系列模型工程能力。
以前这批能力被大厂垄断,因为自研模型门槛太高。现在开源基座把知识门槛砍掉了一大截,模型工程能力的价值就开始凸显了。对还在学大模型应用的工程师来说,与其继续钻研提示词技巧,不如尽早补上数据工程和模型微调这两块短板。这两个能力在未来几年会像十年前的后端架构能力一样,成为核心竞争力。
我从去年开始帮几个项目搭决策模型的评测体系,当时周围还有人觉得“自研模型是大厂专属游戏”。现在看到连巨头都选择绕开闭源推理 API,转向开源基座自己动手,心里还挺感慨。原来觉得遥不可及的事,门槛已经被一层层打下来了。这个系列里“推理模型能不能平替闭源”的争论还没完全停,但一个又一个真实商业案例已经给出了答案。对普通团队,我的建议始终是先把自己场景里的决策链路吃透,别急着追新版本,也别迷信某个指标,把评测体系搭好,把行为约束理清,再往模型权重里动刀,这条路即便慢一点,也真的走得通。