凌晨刷到一条聚合新闻:Aleph Alpha 开源 Kolibri,CoreWeave 把一套 NVL72 系统交给了 Cognition。这一行字像压缩包,懂行的人一眼就能把三家公司、两个事件、一个算力代号解压开;不了解的人只会看到又一条 AI 行业动态。我在这个领域待的时间不短,看到这条消息时第一反应不是“又有大新闻”,而是“模型和算力两个方向的水位,真的都开始变了”。
具体来说,前半句是一个以欧洲市场为根基的 AI 实验室放开了一个可私有化部署的多模态模型,后半句是一家 GPU 云厂商在向一个做 AI 编程智能体的团队交付一整柜高性能计算系统。两者表面无关,实际上都有同一个指向:AI 正在从“少数巨头独享的奢侈品”变成“随手可租、可下载的基础设施”。这篇文章不写通稿,我把这两件事拆成实际工程视角,聊聊它们各自的来龙去脉,以及对我们这种做应用、做产品、做基础设施的人到底意味着什么。
1. 把新闻标题拆开:Kolibri 开源和 NVL72 交付各自意味着什么
1.1 Aleph Alpha 和 Kolibri 的定位
Aleph Alpha 这家公司,前几年在欧洲 AI 圈子里一直以“稳健”两个字出名。它不像一些硅谷同行那样追求最大规模,而是把开放、隐私、可控这些词挂在嘴上,服务对象主要是欧洲企业、公共部门、医疗和政务这类高敏感场景。Kolibri 是它拿出来的开源多模态模型系列,能同时处理文本和图像,并覆盖了德语、英语、法语等语言。名字里的蜂鸟(Kolibri 就是德语里的蜂鸟),暗示这款模型主打轻盈、快速、便宜部署。
一个值得注意的产业信号是,Aleph Alpha 没有选择继续把最强模型锁在 API 后面,而是开放了权重。这样做的好处很实际:让潜在的企业客户拿到手里先跑起来,没有 API 账单和试用配额,总比让人家望梅止渴更能建立信任。加上欧洲本来就有比较强的数据保护执法环境,像 Kolibri 这种自带多语言基因的开源模型,在很多政企项目招标里会比通用模型更有说服力。
当然,我能看到的是产品层面的信息,更深层的训练细节、数据集构成、完整评测分数,公开文档并没有全部披露。但从工程经验来推断,这类模型通常会走“用较大模型蒸馏或协同训练,再在部署侧做量化压缩”的路径,不然很难在私有化场景里做到低成本运行。你把这个逻辑记住,后续选型时会少很多困惑。
1.2 CoreWeave 交付的 NVL72 到底是一套什么系统
再看后半句。CoreWeave 是一家以 GPU 云服务起家的厂商,它对外的故事一直很清晰:我们不只卖虚拟机,还卖专门为 AI 工作负载设计的整体基础设施。Cognition 则是因为 AI 编程智能体产品出名的团队,这类产品主打的是“让 AI 像一个正式的初级软件工程师那样干活”——给它一个仓库、一个任务描述,它自己拆解、写代码、跑测试、修 bug。
新闻里的关键词是 NVL72。它指的是一个机柜级 GPU 系统,标准形态里包含 72 个 GPU 和 36 个 CPU,GPU 之间通过高速 NVLink 互连,整体采用液冷散热。你可以把它理解为:过去你至少要买十几台 8 卡服务器,再自己搞一台昂贵的大交换机才能连起来的算力集群,现在一个机柜就给你封装好了。无论是训练、微调还是大批量推理,这个单元整体上都比零散服务器更省心。
所以“CoreWeave 把它交给 Cognition”这句话的份量在于:一家跑重负载 AI 应用的公司,最珍贵的不是那一张张 GPU,而是一套能持续大规模运行、故障率低、运维省心的算力系统。Cognition 选择云交付而不是自建机房,说明它们在算力策略上的态度很明确:把硬件的脏活外包出去,自己专注模型、数据和产品。
1.3 两件事放在同一则标题里的化学反应
把前后两个半句拼在一起,更有意思。Aleph Alpha 正在做的事情,是让“模型能力”从少数玩家的 API 中解放出来;CoreWeave 和 Cognition 这单交付,则是让“算力组织”从高门槛的自建中解放出来。两条线汇合以后,任何人只要有一台普通服务器,甚至一个云端租到的机柜,就能复现很多曾经只有巨头才能做的事。
我不觉得这单纯是新闻或者广告,对认真做 AI 应用的人来说,这其实在提醒你:基础设施的门槛正在被拆掉。如果你还在用“我们没有大模型能力”“我们没有 GPU”作为不行动的理由,接下来这个理由会越来越站不住脚。
2. 参数竞赛退潮后,开源模型靠什么吸引企业用户
2.1 效率与落地成为主战场
前几年开源模型一放出来,大家第一眼都会看参数量。7B、30B、70B 往上堆,好像数字越大越了不起。现在这个逻辑明显变弱了。原因很简单:单纯堆参数解决不了“跑得动、用得起、调得动”的问题。一个 70B 模型就算能力再强,中小团队没有足够的显存和推理优化,根本伺候不起。
所以行业转头去拼效率:同样参数规模,谁的推理速度更快;同样能力水平,谁的显存占用更低;同样结构,谁能塞进更长上下文。Kolibri 走的就是这条路,先保证视觉和语言都能干,再把部署门槛压到尽量低,让企业不用改造太多硬件就能跑。这个方向说明开源社区已经默认了一个共识:未来拼的是单位成本下的有效能力,而不是纸面参数。
我见过不少团队拿着大参数模型做原型,跑通以后一算成本立刻放弃,又换回中型模型做量化蒸馏,最后线上效果反而更稳。这类经验一次两次就会发现,参数量只是起点,不是终点。
2.2 多语言能力是欧洲实验室打出的差异化牌
还有一个点特别容易被忽略,就是多语言。全球开源模型排行榜大多以英语为主,你看一份榜单的 top 模型,能看懂很多,能流利写德语的却没几个。欧洲实验室做的模型天然有优势,因为它们的训练语料、评测基准、产品验证都会覆盖当地语言。Kolibri 强调德语、法语等语言能力,本质上是把“语言本地化”当成核心卖点,而不是附加功能。
这对我们做应用的人很有启发。如果你的产品要进入欧洲市场,或者要处理非英语内容,选模型时不能只看英语 benchmark。用一批自己业务里的真实文本去做小样本测试,看它能不能准确理解术语和语境,比看榜单总分可靠得多。德语那种大段复合词和长句,很多通用模型都会直接翻译歪,这一点我在实际项目里见得太多了。
也许有人会觉得多语言离自己很远,但换个角度想:跨境电商的客服、出海 SaaS 的文档、跨国企业的内部知识库,哪一样不是多语言场景?在非英语语料上做得好的开源模型,一旦进入这些赛道,优势会非常直接。
2.3 企业选择开源模型时真正关心的三件事
企业选型问的第一个问题,往往不是跑分多少,而是“这模型能不能在离线环境部署,商业化使用是不是自由”。名气再大的闭源 API,数据出不了内网,一切都白搭。开源模型在这一点上天然占优,但“开源”这个词也分层次:开放权重是一回事,开放全部训练代码是另一回事,商用许可是第三回事。
我自己的检查清单是三条:一看许可证是否允许商用,二看重那些依赖项(比如 tokenizer、配套工具)是不是也开源或可商用,三看社区的 issue 响应速度。很多小团队拿到一个模型发现权重能下载,结果内部配套代码是别的协议,恰好卡在商用边界上,项目黄得很冤枉。Aleph Alpha 这类有政企基因的实验室,在协议设计上通常更注意边界,这对企业用户是加分项。
再补充一点:不要只看模型页面的“Star 数”,要看最近一个月的 commit 活跃度。很多模型发布即巅峰,后续 bug 修复和生态更新接近于零,这种项目在生产环境里用起来能让人崩溃。
3. 一个编程智能体为什么需要一整柜 GPU
3.1 从单卡到整柜:NVL72 的硬件构成和核心价值
先把 NVL72 的硬件逻辑讲透。在传统数据中心里,一组 8 卡服务器要协同工作,靠的是外部交换机互联;GPU 之间要走网络协议,延迟高、带宽低,通信开销一大,效率就掉下来。NVL72 把 72 个 GPU 放进同一个高速域互连里,让它们之间通信快得像在同一个盒子内部。这意味着大规模并行训练时,梯度和中间结果不用频繁绕网络,整柜的利用率能明显提高。
再加上 36 个 Grace CPU 作为控制和管理节点,以及配套的液冷散热,一个机柜就能顶过去一列机柜的算力密度。正因为这种紧耦合设计,NVL72 不太适合那种“随便塞几张卡跑个小任务”的场景,它的主战场就是大模型训练、推理集群、AI 智能体这类高并发高带宽负载。
液冷这一点也值得多说两句。GPU 功率密度越来越高,风冷已经到了极限,风扇转速再快也压不住连续满载的热量。液冷不仅解决散热,还能降低整柜噪音,让数据中心可以在同样面积里放更多算力。云的运维同学应该深有体会:风冷机房改液冷,其实是在和物理规律抢时间。
3.2 AI 编程的工作负载画像:长上下文、多智能体、持续运行
那么为什么是 Cognition 这种“编程智能体”公司需要它?我想用一句话概括:编程智能体的工作负载,是所有 AI 应用里最接近“人类持续加班干活”的。普通聊天机器人问一句答一句,一次推理就结束;编程智能体却要读代码、定位问题、改文件、跑测试、看报错、再改,整个生命周期可能持续几十分钟甚至更长。
长任务意味着模型必须在长时间窗口里保持完整上下文。这些上下文可能是几万行代码、几十个文件、无数日志输出,全部要放在显存或高速内存里。同时智能体往往还会起多个并发子任务,比如同时检索文档、执行命令、等待测试结果,这些都要求推理服务有很强的吞吐能力。再加上这类产品对交互手感要求很高,延迟一高用户就会觉得 AI 很笨。所以一整柜 NVL72 不是炫技,是真能派上用场。
另一个容易忽视的点是测试和沙箱环境的资源消耗。编程智能体跑测试要起容器、编译代码、执行命令,这些负载虽然是 CPU 和内存为主,但和 GPU 推理并发叠加起来,对整机资源的要求会成倍上升。早年大家只关注“推理卡够不够”,现在做智能体的团队都会把沙箱容量一并算进预算。
3.3 为什么是“租”而不是“建”:算力交付方式变化的逻辑
另一个问题:Cognition 为什么不自己买下一柜设备?其实自建有自建的好处,长时间满载、成本可控;但是自建也得承担硬件贬值、机房租赁、供应链采购、专职运维团队这些成本。对一个产品迭代速度极快的公司来说,把时间花在业务比赛上,而不是和机器故障作斗争,显然更划算。
CoreWeave 这类云厂商做的事情,本质是“算力基础设施服务化”。把复杂的机柜、网络、散热、监控打包成一种可以按月购买的资源,用户只关心今天我需要多少容量。这种模式在 AI 时代像极了用电:你不会因为家里耗电多,就先自己建个发电厂,而是让电网来解决供应,你买服务。
我知道有人会担心长期成本,觉得租三年比自己买还贵。这个担心有道理,但它忽略了一个变量:硬件迭代速度。AI 加速卡每一年半到两年就换一代,自己买的设备还没回本就可能失去竞争力,而租用模式可以把设备更新风险转移给服务商。对于大多数公司来说,这个账算下来往往是租更划算。
4. 两条动态指向同一个产业趋势:模型开源化,算力服务化
4.1 模型层的内卷转向:能力开源,竞争下沉
模型层这两年最明显的变化,就是基础模型本身从“竞争力”变成了“入场券”。Aleph Alpha 开源 Kolibri,和过去许多实验室开放权重,本质上都在承认一个事实:大模型技术已经扩散得足够充分,闭源优势很难永久保持;真正能沉淀下来的壁垒,是数据、场景、行业知识,以及把它们和模型结合起来的工程能力。
把模型比喻成操作系统,这个类比很合适。底层操作系统曾经是封闭的,但开源版本出现后,底层能力的价值开始被稀释,大家拼的是谁在特定场景里用得更顺手。开源模型对应用层的意义是一样的:你不必再从神经网络的前向传播开始做起,把注意力放在解决实际业务问题就好。
这个趋势对甲方也有一个直接好处:议价权变强了。过去生态模型只能找一两家 API,价格说涨就涨;现在开源模型随便挑,闭源 API 想留住客户,就得在价格、速度、附加服务上让步。这也是我在拜访企业客户时越来越常听到的话——“你们的模型如果不如开源的好,我们为什么买单?”
4.2 算力层的形态变化:从买零件到租系统
算力层也在经历类似变化,但形态不同。以前一个大公司想搞 AI,先买几百张 GPU,招聘懂高速网络、懂组网的工程师,自己搭集群。现在云厂商已经把整柜 NVL72 都标准化了,交付周期从数月压缩到数周甚至更短。算力变成了一种“按需挑选的服务”,而不是“资产沉淀”。
这个转变对行业格局影响很大。硬件越来越标准化,服务就越来越成为关键:谁能把成本做低、把稳定性做高、把调度做得更细,谁就能赢得客户。对中小团队来说,这意味着你不再需要和巨头拼采购量,也能用上同一级别的算力。
我认识一些早期就囤了大量显卡的团队,现在反而发愁:新架构一出,旧卡租不上价,转卖又要折价,还得养人维护机房。相比之下,那些从一开始就坚持“只用云、不自建”的团队,反而能随时切换到最新硬件,没有包袱。硬件红利期已经过去了,服务红利期正在开始。
4.3 对创业者和独立开发者的三个策略启发
落到个人,我一直觉得现在是做 AI 应用创业最好的窗口期。第一,不要在基础模型上和别人赛跑,那已经不是你的主场;第二,把 GPU 当作水电煤,做预算而不是做资产;第三,主动寻找“通用模型 + 行业工作流”之间的空白,比如编程智能体、文档智能体、客服智能体、数据分析智能体。
这背后的原因很直接:开源模型把技术门槛拉平了,云算力把资源门槛也拉平了。剩下的门槛只剩两类:一是对具体业务的深刻理解,二是把模型接入复杂流程的工程能力。这两个门槛,恰恰是小型团队可以赢过巨头的地方。
独立开发者尤其要注意:别一上来就搭一个十人的队。先用现成的开源模型加云算力,做出一个能被 100 个用户用起来的小产品,验证需求和付费意愿,再考虑扩张。现在的人工智能成本结构已经允许你单枪匹马跑通整个闭环,关键是你愿不愿意从最轻的方式开始。
5. 落地参考:开源模型选型与算力预算的实操建议
5.1 选择开源多模态模型前的四个检查项
如果看完这两条新闻,你想在自己的项目里试试开源多模态模型,我建议不要直接跳到“下载权重”这一步。先做四个检查。
第一,数据合规。确认模型允许在你的目标环境部署,并且商用协议没有隐含限制。不是所有叫“开源”的模型都能拿去商业化。
第二,语言覆盖。用实际业务语言样本测试,而不是只看英语分数。多语言模型在非英语环境下的表现差异极大,尤其要注意术语、缩略语和长句。
第三,视觉能力。如果业务涉及截图、表格、扫描件,准备 20 张真实样图,人工对比模型输出。多模态模型的视觉能力经常被高估,跑分漂亮不等于能准确读出你业务里的复杂表格。
第四,上下文窗口。编程智能体、长文档问答对窗口要求很高,小窗口模型在长输入下会出现严重的注意力衰减,表现为越到后面越答非所问。别为了省显存选了小窗口,最后得不偿失。
5.2 算力需求粗估公式与一个示例
算力预算我提供一个粗估思路。假设你要跑一个 7B 参数模型,单次任务输出 1000 token,每 token 生成需要的计算量和模型结构有关,大致在几 GFLOPs 级别。把一天的请求数量乘以单次 token 数,得到日产出 token 量;再除以单 GPU 在批处理、量化后的实际吞吐(比如 3000 token/秒),就能得到最低运行的 GPU 总数。最后乘以并发峰值系数(比如 1.5 到 2 倍)作为冗余。
举一个具体例子:某客服智能体每天推理 10 万次,平均每次输入 2000 token、输出 500 token。日输出 token 就是 5000 万,按单卡平均吞吐 3000 token/秒算,一天能产出的 token 数是 3000 × 86400 ≈ 2.6 亿。看起来一张卡就够?没错,这是把 24 小时均匀分摊的理想值。实际峰值可能在某个小时内达到全天流量的 30%,也就是每小时 3 万次请求,每秒约 8 次请求,每次推理(含输入输出共 2500 token)假设耗时 5 秒,那并发需要约 40 个推理进程,对应 40 卡左右。这样一算,峰值冗余翻几十倍都是可能的。
所以我见过太多团队拿日总量算,结果上线第一天就被峰值打爆。正确做法:先拿一个小实例做压测,把 P95 延迟和吞吐拿准,再按峰值公式放容量。一切没有压测过的算力规划,都是拍脑袋。
5.3 上线后必须盯死的四个运维指标
上线之后,运维层面要盯四个指标。GPU 利用率低于 60%,说明负载不饱和或者调度有毛病;显存占用长期接近极限,说明上下文或批大小设置不合理;生成吞吐(token/s)是用户体验的晴雨表;失败重试率是智能体的健康度指标,一旦工具调用频繁超时,往往意味着网络带宽不匹配或模型容量不足。
这四类指标用 Prometheus 加 Grafana 这类开源组合都能搭起来,半天能装好。真正难的其实是坚持每两周复盘一次。很多人搭了监控就再也不看,等用户投诉了才去翻日志,那就失去了监控的意义。
顺便说一句,如果用的是云厂商交付的 NVL72 这类整柜系统,很多底层硬件指标(温度、风扇、互联带宽)已经由服务商帮你盯了。你要盯的是自己应用层的指标,也就是上面这四个。把分工明确好,运维压力会小很多,这也是为什么我越来越倾向于推荐“租系统”而不是“自己攒机器”。
最后再聊一点个人体会。我在这个行业里摸爬了几年,最大的感受是,AI 的变化永远比新闻标题还快。Aleph Alpha 开源的一天,和 CoreWeave 交付 NVL72 的一天,看起来是两件独立的事,其实都在推高同一个水位:让模型更可用,让算力更易得。一个认真做产品的团队,现在更应该多花时间思考业务,而不是把精力消耗在底层门槛上。开源模型不合适就换一个,这个柜子不够就再加一个,真正值得珍惜的,是你对业务的独特理解,和把模型变成生产力的那群人。