1. 这笔交易到底在买什么
1.1 从标题说起:82亿买的不是芯片产线
看到“AMD砸82亿买下李飞飞”这个标题,很多人的第一反应是:AMD不是做CPU和GPU的吗,怎么突然跟李飞飞扯上关系了?这里需要先把事实理清楚——AMD收购的是World Labs,一家由李飞飞参与创立的、专注空间智能和世界模型方向的公司。82亿这个数字是市场传闻中的估值量级,具体条款外界并不完全清楚,但方向是明确的:AMD在往“模型层”和“空间理解层”下注。
这件事之所以值得单独拿出来聊,是因为它标志着一个信号:芯片公司不再只卖算力硬件,开始往“算力+模型+场景”的打包能力上走。过去十年,AMD在数据中心GPU上跟英伟达贴身肉搏,靠的是性价比和开放生态。但硬件参数堆到一定程度之后,客户真正缺的不是更多的浮点算力,而是“拿来就能用”的模型能力和场景方案。World Labs做的世界模型,恰好补的就是这块。
所以这笔交易的核心逻辑,不是AMD要去做芯片设计之外的多元化,而是它要在“算力—模型—应用”这条链上,把中间那段最值钱的模型层攥在自己手里。芯片还是卖,但卖法变了。
1.2 世界模型是什么,为什么芯片厂商要抢
世界模型这个词这两年出现频率很高,但很多人对它只有一个模糊印象。用大白话讲,世界模型就是让AI在内部建立一个对物理世界运行规律的“压缩表示”,它能预测“如果我这样动,世界会变成什么样”。这跟语言大模型预测“下一个词是什么”是两种不同的能力。语言模型处理的是符号序列,世界模型处理的是空间、时间、因果和交互。
为什么芯片厂商要抢这个方向?因为世界模型的训练和推理,对硬件的需求和语言模型不一样。语言模型吃的是显存带宽和矩阵算力,世界模型除了这些,还特别吃空间一致性计算和长时序推理。比如一个机器人在房间里走动,模型要持续维护一个三维空间表示,还要预测动作后果,这对内存层级、缓存一致性、低精度推理的稳定性都有新要求。
AMD如果只是卖通用GPU,客户拿回去还要自己搭世界模型的训练框架、自己调推理管线,门槛很高。把World Labs收进来,等于把“世界模型怎么在AMD硬件上跑得最好”这件事内部化了。这跟英伟达做CUDA生态、做Omniverse是同一个思路,只是AMD选了一个更聚焦的切口。
1.3 不卖芯片卖什么:三种可能的变现路径
那AMD到底打算怎么赚钱?我梳理下来,大概有三条路。
第一条是模型授权与订阅。World Labs的世界模型如果成熟,可以按API调用量或者按年授权给机器人公司、自动驾驶公司、工业仿真客户。这条路的毛利远高于卖芯片,而且客户一旦接入,迁移成本很高。
第二条是软硬一体参考设计。AMD可以把世界模型和自家的GPU、NPU打包成一套参考平台,卖给做具身智能的团队。客户买的不是一块卡,而是一套“能跑世界模型的开发套件”。这跟当年英伟达卖DGX整机是一个逻辑,只是AMD更强调开放和可定制。
第三条是数据与仿真服务。世界模型天然适合做合成数据生成和仿真环境构建。自动驾驶和机器人训练最缺的就是长尾场景数据,世界模型可以生成大量可控的仿真数据。AMD如果把这个能力做成云服务,按仿真时长或数据量收费,也是一门好生意。
这三条路都不依赖“多卖几块芯片”,而是把芯片作为载体,把模型和服务作为利润中心。这才是标题里“不卖芯片卖什么”的真正含义。
2. 世界模型的技术底座与硬件需求拆解
2.1 世界模型的三个核心能力层
要理解AMD为什么愿意花这个钱,得先搞清楚世界模型到底由哪些能力构成。我把它拆成三层。
最底层是空间表示层。这一层负责把传感器输入(图像、点云、深度)编码成一个紧凑的、可查询的三维表示。常见做法包括神经辐射场、三维高斯泼溅、体素网格等。这一层的计算特点是内存访问密集,对显存容量和带宽极其敏感。
中间层是动态预测层。给定当前状态和一个动作,预测下一时刻的状态。这一层通常用扩散模型或者自回归Transformer来实现,计算特点是序列长、注意力矩阵大,对矩阵算力和片间互联带宽要求高。
最上层是规划与决策层。这一层把预测结果转化成动作序列,通常跟强化学习或者模型预测控制结合。这一层对延迟极其敏感,因为机器人或车辆不能等几秒钟才出一个决策。
这三层对硬件的需求并不一致。空间表示层吃显存,动态预测层吃算力和互联,规划决策层吃延迟和确定性。AMD的GPU产品线里,MI系列适合前两层,而锐龙AI系列里的NPU适合第三层。World Labs的模型如果能在AMD全栈硬件上做分层部署,这就是一个很有说服力的卖点。
2.2 训练世界模型需要什么样的算力配置
我拿一个中等规模的世界模型训练任务来举例,方便你理解硬件门槛。假设你要训练一个基于视频预测的世界模型,输入是64帧、分辨率256×256的RGB序列,输出是未来16帧的预测。
先算一下单样本的显存占用。64帧×256×256×3通道,原始像素约12.6M个浮点数。经过编码器压缩到潜空间后,假设压缩比是16倍,潜变量约0.79M个。但训练时还要存激活值、梯度、优化器状态。按混合精度训练估算,单样本的激活显存大约在2到4GB之间。批量大小设为8,光激活就要16到32GB。再加上模型参数和优化器状态,一张80GB的卡勉强能跑,但批量上不去,训练效率很低。
这就是为什么世界模型训练通常需要多卡甚至多机。AMD的MI300X有192GB HBM3,单卡容量优势明显,可以塞下更大的批量或者更长的序列。但多卡训练时,卡间互联带宽就成了瓶颈。世界模型的注意力计算需要频繁的all-reduce和all-gather,如果互联带宽不够,算力再强也跑不满。
所以AMD收World Labs,不只是买模型,也是在买“模型怎么在AMD互联拓扑上高效并行”的工程经验。这部分经验很难从论文里学到,必须跟模型团队一起磨。
2.3 推理侧的关键指标:延迟、吞吐与一致性
训练是一回事,推理是另一回事。世界模型如果要用在机器人或自动驾驶上,推理侧有三个硬指标。
第一个是端到端延迟。从传感器输入到动作输出,通常要求控制在50毫秒以内,有些场景甚至要求20毫秒。这意味着模型不能太大,或者必须做蒸馏和量化。
第二个是吞吐稳定性。世界模型推理是持续不断的,不能这一帧快、下一帧慢。如果硬件调度不稳定,机器人动作就会抖动。这对驱动和运行时提出了很高要求。
第三个是空间一致性。同一场景在不同时刻的推理结果必须一致,不能这次预测桌子在左边、下次跑到右边。这跟硬件的数值精度和确定性计算有关。
AMD的ROCm软件栈在这几个指标上一直在改进,但跟英伟达的CUDA相比,工具链成熟度还有差距。World Labs的团队如果能把模型针对ROCm做深度优化,比如自定义算子、内存复用策略、确定性推理模式,那这套组合的竞争力就会强很多。
3. 从芯片到模型:AMD的生态拼图怎么拼
3.1 硬件层:GPU、NPU与自适应计算
AMD的硬件家底其实比很多人想象的厚。数据中心有Instinct MI系列GPU,客户端有锐龙AI系列集成的NPU,还有收购赛灵思得来的FPGA和自适应计算产品线。
这三类硬件在世界模型场景里可以分工。GPU负责训练和重推理,NPU负责端侧轻量推理,FPGA负责传感器预处理和确定性低延迟任务。比如机器人上的视觉前端,用FPGA做去畸变、对齐、降噪,比用GPU更省电、更确定。
World Labs的模型如果能在这些异构硬件上做流水线拆分,那AMD就能提供一个从云到端的完整方案。这比单纯卖一张GPU卡要有粘性得多。
3.2 软件层:ROCm、ONNX与自研推理引擎
软件是AMD过去最大的短板,但也是最近两年投入最猛的地方。ROCm现在已经支持主流训练框架,PyTorch和TensorFlow都能跑,但算子覆盖和性能调优还是不如CUDA。
World Labs进来之后,最直接的价值是带来一个“标杆模型”。AMD可以用这个模型来驱动ROCm的优化方向,哪些算子缺就补哪些,哪些层慢就优化哪些。这比泛泛地支持所有模型要高效得多。
另外,世界模型推理往往需要自定义算子,比如三维高斯泼溅的渲染、神经辐射场的采样。这些算子在标准框架里没有,必须自己写。World Labs如果把这些算子开源或者贡献给ROCm,整个生态都会受益。
3.3 模型层:World Labs的差异化在哪里
世界模型这个赛道并不缺玩家。英伟达有Cosmos,谷歌有Genie系列,Meta有V-JEPA。World Labs的差异化,我理解主要在两点。
一是对空间智能的聚焦。很多世界模型是从视频生成角度切入的,追求画面逼真。World Labs更强调空间一致性和物理合理性,这对机器人操作和自动驾驶更有价值。
二是与硬件的协同设计。李飞飞团队有很强的学术背景,但World Labs如果只是发论文,AMD没必要花这个钱。合理的推测是,World Labs的模型在设计之初就考虑了硬件部署,比如算子融合、量化友好、内存访问模式优化。这种“为硬件而设计”的模型,迁移到AMD平台上的成本会低很多。
4. 实操视角:如果你要在AMD平台上跑世界模型
4.1 环境准备与依赖安装
假设你拿到了一套AMD MI300X的机器,想跑一个世界模型的开源实现。第一步是装驱动和ROCm。我建议用Ubuntu 22.04,内核版本不要太高,5.15或者6.1都比较稳。
# 添加ROCm仓库 wget https://repo.radeon.com/amdgpu-install/latest/ubuntu/jammy/amdgpu-install_6.0.60002-1_all.deb sudo apt install ./amdgpu-install_6.0.60002-1_all.deb sudo amdgpu-install --usecase=rocm # 验证安装 rocm-smi rocminfo | grep gfx装完之后,用rocm-smi看卡是否识别正常。如果显示gfx942,说明MI300X认到了。然后装PyTorch的ROCm版本,注意版本要跟ROCm匹配。
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.0装完跑一个简单的矩阵乘法,确认GPU能用。
import torch print(torch.cuda.is_available()) # ROCm下也返回True a = torch.randn(4096, 4096).cuda() b = torch.randn(4096, 4096).cuda() c = a @ b print(c.sum())这一步如果报错,大概率是ROCm版本和PyTorch版本不匹配,或者用户权限没配好。把当前用户加到render和video组里,重启一下通常能解决。
4.2 世界模型推理的关键参数调优
世界模型推理有几个参数特别影响性能和效果,我逐个说。
批量大小:推理时批量不是越大越好。世界模型通常有时序依赖,批量太大反而增加延迟。建议从1开始试,如果吞吐不够再往上加。
精度:FP16是默认选择,但有些世界模型的渲染层对精度敏感,用FP16会出现闪烁或漂移。可以试试BF16,动态范围更大,对空间一致性更友好。
KV Cache策略:如果模型是自回归的,KV Cache的管理很关键。世界模型的序列通常很长,KV Cache会占大量显存。可以用分页注意力或者滑动窗口来限制缓存大小。
算子融合:ROCm的MIOpen和Composable Kernel支持算子融合,但需要手动开启。比如把卷积、归一化、激活融合成一个算子,能减少内存往返,提升推理速度。
# 开启MIOpen的算子融合 export MIOPEN_FIND_MODE=FAST export MIOPEN_DEBUG_CONV_IMPLICIT_GEMM=1这些环境变量不是万能的,不同模型效果不一样,需要实测。
4.3 多卡并行与通信优化
世界模型训练通常需要多卡。ROCm下的多卡通信靠RCCL,用法跟NCCL类似。
import torch.distributed as dist dist.init_process_group(backend='nccl') # ROCm下backend名还是nccl但RCCL的调优参数跟NCCL不完全一样。有几个环境变量值得关注:
NCCL_IB_HCA:指定用哪张网卡做RDMA,多机训练时必须设对。NCCL_SOCKET_IFNAME:指定socket通信的网口,避免走错网卡。RCCL_MSCCL_ENABLE:开启MSCCL优化,对all-reduce有提升。
我实测下来,MI300X单机8卡做all-reduce,带宽能跑到接近理论值,但多机场景下如果网卡配置不对,性能会掉得很厉害。建议先用rccl-tests跑一遍基准,确认通信没问题再上模型。
5. 常见问题与排查实录
5.1 驱动与运行时问题速查
| 现象 | 可能原因 | 排查方法 |
|---|---|---|
| rocm-smi看不到卡 | 驱动没装好或内核模块没加载 | `dmesg |
| PyTorch报HIP错误 | ROCm版本与PyTorch不匹配 | 查PyTorch官网的版本对应表 |
| 多卡训练卡死 | RCCL网卡配置错误 | 设NCCL_SOCKET_IFNAME,用rccl-tests验证 |
| 推理结果闪烁 | FP16精度不足 | 换BF16或开启确定性模式 |
| 显存溢出 | KV Cache太大或批量太大 | 减小批量,启用分页注意力 |
5.2 几个我踩过的坑
第一个坑是ROCm版本升级太激进。我有一次直接升到最新版,结果PyTorch不认卡了。后来学乖了,生产环境只升到PyTorch官方支持的ROCm版本,不追新。
第二个坑是多卡训练时CPU亲和性没设。ROCm下如果进程在CPU核之间乱跳,通信性能会不稳定。可以用numactl把进程绑到跟GPU同NUMA节点的核上。
numactl --cpunodebind=0 --membind=0 python train.py第三个坑是世界模型的渲染算子没有ROCm实现。有些开源世界模型用了自定义CUDA算子,在AMD平台上跑不了。这时候要么找替代实现,要么自己用HIP重写。HIP的语法跟CUDA很像,迁移成本不算太高,但调试比较费时间。
5.3 性能调优的优先级建议
如果你刚开始在AMD平台上跑世界模型,我建议按这个优先级调优:
- 先保证能跑通,不要一上来就追求性能。
- 用
rocprof做性能分析,找到瓶颈在计算还是内存。 - 如果是内存瓶颈,优先优化KV Cache和激活重计算。
- 如果是计算瓶颈,再看算子融合和精度调整。
- 最后才考虑多卡并行,因为多卡引入的复杂度最高。
这个顺序能帮你少走很多弯路。我见过太多人一上来就搞多机多卡,结果单卡都没跑明白,浪费大量时间。
6. 这件事对开发者和从业者意味着什么
6.1 对做具身智能的团队
如果你在做机器人或具身智能,AMD收World Labs这件事值得关注。因为这意味着未来可能出现一套“AMD芯片+世界模型”的参考方案,你不需要从零搭训练管线,也不需要自己调硬件。当然,前提是AMD能把这套东西做出来并且开放出来。
短期内,我建议保持观望,但可以开始熟悉ROCm生态。万一这套方案成熟了,你切换过去的成本会低很多。
6.2 对做芯片和编译器的工程师
世界模型对编译器提出了新要求。传统的深度学习编译器主要优化矩阵乘和卷积,但世界模型里有大量非规则计算,比如稀疏采样、动态索引、条件分支。这些在GPU上效率不高,需要新的编译策略。
如果你在做算子开发或编译器,世界模型是一个很好的切入点。它不像语言模型那样已经被优化得很充分,还有很多空间可以做。
6.3 对普通开发者的学习建议
如果你只是想了解世界模型,不一定要买AMD的卡。可以先从开源实现入手,用消费级显卡跑小规模实验。重点理解空间表示、动态预测、规划决策这三层是怎么串起来的。
等你能在小规模上跑通了,再考虑上大硬件。到时候AMD的平台如果成熟了,自然是一个选项。如果不成熟,英伟达的卡也能跑,只是成本高一些。
我个人在实际操作中的体会是,世界模型这个方向,硬件和模型的耦合比语言模型深得多。语言模型可以在不同硬件上迁移,性能差异有但不会太离谱。世界模型不一样,同样的模型在不同硬件上,空间一致性和延迟表现可能差好几倍。所以AMD收World Labs,本质上是在买“模型与硬件协同设计”的能力,这比单纯买一个模型权重值钱得多。
最后再分享一个小技巧:如果你要在AMD平台上做世界模型的实验,先把ROCm的docker镜像拉下来用,比自己装环境省事。等跑通了再考虑裸机部署,这样能避开很多驱动和依赖的坑。