如果只看 2017 年那篇论文,很难想象它会在几年后成为整个 AI 行业最敏感的时间线。《Attention Is All You Need》提出的 Transformer 架构,把注意力机制变成深度学习的基石,也在事实上改写了自然语言处理、计算机视觉和多模态 AI 的演进路线。但更让人唏嘘的是另一条事实:论文的八位作者,都曾因为各种原因离开过谷歌,其中有人创办了估值惊人的 AI 独角兽,有人在东京建立实验室,有人转向生物技术,有人加入 OpenAI,也有人在 2024 年选择回归 Google DeepMind。
这件事并不是明星员工离职的八卦那么简单。它至少指向三个值得深入讨论的问题:为什么发明了 Transformer 的谷歌,没有第一个做出引爆 AI 浪潮的对话产品?谷歌从 AI 领导者沦为追赶者的说法,是否公允?对于普通开发者和技术团队,这件事又能沉淀出什么可复用的经验?
这篇文章不打算只复述新闻。我会把 Transformer 的技术原理、谷歌多年的 AI 技术积累、人才流失背后的组织与激励逻辑,以及今天开发者真正应该掌握的模型选择与部署方式放在一起讨论。读完你会意识到一个更关键的问题:在 AI 竞争里,技术领先、产品领先和生态领先,到底哪一个才是真正的护城河。
1. 为什么说这是一次标志性的人才流失
先把事实摆清楚。《Attention Is All You Need》的八位作者,如今都已经不在曾经的位置上。下表来自公开信息,可以看到这些作者的去向高度分散,几乎覆盖了 AI 行业所有最重要的方向。
| 作者 | 公开信息中的去向 |
|---|---|
| Ashish Vaswani | 离开谷歌后参与创办 Adept AI,后与 Niki Parmar 共同创办 Essential AI |
| Noam Shazeer | 创办 Character.AI,后于 2024 年回归 Google DeepMind |
| Niki Parmar | 与 Vaswani 共同参与创办 Adept AI 与 Essential AI |
| Jakob Uszkoreit | 创办 Inceptive,将 AI 方法用于 RNA 与生物技术 |
| Llion Jones | 在日本东京创办 Sakana AI |
| Aidan N. Gomez | 创办 Cohere,专注企业级大模型 API |
| Lukasz Kaiser | 离开谷歌后加入 OpenAI |
| Illia Polosukhin | 离开谷歌后联合创办 NEAR Protocol,转向去中心化技术 |
这里需要特别补充一个细节:Noam Shazeer 在 2024 年回到 Google DeepMind,所以“全部离开”的更准确说法是“所有人都离开过谷歌”。但这不改变一个基本判断:一个做出了当代 AI 基座技术的团队,没有在同一家组织内完成技术到产品的代际跨越。
为什么这是一次标志性事件?因为 Transformer 不是一个普通的技术组件。它是 GPT、BERT、T5、PaLM、Gemini 等大模型的共同底座,是当前 AI 领域引用率最高、影响面最广的论文之一。按照常理,拥有这项技术原型的公司应该最有机会做出下一代 AI 产品。但现实是,最早把 Transformer 变成全球性产品的是 OpenAI 与微软的组合,而不是谷歌。
这背后不是某一个人的选择,而是一整套组织机制的问题。顶尖研究者为什么宁可放弃大厂的高薪与稳定,也要出来创业?一家公司到底做对了什么,又做错了什么,才会出现一次性流失整个论文作者团队的局面?回答这些问题,比单纯感叹“谷歌可惜”更有价值。
2. Transformer 的核心原理:为什么最后是 Transformer
要理解谷歌当年的起点有多高,必须先理解 Transformer 到底解决了什么。
在 Transformer 出现之前,序列建模的主流是 RNN 和 LSTM。它们的核心问题在于:信息必须按时间步顺序传递。比如处理一个 100 个词的句子,模型需要从第一个词循环到最后一个词,这个过程天然是串行的,训练效率很低。更麻烦的是,当序列过长时,早期信息在传播过程中会被稀释,这就是长期依赖问题。注意力机制的早期版本(比如 Bahdanau Attention)就是为了缓解这个问题,但仍然是作为 RNN 的辅助部件存在。
Transformer 的想法非常激进:既然注意力机制本身就能决定“当前位置应该关注序列中的哪些其他位置”,为什么还需要 RNN 作为主干?直接把整段序列放进来,让每一个 token 都通过注意力机制去观察其他 token,不就可以了吗?
这就是 Attention Is All You Need 的核心贡献:完全去掉了循环,只保留注意力机制。整个架构可以拆成几个标准零件:输入嵌入、位置编码、多头注意力、前馈网络、残差连接和层归一化。多头注意力让人惊讶的地方在于,它允许模型在不同的子空间里同时学习不同关系:有的注意力头关注句法结构,有的头关注指代关系,有的头关注相邻词之间的局部依赖。这种“并行 + 全局建模”的能力,让 Transformer 在训练效率上远超 RNN。
下面是一个最简化的自注意力计算过程,方便理解核心公式。实际框架中会有更多工程细节,但原理是一致的。
import torch import torch.nn.functional as F def scaled_dot_product_attention(query, key, value): d_k = query.size(-1) scores = torch.matmul(query, key.transpose(-2, -1)) scores = scores / torch.sqrt(torch.tensor(d_k, dtype=torch.float32)) weights = F.softmax(scores, dim=-1) return torch.matmul(weights, value) # 模拟一个 batch,一个注意力头的情况 q = torch.randn(2, 8, 64) # (batch, seq_len, d_k) k = torch.randn(2, 8, 64) v = torch.randn(2, 8, 64) out = scaled_dot_product_attention(q, k, v) print(out.shape)这段代码的预期输出是torch.Size([2, 8, 64]),表示输入序列长度为 8 的每个 token,都拿到了一个融合了全局信息的 64 维表示。看起来很简单,但正是这个简单的矩阵运算,让模型可以在 GPU 上高度并行训练,也让后续扩大模型参数量、扩大训练数据量的“缩放法则”成为可能。
这也是“为什么最后是 Transformer”的技术答案:它不是用更复杂的结构取胜,而是用“简单、并行、可缩放”三个特性踩中了深度学习时代最大的红利。当算力以指数级增长时,一个能充分利用算力的架构,会比其他架构获得更大的性能提升。后来视觉领域的 ViT、Swin Transformer,多模态领域的 CLIP、Flamingo,乃至时间序列预测中的很多模型,也都在沿袭同样的思路。
3. 谷歌的 AI 技术账与产品账
谷歌在 AI 研究上的积累,是业内公认的厚实。从 2011 年的 Google Brain 项目,到 2014 年收购 DeepMind,再到 2017 年提出 Transformer,2018 年开源 BERT,2019 年提出 T5,后来又有 PaLM、Gemini 和 AlphaFold 系列。谷歌在深度学习的每个关键节点几乎都有名字。
但技术账和产品账是两套逻辑。放在一起对比,会发现谷歌的节奏很有意思。
OpenAI 在 2020 年发布 GPT-3,2022 年 11 月发布 ChatGPT,直接点燃了大众对大模型的认知。谷歌直到 2023 年 2 月才发布 Bard,随后在 2023 年 12 月发布 Gemini,整体比 GPT-4 晚了一个身位。更关键的是,谷歌在对话式 AI 上并不是没有储备。它的 LaMDA 在 2021 年就已经展示过相当强的对话能力,但谷歌没有把它包装成面向公众的 AI 产品,而是选择留在内部。
为什么会这样?有几种常见的解释。第一种是路径依赖,谷歌的核心商业模式是搜索广告。一个可以在聊天框里直接回答问题的 AI 助手,理论上会分流传统搜索结果页的点击和广告收入,这让内部对发布对话产品有天然的犹豫。第二种是研究文化与产品文化的割裂,Google Brain 和 DeepMind 长期以发论文和突破研究边界为主要目标,产品化、可用性、用户反馈这些工程指标在组织内的话语权相对弱。第三种是组织整合滞后,Google Brain 和 DeepMind 两大团队直到 2023 年 4 月才正式合并为 Google DeepMind,在这之前,算力、人才和研究方向都存在一定程度的分散。
所以,谷歌从 AI 领导者沦为追赶者的说法,不能一刀切。更准确的判断是:谷歌在基础研究和技术储备上并没有掉队,但在 AI 产品形态、用户心智和开发者生态的话语权上,确实失去了先发者的位置。技术领先变成产品领先,中间隔着组织协同、风险决策和工程执行力。谷歌在这条转化链路上,明显不如 OpenAI 和微软那样果断。
另外还有一个容易被忽视的维度:开发者生态。谷歌早年推出 TensorFlow,确实领跑过深度学习框架市场。但 PyTorch 凭借更友好的动态图和更自然的 Python 体验,逐渐取代 TensorFlow,成为学术界和工业界的主流。模型落地生态也一样,Hugging Face、vLLM、TensorRT-LLM 这些关键工具,并不由谷歌主导。这意味着即使谷歌持续发布强大的模型,它已经越来越难以复制当年“框架 + 开发者社区”的双重垄断优势。
4. 组织与激励:为什么留不住顶尖研究者
人才流失是所有大公司都会遇到的问题,但谷歌这次的情况比较典型。Transformer 八位作者几乎全部离开,说明问题不是个别人的职业选择,而是系统性的组织与激励机制问题。
顶尖 AI 研究者在意的东西,往往不只是薪酬。他们更在意三样东西:自由度、影响力和回报兑现速度。自由度指的是能不能选择自己认为重要的研究方向,而不是被产品路线牵着走。影响力指的是研究成果能不能快速应用到真实世界,能不能改变行业。回报兑现速度则关乎创业的红利,大厂的高薪和股票可以保证生活,但很难让一个 30 多岁的天才研究员在短时间内获得与贡献等量的资本回报。
从这些维度看,创业公司的吸引力就很明显了。OpenAI 早期用非营利的叙事吸引了大量理想主义的研究者,后来转入商业化后又用股权和算力资源留住了人才。Character.AI、Cohere、Sakana AI 这些公司,本质上就是研究者用创业来兑现技术影响力的产物。对研究者来说,既然大厂无法提供足够的自由度和回报弹性,那就自己搭台子。
谷歌并非没有反击。2024 年 Noam Shazeer 从 Character.AI 回归 Google DeepMind,就说明谷歌依然有吸引顶尖人才的资源:算力、品牌、研究环境、以及足以让明星研究员感受到“回主场”的平台。但值得注意的是,在同一时期,Ashish Vaswani 和 Niki Parmar 选择了继续创业。这说明谷歌能为一部分人提供回归的理由,却无法覆盖所有人的诉求。
这件事给技术团队最大的教训是:如果不给顶尖人才足够的内部创业空间,他们就会自己去创造一个。很多公司容易把人才管理理解为“提高薪酬、防止跳槽”,但对真正有能力改变行业的人来说,薪酬只是准入线,影响力和自由度才是决定性变量。大公司如果只会用流程、汇报线和晋升周期来管理研究者,就会陷入“培训行业、输送人才”的尴尬局面。
当然,也不能把人才流失完全解读为谷歌的失败。人才流动本身就推动了 AI 生态的扩散。Cohere 让企业级大模型多了一个选择,Sakana AI 在做非常有特色的演化式模型,Essential AI 在探索企业级 AI 应用。这些团队加上 OpenAI、Anthropic 等公司,共同组成了今天多元化的 AI 竞争格局。如果所有人才都集中在谷歌,反而可能让整个行业的创新速度变慢。
5. 开发者视角:Transformer 模型的选择、训练与部署
对大多数开发者来说,与其反复争论巨头之间的输赢,不如先把 Transformer 真正用起来。当前 AI 工程实践中,Transformer 已经成为一个基础组件,无论在文本、图像还是多模态任务里,它都是优先考虑的基线模型。
现在的上手路径比 2017 年容易得多。你不需要从零手写完整模型,Hugging Face 已经封装了大多数主流架构。下面是一个非常典型的文本分类示例,可以直接在本地或服务器上运行。
from transformers import AutoTokenizer, AutoModelForSequenceClassification model_name = "bert-base-uncased" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=2) texts = [ "Transformer changed AI research.", "But research leadership does not guarantee product leadership." ] inputs = tokenizer(texts, return_tensors="pt", truncation=True, padding=True, max_length=128) outputs = model(**inputs) print(outputs.logits.shape)# 如果没有下载模型,可以先设置国内可用的镜像源 export HF_ENDPOINT=https://hf-mirror.com # 使用 vLLM 启动本地推理服务 vllm serve Qwen/Qwen2.5-7B-Instruct \ --tensor-parallel-size 1 \ --max-model-len 8192 \ --served-model-name qwen2.5-7b第二个代码块里的 vLLM 是目前常用的模型推理引擎。启动成功后,可以通过 OpenAI 兼容接口做验证:
curl http://localhost:8000/v1/completions \ -H "Content-Type: application/json" \ -d '{"model":"qwen2.5-7b","prompt":"Hello","max_tokens":32}'如果返回结果里有text字段且包含正常内容,说明服务已经工作。如果服务启动失败,第一步先看显存是否充足,第二步看日志里的模型加载路径是否错误。很多部署问题都是显存不足或模型路径不对导致。
这里要提醒一个重要误区:Transformer 不是万能的。它擅长的是大规模数据和复杂序列建模,但在中小规模结构化数据、简单时间序列预测、超高并发低延迟场景里,传统方法甚至更简单的模型可能表现更好。很多人看到股票预测论文用 Transformer,就以为它一定能提升预测准确率,实际上很多公开实验里,LSTM、TCN、XGBoost 在某些数据上并不比 Transformer 差,甚至更稳定。正确的做法是先建立简单基线,再根据业务指标决定要不要上 Transformer 级模型。
图像领域也是一样。ViT 和 Swin Transformer 在图像分类上取得过很好的效果,但它们对数据量和训练策略更敏感。小数据集上,CNN 仍然是更稳妥的选择。实际项目中,可以把 Transformer 看成“候选模型族”,而不是“默认最优解”。
在 AI 模型部署阶段,大多数团队真正要关心的是吞吐、延迟和成本。Transformer 的注意力复杂度随序列长度平方增长,所以超长文本场景要用 FlashAttention、减少最大长度、或者切块处理。部署时优先使用 vLLM、TensorRT-LLM 这类优化过的推理框架,比直接用 Hugging Face 原生generate接口快很多。量化、蒸馏、batch 推理也都是很常规的优化手段。
6. 从谷歌掉队到团队管理:三点可复用的经验
谷歌的经历表面上是一个大厂的人才故事,但对任何正在做 AI 的技术团队都有借鉴意义。
第一,研究领先不等于产品领先。拥有最好的技术原型,不完全等同于拥有最好的产品。产品还涉及用户需求、交互设计、工程稳定性、成本控制、渠道分发和商业模式。很多团队研发投入很强,但产品迭代却很慢,就是因为组织内部缺少“把研究变成产品”的桥梁。谷歌有 Transformer,却没有第一时间做出 ChatGPT 级别的产品,就是最典型的例子。对普通团队来说,既要鼓励前沿探索,也要设置明确的产品转化节点,否则研究和产品会越走越远。
第二,激励机制决定技术人才流向。最优秀的人往往不只追求稳定,他们更看重长期影响力和与贡献匹配的回报。公司想留住核心人才,不能只靠高薪,还要给他们足够的决策权、资源支持和甚至内部创业的机会。如果公司没有这样的空间,优秀的人就会离开。谷歌流失八位作者,本质上是因为创业生态提供了更诱人的回报结构。可以说,这已经不只是谷歌一家的问题,而是整个 AI 行业的人才再分配过程。
第三,开源和开发者生态是比单点技术更深的护城河。谷歌开源了 TensorFlow,但 PyTorch 通过更贴近研究者的使用体验获得了更大的社区支持。OpenAI 通过 Azure 和 API 渠道建立商业生态,Hugging Face 通过社区聚合了模型和数据集。技术公司如果只守着自研框架和内部工具,不参与生态建设,长期来看会被边缘化。对中小团队亦然,你使用的开源框架、发布的模型格式、选择的推理引擎,都会影响你未来接入生态的成本。
7. 常见问题与观点辨析
围绕 Transformer 和谷歌的讨论很多,这里整理几个最常被误解的问题。
| 问题 | 常见误判 | 更接近事实的解释 |
|---|---|---|
| ChatGPT 用的是 Transformer 吗 | 很多人以为是全新的模型架构 | ChatGPT 基于 GPT 系列模型,GPT 是 Transformer 的解码器架构 |
| BERT 也是 Transformer 吗 | 认为只有 GPT 才是 Transformer | BERT 使用 Transformer 编码器,GPT 使用解码器,训练目标和处理方式完全不同 |
| 八位作者都离开,谷歌是不是没人了 | 认为谷歌 AI 能力已经归零 | 谷歌仍有大量高端研究团队,且 Shazeer 已经回归,作者流失并不等于技术断层 |
| Transformer 会不会很快被取代 | 认为大模型已经过时 | Transformer 仍是当前绝大多数大模型的基础,线性注意力、SSM 等新架构还未形成压倒性优势,混合架构是趋势 |
| 小数据集也能直接用 Transformer 吗 | 认为只要上 Transformer 就有效 | 小数据集上 CNN、简单逻辑模型更稳定,Transformer 对数据量和训练策略更敏感 |
上面这张表更偏向行业认知辨析。如果聚焦到开发实际,下面这个排查表更实用。
| 问题现象 | 可能原因 | 排查方式 | 解决方案 |
|---|---|---|---|
| Transformer 训练 loss 不下降 | 学习率过大或过小 | 打印训练日志,观察 loss 曲线是否震荡或停滞 | 加入 warmup,调整学习率,检查数据预处理 |
| 长文本效果差 | 输入被截断,或者注意力无法覆盖长依赖 | 检查 tokenizer 的 max_length 设置,观察长样本的实际 token 长度 | 增大 max_length,使用长文本优化,如 FlashAttention |
| 线上推理延迟高 | 模型参数量过大,或没有使用高效推理引擎 | 查看 GPU 使用率和首 token 延迟 | 使用 vLLM、TensorRT-LLM,开启量化或蒸馏 |
| 小样本过拟合严重 | 模型表达能力过强,数据量不足 | 对比训练集与验证集指标差距 | 使用预训练模型做微调,增加数据增强或正则化 |
这些问题的共同点是:不要只看模型结构,要把数据、训练目标、硬件和推理约束放在一起考虑。
再回到一个更宏观的问题:谷歌从 AI 领导者沦为追赶者,这个描述是否公平?从研究者人才密度和论文贡献看,并不公平;从 AI 产品的引爆时间和用户认知看,有相当道理。聊天机器人这个赛道里,谷歌从发明者变成了追赶者。但这不意味着谷歌会一直处于劣势,它在搜索、云、移动端和硬件上仍然有不可忽视的分发能力。真正的变量是,它能否在未来两三年内把 Gemini 等产品真正做成开发者愿意主动接入的平台。
8. 技术、产品与生态的三层竞争
Transformer 的故事还在继续。谷歌写下了深度学习时代最重要的半部开篇,但并没有完成从论文到产品的全局胜利。这件事给所有关注 AI 的人留下的启示是:一项改变行业的技术只是第一层竞争,把技术变成标准、产品、生态和长期用户体验,是更艰难的第二层竞争。
对普通开发者来说,与其纠结哪家巨头赢了,不如先把 Transformer 跑通、部署好,再用自己的业务数据做验证。技术会不断迭代,但工程方法永远是通用的:理解原理、跑通最小示例、建立基线、关注瓶颈、优化部署。真正的生产力,始终在亲手用起来的那一步。