☰
Transformer作者集体出走谷歌:技术领先为何输给产品落后
2026/10/24 21:44:39 网站建设 项目流程

如果只看 2017 年那篇论文,很难想象它会在几年后成为整个 AI 行业最敏感的时间线。《Attention Is All You Need》提出的 Transformer 架构,把注意力机制变成深度学习的基石,也在事实上改写了自然语言处理、计算机视觉和多模态 AI 的演进路线。但更让人唏嘘的是另一条事实:论文的八位作者,都曾因为各种原因离开过谷歌,其中有人创办了估值惊人的 AI 独角兽,有人在东京建立实验室,有人转向生物技术,有人加入 OpenAI,也有人在 2024 年选择回归 Google DeepMind。

这件事并不是明星员工离职的八卦那么简单。它至少指向三个值得深入讨论的问题:为什么发明了 Transformer 的谷歌,没有第一个做出引爆 AI 浪潮的对话产品?谷歌从 AI 领导者沦为追赶者的说法,是否公允?对于普通开发者和技术团队,这件事又能沉淀出什么可复用的经验?

这篇文章不打算只复述新闻。我会把 Transformer 的技术原理、谷歌多年的 AI 技术积累、人才流失背后的组织与激励逻辑,以及今天开发者真正应该掌握的模型选择与部署方式放在一起讨论。读完你会意识到一个更关键的问题:在 AI 竞争里,技术领先、产品领先和生态领先,到底哪一个才是真正的护城河。

1. 为什么说这是一次标志性的人才流失

先把事实摆清楚。《Attention Is All You Need》的八位作者,如今都已经不在曾经的位置上。下表来自公开信息,可以看到这些作者的去向高度分散,几乎覆盖了 AI 行业所有最重要的方向。

作者公开信息中的去向
Ashish Vaswani离开谷歌后参与创办 Adept AI,后与 Niki Parmar 共同创办 Essential AI
Noam Shazeer创办 Character.AI,后于 2024 年回归 Google DeepMind
Niki Parmar与 Vaswani 共同参与创办 Adept AI 与 Essential AI
Jakob Uszkoreit创办 Inceptive,将 AI 方法用于 RNA 与生物技术
Llion Jones在日本东京创办 Sakana AI
Aidan N. Gomez创办 Cohere,专注企业级大模型 API
Lukasz Kaiser离开谷歌后加入 OpenAI
Illia Polosukhin离开谷歌后联合创办 NEAR Protocol,转向去中心化技术

这里需要特别补充一个细节:Noam Shazeer 在 2024 年回到 Google DeepMind,所以“全部离开”的更准确说法是“所有人都离开过谷歌”。但这不改变一个基本判断:一个做出了当代 AI 基座技术的团队,没有在同一家组织内完成技术到产品的代际跨越。

为什么这是一次标志性事件?因为 Transformer 不是一个普通的技术组件。它是 GPT、BERT、T5、PaLM、Gemini 等大模型的共同底座,是当前 AI 领域引用率最高、影响面最广的论文之一。按照常理,拥有这项技术原型的公司应该最有机会做出下一代 AI 产品。但现实是,最早把 Transformer 变成全球性产品的是 OpenAI 与微软的组合,而不是谷歌。

这背后不是某一个人的选择,而是一整套组织机制的问题。顶尖研究者为什么宁可放弃大厂的高薪与稳定,也要出来创业?一家公司到底做对了什么,又做错了什么,才会出现一次性流失整个论文作者团队的局面?回答这些问题,比单纯感叹“谷歌可惜”更有价值。

2. Transformer 的核心原理:为什么最后是 Transformer

要理解谷歌当年的起点有多高,必须先理解 Transformer 到底解决了什么。

在 Transformer 出现之前,序列建模的主流是 RNN 和 LSTM。它们的核心问题在于:信息必须按时间步顺序传递。比如处理一个 100 个词的句子,模型需要从第一个词循环到最后一个词,这个过程天然是串行的,训练效率很低。更麻烦的是,当序列过长时,早期信息在传播过程中会被稀释,这就是长期依赖问题。注意力机制的早期版本(比如 Bahdanau Attention)就是为了缓解这个问题,但仍然是作为 RNN 的辅助部件存在。

Transformer 的想法非常激进:既然注意力机制本身就能决定“当前位置应该关注序列中的哪些其他位置”,为什么还需要 RNN 作为主干?直接把整段序列放进来,让每一个 token 都通过注意力机制去观察其他 token,不就可以了吗?

这就是 Attention Is All You Need 的核心贡献:完全去掉了循环,只保留注意力机制。整个架构可以拆成几个标准零件:输入嵌入、位置编码、多头注意力、前馈网络、残差连接和层归一化。多头注意力让人惊讶的地方在于,它允许模型在不同的子空间里同时学习不同关系:有的注意力头关注句法结构,有的头关注指代关系,有的头关注相邻词之间的局部依赖。这种“并行 + 全局建模”的能力,让 Transformer 在训练效率上远超 RNN。

下面是一个最简化的自注意力计算过程,方便理解核心公式。实际框架中会有更多工程细节,但原理是一致的。

import torch import torch.nn.functional as F def scaled_dot_product_attention(query, key, value): d_k = query.size(-1) scores = torch.matmul(query, key.transpose(-2, -1)) scores = scores / torch.sqrt(torch.tensor(d_k, dtype=torch.float32)) weights = F.softmax(scores, dim=-1) return torch.matmul(weights, value) # 模拟一个 batch,一个注意力头的情况 q = torch.randn(2, 8, 64) # (batch, seq_len, d_k) k = torch.randn(2, 8, 64) v = torch.randn(2, 8, 64) out = scaled_dot_product_attention(q, k, v) print(out.shape)

这段代码的预期输出是torch.Size([2, 8, 64]),表示输入序列长度为 8 的每个 token,都拿到了一个融合了全局信息的 64 维表示。看起来很简单,但正是这个简单的矩阵运算,让模型可以在 GPU 上高度并行训练,也让后续扩大模型参数量、扩大训练数据量的“缩放法则”成为可能。

这也是“为什么最后是 Transformer”的技术答案:它不是用更复杂的结构取胜,而是用“简单、并行、可缩放”三个特性踩中了深度学习时代最大的红利。当算力以指数级增长时,一个能充分利用算力的架构,会比其他架构获得更大的性能提升。后来视觉领域的 ViT、Swin Transformer,多模态领域的 CLIP、Flamingo,乃至时间序列预测中的很多模型,也都在沿袭同样的思路。

3. 谷歌的 AI 技术账与产品账

谷歌在 AI 研究上的积累,是业内公认的厚实。从 2011 年的 Google Brain 项目,到 2014 年收购 DeepMind,再到 2017 年提出 Transformer,2018 年开源 BERT,2019 年提出 T5,后来又有 PaLM、Gemini 和 AlphaFold 系列。谷歌在深度学习的每个关键节点几乎都有名字。

但技术账和产品账是两套逻辑。放在一起对比,会发现谷歌的节奏很有意思。

OpenAI 在 2020 年发布 GPT-3,2022 年 11 月发布 ChatGPT,直接点燃了大众对大模型的认知。谷歌直到 2023 年 2 月才发布 Bard,随后在 2023 年 12 月发布 Gemini,整体比 GPT-4 晚了一个身位。更关键的是,谷歌在对话式 AI 上并不是没有储备。它的 LaMDA 在 2021 年就已经展示过相当强的对话能力,但谷歌没有把它包装成面向公众的 AI 产品,而是选择留在内部。

为什么会这样?有几种常见的解释。第一种是路径依赖,谷歌的核心商业模式是搜索广告。一个可以在聊天框里直接回答问题的 AI 助手,理论上会分流传统搜索结果页的点击和广告收入,这让内部对发布对话产品有天然的犹豫。第二种是研究文化与产品文化的割裂,Google Brain 和 DeepMind 长期以发论文和突破研究边界为主要目标,产品化、可用性、用户反馈这些工程指标在组织内的话语权相对弱。第三种是组织整合滞后,Google Brain 和 DeepMind 两大团队直到 2023 年 4 月才正式合并为 Google DeepMind,在这之前,算力、人才和研究方向都存在一定程度的分散。

所以,谷歌从 AI 领导者沦为追赶者的说法,不能一刀切。更准确的判断是:谷歌在基础研究和技术储备上并没有掉队,但在 AI 产品形态、用户心智和开发者生态的话语权上,确实失去了先发者的位置。技术领先变成产品领先,中间隔着组织协同、风险决策和工程执行力。谷歌在这条转化链路上,明显不如 OpenAI 和微软那样果断。

另外还有一个容易被忽视的维度:开发者生态。谷歌早年推出 TensorFlow,确实领跑过深度学习框架市场。但 PyTorch 凭借更友好的动态图和更自然的 Python 体验,逐渐取代 TensorFlow,成为学术界和工业界的主流。模型落地生态也一样,Hugging Face、vLLM、TensorRT-LLM 这些关键工具,并不由谷歌主导。这意味着即使谷歌持续发布强大的模型,它已经越来越难以复制当年“框架 + 开发者社区”的双重垄断优势。

4. 组织与激励:为什么留不住顶尖研究者

人才流失是所有大公司都会遇到的问题,但谷歌这次的情况比较典型。Transformer 八位作者几乎全部离开,说明问题不是个别人的职业选择,而是系统性的组织与激励机制问题。

顶尖 AI 研究者在意的东西,往往不只是薪酬。他们更在意三样东西:自由度、影响力和回报兑现速度。自由度指的是能不能选择自己认为重要的研究方向,而不是被产品路线牵着走。影响力指的是研究成果能不能快速应用到真实世界,能不能改变行业。回报兑现速度则关乎创业的红利,大厂的高薪和股票可以保证生活,但很难让一个 30 多岁的天才研究员在短时间内获得与贡献等量的资本回报。

从这些维度看,创业公司的吸引力就很明显了。OpenAI 早期用非营利的叙事吸引了大量理想主义的研究者,后来转入商业化后又用股权和算力资源留住了人才。Character.AI、Cohere、Sakana AI 这些公司,本质上就是研究者用创业来兑现技术影响力的产物。对研究者来说,既然大厂无法提供足够的自由度和回报弹性,那就自己搭台子。

谷歌并非没有反击。2024 年 Noam Shazeer 从 Character.AI 回归 Google DeepMind,就说明谷歌依然有吸引顶尖人才的资源:算力、品牌、研究环境、以及足以让明星研究员感受到“回主场”的平台。但值得注意的是,在同一时期,Ashish Vaswani 和 Niki Parmar 选择了继续创业。这说明谷歌能为一部分人提供回归的理由,却无法覆盖所有人的诉求。

这件事给技术团队最大的教训是:如果不给顶尖人才足够的内部创业空间,他们就会自己去创造一个。很多公司容易把人才管理理解为“提高薪酬、防止跳槽”,但对真正有能力改变行业的人来说,薪酬只是准入线,影响力和自由度才是决定性变量。大公司如果只会用流程、汇报线和晋升周期来管理研究者,就会陷入“培训行业、输送人才”的尴尬局面。

当然,也不能把人才流失完全解读为谷歌的失败。人才流动本身就推动了 AI 生态的扩散。Cohere 让企业级大模型多了一个选择,Sakana AI 在做非常有特色的演化式模型,Essential AI 在探索企业级 AI 应用。这些团队加上 OpenAI、Anthropic 等公司,共同组成了今天多元化的 AI 竞争格局。如果所有人才都集中在谷歌,反而可能让整个行业的创新速度变慢。

5. 开发者视角:Transformer 模型的选择、训练与部署

对大多数开发者来说,与其反复争论巨头之间的输赢,不如先把 Transformer 真正用起来。当前 AI 工程实践中,Transformer 已经成为一个基础组件,无论在文本、图像还是多模态任务里,它都是优先考虑的基线模型。

现在的上手路径比 2017 年容易得多。你不需要从零手写完整模型,Hugging Face 已经封装了大多数主流架构。下面是一个非常典型的文本分类示例,可以直接在本地或服务器上运行。

from transformers import AutoTokenizer, AutoModelForSequenceClassification model_name = "bert-base-uncased" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=2) texts = [ "Transformer changed AI research.", "But research leadership does not guarantee product leadership." ] inputs = tokenizer(texts, return_tensors="pt", truncation=True, padding=True, max_length=128) outputs = model(**inputs) print(outputs.logits.shape)
# 如果没有下载模型,可以先设置国内可用的镜像源 export HF_ENDPOINT=https://hf-mirror.com # 使用 vLLM 启动本地推理服务 vllm serve Qwen/Qwen2.5-7B-Instruct \ --tensor-parallel-size 1 \ --max-model-len 8192 \ --served-model-name qwen2.5-7b

第二个代码块里的 vLLM 是目前常用的模型推理引擎。启动成功后,可以通过 OpenAI 兼容接口做验证:

curl http://localhost:8000/v1/completions \ -H "Content-Type: application/json" \ -d '{"model":"qwen2.5-7b","prompt":"Hello","max_tokens":32}'

如果返回结果里有text字段且包含正常内容,说明服务已经工作。如果服务启动失败,第一步先看显存是否充足,第二步看日志里的模型加载路径是否错误。很多部署问题都是显存不足或模型路径不对导致。

这里要提醒一个重要误区:Transformer 不是万能的。它擅长的是大规模数据和复杂序列建模,但在中小规模结构化数据、简单时间序列预测、超高并发低延迟场景里,传统方法甚至更简单的模型可能表现更好。很多人看到股票预测论文用 Transformer,就以为它一定能提升预测准确率,实际上很多公开实验里,LSTM、TCN、XGBoost 在某些数据上并不比 Transformer 差,甚至更稳定。正确的做法是先建立简单基线,再根据业务指标决定要不要上 Transformer 级模型。

图像领域也是一样。ViT 和 Swin Transformer 在图像分类上取得过很好的效果,但它们对数据量和训练策略更敏感。小数据集上,CNN 仍然是更稳妥的选择。实际项目中,可以把 Transformer 看成“候选模型族”,而不是“默认最优解”。

在 AI 模型部署阶段,大多数团队真正要关心的是吞吐、延迟和成本。Transformer 的注意力复杂度随序列长度平方增长,所以超长文本场景要用 FlashAttention、减少最大长度、或者切块处理。部署时优先使用 vLLM、TensorRT-LLM 这类优化过的推理框架,比直接用 Hugging Face 原生generate接口快很多。量化、蒸馏、batch 推理也都是很常规的优化手段。

6. 从谷歌掉队到团队管理:三点可复用的经验

谷歌的经历表面上是一个大厂的人才故事,但对任何正在做 AI 的技术团队都有借鉴意义。

第一,研究领先不等于产品领先。拥有最好的技术原型,不完全等同于拥有最好的产品。产品还涉及用户需求、交互设计、工程稳定性、成本控制、渠道分发和商业模式。很多团队研发投入很强,但产品迭代却很慢,就是因为组织内部缺少“把研究变成产品”的桥梁。谷歌有 Transformer,却没有第一时间做出 ChatGPT 级别的产品,就是最典型的例子。对普通团队来说,既要鼓励前沿探索,也要设置明确的产品转化节点,否则研究和产品会越走越远。

第二,激励机制决定技术人才流向。最优秀的人往往不只追求稳定,他们更看重长期影响力和与贡献匹配的回报。公司想留住核心人才,不能只靠高薪,还要给他们足够的决策权、资源支持和甚至内部创业的机会。如果公司没有这样的空间,优秀的人就会离开。谷歌流失八位作者,本质上是因为创业生态提供了更诱人的回报结构。可以说,这已经不只是谷歌一家的问题,而是整个 AI 行业的人才再分配过程。

第三,开源和开发者生态是比单点技术更深的护城河。谷歌开源了 TensorFlow,但 PyTorch 通过更贴近研究者的使用体验获得了更大的社区支持。OpenAI 通过 Azure 和 API 渠道建立商业生态,Hugging Face 通过社区聚合了模型和数据集。技术公司如果只守着自研框架和内部工具,不参与生态建设,长期来看会被边缘化。对中小团队亦然,你使用的开源框架、发布的模型格式、选择的推理引擎,都会影响你未来接入生态的成本。

7. 常见问题与观点辨析

围绕 Transformer 和谷歌的讨论很多,这里整理几个最常被误解的问题。

问题常见误判更接近事实的解释
ChatGPT 用的是 Transformer 吗很多人以为是全新的模型架构ChatGPT 基于 GPT 系列模型,GPT 是 Transformer 的解码器架构
BERT 也是 Transformer 吗认为只有 GPT 才是 TransformerBERT 使用 Transformer 编码器,GPT 使用解码器,训练目标和处理方式完全不同
八位作者都离开,谷歌是不是没人了认为谷歌 AI 能力已经归零谷歌仍有大量高端研究团队,且 Shazeer 已经回归,作者流失并不等于技术断层
Transformer 会不会很快被取代认为大模型已经过时Transformer 仍是当前绝大多数大模型的基础,线性注意力、SSM 等新架构还未形成压倒性优势,混合架构是趋势
小数据集也能直接用 Transformer 吗认为只要上 Transformer 就有效小数据集上 CNN、简单逻辑模型更稳定,Transformer 对数据量和训练策略更敏感

上面这张表更偏向行业认知辨析。如果聚焦到开发实际,下面这个排查表更实用。

问题现象可能原因排查方式解决方案
Transformer 训练 loss 不下降学习率过大或过小打印训练日志,观察 loss 曲线是否震荡或停滞加入 warmup,调整学习率,检查数据预处理
长文本效果差输入被截断,或者注意力无法覆盖长依赖检查 tokenizer 的 max_length 设置,观察长样本的实际 token 长度增大 max_length,使用长文本优化,如 FlashAttention
线上推理延迟高模型参数量过大,或没有使用高效推理引擎查看 GPU 使用率和首 token 延迟使用 vLLM、TensorRT-LLM,开启量化或蒸馏
小样本过拟合严重模型表达能力过强,数据量不足对比训练集与验证集指标差距使用预训练模型做微调,增加数据增强或正则化

这些问题的共同点是:不要只看模型结构,要把数据、训练目标、硬件和推理约束放在一起考虑。

再回到一个更宏观的问题:谷歌从 AI 领导者沦为追赶者,这个描述是否公平?从研究者人才密度和论文贡献看,并不公平;从 AI 产品的引爆时间和用户认知看,有相当道理。聊天机器人这个赛道里,谷歌从发明者变成了追赶者。但这不意味着谷歌会一直处于劣势,它在搜索、云、移动端和硬件上仍然有不可忽视的分发能力。真正的变量是,它能否在未来两三年内把 Gemini 等产品真正做成开发者愿意主动接入的平台。

8. 技术、产品与生态的三层竞争

Transformer 的故事还在继续。谷歌写下了深度学习时代最重要的半部开篇,但并没有完成从论文到产品的全局胜利。这件事给所有关注 AI 的人留下的启示是:一项改变行业的技术只是第一层竞争,把技术变成标准、产品、生态和长期用户体验,是更艰难的第二层竞争。

对普通开发者来说,与其纠结哪家巨头赢了,不如先把 Transformer 跑通、部署好,再用自己的业务数据做验证。技术会不断迭代,但工程方法永远是通用的:理解原理、跑通最小示例、建立基线、关注瓶颈、优化部署。真正的生产力,始终在亲手用起来的那一步。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询