企业官网建设流程全解析

day: 25
date: 2026-09-01
keyword_en: Transformer
keyword_zh: 变换器架构
category: 模型架构与训练
reading_time: 8

一句话说清：一种让一句话里的每个字都能同时参照其他所有字来读懂整句话的方法。

1. 它到底在说什么

Transformer（变换器架构）是今天几乎所有大语言模型的底层结构。它读一句话的方式，不是像人读书那样从左到右逐字推进，而是让这句话里的每个字在同一时刻“看向”其他所有字，按相关程度决定各看多少。

打个比方：传统模型像一个接一个传话的人（循环网络），传到队尾时开头讲了什么早忘了；Transformer 像所有人围着圆桌同时面对面交流，谁需要谁的信息当场就能拿到。差别就在“忘性”二字。

2. 为什么现在这个词很热

它走红靠一篇论文，也靠后来者把它用到了各个领域：

• 2017 年 6 月，谷歌（Google）团队在 arXiv 提交《Attention Is All You Need》（arXiv:1706.03762），同年发表于 NeurIPS 2017；八位作者提出完全用“注意力”取代循环与卷积的新结构，在 WM