企业官网建设流程全解析

从2018年GPT-1带着1.1亿参数默默出现，到如今各家动辄千亿万亿级参数的多模态大模型满天飞，不过短短六七年。很多刚入坑大模型领域的读者，最容易犯的错就是只记模型名字和刷榜成绩，背了一堆GPT、BERT、T5这些“黑话”，却始终没搞懂它们之间到底是谁继承了谁、谁又否定了谁。这篇“大模型通关指南”第二篇，我用自己的学习脉络重新梳理了一遍这条大模型发展时间线，不堆年份，重点讲清楚“演进逻辑”——从GPT-1起步，为什么模型要越做越大，为什么2023年后开源和闭源走向了两条路，为什么现在的模型都在拼推理能力而不是拼参数量。看完这篇，你会脑内自动生成一张主线的技术地图，以后再看任何新发布模型，都能一眼知道它站在什么位置。

1. 为什么时间线要从“单词语义向量”讲起

1.1 Transformer之前的自然语言处理到底卡在哪儿

现在大家张口就是LLM、Token、注意力机制，但如果直接把2018年的GPT-1拉出来讲，很容易忽略一个关键背景：在它出现之前，自然语言处理完全不是今天这个样子。

老一代做NLP的程序员心里都有本难念的经。早期做情感分析、机器翻译，主流玩法是先把句子切词，然后把每个词装进一个高维向量里。词向量那一步用的是Word2Vec或GloVe，靠的是“看一个词周围经常出现哪些邻居词”来学语义。问题在于，词向量是静态的——一个词只有一个向量，“银行”到底是“银行柜台”还是“河边银行”，模型分不出来。随后的一段时间，大家转向了循环神经网络（RNN）和长短期记忆网络（LSTM）。RNN的思路是让网络按顺序一个字一个字地读，把前文信息一点一点往后传，靠隐藏状态记住“已经读过什么”。这个机制本身没毛病，但实际跑起来非常痛苦：句子一长，信息传到后半段早就衰减完了，梯度也容易爆炸或消失。

然后是Attention（注意力机制）登场。注意力机制的大致意思是不要死板地按顺序读，而是每读一个词，都去扫描一遍全部输入，挑出最相关的几个位置重点“关注”。这个概念很直观，就像你读一篇文章时会自动跳过废话、盯住关键句。2017年，Transformer架构被正式提出，整个NLP领域从此换了一个地基。

Transformer做了两件革命性的事：第一，抛弃了循环结构，句子里的所有词一次性并行输入，训练速度直接上了一个大台阶，让同时喂给模型海量文本成为可能；第二，靠自注意力机制，让任意两个位置之间都能直接建立关联，距离一万个词也能隔着“直通车道”互相联系。RNN时代“长距离依赖”的问题，在架构上被消解了。

1.2 编码器还是解码器：GPT-1和BERT的分岔路口

Transformer原始论文给出了两个模块：编码器（Encoder）负责把整段文本“读完、理解透”，适合做分类这种需要全局理解的活；解码器（Decoder）负责一个词一个词地往后“生成”，适合做翻译输出这类任务。

2018年是关键分岔年。某AI研究机构做了GPT-1——只保留Transformer的解码器部分，训练任务是特别简单的“猜下一个词”。给你一句话的前半段，让模型预测下一个词是什么。单看任务形式，你可能会觉得这也太基础了，但回头看，GPT-1最大的贡献是验证了一套全新的学习范式：先用海量无标注文本做“预训练”，让模型凭纯预测任务吸收大量语言知识，然后针对具体任务做“微调”适配。也就是说，模型学到的不是“怎么做情感分析”，而是“人类语言在很多语境下到底长什么样”。

几乎同一时期，另一家机构推出了BERT。BERT保留的是编码器部分，训练任务更精巧——随机盖住句子里的某些词，让模型根据上下文把盖住的词猜出来。这个任务让BERT天然更适合做“阅读理解、文本分类、实体识别”这类判断型任务。一时间，很多评测榜单上BERT横扫全场，GPT-1当时风头明显不如它。

然而，历史在这里埋了一条暗线：BERT把注意力放在“理解”，GPT把注意力放在“生成”。当时“生成方向”被低估，后来落地产品几乎都靠生成（写代码、写摘要、对话、智能体），这条路才越走越宽。真正干活的时候，“一个模型啥都能干”远比“一个模型在某个榜单上高零点几个点”重要。

2. 从GPT-2到GPT-3：规模滚雪球的逻辑

2.1 GPT-2的“零样本”与“越大越强”的苗头

GPT-1当年参数是1.1亿，放到今天连小模型都算不上。但2019年GPT-2出来后，参数直接涨到15亿，相当于一次量变，更关键的是它还做了一次“少即是多”的示范：不再针对每个任务微调，模型只做预训练，然后在零样本条件下直接回答任务要求。翻译、问答、摘要，都能靠“提示”引导出来。

从那时起，GPT系列开始展现一种独特的气质——同一套参数，不改动模型，只改输入的提示词，就能干不同的事。那会儿我给团队演示GPT-2时，很多人第一反应是“这不就是碰运气、背模板吗”，但只有把模型参数往上堆，这个路线才真正展现出恐怖之处。

GPT-2还开了另一个头：它放了模型的部分代码出来，但并没有完整开源。这种“论文写得很详细、模型却不给全”的节奏，从这时候就有了苗头。一直到后来开源与闭源彻底分家，这条历史线基本没断过。

2.2 GPT-3：1750亿参数，把“规模定律”推向台前

2020年是真正意义上的分水岭。GPT-3参数规模直接干到1750亿，是GPT-2的100多倍。之所以能堆到这个量级，Transformer架构的并行训练能力是关键——没有并行架构，拿再多显卡都很难把训练时间压到能接受的范围。

GPT-3带来两个真正重要的东西。第一个是“上下文学习（In-Context Learning）”：你不需要给模型梯度更新，只需要在提示里给它几个例子，它就能照着例子做新任务。这彻底改变了“用模型”的方式——从写训练代码变成写提示词，门槛断崖式下降。第二个是“涌现能力”开始被众人讨论：模型小的时候，任务表现几乎为零；参数规模跨越某个坎之后，任务能力突然腾空而起。这不像是量变，更像是“顿悟”。

当时业内有一个相当粗暴的经验：把模型参数做大、把训练语料做大、把训练计算量做大，三者同步往上推，模型能力基本呈规律性上升，这就是后来被总结的“规模定律”。我最初读那篇技术报告时，最震撼的不是数学曲线，而是那一页显示训练一次的成本——原来“大力”真的可以“出奇迹”。

但也要泼一盆冷水：GPT-3只会“续写”，并不是一个听话的助手。它可能写出逻辑不通的句子，可能被人用几句话诱导得原形毕露，也可能生成明显有害的内容。原因是它的训练目标只有“预测下一个词”，根本没人告诉它“什么该说、什么不该说、什么时候该停下来”。这个缺陷为下一阶段埋下伏笔。

2.3 为什么同期的T5“统一”路线没有最终称霸

在GPT-2到GPT-3之间，还有一个经常出现在论文引用里的模型——T5。它做了一个非常漂亮的理论动作：把所有NLP任务，不管分类、翻译还是问答，统一写成“文本进、文本出”的格式。你给它一段话，让它输出“这是正面/负面”“这段英文翻译成中文为...”，模型就把所有任务当成一个“文本生成任务”去解决。

从工程角度来看，T5更优雅，学界口碑也很好。但后来主流生态还是走向了GPT路线，我个人理解原因主要有三点。第一，GPT系和解码器架构在“生成长文本”这件事上的潜力更大；日常使用的大模型产品，几乎都是生成文本，理解型任务早就被生成式框架“顺手吸收”了。第二，纯解码器架构更简单，做并行训练少一道编码器解码器之间的交互，规模化工程性价比更高。第三，生态和势头一旦起来，后面人才、代码、公开数据都往一条路上涌，技术路线本身也会产生马太效应。所以技术选型从来不只是看谁的论文漂亮，还要看谁的能量最先滚到足够大。

3. 从“预测词”到“听人话”：对齐技术的关键转折

3.1 RLHF为什么成了大模型的拐点

如果只看参数规模和预训练任务，GPT-3已经足够惊艳，但离“能用”还差一步。我记忆特别深的是ChatGPT正式面世之前的那个阶段——不少团队已经用GPT-3做了各色Demo，大家普遍反馈：它经常“胡说八道”，而且不按人类偏好办事。原因在前面说过：预训练目标是“预测下一个词”，模型学到的是“世界语料中最可能的下一词”，而不是“对用户最有用的回答”。

转折点在2022年。核心技术上，模型开始广泛使用强化学习来对齐人类偏好——大白话解释：先让模型基于人类偏好数据做监督微调，再训练一个“奖励模型”（给回答的质量打分），最后用这个打分结果去对目标模型做强化学习，让模型逐步学会“怎么说人类更满意”。整个流程被称为RLHF。

这一步相当于在模型的大脑里装了一套“价值观审查旋钮”。模型依然做着“预测下一个词”的事，但它的预测目标不再是“最可能的下一个词”，而是“人类最愿意接受的下一个词”。后来的各路产品普遍表明，经过对齐的模型哪怕知识量没有本质变化，对话体验、安全性、可用性都完全是另一个层级。

引入RLHF之后，大模型才真正从“语言学天才”变成“可用的助手”。GPT-3.5那一代模型虽然不是参数最大的，但它是第一个把“预训练+指令微调+人类偏好对齐”整套流程走通的标杆。很多从业者把“模型能力”和“对齐能力”合在一起叫作“产品级能力”，从这时开始成为共识。

3.2 ChatGPT的发布为什么让NLP一夜变天

2022年底，基于对话式优化的聊天产品正式发布。之所以产生如此巨大的社会影响，是因为它把使用大模型的门槛降到了“会打字就能用”的程度。过去想用GPT-3，你可能得写Python代码调API，或者至少学会构造提示词；而ChatGPT的交互形态是“聊天”，所有人天生就会。

作为从业者，我特别想强调的是这次发布在技术之外的蝴蝶效应。它让大量非技术用户开始给模型投喂各类问题，积累下海量真实、多样的人机对话语料。这些数据反过来又成为下一轮对齐训练和产品优化的燃料。数据、产品、模型之间于是形成了正循环。回头看，“聊天”不只是产品形态的胜利，更是数据飞轮的胜利。

同时，ChatGPT也把“上下文学习”落实到了普通人的认知里：一个模型不需要为每个场景单独训练，你用自然语言把需求说清楚，它就能直接工作。这种“自然语言即编程接口”的体验，对后来Agent（智能体）热潮的出现，实际上做了最重要的群众普及。

3.3 GPT-4与多模态：单一语言模型走向视觉与音频

GPT-4发布时，大家关注点已经从“模型能答对几个问题”，转向“它能不能看图理解图表、能不能识别手写内容、能不能把视觉信息转化成代码”。GPT-4的应用横跨了图像输入理解、HSK级汉语测试、SAT数学题等大量非传统NLP场景，视觉理解能力第一次被放进主流产品级大模型里。

多模态是必然趋势，因为人类信息60%以上来自视觉。过去语言模型只能“读文字”，意味着它天然对图表、流程图、界面截图这些“现实世界的直觉”无从下手。一旦模型能同时理解图像和文本，它的应用半径瞬间从“聊天窗口”延伸到“看图写代码”“从设计图生成页面”“辅助医学影像描述”等领域。

不过要澄清一个误区：当时的GPT-4并不是从零学会了“看”，它的视觉理解更多是把图像切成小块后转成序列标记，再和文本标记一起丢进同一个序列做自回归预测。它既没有真正把图像和语言统一成一套底层表示，也没有实现后来那种真正的原生多模态。但工程师们用这个工程技巧，已经足够让用户体验往前跨了一大步。

4. 当前主流模型的格局：开源与闭源的殊途

4.1 闭源模型的优势与隐忧

当前闭源阵营的代表性模型包括GPT-4系列、Claude系列、Gemini系列等，它们在产品能力上往往跑得最快。闭源路线最直接的好处是：团队可以对预训练、对齐、安全全部环节做集中控制，既能快速迭代，又能有效防止恶意滥用。同时，闭源模型可以通过API持续收费，形成商业正循环，再支撑下一轮更大规模的训练和研发。

但闭源也有隐忧。对企业和个人开发者来说，把核心业务押在一个不开放权重、动不动调整价格或政策、代码也不能自审的第三方模型上，默认就是把自己的技术栈“租”给了别人。一旦涉及敏感业务、私有化部署、数据合规，闭源API经常成为绕不过去的坎。这也是为什么很多公司即使知道开源模型效果略逊，也仍然坚持本地部署的主要动因。

4.2 开源模型的逆袭之路

开源阵营的转折点是某开源大模型的发布——参数规模覆盖从几十亿到几百亿不等，同时发布配套的微调版本，开发者可以免费下载权重、本地部署、自行商用。它的意义类似于当年安卓对手机行业的冲击：一夜之间，全球开发者都能基于一个相当能打的底座去做二次开发，微调、蒸馏、领域适配大量涌现。

随后出现的Qwen（通义千问系）、DeepSeek、Llama等开源模型继续卷参数效率、卷上下文窗口、卷推理效果。尤其2024年前后，有开源模型多次在评测榜上逼近甚至局部超过闭源旗舰，直接动摇了“大模型必须靠巨额闭源投入”的认知。具体到实践，很多中小团队已经用开源模型做私有化客服、企业内部知识库问答、代码审查工具，成本比调用闭源API低一个数量级。

开源与闭源并不是简单的对立关系。闭源负责把体验天花板抬得更高，开源负责把可用门槛拉得更低；闭源给行业示范“前方还有路”，开源给生态贡献“大家都能上路”。极大概率在未来很长一段时间，两套模式会持续共存，互相促进而不是互相替代。

4.3 架构与效率的冷热战：MoE、长上下文与端侧推理

2023年之后，大模型竞争焦点不再纯粹是“谁参数量大”。因为原样堆参数学费太贵，用不起的模型没有实际意义。业界开始寻找更聪明的方式。

MoE（混合专家，Mixture of Experts）架构就是典型代表。它的思路是：把一个大模型拆成很多“专家子网络”，每处理一个Token只激活其中一小部分“专家”。这样总参数量看着很大，实际每次推理时的计算量却小得多，质量还能接近稠密大模型。类似“公司有一万个员工的通讯录，真开某个会只叫相关方向的四五十个人到位”。主流旗舰模型普遍引入MoE或类似稀疏激活机制，就是为了在效果与成本中间取最优解。

长上下文也是近年的兵家必争之地。从早期的2048到128K、200K，再到百万Token级别，产品们不断拉长一次性输入能力。这不只是“能读一本小说”那么简单，更关系到代码仓库分析、整本财报理解、超级Agent长期记忆等真实业务场景。每一项长上下文提升，背后几乎都是注意力计算优化的血泪史。

端侧小型化则是另一条大众化路径：通过量化（把高精度浮点压成低字节）、剪枝、蒸馏，把几百亿的大模型压成十几亿甚至几亿的“小钢炮”，部署在手机和嵌入式设备上。隐私好、延迟低、离线可用是它的最强卖点。模型能力不可能和云端巨型模型抗衡，但足够承担摘要、分类、口语化问答等轻量任务。

4.4 新主线：慢思考、推理模型与Agent

2025年前后，明显的技术主线已经出现范式转向：训练阶段继续扩大预训练规模收益有限，主流大厂和不设边界的研究机构都开始把精力转向“推理时计算”——让模型在回答问题前“多想几步”，并且把思考过程外显成一段链条。

推理模型的特点就是会在给出最终答案之前，先生成一段自我反思、自问自答的“思维链”。应对数学证明、逻辑推理、代码疑难杂症这类复杂任务时，推理模型表现显著强于传统只“凭直觉作答”的模型。代价是响应时间更长、Token消耗更多。所以现在的产品普遍在普通对话模式和深度思考模式之间做切换，让用户自己权衡快与准。

Agent化则是把大模型从“问答工具”升级为“办事工具”。模型不再只是回答你“怎么做”，而是能调用搜索、打开网页、执行代码、操控软件，自动把任务办完。大模型提供了认知决策能力，外围工程则提供动手执行能力。未来两年的大模型竞争，大概率会集中在“谁家的模型在Agent场景下更靠谱、更少幻觉、更听从指挥”。

5. 给学习者的演进逻辑速查表与实操建议

5.1 用一条主线串起所有知名模型

经常有人问我：这么多模型，怎么记？我的建议永远是不记模型名，记逻辑链。下面这张表是我自己复习时用的，分享出来，参考时注意：演化顺序基本就是这张表的顺序，后面模型大多都在解决前面模型的痛点。

看懂这张表，你再看到一个新模型发布，只要问三句话就能定位：它主要解决什么问题？它站在哪条路线上？它的训练或推理策略是否依赖某种“巧劲”（如MoE、蒸馏、RLHF）？

5.2 自学时可以做的三件小事

第一件，亲手跑一次小型GPT训练。不需要几百亿参数，拿一个开源代码库，用一两层Transformer在自己的笔记本上训练一个只有几百万参数的迷你版模型，任务是预测下一个词。做完你就会彻底理解“预训练到底在做什么”，也更能体会GPT-1当年那1.1亿参数有多不容易。

第二件，找一个开源的几十亿级别模型，本地部署后分别用“直接提问”“给三个示例”“要求它先列思路再回答”三种提示方式做对比测试。这种体验比读一百篇论文更能帮你理解“提示工程”和“推理时计算”的分量差异。

第三件，把主流模型的技术报告各读一遍开头部分，不要细抠公式，只看“Motivation”和“Related Work”两个章节。一个模型为什么要做，解决了什么不足，几乎都写在这两节里。这是建立演进逻辑最快的方法。

5.3 个人学习路线的一点体会

从我自己的学习体验看，最容易走的弯路就是“贪新求全”。过了那阵子，我已经不再任何一个新模型发布就熬夜看完整篇论文。看懂演进逻辑之后，新模型发布只需要关注三个变量：规模变化、训练数据构成、对齐与推理策略的变化。这三个变量足够帮你判断它是不是“真创新”。

大模型领域更新速度极快，但如果把时间线拉长到六七年来看，会发现翻来覆去也就那几条主线：架构统一（Transformer赢）、规模制胜（数据/参数/算力协同）、对齐与可用性（RLHF）、效率与民主化（开源/量化/MoE）。每一条主线都踩着上一条的结论往前走，上一个阶段的产物变成下一个阶段的基础设施。想在这个行业里持续跟进，与其不断追逐“最新最强”，不如先把这条演进主线吃透，让新知识自动找到自己的锚点。