企业官网建设流程全解析

👨‍⚕️主页： gis分享者
👨‍⚕️感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅!
👨‍⚕️收录于专栏：AI大模型原理和应用面试题

一、🍀回答重点

训练是"教模型学知识"的过程，推理是"让模型干活"的过程。

训练阶段，把海量文本数据喂给模型，模型读完一段文字后尝试预测下一个词，预测错了就调整内部参数，反复迭代直到参数收敛。GPT-4 这种级别的模型，预训练要用上万张 H100 跑好几个月，花费上亿美元，属于高投入的一次性工作。

推理阶段，训练完成后用户提一个问题，模型根据学到的参数一个 Token 一个 Token 地生成回答。你每次跟 ChatGPT 聊天，背后跑的都是推理。

两者在计算资源上差别巨大：

1）训练既要做前向传播算 loss，又要做反向传播更新梯度，还得用大量显存存梯度和优化器状态。一个 7B 模型全参训练，显存消耗大概是模型权重本身的 4～6 倍 2）推理只跑前向传播，不算梯度，显存占用就是模型权重加 KV Cache，比训练小一个数量级

一句话概括：训练是"一次性的重投入"，推理是"持续性的轻消耗"

二、🍀扩展知识