企业官网建设流程全解析

大语言模型的词语生成机制：Logits、Softmax 与Sampling详解

大型语言模型（LLM）即使面对相同的提示，也能产生多样、富有创意且有时令人惊讶的输出。这种随机性不是bug，而是模型从概率分布中采样下一个标记的核心特性。本文将解析关键采样策略，并展示温度、top-k和top-p等参数如何影响一致性与创造力之间的平衡。

在本教程中，我们将采用实践方式来理解：

• 对数如何变成概率
• 温度、top-k和top-p抽样的工作原理
• 不同采样策略如何影响模型的下一个token分布

到最后，你会理解LLM推理背后的机制，并能够调整输出的创造力或确定性。

我们开始吧。

概述

本文分为四个部分;它们是：

• Logits如何转换为概率
• Temperature温度
• Top-k抽样
• Top-p抽样

对数如何成为概率

当你向LLM提问时，它会输出一个logit向量。Logit是模型为词汇中每个可能的下一个词组分配的原始分数。

如果模型的词汇表为𝑉它会输出一个向量𝑉每个下一个词的位置。logit是一个真实的数字。它通过softmax函数转换为概率：

其中𝑥我是令牌的logit我以及𝑝我是对应的概率。Softmax将这些原始分数转换为概率分布。全部𝑝我为正数，且它们的和为1。

假设我们给模型这个提示：

今天的天气真___

模型将词汇中的每个词都视为可能的下一个词。为了简化，假设词汇中只有6个标记：

wonderful cloudy nice hot gloomy delicious

模型为每个令牌生成一个logit。以下是模型可能输出的对数示例集以及基于softmax函数的相应概率：

你可以用PyTorch的softmax函数来确认：

importtorchimporttorch.nn.functionalasF vocab=["wonderful","cloudy","nice","hot","gloomy","delicious"]logits=torch.tensor([1.2,2.0,3.5,3.0,1.8,1.0])probs=F.softmax(logits,dim=-1)print(probs)# Output:# tensor([0.0457, 0.1017, 0.4556, 0.2764, 0.0832, 0.0374])

基于此结果，概率最高的代币为“好”。大型语言模型并不总是选择概率最高的令牌;相反，它们从概率分布中抽样，每次都产生不同的输出。在这种情况下，看到“漂亮”的概率是46%。

如果你想让模型给出更有创意的答案，如何改变概率分布，使得“阴云”、“高温”等答案也更频繁地出现？

温度

温度（𝑇）是一个模型推理参数。它不是一个模型参数;它是生成输出的算法中的一个参数。它在应用 softmax 前先对 logit 进行扩展：

你可以预期概率分布会更具确定性，如果𝑇 <1，因为 各值之间的差值𝑥我会被夸大。另一方面，如果𝑇 >1，作为每个值的差值𝑥我将被降低。

现在，让我们可视化温度对概率分布的影响：

importmatplotlib.pyplotaspltimporttorchimporttorch.nn.functionalasF vocab=["wonderful","cloudy","nice","hot","gloomy","delicious"]logits=torch.tensor([1.2,2.0,3.5,3.0,1.8,1.0])# (vocab_size,)scores=logits.unsqueeze(0)