LLM 中的 温度怎么控制随机性的？

LLM 中的 温度怎么控制随机性的？

在LLM的解码过程中，温度（Temperature）通过调整token概率分布的“陡峭程度”来控制随机性：温度越低，概率分布越陡峭（高概率token的优势越明显），随机性越低；温度越高，分布越平缓（高低概率token的差异被缩小），随机性越高。

温度，top p top k 超参数都是在最后一层控制logist的

一、温度控制随机性的核心原理

LLM输出的原始概率由logits通过softmax函数计算得到，而温度直接作用于logits，改变最终的概率分布。公式如下：

1. 原始概率计算（无温度）：
   概率(token) = softmax(logits) = exp(logits) / Σexp(logits)

2. 带温度的概率计算：
   概率(token) = softmax(logits / 温度) = exp(logits / 温度) / Σexp(logits / 温度)

温度（用τ表示）的核心作用是缩放logits的数值范围，进而改变softmax后的概率分布形状：

• 当τ < 1（如0.5）：logits被放大（l