语言模型输出：Logits、Softmax 与温度

根据机器转写整理，未经原音或画面核对。本文以常见的下一 Token 采样方式说明概念；具体解码策略取决于模型和应用配置。

从分数到分布

模型可以先为候选结果输出一组未归一化的分数，通常称为 logits。这些数值可以为正或为负，不需要本身落在 0 到 1 之间。以语言模型为例，候选结果可以是下一个 Token，而不是已经完成的整句话。

Softmax 对各候选分数做指数变换，再按总和归一化，得到各候选的概率分布；各概率相加为 1。二分类场景也可以用 sigmoid 将一个分数转换成概率。二分类中的 logit 与对数胜算有数学联系，但不能把任意多分类模型的每一个原始分数都无条件当作独立的对数胜算。

温度改变分布的集中程度

在常见采样形式中，将 logits 除以正的温度参数后再做 Softmax。相对较低的温度会使分布更集中，相对较高的温度会使分布更平坦；随后如何选取 Token，还取决于应用采用的是采样还是其他解码方式。

分布更集中不代表内容一定正确，分布更平坦也不保证答案更有价值。温度只是生成配置的一部分，不能代替事实核验、业务约束和任务评测。