实验 3-1　采样实验室

真实的模型分布（42 万参数字符级 Transformer，第 3 章那个）， 拖三个滑块看候选集怎么变。全部现算。

0
1.00
关
1.00
顺序

① 候选字的概率分布

实心 = 进入候选集；浅灰 = 被截断。横轴是概率排名，不是字。

② 累积概率（核曲线）

从最可能的字开始累加。虚竖线是 top-p 的截断位置。

候选集大小—
熵（nat）—
困惑度—
最大概率—
—
动手：
  1. 把 τ 固定在 1.0，top-p 从 1.0 慢慢拉到 0.5。候选集从多少掉到多少？
  2. 现在把 top-p 拉回 1.0，只调 τ 到 0.5。候选集变了吗？（应该没变—— 因为 top-k / top-p 才是决定候选集的）
  3. 切到「先调温后截断」，τ 调到 0.5，再看候选集。差多少倍？
  4. 把「生成到第几步」拉到 1。看看最大概率是多少—— 这就是正文里那个"模型 100% 确定要输出 <unk>"的位置。