实验 3-2 顺序陷阱

同样的 (τ, top-p),只换一个先后顺序,候选集能差几十倍。 数据是真实的模型分布,不是模拟的。

1.00
0.90
0

写法 A:先截断后调温

① 用原始分布定 top-p 的截断位置
② 保留、重新归一化
③ 在保留集内按 τ 重新标定

—个候选字

写法 B:先调温后截断

① 先用 τ 把整个分布重新标定
② 在调过温的分布上定截断位置
③ 保留、重新归一化

—个候选字

动手:
  1. τ = 1.0(默认)时,两种写法的候选集一样吗?为什么应该一样?
  2. 把 τ 拉到 0.5,看 B 跌到多少。再拉到 2.0,看 B 涨到多少。
  3. 全程盯着 A——它动过吗?为什么不动?
  4. 结论:在写法 B 下,调 τ 其实同时在调什么?