实验 1-2 真实模型学到的注意力
这是一个真实训练出来的 2 层 4 头小模型（425,984 参数）在真实唐诗上的注意力。 数据由教师机离线算好，页面只做回放。
输入：
层：
头：
模型：
带 √d 缩放（正常）
不缩放（本章案例里崩掉的那个）
颜色越深 = 权重越大。第
i
行第
j
列 = 位置 i 从位置 j 取了多少信息。
点击任意位置，看它把注意力分给了谁：
动手：
固定「层 0」，依次切换 4 个头。
① 观察每一行最深的那一格落在哪里——是
对角线
（只看自己）、
前一位
、 还是某个
固定的位置
？
② 然后把模型切到「不缩放」。看热力图的每一行是不是都塌成了
同一个小格
—— 这就是正文里「权重熵 0.0004」的样子。
③ 最后回到「缩放」，把层切到 1。第二层的注意力模式和第一层一样吗？