实验 4-1　逐层逐头看注意力图

真实权重（左）与随机初始化的同结构模型（右）摆在一起看。全部是实测值。

层

头

训练后的模型

行 = 从哪个位置看，列 = 看哪个位置。颜色越深权重越大。

归一化熵—

对角—

前一位—

平均距离—

判读：—

随机初始化的模型

同一个结构，权重没训练过。注意它也有"形状"。

归一化熵—

对角—

前一位—

平均距离—

判读：—

动手：

八个头都看一遍，记下你认为"最有意义"的那一个。
然后看右边随机模型的同一位置——它也有形状吗？
把层切到第 1 层，对比随机与训练的差别。哪一层的差别更明显？
正文说随机模型的熵是 0.958。在这页上验证这个数。