实验 4-2 消融实验室

点一个头把它屏蔽掉,看验证集 loss 和生成文本怎么变。

点上面任意一个头开始。基线生成:
动手:先把第 0 层四个头各点一次,再把第 1 层四个各点一次。 Δ 差了几倍?再回头想想:只看注意力图,你能预测出这个差别吗?