实验 4-2 消融实验室
点一个头把它屏蔽掉,看验证集 loss 和生成文本怎么变。
点上面任意一个头开始。基线生成:
动手:
先把第 0 层四个头各点一次,再把第 1 层四个各点一次。
Δ 差了几倍?
再回头想想:只看注意力图,你能预测出这个差别吗?