演示 / 大语言模型 / 位置编码

正弦位置编码

横轴是位置,纵轴是维度。上面几维频率高、条纹密;下面几维频率低、变化慢。点一列,下面的曲线是它和所有位置的余弦相似度。底数越小,条纹整体越密。

点热图上的一列

对照精读:Transformer · RoPE