演示 / 大语言模型 / 位置编码
横轴是位置,纵轴是维度。上面几维频率高、条纹密;下面几维频率低、变化慢。点一列,下面的曲线是它和所有位置的余弦相似度。底数越小,条纹整体越密。
对照精读:Transformer · RoPE