演示 / 大语言模型 / 注意力

注意力可视化

不是位置编码的对角线。相同词、动宾、介词和邻近内容词会互相读取。点上面一排 token,弧线粗细就是权重。

对照精读:注意力 · Transformer