演示
/
大语言模型
/ 注意力
注意力可视化
不是位置编码的对角线。相同词、动宾、介词和邻近内容词会互相读取。点上面一排 token,弧线粗细就是权重。
计算
温度
因果掩码
对照精读:注意力
·
Transformer