大语言模型演示

注意力可视化

相同词和动宾会互相对齐，不是对角线。

正弦位置编码

不同频率的 sin/cos，邻近位置更相似。

Softmax 与温度

温度如何把 logit 变成可采样的词表分布。

BPE 分词

从字符反复合并最高频相邻对，看着词块长大。

LoRA：低秩更新

把低秩矩阵乘积逐项展开，理解冻结权重和可训练参数。

RoPE：旋转位置编码

旋转查询和键，观察相对位置如何进入点积。

KV Cache：Prefill 与 Decode

因果注意力如何缓存旧 K/V，只为新 token 计算 Q/K/V。