演示 / 大语言模型 / BPE
从字符开始,每次合并当前语料里出现最多的相邻对。滑动条停在第几步,下面的色块就是那一步的切分。经典例子会先合并 e+s,再出现 est。
e
s
est
对照精读:BPE