演示 / 大语言模型 / BPE

BPE 分词

从字符开始,每次合并当前语料里出现最多的相邻对。滑动条停在第几步,下面的色块就是那一步的切分。经典例子会先合并 e+s,再出现 est。

对照精读:BPE