从流星雨看 tokenizer：中文三字词编码后只是 1 个 token

作者以流星雨为例讲解 tokenizer 的工作方式：中文里三个字的流星雨，编码后只是 1 个 token，tokenizer 只关心词语在语料中出现的频率。引用内容对比了人类逐词组合理解语言与 AI 从编号关系逼近意义的不同起点。