https://ai.wujiong.cc/tags/%E5%88%86%E8%AF%8D%E5%99%A8/Recent content in 分词器 on AI 观察Hugozh-CNMon, 31 Aug 2026 08:39:51 +0800https://ai.wujiong.cc/posts/2026-08-31-tokenizer-basics/Mon, 31 Aug 2026 08:39:51 +0800https://ai.wujiong.cc/posts/2026-08-31-tokenizer-basics/<p>使用大模型 API 时，账单、上下文上限、速率限制几乎都以 <strong>Token</strong> 为单位。简单说，Token 是模型处理文本的最小单元，它可能是一个完整的词、一个词的一部分、一个汉字，甚至只是一个字节片段。把文本切分成 Token 的组件叫做分词器（Tokenizer）。理解它，能帮你更准确地估算成本，也能解释模型一些“奇怪”的错误。</p>