标签：分词器

Token 是什么？分词器如何影响大模型的成本与中文效果

大模型按 Token 计费、按 Token 计算上下文长度，但很多人并不清楚 Token 到底是什么。本文解释分词器的工作原理、中文与英文的 Token 差异，以及它如何影响 API 成本、上下文占用和模型在拼写、计数等任务上的表现。