3.2 什么是 Token？

上一章提到，大语言模型不是一次生成整篇回答，而是一步步处理更小的文字片段。这些片段叫作 Token。

Token 不完全等于“一个汉字”或“一个英文单词”。常见汉字可能各自成为片段，英文词可能完整保留，也可能被拆开；数字、标点和空格也会影响切分。具体规则由模型使用的切分器决定，所以不同模型对同一句话的 Token 数可能不同。

普通用户为什么需要知道 Token？

你不需要手工数 Token，但它会影响三件实际事情：

• 输入和输出能放多少内容。

• 某些服务的使用量或费用怎样计算。

• 很长的文件为什么需要拆分、摘要或筛选。

可以把 Token 想成旅行箱里的小件行李。问题、历史对话、上传材料和回答都要占空间。把不相关的旧内容全部塞进去，可能挤掉真正重要的材料；只追求最短，也可能漏掉任务所需事实。

产品显示的“字数”“字符数”和“Token 数”不是同一种计量。需要精确额度时，应以该产品的说明或计数工具为准，而不是用本节实验估算。