返回主页

Token 计数与上下文预算

统计 token 并算上下文预算:GPT-6 / GPT-4 可切换官方词表精确计数,Claude 5 / Gemini / Llama 按分词规则估算,超过 272K 会提示加价

分词器
o200k_base
文本
估算结果
0tokens估算
中日韩字符0
拉丁词0
数字0
符号 / Emoji / 空白0
字符0
词0
字符 / token—
上下文预算
可用于提示词 124,000剩余 123,200放得下
各分词器对比

默认按拉丁词、中日韩字符、数字、标点与 Emoji 分段估算:英文段落通常偏差 5% 以内,代码偏低约 10%,中文可能差 15%。开启精确模式后,GPT 家族改用官方词表计算总数(首次加载约 1 MB),构成明细仍是估算拆分;Claude、Gemini、Llama 没有公开词表,只能估算。上下文预算里的“预留回答”是给模型留的空间,剩下的才是提示词可用的上限。