@goliapkg/tiktoken-wasm (英语)
网页大会 齐托肯 BPE sorderizer – 在浏览器或Node.js中直接运行多提供者的地标化,具有近乎本地化的性能.
安装
npm install @goliapkg/tiktoken-wasm
从源头构建
# requires wasm-pack: cargo install wasm-pack
cd tiktoken-wasm
wasm-pack build --target web --release
输出在 pkg/ 完整的npm准备包,包含:
tiktoken_wasm.js使用WASM装载器的ES模块tiktoken_wasm_bg.wasm——编译了WASM 二进制( 6. 28 MB, 5. 55 MB gziped, 所有 17 个词汇)
自己盖, --no-default-features --features vocab-o200k_base (或
任何其他 vocab-* / 供应商组 tiktoken) 将其降为
1.92 MB / 1.20 MB gziped. (中文(简体) ).
tiktoken_wasm.d.ts- 类型脚本类型定义
使用量
ES模块(浏览器 / Vite / 网络包)
import init, {
getEncoding,
encodingForModel,
listEncodings,
modelToEncoding,
estimateCost,
getModelInfo,
allModels,
modelsByProvider,
type Encoding,
type ModelInfo,
} from '@goliapkg/tiktoken-wasm'
// initialize WASM module (required once, before any other calls)
await init()
// discover available encodings
const names: string[] = listEncodings()
// ["cl100k_base", "o200k_base", ..., "mistral_v3"]
// encode / decode
const enc: Encoding = getEncoding('cl100k_base')
const tokens: Uint32Array = enc.encode('hello world')
const text: string = enc.decode(tokens) // "hello world"
const count: number = enc.count('hello world') // 2
// special token handling
const countST: number = enc.countWithSpecialTokens('hi<|endoftext|>bye')
// vocabulary info
console.log(enc.vocabSize) // 100256
console.log(enc.numSpecialTokens) // 5
// by model name — supports OpenAI, Meta, DeepSeek, Qwen, Mistral
const enc2 = encodingForModel('gpt-4o')
const encName = modelToEncoding('llama-4-scout') // "llama3"
// cost estimation (USD)
const cost: number = estimateCost('gpt-4o', 1000, 500)
// model metadata (fully typed)
const info: ModelInfo = getModelInfo('claude-opus-4')
console.log(info.id, info.provider, info.inputPer1m, info.contextWindow)
// browse all models or filter by provider
const all: ModelInfo[] = allModels()
const openai: ModelInfo[] = modelsByProvider('OpenAI')
// free WASM memory when done
enc.free()
enc2.free()
Bundler 配置
维特 — 添加插件到 vite.config.ts数字 :
import wasm from 'vite-plugin-wasm'
import topLevelAwait from 'vite-plugin-top-level-await'
export default defineConfig({
plugins: [wasm(), topLevelAwait()],
})
网页包装 5 - 允许WASM在 webpack.config.js数字 :
module.exports = {
experiments: {
asyncWebAssembly: true,
},
}
下一个.js - 加进 next.config.js数字 :
module.exports = {
webpack: (config) => {
config.experiments = { ...config.experiments, asyncWebAssembly: true }
return config
},
}
API 参考
listEncodings(): string[]
列出所有可用的编码名称( 17 个编码) .
getEncoding(name: string): Encoding
通过编码名称获得一个标识器. 获得支持:
cl100k_base- GPT-4、GPT-3.5-涡轮o200k_base- GPT-4o、GPT-4.1、GPT-5-5.6、o1、o3、o4-minio200k_harmony—— gpt-os( 和谐聊天格式)p50k_base——文本-davinci-002/003p50k_edit——文本-davinci-editr50k_base- GPT-3(达文西、库里等)gpt2- GPT-2(别名:r50k_base(中文(简体) )llama3-梅塔·拉马 3/4deepseek_v3- 深层搜索 V3/R1qwen2文2/2.5/3号mistral_v3——米斯特拉尔/平地/平地(铁克肯)deepseek_v4——深搜索V4 Pro/Flashkimi_k2- Kimi K2/K2.5/K2.6号机车kimi_k3- Kimi K3型电力机车glm4- GLM-4.5/4.6/4.7glm5• GLM-5.5.2minimax_m2- Minimax M2家族
encodingForModel(model: string): Encoding
按型号名称(例如. gpt-4o, (中文(简体) ), llama-4-scout, (中文(简体) ), deepseek-r1, (中文(简体) ), qwen3-max) (中文(简体) ).
modelToEncoding(model: string): string | null
将一个模型名称映射到它的编码名上,而不装入编码.
Encoding
| 方法/ 属性 | 类型 | 说明 |
|---|---|---|
encode(text) | Uint32Array | 将文本编码为代号 ID |
encodeWithSpecialTokens(text) | Uint32Array | 带有特殊符号识别的编码 |
decode(tokens) | string | 解码令牌编号为文本 |
count(text) | number | 计数符( 比 encode().length(中文(简体) ) |
countWithSpecialTokens(text) | number | 带有特殊标志识别的计数符 |
name | string | 编码名称( getter) |
vocabSize | number | 词汇中的正则符号数 |
numSpecialTokens | number | 特殊符号数 |
free() | void | 释放 WASM 内存 |
estimateCost(modelId, inputTokens, outputTokens): number
API成本估算(美元). 支持11个供应商的116个模式.
getModelInfo(modelId): ModelInfo
获取带有完整类型脚本打字的模型元数据 .
Id解决的方式 estimateCost 解决它,所以一个模型处理为
它的API拼写它(claude-haiku-4-5, (中文(简体) ), anthropic.claude-opus-5返回这个
型号。 回来的 id 这是本表自己的拼写.
allModels(): ModelInfo[]
列出所有116个有定价信息的支持模型.
modelsByProvider(provider): ModelInfo[]
按提供者过滤模型 : "OpenAI", (中文(简体) ), "Anthropic", (中文(简体) ), "Google", (中文(简体) ), "Meta", (中文(简体) ), "DeepSeek", (中文(简体) ), "Alibaba", (中文(简体) ), "Mistral", (中文(简体) ), "Moonshot", (中文(简体) ), "Zhipu", (中文(简体) ), "MiniMax", (中文(简体) ), "Voyage"。 。 。 .
ModelInfo
| 财产 | 类型 | 说明 |
|---|---|---|
id | string | 模型标识符 |
provider | string | 提供者名称 |
inputPer1m | number | 每100兆令牌投入成本(美元) |
outputPer1m | number | 每100兆令牌的产出成本(美元) |
cachedInputPer1m | number | undefined | 每1M个符号的缓存输入成本 |
contextWindow | number | 最大上下文窗口( tokens) |
maxOutput | number | 最大输出符号 |
支持的模式(定价)
estimateCost 编号 : getModelInfo 编号 : allModels 覆盖 共有116个模型
供应商 (2026-08定价). 每个供应商,最新第一:
| 提供者 | 模型 | 最新条目 |
|---|---|---|
| 开放AI | 页:1 | gpt-5.6-sol/terra/luna,gpt-5.5(-pro),gpt-5.4(-mini/nano/pro),gpt-5.2(-pro),gpt-5.1,gpt-5(-mini/nano/pro),gpt-4.1,gpt-4o,o1/o3/o4-mini, |
| 安东尼 | 页:1 | claude-fable-5, claude-mythos-5, claude-opus-5, claude-sonnet-5, claude-opus-4.8/4.7/4.6, claude-haiku-4.5, |
| 谷歌 | 第13条 | 基因3.1 - 预检,基因-3.6/3.5-发光,基因2.5-发光, |
| 迷雾 | 第12条 | 相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相相去相相相去相相相去相去相去相相去相相相去相去相去相相去相相相相相相相相相相相相相相相相相相相相相相相相相相 |
| 阿里巴巴 | 第9条 | qwen3.8-max, qwen3.5-plus, qwen3-max/plus/coder, qwen2.5-72b, |
| 元数据 | 6个 | 拉玛-4-舒克/马华克,拉玛-3.3-70b,拉玛-3.1-405b/70b/8b |
| 齐普 | 页:1 | glm-5.2,glm-5,glm-4.7,glm-4.5(-空气) l |
| 深层搜索 | 页:1 | 深取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取出取取取取取取取取取取取取取取取取取取取取取取取取取取取取取 |
| 迷你麦克斯 | 页:1 | 迷你max-m2.7,迷你max-m2.5,迷你max-m2.1,迷你max-m2 |
| 月光拍摄 | 页:1 | kimi-k3,kimi-k2.7-码,kimi-k2.6,kimi-k2.5 |
| 阴道 | 第8条 | 航向-4-大/4/4-立特/码4,航向-3-大,航向-3.5(-立特),航向-码-3(嵌入) |
权威列表是代码:呼叫 allModels() 在运行时,或看到
文档 rs。 。 。 .
Anthropic 和 Google 模型是只定价的(没有公共标注符可以匹配);
其他8家供应商也做了标记.
页:1
初始化
打电话 await init() 在其他API通话之前 这个加载并编译了WASM模块. 之后的电话是没有的.
内存管理
Encoding 实例中提及全球缓存数据,并具有轻量级。 通话 .free() 发布 JS 包装器 —— 基本的编码数据仍然被缓存用于再利用. 在短命脚本中可以跳过 .free();在长期运行的应用程序中,当完成实例时,拨打它.
演示
见 examples/react-app 用于完整的 Vite + React 演示应用程序.
生态系统
齐托肯 • 妇女 @goliapkg/tiktoken-wasm (英语) • 妇女 教员 • 妇女 块化器 • 妇女 嵌入器