@goliapkg/tiktoken-wasm

中文文档
4.1.2发布于 2026/08/13MIT OR Apache-2.0TypeScriptES Module零依赖近 30 天下载 1.8万

WASM 为 tiktoken 的 BPE 表示器装订

中文使用文档
文档目录23 节
  1. 安装
  2. 从源头构建
  3. 使用量
  4. ES模块(浏览器 / Vite / 网络包)
  5. Bundler 配置
  6. API 参考
  7. listEncodings(): string[]
  8. getEncoding(name: string): Encoding
  9. encodingForModel(model: string): Encoding
  10. modelToEncoding(model: string): string | null
  11. Encoding
  12. estimateCost(modelId, inputTokens, outputTokens): number
  13. getModelInfo(modelId): ModelInfo
  14. allModels(): ModelInfo[]
  15. modelsByProvider(provider): ModelInfo[]
  16. ModelInfo
  17. 支持的模式(定价)
  18. 页:1
  19. 初始化
  20. 内存管理
  21. 演示
  22. 生态系统
  23. 许可证

@goliapkg/tiktoken-wasm (英语)

npm License

联合国 | 简体中文 | 日本語

网页大会 齐托肯 BPE sorderizer – 在浏览器或Node.js中直接运行多提供者的地标化,具有近乎本地化的性能.

安装

npm install @goliapkg/tiktoken-wasm

从源头构建

# requires wasm-pack: cargo install wasm-pack
cd tiktoken-wasm
wasm-pack build --target web --release

输出在 pkg/ 完整的npm准备包,包含:

  • tiktoken_wasm.js 使用WASM装载器的ES模块
  • tiktoken_wasm_bg.wasm ——编译了WASM 二进制( 6. 28 MB, 5. 55 MB gziped, 所有 17 个词汇)

自己盖, --no-default-features --features vocab-o200k_base (或 任何其他 vocab-* / 供应商组 tiktoken) 将其降为 1.92 MB / 1.20 MB gziped. (中文(简体) ).

  • tiktoken_wasm.d.ts - 类型脚本类型定义

使用量

ES模块(浏览器 / Vite / 网络包)

import init, {
  getEncoding,
  encodingForModel,
  listEncodings,
  modelToEncoding,
  estimateCost,
  getModelInfo,
  allModels,
  modelsByProvider,
  type Encoding,
  type ModelInfo,
} from '@goliapkg/tiktoken-wasm'

// initialize WASM module (required once, before any other calls)
await init()

// discover available encodings
const names: string[] = listEncodings()
// ["cl100k_base", "o200k_base", ..., "mistral_v3"]

// encode / decode
const enc: Encoding = getEncoding('cl100k_base')
const tokens: Uint32Array = enc.encode('hello world')
const text: string = enc.decode(tokens)   // "hello world"
const count: number = enc.count('hello world')  // 2

// special token handling
const countST: number = enc.countWithSpecialTokens('hi<|endoftext|>bye')

// vocabulary info
console.log(enc.vocabSize)         // 100256
console.log(enc.numSpecialTokens)  // 5

// by model name — supports OpenAI, Meta, DeepSeek, Qwen, Mistral
const enc2 = encodingForModel('gpt-4o')
const encName = modelToEncoding('llama-4-scout')  // "llama3"

// cost estimation (USD)
const cost: number = estimateCost('gpt-4o', 1000, 500)

// model metadata (fully typed)
const info: ModelInfo = getModelInfo('claude-opus-4')
console.log(info.id, info.provider, info.inputPer1m, info.contextWindow)

// browse all models or filter by provider
const all: ModelInfo[] = allModels()
const openai: ModelInfo[] = modelsByProvider('OpenAI')

// free WASM memory when done
enc.free()
enc2.free()

Bundler 配置

维特 — 添加插件到 vite.config.ts数字 :

import wasm from 'vite-plugin-wasm'
import topLevelAwait from 'vite-plugin-top-level-await'

export default defineConfig({
  plugins: [wasm(), topLevelAwait()],
})

网页包装 5 - 允许WASM在 webpack.config.js数字 :

module.exports = {
  experiments: {
    asyncWebAssembly: true,
  },
}

下一个.js - 加进 next.config.js数字 :

module.exports = {
  webpack: (config) => {
    config.experiments = { ...config.experiments, asyncWebAssembly: true }
    return config
  },
}

API 参考

listEncodings(): string[]

列出所有可用的编码名称( 17 个编码) .

getEncoding(name: string): Encoding

通过编码名称获得一个标识器. 获得支持:

  • cl100k_base - GPT-4、GPT-3.5-涡轮
  • o200k_base - GPT-4o、GPT-4.1、GPT-5-5.6、o1、o3、o4-mini
  • o200k_harmony —— gpt-os( 和谐聊天格式)
  • p50k_base ——文本-davinci-002/003
  • p50k_edit ——文本-davinci-edit
  • r50k_base - GPT-3(达文西、库里等)
  • gpt2 - GPT-2(别名: r50k_base(中文(简体) )
  • llama3 -梅塔·拉马 3/4
  • deepseek_v3 - 深层搜索 V3/R1
  • qwen2 文2/2.5/3号
  • mistral_v3 ——米斯特拉尔/平地/平地(铁克肯)
  • deepseek_v4 ——深搜索V4 Pro/Flash
  • kimi_k2 - Kimi K2/K2.5/K2.6号机车
  • kimi_k3 - Kimi K3型电力机车
  • glm4 - GLM-4.5/4.6/4.7
  • glm5 • GLM-5.5.2
  • minimax_m2 - Minimax M2家族

encodingForModel(model: string): Encoding

按型号名称(例如. gpt-4o, (中文(简体) ), llama-4-scout, (中文(简体) ), deepseek-r1, (中文(简体) ), qwen3-max) (中文(简体) ).

modelToEncoding(model: string): string | null

将一个模型名称映射到它的编码名上,而不装入编码.

Encoding

方法/ 属性类型说明
encode(text)Uint32Array将文本编码为代号 ID
encodeWithSpecialTokens(text)Uint32Array带有特殊符号识别的编码
decode(tokens)string解码令牌编号为文本
count(text)number计数符( 比 encode().length(中文(简体) )
countWithSpecialTokens(text)number带有特殊标志识别的计数符
namestring编码名称( getter)
vocabSizenumber词汇中的正则符号数
numSpecialTokensnumber特殊符号数
free()void释放 WASM 内存

estimateCost(modelId, inputTokens, outputTokens): number

API成本估算(美元). 支持11个供应商的116个模式.

getModelInfo(modelId): ModelInfo

获取带有完整类型脚本打字的模型元数据 .

Id解决的方式 estimateCost 解决它,所以一个模型处理为 它的API拼写它(claude-haiku-4-5, (中文(简体) ), anthropic.claude-opus-5返回这个 型号。 回来的 id 这是本表自己的拼写.

allModels(): ModelInfo[]

列出所有116个有定价信息的支持模型.

modelsByProvider(provider): ModelInfo[]

按提供者过滤模型 : "OpenAI", (中文(简体) ), "Anthropic", (中文(简体) ), "Google", (中文(简体) ), "Meta", (中文(简体) ), "DeepSeek", (中文(简体) ), "Alibaba", (中文(简体) ), "Mistral", (中文(简体) ), "Moonshot", (中文(简体) ), "Zhipu", (中文(简体) ), "MiniMax", (中文(简体) ), "Voyage"。 。 。 .

ModelInfo

财产类型说明
idstring模型标识符
providerstring提供者名称
inputPer1mnumber每100兆令牌投入成本(美元)
outputPer1mnumber每100兆令牌的产出成本(美元)
cachedInputPer1mnumber | undefined每1M个符号的缓存输入成本
contextWindownumber最大上下文窗口( tokens)
maxOutputnumber最大输出符号

支持的模式(定价)

estimateCost 编号 : getModelInfo 编号 : allModels 覆盖 共有116个模型 供应商 (2026-08定价). 每个供应商,最新第一:

提供者模型最新条目
开放AI页:1gpt-5.6-sol/terra/luna,gpt-5.5(-pro),gpt-5.4(-mini/nano/pro),gpt-5.2(-pro),gpt-5.1,gpt-5(-mini/nano/pro),gpt-4.1,gpt-4o,o1/o3/o4-mini,
安东尼页:1claude-fable-5, claude-mythos-5, claude-opus-5, claude-sonnet-5, claude-opus-4.8/4.7/4.6, claude-haiku-4.5,
谷歌第13条基因3.1 - 预检,基因-3.6/3.5-发光,基因2.5-发光,
迷雾第12条相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相相去相相相去相相相去相去相去相相去相相相去相去相去相相去相相相相相相相相相相相相相相相相相相相相相相相相相相
阿里巴巴第9条qwen3.8-max, qwen3.5-plus, qwen3-max/plus/coder, qwen2.5-72b,
元数据6个拉玛-4-舒克/马华克,拉玛-3.3-70b,拉玛-3.1-405b/70b/8b
齐普页:1glm-5.2,glm-5,glm-4.7,glm-4.5(-空气) l
深层搜索页:1深取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取出取取取取取取取取取取取取取取取取取取取取取取取取取取取取取
迷你麦克斯页:1迷你max-m2.7,迷你max-m2.5,迷你max-m2.1,迷你max-m2
月光拍摄页:1kimi-k3,kimi-k2.7-码,kimi-k2.6,kimi-k2.5
阴道第8条航向-4-大/4/4-立特/码4,航向-3-大,航向-3.5(-立特),航向-码-3(嵌入)

权威列表是代码:呼叫 allModels() 在运行时,或看到 文档 rs。 。 。 . Anthropic 和 Google 模型是只定价的(没有公共标注符可以匹配); 其他8家供应商也做了标记.

页:1

初始化

打电话 await init() 在其他API通话之前 这个加载并编译了WASM模块. 之后的电话是没有的.

内存管理

Encoding 实例中提及全球缓存数据,并具有轻量级。 通话 .free() 发布 JS 包装器 —— 基本的编码数据仍然被缓存用于再利用. 在短命脚本中可以跳过 .free();在长期运行的应用程序中,当完成实例时,拨打它.

演示

见 examples/react-app 用于完整的 Vite + React 演示应用程序.

生态系统

齐托肯 • 妇女 @goliapkg/tiktoken-wasm (英语) • 妇女 教员 • 妇女 块化器 • 妇女 嵌入器

许可证

根据其中任何一项颁发的许可证 麻省理工学院 或者说 阿帕奇 - 2.0随便你.

版本与发布记录

@goliapkg/tiktoken-wasm 共发布 24 个版本,首次发布于 2026/03/07;过去 12 个月发布了 24 个版本。

版本发布日期距今
4.1.2latest2026/08/133 个月前
4.1.12026/08/133 个月前
4.0.12026/08/133 个月前
4.0.02026/08/133 个月前
3.8.32026/08/103 个月前
3.8.22026/08/093 个月前

关于 @goliapkg/tiktoken-wasm 的常见问题

@goliapkg/tiktoken-wasm 是什么?

WASM 为 tiktoken 的 BPE 表示器装订

如何安装 @goliapkg/tiktoken-wasm?

在项目目录运行 npm install @goliapkg/tiktoken-wasm,或使用 pnpm add / yarn add / bun add。

@goliapkg/tiktoken-wasm 支持 TypeScript 吗?

支持。包内自带 TypeScript 类型声明(package.json 声明了 types 入口),安装后即可获得类型提示,无需再安装 @types 包。

@goliapkg/tiktoken-wasm 支持 ESM 还是 CommonJS?

以 ES Module 形式发布,推荐使用 import 引入。在 CommonJS 项目中,Node.js 20.19+ / 22.12+ 可以直接 require() 不含顶层 await 的 ES Module,更早的版本需要改用动态 import()。

@goliapkg/tiktoken-wasm 可以商用吗?

@goliapkg/tiktoken-wasm 使用 MIT OR Apache-2.0 许可。可在 MIT、Apache-2.0 中任选其一遵守。选择 MIT 时,宽松许可:允许商业使用、修改和再分发,通常只需在分发时保留原版权与许可声明。以上为概括,不构成法律意见,请以许可原文为准。

@goliapkg/tiktoken-wasm 的下载量有多少?

根据 npm 官方下载统计,@goliapkg/tiktoken-wasm 在 2026/10/17 – 2026/11/15 这 30 天内被下载 17,657 次,日均约 589 次。下载量会把 CI 构建、镜像同步和作为其他包依赖的安装一并计入,适合横向比较热度,不能直接等同于使用人数。

@goliapkg/tiktoken-wasm 还在维护吗?

最新版本 4.1.2 发布于 2026/08/13(3 个月前);至今共发布 24 个版本,其中过去 12 个月发布了 24 个;首次发布于 2026/03/07。发布频率只是参考信号:功能稳定的工具可能很少需要更新,建议结合源码仓库的 issue 和提交记录判断。