# @goliapkg/tiktoken-wasm 中文文档

规范地址：https://npmcn.com/package/%40goliapkg/tiktoken-wasm/

版本：4\.1\.2
npm 元数据更新时间：2026-08-13T13:49:09.674Z
中文译文更新时间：2026-11-16T18:46:48.311Z
软件包许可：MIT OR Apache-2\.0

本文由上游 README 翻译，可能存在偏差，请结合原文核对 API、命令与配置。版权与许可归原作者所有。

原始 npm 页面：https://www.npmjs.com/package/%40goliapkg/tiktoken-wasm
原文对照：https://npmcn.com/package/%40goliapkg/tiktoken-wasm/?lang=original
项目主页：https://github.com/goliajp/rust-tiktoken#readme
源码仓库：https://github.com/goliajp/rust-tiktoken

## 关键信息（来自 npm 元数据）

- 包体积（解压后）：6.3 MB，5 个文件
- 模块格式：ES Module
- TypeScript 类型：包内自带
- 运行依赖：0 个
- 首次发布：2026-03-06T18:05:45.328Z
- 最新版本发布：2026-08-13T13:49:09.498Z
- 近 30 天下载量：17657（2026-10-17 至 2026-11-15，npm 官方下载统计）
- 已发布版本数：24（近 12 个月 24 个）

## 中文简介

WASM 为 tiktoken 的 BPE 表示器装订

## 安装

```sh
npm install @goliapkg/tiktoken-wasm
```

也可以使用：`pnpm add @goliapkg/tiktoken-wasm`、`yarn add @goliapkg/tiktoken-wasm`、`bun add @goliapkg/tiktoken-wasm`

## README

# @goliapkg/tiktoken-wasm (英语)

[![npm](https://img.shields.io/npm/v/@goliapkg/tiktoken-wasm?style=flat-square&logo=npm)](https://www.npmjs.com/package/@goliapkg/tiktoken-wasm) [![License](https://img.shields.io/npm/l/@goliapkg/tiktoken-wasm?style=flat-square)](https://npmcn.com/package/%40goliapkg/tiktoken-wasm/#readme-license)

**联合国** | [简体中文](https://npmcn.com/package/%40goliapkg/tiktoken-wasm/README.zh-CN.md) | [日本語](https://npmcn.com/package/%40goliapkg/tiktoken-wasm/README.ja.md)

网页大会 [齐托肯](https://crates.io/crates/tiktoken) BPE sorderizer – 在浏览器或Node.js中直接运行多提供者的地标化,具有近乎本地化的性能.

## 安装

```bash
npm install @goliapkg/tiktoken-wasm
```

## 从源头构建

```bash
# requires wasm-pack: cargo install wasm-pack
cd tiktoken-wasm
wasm-pack build --target web --release
```

输出在 `pkg/` 完整的npm准备包,包含:

-   `tiktoken_wasm.js` 使用WASM装载器的ES模块
-   `tiktoken_wasm_bg.wasm` ——编译了WASM 二进制( 6. 28 MB, 5. 55 MB gziped, 所有 17 个词汇)

自己盖, `--no-default-features --features vocab-o200k_base` (或 任何其他 `vocab-*` / 供应商组 `tiktoken`) 将其降为 1.92 MB / 1.20 MB gziped. (中文(简体) ).

-   `tiktoken_wasm.d.ts` - 类型脚本类型定义

## 使用量

### ES模块(浏览器 / Vite / 网络包)

```typescript
import init, {
  getEncoding,
  encodingForModel,
  listEncodings,
  modelToEncoding,
  estimateCost,
  getModelInfo,
  allModels,
  modelsByProvider,
  type Encoding,
  type ModelInfo,
} from '@goliapkg/tiktoken-wasm'

// initialize WASM module (required once, before any other calls)
await init()

// discover available encodings
const names: string[] = listEncodings()
// ["cl100k_base", "o200k_base", ..., "mistral_v3"]

// encode / decode
const enc: Encoding = getEncoding('cl100k_base')
const tokens: Uint32Array = enc.encode('hello world')
const text: string = enc.decode(tokens)   // "hello world"
const count: number = enc.count('hello world')  // 2

// special token handling
const countST: number = enc.countWithSpecialTokens('hi<|endoftext|>bye')

// vocabulary info
console.log(enc.vocabSize)         // 100256
console.log(enc.numSpecialTokens)  // 5

// by model name — supports OpenAI, Meta, DeepSeek, Qwen, Mistral
const enc2 = encodingForModel('gpt-4o')
const encName = modelToEncoding('llama-4-scout')  // "llama3"

// cost estimation (USD)
const cost: number = estimateCost('gpt-4o', 1000, 500)

// model metadata (fully typed)
const info: ModelInfo = getModelInfo('claude-opus-4')
console.log(info.id, info.provider, info.inputPer1m, info.contextWindow)

// browse all models or filter by provider
const all: ModelInfo[] = allModels()
const openai: ModelInfo[] = modelsByProvider('OpenAI')

// free WASM memory when done
enc.free()
enc2.free()
```

### Bundler 配置

**维特** — 添加插件到 `vite.config.ts`数字 :

```typescript
import wasm from 'vite-plugin-wasm'
import topLevelAwait from 'vite-plugin-top-level-await'

export default defineConfig({
  plugins: [wasm(), topLevelAwait()],
})
```

**网页包装 5** - 允许WASM在 `webpack.config.js`数字 :

```javascript
module.exports = {
  experiments: {
    asyncWebAssembly: true,
  },
}
```

**下一个.js** - 加进 `next.config.js`数字 :

```javascript
module.exports = {
  webpack: (config) => {
    config.experiments = { ...config.experiments, asyncWebAssembly: true }
    return config
  },
}
```

## API 参考

### `listEncodings(): string[]`

列出所有可用的编码名称( 17 个编码) .

### `getEncoding(name: string): Encoding`

通过编码名称获得一个标识器. 获得支持:

-   `cl100k_base` - GPT-4、GPT-3.5-涡轮
-   `o200k_base` - GPT-4o、GPT-4.1、GPT-5-5.6、o1、o3、o4-mini
-   `o200k_harmony` —— gpt-os( 和谐聊天格式)
-   `p50k_base` ——文本-davinci-002/003
-   `p50k_edit` ——文本-davinci-edit
-   `r50k_base` - GPT-3(达文西、库里等)
-   `gpt2` - GPT-2(别名: `r50k_base`(中文(简体) )
-   `llama3` -梅塔·拉马 3/4
-   `deepseek_v3` - 深层搜索 V3/R1
-   `qwen2` 文2/2.5/3号
-   `mistral_v3` ——米斯特拉尔/平地/平地(铁克肯)
-   `deepseek_v4` ——深搜索V4 Pro/Flash
-   `kimi_k2` - Kimi K2/K2.5/K2.6号机车
-   `kimi_k3` - Kimi K3型电力机车
-   `glm4` - GLM-4.5/4.6/4.7
-   `glm5` • GLM-5.5.2
-   `minimax_m2` - Minimax M2家族

### `encodingForModel(model: string): Encoding`

按型号名称(例如. `gpt-4o`, (中文(简体) ), `llama-4-scout`, (中文(简体) ), `deepseek-r1`, (中文(简体) ), `qwen3-max`) (中文(简体) ).

### `modelToEncoding(model: string): string | null`

将一个模型名称映射到它的编码名上,而不装入编码.

### `Encoding`

| 方法/ 属性 | 类型 | 说明 |
| --- | --: | --- |
| `encode(text)` | `Uint32Array` | 将文本编码为代号 ID |
| `encodeWithSpecialTokens(text)` | `Uint32Array` | 带有特殊符号识别的编码 |
| `decode(tokens)` | `string` | 解码令牌编号为文本 |
| `count(text)` | `number` | 计数符( 比 `encode().length`(中文(简体) ) |
| `countWithSpecialTokens(text)` | `number` | 带有特殊标志识别的计数符 |
| `name` | `string` | 编码名称( getter) |
| `vocabSize` | `number` | 词汇中的正则符号数 |
| `numSpecialTokens` | `number` | 特殊符号数 |
| `free()` | `void` | 释放 WASM 内存 |

### `estimateCost(modelId, inputTokens, outputTokens): number`

API成本估算(美元). 支持11个供应商的116个模式.

### `getModelInfo(modelId): ModelInfo`

获取带有完整类型脚本打字的模型元数据 .

Id解决的方式 `estimateCost` 解决它,所以一个模型处理为 它的API拼写它(`claude-haiku-4-5`, (中文(简体) ), `anthropic.claude-opus-5`返回这个 型号。 回来的 `id` 这是本表自己的拼写.

### `allModels(): ModelInfo[]`

列出所有116个有定价信息的支持模型.

### `modelsByProvider(provider): ModelInfo[]`

按提供者过滤模型 : `"OpenAI"`, (中文(简体) ), `"Anthropic"`, (中文(简体) ), `"Google"`, (中文(简体) ), `"Meta"`, (中文(简体) ), `"DeepSeek"`, (中文(简体) ), `"Alibaba"`, (中文(简体) ), `"Mistral"`, (中文(简体) ), `"Moonshot"`, (中文(简体) ), `"Zhipu"`, (中文(简体) ), `"MiniMax"`, (中文(简体) ), `"Voyage"`。 。 。 .

### `ModelInfo`

| 财产 | 类型 | 说明 |
| --- | --: | --- |
| `id` | `string` | 模型标识符 |
| `provider` | `string` | 提供者名称 |
| `inputPer1m` | `number` | 每100兆令牌投入成本(美元) |
| `outputPer1m` | `number` | 每100兆令牌的产出成本(美元) |
| `cachedInputPer1m` | `number | undefined` | 每1M个符号的缓存输入成本 |
| `contextWindow` | `number` | 最大上下文窗口( tokens) |
| `maxOutput` | `number` | 最大输出符号 |

## 支持的模式(定价)

`estimateCost` 编号 : `getModelInfo` 编号 : `allModels` 覆盖 **共有116个模型 供应商** (2026-08定价). 每个供应商,最新第一:

| 提供者 | 模型 | 最新条目 |
| --- | --: | --- |
| 开放AI | 页:1 | gpt-5.6-sol/terra/luna,gpt-5.5(-pro),gpt-5.4(-mini/nano/pro),gpt-5.2(-pro),gpt-5.1,gpt-5(-mini/nano/pro),gpt-4.1,gpt-4o,o1/o3/o4-mini, |
| 安东尼 | 页:1 | claude-fable-5, claude-mythos-5, claude-opus-5, claude-sonnet-5, claude-opus-4.8/4.7/4.6, claude-haiku-4.5, |
| 谷歌 | 第13条 | 基因3.1 - 预检,基因-3.6/3.5-发光,基因2.5-发光, |
| 迷雾 | 第12条 | 相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相相去相相相去相相相去相去相去相相去相相相去相去相去相相去相相相相相相相相相相相相相相相相相相相相相相相相相相 |
| 阿里巴巴 | 第9条 | qwen3.8-max, qwen3.5-plus, qwen3-max/plus/coder, qwen2.5-72b, |
| 元数据 | 6个 | 拉玛-4-舒克/马华克,拉玛-3.3-70b,拉玛-3.1-405b/70b/8b |
| 齐普 | 页:1 | glm-5.2,glm-5,glm-4.7,glm-4.5(-空气) l |
| 深层搜索 | 页:1 | 深取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取出取取取取取取取取取取取取取取取取取取取取取取取取取取取取取 |
| 迷你麦克斯 | 页:1 | 迷你max-m2.7,迷你max-m2.5,迷你max-m2.1,迷你max-m2 |
| 月光拍摄 | 页:1 | kimi-k3,kimi-k2.7-码,kimi-k2.6,kimi-k2.5 |
| 阴道 | 第8条 | 航向-4-大/4/4-立特/码4,航向-3-大,航向-3.5(-立特),航向-码-3(嵌入) |

权威列表是代码:呼叫 `allModels()` 在运行时,或看到 [文档 rs](https://docs.rs/tiktoken/latest/tiktoken/pricing/index.html)。 。 。 . Anthropic 和 Google 模型是只定价的(没有公共标注符可以匹配); 其他8家供应商也做了标记.

## 页:1

### 初始化

打电话 `await init()` 在其他API通话之前 这个加载并编译了WASM模块. 之后的电话是没有的.

### 内存管理

`Encoding` 实例中提及全球缓存数据,并具有轻量级。 通话 `.free()` 发布 JS 包装器 —— 基本的编码数据仍然被缓存用于再利用. 在短命脚本中可以跳过 `.free()`;在长期运行的应用程序中,当完成实例时,拨打它.

## 演示

见 [`examples/react-app`](https://npmcn.com/package/%40goliapkg/tiktoken/examples/react-app/) 用于完整的 Vite + React 演示应用程序.

## 生态系统

[齐托肯](https://crates.io/crates/tiktoken) • 妇女 **@goliapkg/tiktoken-wasm (英语)** • 妇女 [教员](https://crates.io/crates/instructors) • 妇女 [块化器](https://crates.io/crates/chunkedrs) • 妇女 [嵌入器](https://crates.io/crates/embedrs)

## 许可证

根据其中任何一项颁发的许可证 [麻省理工学院](https://npmcn.com/package/%40goliapkg/tiktoken-wasm/LICENSE-MIT) 或者说 [阿帕奇 - 2.0](https://npmcn.com/package/%40goliapkg/tiktoken-wasm/LICENSE-APACHE)随便你.

## 常见问题

### @goliapkg/tiktoken-wasm 是什么？

WASM 为 tiktoken 的 BPE 表示器装订

### 如何安装 @goliapkg/tiktoken-wasm？

在项目目录运行 npm install @goliapkg/tiktoken-wasm，或使用 pnpm add / yarn add / bun add。

### @goliapkg/tiktoken-wasm 支持 TypeScript 吗？

支持。包内自带 TypeScript 类型声明（package\.json 声明了 types 入口），安装后即可获得类型提示，无需再安装 @types 包。

### @goliapkg/tiktoken-wasm 支持 ESM 还是 CommonJS？

以 ES Module 形式发布，推荐使用 import 引入。在 CommonJS 项目中，Node\.js 20\.19\+ / 22\.12\+ 可以直接 require\(\) 不含顶层 await 的 ES Module，更早的版本需要改用动态 import\(\)。

### @goliapkg/tiktoken-wasm 可以商用吗？

@goliapkg/tiktoken-wasm 使用 MIT OR Apache-2\.0 许可。可在 MIT、Apache-2\.0 中任选其一遵守。选择 MIT 时，宽松许可：允许商业使用、修改和再分发，通常只需在分发时保留原版权与许可声明。以上为概括，不构成法律意见，请以许可原文为准。

### @goliapkg/tiktoken-wasm 的下载量有多少？

根据 npm 官方下载统计，@goliapkg/tiktoken-wasm 在 2026/10/17 – 2026/11/15 这 30 天内被下载 17,657 次，日均约 589 次。下载量会把 CI 构建、镜像同步和作为其他包依赖的安装一并计入，适合横向比较热度，不能直接等同于使用人数。

### @goliapkg/tiktoken-wasm 还在维护吗？

最新版本 4\.1\.2 发布于 2026/08/13（3 个月前）；至今共发布 24 个版本，其中过去 12 个月发布了 24 个；首次发布于 2026/03/07。发布频率只是参考信号：功能稳定的工具可能很少需要更新，建议结合源码仓库的 issue 和提交记录判断。

