# @chonkiejs/token 中文文档

规范地址：https://npmcn.com/package/%40chonkiejs/token/

版本：0\.0\.4
npm 元数据更新时间：2026-07-07T04:06:55.064Z
中文译文更新时间：2026-11-09T19:25:47.419Z
软件包许可：MIT

本文由上游 README 翻译，可能存在偏差，请结合原文核对 API、命令与配置。版权与许可归原作者所有。

原始 npm 页面：https://www.npmjs.com/package/%40chonkiejs/token
原文对照：https://npmcn.com/package/%40chonkiejs/token/?lang=original
项目主页：https://docs.chonkie.ai/
源码仓库：https://github.com/feyninc/chonkiejs

## 关键信息（来自 npm 元数据）

- 包体积（解压后）：11 kB，10 个文件
- 模块格式：ES Module
- TypeScript 类型：包内自带
- 运行依赖：1 个
- peer 依赖：@chonkiejs/core \>=0\.0\.10
- 首次发布：2025-10-08T05:33:45.704Z
- 最新版本发布：2026-07-07T04:06:54.711Z
- 近 30 天下载量：1795（2026-10-10 至 2026-11-08，npm 官方下载统计）
- 已发布版本数：3（近 12 个月 1 个）

## 中文简介

拥抱 对 Chonkie 的面额标识器支持 - 扩展 @ chonkiejs/ core 与真实的标识

## 安装

```sh
npm install @chonkiejs/token
```

也可以使用：`pnpm add @chonkiejs/token`、`yarn add @chonkiejs/token`、`bun add @chonkiejs/token`

## README

![Chonkie Logo](https://npmcn.com/package/assets/chonkie_logo_br_transparent_bg.png)

# @chonkiejs/token (中文(简体) )

_拥抱 Chonkie的面额标识器支持 - 以真实的标识方式延伸出@chonkiejs/core._

[![npm version](https://img.shields.io/npm/v/@chonkiejs/token)](https://www.npmjs.com/package/@chonkiejs/token) [![npm license](https://img.shields.io/npm/l/@chonkiejs/token)](https://www.npmjs.com/package/@chonkiejs/token) [![GitHub](https://img.shields.io/badge/github-chonkie--ts-black.svg?logo=github)](https://github.com/chonkie-inc/chonkiejs)

## 特征

🤗 **拥抱 面部整合** - 使用任何HuggingFace装饰器模型  
🔌 **可选插件** - 只有当您需要真正的标识时才安装  
📦 **0 配置** - 与 @chonkiejs/ core自动工作  
⚡ **逐步增强** - 核心工作没有它,更好用它  

## 安装

安装方式 `npm`数字 :

```bash
npm i @chonkiejs/token @chonkiejs/core
```

安装方式 `pnpm`数字 :

```bash
pnpm add @chonkiejs/token @chonkiejs/core
```

安装方式 `yarn`数字 :

```bash
yarn add @chonkiejs/token @chonkiejs/core
```

安装方式 `bun`数字 :

```bash
bun add @chonkiejs/token @chonkiejs/core
```

## 快速启动

只需同时安装此软件包 `@chonkiejs/core`,然后使用标识器名称:

```typescript
import { RecursiveChunker, TokenChunker } from '@chonkiejs/core';

// Use GPT-2 tokenization (automatically uses @chonkiejs/token)
const chunker = await RecursiveChunker.create({
  tokenizer: 'Xenova/gpt2',
  chunkSize: 512
});

const chunks = await chunker.chunk('Your text here...');
```

## 支持的模式

任何来自变压器的HuggingFace型号.js:

-   `Xenova/gpt2`
-   `Xenova/gpt-4`
-   `bert-base-uncased`
-   `google-bert/bert-base-multilingual-cased`
-   还有更多!

见: [https://huggingface.co/ models?library=transfers.js (中文(简体) )](https://huggingface.co/models?library=transformers.js)

## 用法实例

### 与递归猎人

```typescript
import { RecursiveChunker } from '@chonkiejs/core';

const chunker = await RecursiveChunker.create({
  tokenizer: 'Xenova/gpt2',
  chunkSize: 512
});

const chunks = await chunker.chunk('Your document...');
```

### 和托肯彻克

```typescript
import { TokenChunker } from '@chonkiejs/core';

const chunker = await TokenChunker.create({
  tokenizer: 'bert-base-uncased',
  chunkSize: 256,
  chunkOverlap: 50
});

const chunks = await chunker.chunk('Your text...');
```

### 直接切换器使用

```typescript
import { HuggingFaceTokenizer } from '@chonkiejs/token';

const tokenizer = await HuggingFaceTokenizer.create('Xenova/gpt2');

const count = tokenizer.countTokens('Hello world!');
const tokens = tokenizer.encode('Hello world!');
const text = tokenizer.decode(tokens);

console.log(`Token count: ${count}`);
```

## 如何运作

当你打电话 `Tokenizer.create('gpt2')` 在 @chonkiejs/分数中:

1.  核心尝试动态导入 `@chonkiejs/token`
2.  **如果安装:** 使用套接字
3.  **如果没有安装:** 显示帮助错误消息

这保持了核心轻量级,同时在需要的时候允许高级地标化!

## 捐款

想帮忙种姜子吗? 检查出来 [捐款额](https://npmcn.com/package/CONTRIBUTING.md) 开始吧! 无论是修复错误,添加特性,改进文件,还是简单地在回放上留下一个"Q",每一份贡献都有助于让Chonki成为每个人更好的CHONK.

记住:对于这个小河马来说,任何贡献都不算太小!

## 常见问题

### @chonkiejs/token 是什么？

拥抱 对 Chonkie 的面额标识器支持 - 扩展 @ chonkiejs/ core 与真实的标识

### 如何安装 @chonkiejs/token？

在项目目录运行 npm install @chonkiejs/token，或使用 pnpm add / yarn add / bun add。它还需要宿主项目提供 peer 依赖：@chonkiejs/core（\>=0\.0\.10）。npm 7 及以上与 pnpm 8 及以上默认会自动安装必需的 peer 依赖，Yarn 需要手动安装。

### @chonkiejs/token 支持 TypeScript 吗？

支持。包内自带 TypeScript 类型声明（package\.json 声明了 types 入口），安装后即可获得类型提示，无需再安装 @types 包。

### @chonkiejs/token 支持 ESM 还是 CommonJS？

以 ES Module 形式发布，推荐使用 import 引入。在 CommonJS 项目中，Node\.js 20\.19\+ / 22\.12\+ 可以直接 require\(\) 不含顶层 await 的 ES Module，更早的版本需要改用动态 import\(\)。

### @chonkiejs/token 可以商用吗？

@chonkiejs/token 使用 MIT 许可。宽松许可：允许商业使用、修改和再分发，通常只需在分发时保留原版权与许可声明。以上为概括，不构成法律意见，请以许可原文为准。

### @chonkiejs/token 的下载量有多少？

根据 npm 官方下载统计，@chonkiejs/token 在 2026/10/10 – 2026/11/08 这 30 天内被下载 1,795 次，日均约 60 次。下载量会把 CI 构建、镜像同步和作为其他包依赖的安装一并计入，适合横向比较热度，不能直接等同于使用人数。

### @chonkiejs/token 还在维护吗？

最新版本 0\.0\.4 发布于 2026/07/07（4 个月前）；至今共发布 3 个版本，其中过去 12 个月发布了 1 个；首次发布于 2025/10/08。发布频率只是参考信号：功能稳定的工具可能很少需要更新，建议结合源码仓库的 issue 和提交记录判断。