# @anush008/tokenizers 中文文档

规范地址：https://npmcn.com/package/%40anush008/tokenizers/

版本：0\.6\.0
npm 元数据更新时间：2026-09-09T04:16:42.195Z
中文译文更新时间：2026-11-06T07:32:15.105Z
软件包许可：MIT

本文由上游 README 翻译，可能存在偏差，请结合原文核对 API、命令与配置。版权与许可归原作者所有。

原始 npm 页面：https://www.npmjs.com/package/%40anush008/tokenizers
原文对照：https://npmcn.com/package/%40anush008/tokenizers/?lang=original
项目主页：https://github.com/Anush008/tokenizers#readme
源码仓库：https://github.com/Anush008/tokenizers

弃用说明：This package has been archived\. Please use the official and updated "huggingface/tokenizers" package\.

## 关键信息（来自 npm 元数据）

- 包体积（解压后）：84.6 kB，22 个文件
- 模块格式：CommonJS
- TypeScript 类型：包内自带
- Node.js 要求：\>= 10
- 运行依赖：0 个
- 首次发布：2023-09-16T14:41:59.079Z
- 最新版本发布：2026-03-19T07:32:20.221Z
- 近 30 天下载量：470553（2026-10-06 至 2026-11-04，npm 官方下载统计）
- 已发布版本数：4（近 12 个月 2 个）

## 中文简介

HuggingFace 装饰器的多结构建筑

## 安装

```sh
npm install @anush008/tokenizers
```

也可以使用：`pnpm add @anush008/tokenizers`、`yarn add @anush008/tokenizers`、`bun add @anush008/tokenizers`

## README

# @anush008/tokenizers (助推器)

官方的节点装订在了对节点版本和架构的有限支持的inx中. 此软件包提供了用于 [@huggingface/助推器](https://github.com/huggingface/tokenizers) 支持节点 v20.x.

## 支持 :

> -   视窗 x86 64
> -   Linux x86 64 (滑翔、 粘土/ 高山)
> -   Linux arch64 (glibc, musl/ 阿尔卑斯语)
> -   macOS x86 64
> -   macOS arch64 (阿普尔硅)
> -   macOS 通用二进制

## 安装

```bash
npm install @anush008/tokenizers
```

## 特征

-   使用4个预制的标致器(Bert WordPiece 和 3)来训练新的词汇并进行符号化 最常见的BPE版本).
-   极快(培训和象征性),得益于Rust的执行。 带 在服务器的CPU上,不到20秒就表示一个GB文本.
-   容易使用,但也极其多才多艺.
-   为研究和生产而设计.
-   正常化伴随着对齐跟踪. 总是有可能的 与给定的符号对应的原始句子.
-   是否所有的预处理: Truncate, Pad, 添加您模型所需的特殊符号 .

## 基本实例

```ts
import { Tokenizer } from "@anush008/tokenizers";

const tokenizer = await Tokenizer.fromFile("tokenizer.json");
const wpEncoded = await tokenizer.encode("Who is John?");

console.log(wpEncoded.getLength());
console.log(wpEncoded.getTokens());
console.log(wpEncoded.getIds());
console.log(wpEncoded.getAttentionMask());
console.log(wpEncoded.getOffsets());
console.log(wpEncoded.getOverflowing());
console.log(wpEncoded.getSpecialTokensMask());
console.log(wpEncoded.getTypeIds());
console.log(wpEncoded.getWordIds());
```

## 许可证

[麻省理工学院](https://npmcn.com/package/%40anush008/tokenizers/LICENSE)

## 常见问题

### @anush008/tokenizers 是什么？

HuggingFace 装饰器的多结构建筑注意：该包已被作者标记为弃用——This package has been archived\. Please use the official and updated "huggingface/tokenizers" package\.

### 如何安装 @anush008/tokenizers？

在项目目录运行 npm install @anush008/tokenizers，或使用 pnpm add / yarn add / bun add。

### @anush008/tokenizers 支持 TypeScript 吗？

支持。包内自带 TypeScript 类型声明（package\.json 声明了 types 入口），安装后即可获得类型提示，无需再安装 @types 包。

### @anush008/tokenizers 支持 ESM 还是 CommonJS？

以 CommonJS 形式发布，可以直接 require\(\)；在 ES Module 项目中也可以用 import 引入（Node\.js 会把 module\.exports 作为默认导出）。

### @anush008/tokenizers 需要什么版本的 Node\.js？

package\.json 的 engines 字段要求 Node\.js \>= 10。版本不符时 npm 默认只给出警告，开启 engine-strict 后会拒绝安装。

### @anush008/tokenizers 可以商用吗？

@anush008/tokenizers 使用 MIT 许可。宽松许可：允许商业使用、修改和再分发，通常只需在分发时保留原版权与许可声明。以上为概括，不构成法律意见，请以许可原文为准。

### @anush008/tokenizers 的下载量有多少？

根据 npm 官方下载统计，@anush008/tokenizers 在 2026/10/06 – 2026/11/04 这 30 天内被下载 470,553 次，日均约 15,685 次。下载量会把 CI 构建、镜像同步和作为其他包依赖的安装一并计入，适合横向比较热度，不能直接等同于使用人数。

### @anush008/tokenizers 还在维护吗？

最新版本 0\.6\.0 发布于 2026/03/19（7 个月前）；至今共发布 4 个版本，其中过去 12 个月发布了 2 个；首次发布于 2023/09/16。作者已将其标记为弃用，新项目建议寻找替代方案。