# @agnai/web-tokenizers 中文文档

规范地址：https://npmcn.com/package/%40agnai/web-tokenizers/

版本：0\.1\.6-pre3
npm 元数据更新时间：2025-12-14T12:44:15.977Z
中文译文更新时间：2026-11-05T18:08:49.372Z
软件包许可：Apache-2\.0

本文由上游 README 翻译，可能存在偏差，请结合原文核对 API、命令与配置。版权与许可归原作者所有。

原始 npm 页面：https://www.npmjs.com/package/%40agnai/web-tokenizers
原文对照：https://npmcn.com/package/%40agnai/web-tokenizers/?lang=original
项目主页：https://github.com/mlc-ai/tokenizers-cpp/tree/main/web
源码仓库：https://github.com/mlc-ai/tokenizers-cpp

## 关键信息（来自 npm 元数据）

- 包体积（解压后）：21.3 MB，9 个文件
- 模块格式：ESM + CJS
- TypeScript 类型：包内自带
- 运行依赖：0 个
- 首次发布：2023-08-13T05:29:43.589Z
- 最新版本发布：2025-12-14T12:44:15.743Z
- 近 30 天下载量：100899（2026-10-05 至 2026-11-03，npm 官方下载统计）
- 已发布版本数：5（近 12 个月 3 个）

## 中文简介

| [国家防范机制一揽子计划](https://www.npmjs.com/package/@mlc-ai/web-tokenizers) | [网络LLM](https://github.com/mlc-ai/web-llm) |

## 安装

```sh
npm install @agnai/web-tokenizers
```

也可以使用：`pnpm add @agnai/web-tokenizers`、`yarn add @agnai/web-tokenizers`、`bun add @agnai/web-tokenizers`

## README

# 网络用户

| [国家防范机制一揽子计划](https://www.npmjs.com/package/@mlc-ai/web-tokenizers) | [网络LLM](https://github.com/mlc-ai/web-llm) |

WebTokenizers是一个可以普遍部署的javascript 绑定库. 它包裹和束缚 [拥抱 面额标识器库](https://github.com/huggingface/tokenizers) 财务报告和审定财务报表 [句子](https://github.com/google/sentencepiece) 并提供一个最小的共同接口 {\\fn黑体\\fs22\\bord1\\shad0\\3ahbe\\4ah00\\fscx67\\fscy66\\2chffffff\\3ch808080}在圣经中.

## 由 Srouce 构建

```bash
source /path/to/emsdk_env.sh
npm install
npm run build
```

测试网页

```bash
cd tests
npm start
```

## 常见问题

### @agnai/web-tokenizers 是什么？

\| 国家防范机制一揽子计划 \| 网络LLM \|

### 如何安装 @agnai/web-tokenizers？

在项目目录运行 npm install @agnai/web-tokenizers，或使用 pnpm add / yarn add / bun add。

### @agnai/web-tokenizers 支持 TypeScript 吗？

支持。包内自带 TypeScript 类型声明（package\.json 声明了 types 入口），安装后即可获得类型提示，无需再安装 @types 包。

### @agnai/web-tokenizers 支持 ESM 还是 CommonJS？

同时提供 ES Module 与 CommonJS 入口，import 和 require\(\) 都可以使用，打包工具会自动选择合适的版本。

### @agnai/web-tokenizers 可以商用吗？

@agnai/web-tokenizers 使用 Apache-2\.0 许可。宽松许可：允许商业使用、修改和再分发，并附带明确的专利授权；分发时需保留许可与 NOTICE 文件，修改过的文件要注明改动。以上为概括，不构成法律意见，请以许可原文为准。

### @agnai/web-tokenizers 的下载量有多少？

根据 npm 官方下载统计，@agnai/web-tokenizers 在 2026/10/05 – 2026/11/03 这 30 天内被下载 100,899 次，日均约 3,363 次。下载量会把 CI 构建、镜像同步和作为其他包依赖的安装一并计入，适合横向比较热度，不能直接等同于使用人数。

### @agnai/web-tokenizers 还在维护吗？

最新版本 0\.1\.6-pre3 发布于 2025/12/14（10 个月前）；至今共发布 5 个版本，其中过去 12 个月发布了 3 个；首次发布于 2023/08/13。发布频率只是参考信号：功能稳定的工具可能很少需要更新，建议结合源码仓库的 issue 和提交记录判断。