| NPM Package | WebLLM |
| NPM Package | WebLLM |
WebTokenizers is a javascript binding library that can be universally deployed. It wraps and binds the HuggingFace tokenizers library and sentencepiece and provides a minimum common interface in havascript.
source /path/to/emsdk_env.sh
npm install
npm run build
To try out the test webpage
cd tests
npm start
@agnai/web-tokenizers 共发布 5 个版本，首次发布于 2023/08/13；过去 12 个月发布了 3 个版本。
| 版本 | 发布日期 | 距今 |
|---|---|---|
0.1.6-pre3latest | 2025/12/14 | 10 个月前 |
0.1.6-pre2 | 2025/12/14 | 10 个月前 |
0.1.6-pre | 2025/12/14 | 10 个月前 |
0.1.3 | 2023/08/13 | 3 年前 |
0.1.2 | 2023/08/13 | 3 年前 |
| NPM Package | WebLLM |
在项目目录运行 npm install @agnai/web-tokenizers，或使用 pnpm add / yarn add / bun add。
支持。包内自带 TypeScript 类型声明（package.json 声明了 types 入口），安装后即可获得类型提示，无需再安装 @types 包。
同时提供 ES Module 与 CommonJS 入口，import 和 require() 都可以使用，打包工具会自动选择合适的版本。
@agnai/web-tokenizers 使用 Apache-2.0 许可。宽松许可：允许商业使用、修改和再分发，并附带明确的专利授权；分发时需保留许可与 NOTICE 文件，修改过的文件要注明改动。以上为概括，不构成法律意见，请以许可原文为准。
根据 npm 官方下载统计，@agnai/web-tokenizers 在 2026/10/05 – 2026/11/03 这 30 天内被下载 100,899 次，日均约 3,363 次。下载量会把 CI 构建、镜像同步和作为其他包依赖的安装一并计入，适合横向比较热度，不能直接等同于使用人数。
最新版本 0.1.6-pre3 发布于 2025/12/14（10 个月前）；至今共发布 5 个版本，其中过去 12 个月发布了 3 个；首次发布于 2023/08/13。发布频率只是参考信号：功能稳定的工具可能很少需要更新，建议结合源码仓库的 issue 和提交记录判断。