Tiny JavaScript tokenizer.
The tiny, regex powered, lenient, almost spec-compliant JavaScript tokenizer that never fails.
import jsTokens from "js-tokens";
const jsString = 'JSON.stringify({k:3.14**2}, null /*replacer*/, "\\t")';
Array.from(jsTokens(jsString), (token) => token.value).join("|");
// JSON|.|stringify|(|{|k|:|3.14|**|2|}|,| |null| |/*replacer*/|,| |"\t"|)
js-tokens 共发布 25 个版本，首次发布于 2014/03/09；过去 12 个月发布了 1 个版本。
| 版本 | 发布日期 | 距今 |
|---|---|---|
10.0.0latest | 2025/12/09 | 10 个月前 |
9.0.1 | 2024/11/23 | 1.9 年前 |
9.0.0 | 2024/02/09 | 2 年前 |
8.0.3 | 2024/02/03 | 2 年前 |
8.0.2 | 2023/09/09 | 3 年前 |
8.0.1 | 2023/01/17 | 3 年前 |
Tiny JavaScript tokenizer.
在项目目录运行 npm install js-tokens，或使用 pnpm add / yarn add / bun add。
支持。包内自带 TypeScript 类型声明（package.json 声明了 types 入口），安装后即可获得类型提示，无需再安装 @types 包。
以 ES Module 形式发布，推荐使用 import 引入。在 CommonJS 项目中，Node.js 20.19+ / 22.12+ 可以直接 require() 不含顶层 await 的 ES Module，更早的版本需要改用动态 import()。
js-tokens 使用 MIT 许可。宽松许可：允许商业使用、修改和再分发，通常只需在分发时保留原版权与许可声明。以上为概括，不构成法律意见，请以许可原文为准。
根据 npm 官方下载统计，js-tokens 在 2026/10/04 – 2026/11/02 这 30 天内被下载 1,051,485,040 次，日均约 35,049,501 次。下载量会把 CI 构建、镜像同步和作为其他包依赖的安装一并计入，适合横向比较热度，不能直接等同于使用人数。
最新版本 10.0.0 发布于 2025/12/09（10 个月前）；至今共发布 25 个版本，其中过去 12 个月发布了 1 个；首次发布于 2014/03/09。发布频率只是参考信号：功能稳定的工具可能很少需要更新，建议结合源码仓库的 issue 和提交记录判断。