# @chonkiejs/chunk 中文文档

规范地址：https://npmcn.com/package/%40chonkiejs/chunk/

版本：0\.10\.1
npm 元数据更新时间：2026-05-12T21:03:56.076Z
中文译文更新时间：2026-11-09T14:22:05.769Z
软件包许可：MIT OR Apache-2\.0

本文由上游 README 翻译，可能存在偏差，请结合原文核对 API、命令与配置。版权与许可归原作者所有。

原始 npm 页面：https://www.npmjs.com/package/%40chonkiejs/chunk
原文对照：https://npmcn.com/package/%40chonkiejs/chunk/?lang=original
项目主页：https://github.com/chonkie-inc/chunk#readme
源码仓库：https://github.com/chonkie-inc/chunk

## 关键信息（来自 npm 元数据）

- 包体积（解压后）：121 kB，9 个文件
- 模块格式：ES Module
- TypeScript 类型：未声明
- 运行依赖：0 个
- 首次发布：2026-01-21T02:07:52.580Z
- 最新版本发布：2026-03-30T07:34:33.120Z
- 近 30 天下载量：99778（2026-10-10 至 2026-11-08，npm 官方下载统计）
- 已发布版本数：10（近 12 个月 10 个）

## 中文简介

最快的语义文本块化库

## 安装

```sh
npm install @chonkiejs/chunk
```

也可以使用：`pnpm add @chonkiejs/chunk`、`yarn add @chonkiejs/chunk`、`bun add @chonkiejs/chunk`

## README

![@chonkiejs/chunk](https://npmcn.com/package/assets/memchunk_wide.png)

# @chonkiejs/ chunk

_最快的文本块库——最多1TB/s吞吐量_

[![crates.io](https://img.shields.io/crates/v/chunk.svg?color=e74c3c)](https://crates.io/crates/chunk) [![PyPI](https://img.shields.io/pypi/v/chonkie-core.svg?color=e67e22)](https://pypi.org/project/chonkie-core) [![npm](https://img.shields.io/npm/v/@chonkiejs/chunk.svg?color=2ecc71)](https://www.npmjs.com/package/@chonkiejs/chunk) [![GitHub](https://img.shields.io/badge/github-chunk-3498db)](https://github.com/chonkie-inc/chunk) [![License](https://img.shields.io/badge/license-MIT%2FApache--2.0-9b59b6.svg)](https://npmcn.com/package/%40chonkiejs/chunk/LICENSE-MIT)

* * *

你知道每个块的图书馆 都声称是快的吗? 是的,我们真的是认真的.

**@chonkiejs/ chunk** 在语义边界(期,新行,常被怀疑者)中分出文字,这样做会很蠢快. 我们说的是"快把整个英语维基百科打入120米".

想知道如何吗? [读取博客文章](https://minha.sh/posts/so,-you-want-to-chunk-really-fast) 在那里,我们书呆子 关于SIMD指示和检索表.

## 安装

```bash
npm install @chonkiejs/chunk
```

寻找 [生锈](https://github.com/chonkie-inc/chunk) 或者说 [蟒蛇](https://github.com/chonkie-inc/chunk/tree/main/packages/python)? 吗?

## 使用时间

```javascript
import { init, chunk } from '@chonkiejs/chunk';

// initialize wasm (required once)
await init();

const text = "Hello world. How are you? I'm fine.\nThanks for asking.";

// with defaults (4KB chunks, split at \n . ?)
for (const slice of chunk(text)) {
    console.log(slice);
}

// with custom size
for (const slice of chunk(text, { size: 1024 })) {
    console.log(slice);
}

// with custom delimiters
for (const slice of chunk(text, { delimiters: ".?!\n" })) {
    console.log(slice);
}

// with multi-byte pattern (e.g., metaspace ▁ for SentencePiece tokenizers)
for (const slice of chunk(text, { pattern: "▁", prefix: true })) {
    console.log(slice);
}

// with consecutive pattern handling (split at START of runs, not middle)
for (const slice of chunk("word   next", { pattern: " ", consecutive: true })) {
    console.log(slice);
}

// with forward fallback (search forward if no pattern in backward window)
for (const slice of chunk(text, { pattern: " ", forwardFallback: true })) {
    console.log(slice);
}

// collect all chunks
const chunks = [...chunk(text)];
```

传递字符串,并获取字符串回来。 二进制数据的零复制性能,通过 `Uint8Array` 你会得到 `Uint8Array` 回头看.

## 引用语录

如果您在研究中使用了@chonkiejs/chunk,请引用如下:

```bibtex
@software{chunk2025,
  author = {Minhas, Bhavnick},
  title = {chunk: The fastest text chunking library},
  year = {2025},
  publisher = {GitHub},
  howpublished = {\url{https://github.com/chonkie-inc/chunk}},
}
```

## 许可证

根据其中任何一种方式颁发许可证 [Apache 许可证,2.0版本](https://npmcn.com/package/%40chonkiejs/chunk/LICENSE-APACHE) 或者说 [麻省理工学院许可证](https://npmcn.com/package/%40chonkiejs/chunk/LICENSE-MIT) 随便你.

## 常见问题

### @chonkiejs/chunk 是什么？

最快的语义文本块化库

### 如何安装 @chonkiejs/chunk？

在项目目录运行 npm install @chonkiejs/chunk，或使用 pnpm add / yarn add / bun add。

### @chonkiejs/chunk 支持 TypeScript 吗？

该包的 package\.json 没有声明类型入口。需要类型提示时，可以在 npm 上查找社区维护的 @types/chonkiejs\_\_chunk 是否存在。

### @chonkiejs/chunk 支持 ESM 还是 CommonJS？

以 ES Module 形式发布，推荐使用 import 引入。在 CommonJS 项目中，Node\.js 20\.19\+ / 22\.12\+ 可以直接 require\(\) 不含顶层 await 的 ES Module，更早的版本需要改用动态 import\(\)。

### @chonkiejs/chunk 可以商用吗？

@chonkiejs/chunk 使用 MIT OR Apache-2\.0 许可。可在 MIT、Apache-2\.0 中任选其一遵守。选择 MIT 时，宽松许可：允许商业使用、修改和再分发，通常只需在分发时保留原版权与许可声明。以上为概括，不构成法律意见，请以许可原文为准。

### @chonkiejs/chunk 的下载量有多少？

根据 npm 官方下载统计，@chonkiejs/chunk 在 2026/10/10 – 2026/11/08 这 30 天内被下载 99,778 次，日均约 3,326 次。下载量会把 CI 构建、镜像同步和作为其他包依赖的安装一并计入，适合横向比较热度，不能直接等同于使用人数。

### @chonkiejs/chunk 还在维护吗？

最新版本 0\.10\.1 发布于 2026/03/30（7 个月前）；至今共发布 10 个版本，其中过去 12 个月发布了 10 个；首次发布于 2026/01/21。发布频率只是参考信号：功能稳定的工具可能很少需要更新，建议结合源码仓库的 issue 和提交记录判断。